WO2013099637A1 - カラー撮像素子及び撮像装置 - Google Patents
カラー撮像素子及び撮像装置 Download PDFInfo
- Publication number
- WO2013099637A1 WO2013099637A1 PCT/JP2012/082384 JP2012082384W WO2013099637A1 WO 2013099637 A1 WO2013099637 A1 WO 2013099637A1 JP 2012082384 W JP2012082384 W JP 2012082384W WO 2013099637 A1 WO2013099637 A1 WO 2013099637A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixels
- phase difference
- pixel
- color
- difference detection
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 222
- 238000003491 array Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
Definitions
- the present invention relates to a color image sensor having phase difference detection pixels and an image pickup apparatus equipped with the color image sensor.
- FIG. 22A illustrates a plan view for one pixel, in which a light shielding film 1a is laminated on a rectangular photoelectric conversion element (photodiode: hereinafter referred to as a pixel) 1, and the light shielding film 1a. Is provided with an opening 1b.
- the opening 1b is formed to be as wide as possible so as not to cover the light receiving surface of the pixel 1 so that a large amount of light can be received.
- Such a large number of pixels 1 are arranged and formed on the surface of the semiconductor substrate in a two-dimensional array.
- imaging in which phase difference detection pixels are mixed in an array of pixels 1 for imaging a subject image is performed. Elements have been proposed and applied to actual machines.
- FIG. 22B is a plan view of an example of the phase difference detection pixel.
- a light shielding film opening 2b narrower than the opening 1b in FIG. 22A is provided so as to be eccentric to the right side with respect to the pixel center.
- a narrow light-shielding film opening 3b having the same size as the light-shielding film opening 2b is provided so as to be eccentric to the left side with respect to the pixel center.
- phase difference detection pixels 2 and 3 By using a pair of phase difference detection pixels 2 and 3 in which the light shielding film openings 2b and 3b are shifted in the left-right direction, it is possible to acquire incident light phase difference information in the left-right direction, that is, the horizontal direction. If the phase difference detection pixel pairs are arranged in the horizontal direction in the image sensor, the horizontal distribution of the phase difference information can be obtained. From this distribution information, for example, the focal distance to the subject can be detected. It becomes possible. For this reason, in the following Patent Documents 1 and 2, the phase difference detection pixels 2 and 3 are used as focus detection pixels.
- FIG. 23 is a diagram illustrating an arrangement example of the phase difference detection pixels described in Patent Documents 1 and 2.
- the illustration of the light shielding film openings of pixels other than the phase difference detection pixels (referred to as normal pixels) is omitted.
- the normal pixels 1 are arranged in a square lattice pattern, and all the pixels for one row within the predetermined range are a pair of phase difference detection pixels 2 and 3.
- phase difference detection pixel pair is configured by decentering the narrow light shielding film openings 2b and 3b with respect to the pixel center.
- one elliptical microlens is mounted on two adjacent pixels of the normal pixel 1 to perform pupil division to form a phase difference detection pixel pair.
- phase difference detection pixel has a structure in which the amount of light received is smaller than that of the normal pixel 1 and has a phase difference
- the subject captured image signal at the pixel position of the phase difference detection pixel is normally the captured image signal of the surrounding normal pixels. It is calculated by interpolation calculation. In other words, the phase difference detection pixel is handled in the same way as the defective pixel when imaging the subject.
- the phase difference detection pixels 2 and 3 are arranged in a single pixel row that is spread in the horizontal direction without any gap. For this reason, the captured image signals at the pixel positions of the phase difference detection pixels 2 and 3 are interpolated using the captured image signals of the normal pixels above and below this pixel row. That is, all the signals for one row are generated by the interpolation calculation, and the image quality for this one row is deteriorated.
- phase difference detection pixels 2 and 3 when the phase difference detection pixels 2 and 3 are arranged in the vertical direction and the phase difference detection pixel pairs are arranged in the horizontal direction as shown in FIG. 24, the horizontal direction is compared with the case of FIG. The resolution can be doubled. However, in this configuration, two horizontal lines are filled with phase difference detection pixels. For this reason, when the captured image signal at the phase difference detection pixel position is obtained by interpolation, the image quality for these two lines deteriorates.
- an image sensor that captures a color image also has a relationship with the color filter array, and also considers the relationship between the resolution of the phase difference information and the image quality when the captured image signal at the phase difference detection pixel position is obtained by pixel interpolation. Thus, it is necessary to consider where to place the phase difference detection pixels.
- An object of the present invention is to detect a phase difference information with high resolution, and to provide a color filter array and a phase difference that can interpolate a captured image signal at a phase difference detection pixel position with a captured image signal of surrounding pixels with high quality.
- An object of the present invention is to provide a color imaging device and an imaging device that realize a combination with the arrangement position of detection pixels.
- the color imaging device of the present invention is a color imaging device in which color filters of a predetermined color filter array are arranged on a plurality of pixels composed of photoelectric conversion devices arranged in the horizontal direction and the vertical direction,
- the color filter array includes a first filter corresponding to the first color that contributes most to obtain a luminance signal, and a second filter corresponding to two or more second colors other than the first color.
- a first filter corresponding to the first color that contributes most to obtain a luminance signal
- a second filter corresponding to two or more second colors other than the first color.
- the first filter is disposed in each of horizontal, vertical, and diagonal lines of the color filter array,
- the ratio of the number of pixels of the first color corresponding to the first filter is arranged larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter,
- the image pickup apparatus of the present invention is characterized by mounting the above-described color image pickup device.
- the present invention it is possible to detect high-resolution phase difference information and to perform high-quality pixel interpolation of the captured image signal at the phase difference detection pixel position with the captured image signal of the surrounding pixels.
- FIG. 12 is a diagram illustrating an embodiment in which the arrangement example of the phase difference detection pixel pairs in FIG. 2 is applied to the color filter array in FIG. 11. It is a figure which shows the modification of embodiment shown in FIG. It is a figure which shows another modification of embodiment shown in FIG. FIG. 12 is a diagram illustrating an embodiment in which the arrangement example of the phase difference detection pixel pair of FIG. 4 is applied to the color filter array illustrated in FIG. 11.
- FIG. 12 is a diagram illustrating an embodiment in which the arrangement example of the phase difference detection pixel pair of FIG. 4 is applied to the color filter array illustrated in FIG. 11.
- FIG. 12 is a diagram illustrating an embodiment in which the arrangement example of the phase difference detection pixel pair in FIG. 9 is applied to the color filter array in FIG. 11. It is a figure which shows embodiment which applied the example of arrangement
- FIG. 12 is a diagram illustrating an embodiment in which the arrangement example of the phase difference detection pixel pairs in FIG. 7 is applied to the color filter array in FIG. 11. It is a figure which shows embodiment which applied the example of arrangement
- FIG. 1 is a functional block configuration diagram of an imaging apparatus according to an embodiment of the present invention.
- a CMOS type imaging device 31 is arranged in the imaging device 30, for example.
- the imaging element 31 is an element in which normal pixels and phase difference detection pixels as illustrated in FIG. 22 are mixed.
- a photographic lens 29 is disposed in front of the image sensor 31.
- the imaging device 30 is provided with an image input controller 33 that captures an output image signal of the imaging element 31 and outputs the image signal to the bus 32.
- the image sensor 31 may be another type of image sensor such as a CCD type.
- the bus 32 includes an image signal processing circuit 34 that performs known image processing on the output image signal of the image sensor 31, a compression processing circuit 35 that compresses the image signal after image processing into JPEG image data, and the like, and an imaging device.
- 30 is output as a through image from a video encoder 37 that displays a captured image or a through image (live view image) on an image display device 36 provided on the back surface, the CPU 40 that performs overall control of the imaging device 30, and the image sensor 31.
- a circuit 41 for detecting automatic exposure (AE), automatic focus (AF), and automatic white balance (AWB), a main memory 42, and a captured image signal at a phase difference detection pixel position is obtained by pixel interpolation.
- a processing circuit 43 and a media controller 45 that stores JPEG image data in the recording medium 44 are connected. The function of the processing circuit 43 is a part of the function of the image signal processing circuit 34.
- the image sensor 31 is driven by a timing signal from the timing generator 47, and the timing generator 47 operates according to an instruction from the CPU 40.
- the focus lens position of the photographic lens 29 is also driven by an instruction from the CPU 40.
- a shutter release button 48 is connected to the CPU 40.
- phase difference detection pixel X is also referred to as “X pixel”
- phase difference detection pixel Y is also referred to as “Y pixel”.
- phase difference detection pixels X are spread without gaps on the same horizontal line (same pixel row) 51, and the phase difference detection pixels Y are spread without gaps on the same pixel row 54 below the three horizontal lines.
- “No gap” means that there is no gap of one pixel between the phase difference detection pixels adjacent in the horizontal direction, that is, no normal pixel is arranged.
- the phase difference detection pixels are arranged in all the horizontal components in the pixel group in the predetermined area of the color image sensor” means that the phase difference pixel is obtained when the color image sensor is viewed from the vertical direction. Indicates a state in which the pixels are arranged at all pixel positions in the horizontal direction in a predetermined region. That is, as a result of moving the phase difference detection pixels on each vertical line in the vertical direction and rearranging them in one horizontal line (for example, the third row), there is no gap for one pixel in the horizontal direction. A state in which pixels are arranged. For example, in FIG. 5 to be described later, X pixels are provided at all horizontal positions if the vertical arrangement positions are ignored.
- the pixel group in the predetermined area includes a pixel group in a part of the entire pixel group arranged in the image sensor, but may be a pixel group in the entire area.
- the phase difference pixels are arranged in all the vertical direction components in the pixel group in the predetermined area of the color image sensor” means that the phase difference detection pixels are set in the predetermined direction when viewed in the horizontal direction.
- a state where all the regions are arranged in the vertical direction is shown. That is, as a result of moving the phase difference detection pixels on each horizontal line in the horizontal direction and rearranging them in one vertical column (for example, the third column), there is no gap for one pixel in the vertical direction.
- a state in which pixels are arranged For example, in the 6 ⁇ 6 pixel group at the lower left in FIG. 9 described later, when the Y pixel is moved to the first column, the Y pixel is arranged in the column direction without a gap of one pixel.
- the Y pixels are provided at all the vertical positions if the horizontal arrangement positions are ignored.
- the pixel group in the predetermined area includes a pixel group in a part of the entire pixel group arranged in the image sensor, but may be a pixel group in the entire area.
- the combination of XY forming a pair is an X pixel and a Y pixel on the same vertical line (for example, the same pixel column 61).
- the pair pixel XY may be displaced in the vertical direction by this degree or several times this. Even in this case, for example, in an imaging device equipped with more than 10 million pixels in recent years, it can be considered that images on the same horizontal line of the same subject are incident on the paired pixels XY, so that phase difference information is acquired. There is no problem to do.
- FIG. 3 is a diagram illustrating distribution data of phase difference information detected by the AF detection circuit 41 of FIG.
- the phase difference detection pixel pairs XY arranged in the horizontal lines 51 and 54 in FIG. 2 are separated by three pixel rows, but the same line of the subject is included in the horizontal line of the phase difference detection pixel pairs XY on the image sensor. It can be considered that light emitted from a position on the horizontal line is incident.
- the light shielding film opening 2b is eccentric to the right side from the pixel center.
- the light shielding film opening 2b is an opening on the left eye side.
- the light shielding film opening 3b of the phase difference detection pixel Y is an opening on the right eye side.
- the X detection signal line connecting the detection signal values detected by the horizontal phase difference detection pixels X and the Y detection signal line connecting the detection signal values detected by the horizontal phase difference detection pixels Y are left and right.
- the left and right parallax amounts, that is, the phase difference amount are shifted. If the amount of deviation (phase difference amount) is obtained, the distance to the subject can be calculated.
- the CPU 40 in FIG. 1 When the CPU 40 in FIG. 1 receives the data in FIG. 3 from the AF detection circuit 41, the CPU 40 moves the focus lens position of the photographic lens 29 to a position for focusing on the subject. Due to this movement, the deviation between the two X detection signal lines and the Y detection signal line in FIG. 3 is reduced, and both signal lines overlap at the focused position. In this way, the AF process is executed.
- the plotted points on the X detection signal line shown in FIG. 3 are the detection signal amounts of the respective X pixels. If the paired pixels XY are adjacent in the horizontal direction as shown in FIG. 23, the density of the plot points of the X detection signal line is halved compared to FIG. Therefore, the resolution of the obtained phase difference information is higher in FIG. 3 than in FIG.
- the X pixel and the Y pixel constituting the pair are separated by three pixels.
- light emitted from the same subject position enters a pair of pixels in an image sensor of the 10 million pixel class that can capture a high-definition image even if the pixels are further separated by 6 pixels.
- phase difference detection pixel pairs XY shown in FIG. 4 is conceivable.
- the X pixels are spread on the same horizontal line.
- the vertical position of the X pixel is shifted by 3 pixels in the horizontal direction, and the Y pixel to be paired accordingly. The position is also shifted.
- the normal pixel 72 exists at the same vertical position (same horizontal line) as the X pixel 71.
- the captured image signal of the X pixel 71 is calculated by pixel interpolation, the calculation can be performed using the captured image signal of the normal pixel 72, and the quality of the captured image can be improved.
- phase difference detection pixel pair XY exists in any vertical line (pixel column), so that the horizontal resolution of the phase difference information can be maintained high.
- the arrangement positions of the phase difference detection pixels are the same in units of a pixel group of 6 pixels in the vertical direction ⁇ 12 pixels in the horizontal direction.
- phase difference detection pixels there are no phase difference detection pixels in adjacent locations, and only normal pixels are used.
- the phase difference detection pixel is different from the other phase difference detection pixels arranged on the pixel line in the horizontal direction or the vertical direction adjacent to the phase difference detection pixel in the vertical direction and the horizontal direction. They are located at different positions. For this reason, the correction accuracy when the captured image signal of the phase difference detection pixel is obtained by pixel interpolation is improved, and a higher quality captured image can be obtained.
- the arrangement positions of the phase difference detection pixels are the same as in the example of FIG.
- this 12 ⁇ 12 pixel group is divided into four 6 ⁇ 6 pixel groups, and the phase difference detection pixel (X pixel in FIG. 5) of the upper right 6 ⁇ 6 pixel group is set to Y pixel in FIG.
- a phase difference detection pixel (Y pixel in FIG. 5) in the ⁇ 6 pixel group is an X pixel in FIG.
- the pair pixels XY can be assembled not only in the vertical direction but also in the horizontal direction, not only the distribution data of the phase difference information in the horizontal direction but also the distribution data of the phase difference information in the vertical direction can be obtained. It becomes possible.
- FIG. 7 is a diagram illustrating an arrangement example of another phase difference detection pixel. Similarly to the arrangement row in FIG. 5, six phase difference detection pixels are provided in this pixel group in units of 6 ⁇ 6 pixel groups. However, unlike FIG. 5, one phase difference detection pixel is always provided for every horizontal line (pixel row) and for every vertical line (pixel column). Further, the distance between the X pixel and the Y pixel that form a pair in the vertical direction is set to 6 pixels.
- an X pixel is provided in a pixel group of 6 pixels ⁇ 12 pixels, and a Y pixel is provided in a pixel group of 6 pixels ⁇ 12 pixels corresponding to this lower position.
- the configuration is repeated.
- the 12 ⁇ 12 pixel group is divided into four 6 ⁇ 6 pixel groups, and in the arrangement example of FIG.
- the X pixel is arranged in the lower right pixel group.
- the paired pixels exist in each vertical line, so that high-resolution phase difference information can be obtained in the horizontal direction. It becomes possible. Further, when the X pixel and the Y pixel arranged in the horizontal direction are paired pixels, paired pixels exist in each horizontal line, so that high-resolution phase difference information can be obtained in the vertical direction.
- FIG. 9 is a diagram showing still another arrangement example.
- X pixels are continuously spread in a direction parallel to a diagonal line connecting the upper left corner and the lower right corner of the square lattice (hereinafter referred to as an oblique direction).
- Y pixels are arranged in a diagonal direction that is separated by 6 pixels horizontally or vertically with respect to the pixels.
- the X pixel and Y pixel on the same vertical line may be paired pixels, and the X pixel and Y pixel on the same horizontal line may be paired pixels.
- the distribution data of the phase difference information according to this example can obtain both the horizontal direction and the vertical direction, and the resolution is the same as in the case of the phase difference pixel array of FIG. 2 in both the horizontal direction and the vertical direction. .
- FIG. 10 is a modification of FIG.
- the phase difference detection pixels adjacent in the oblique direction are alternately provided with X pixels, Y pixels, X pixels, Y pixels,. If one of two phase difference detection pixels at the same horizontal position (or the same vertical position) of two phase difference detection pixel lines adjacent in the oblique direction is an X pixel and the other is a Y pixel, the case of FIG. Similarly to the above, it is possible to obtain the phase difference information in the horizontal direction and the vertical direction with high resolution.
- a pair of X pixels and Y pixels adjacent in the oblique direction can be used as a pair pixel.
- the phase difference information in the horizontal direction and the vertical direction can be obtained with the resolution obtained by the arrangement of FIG. 23 (half the resolution in the case of FIG. 9).
- FIG. 11A is a diagram showing a color filter array suitable for applying the arrangement examples of the phase difference detection pixels described with reference to FIGS. 2 to 10 described above.
- the blank rectangular frame is a G pixel (refers to a pixel on which a G color filter is mounted.
- the R pixel and the B pixel are also used in the same meaning), but the “G” is omitted.
- the drawing is easy to see.
- This color filter array is formed by alternately and repeatedly arranging the first array in FIG. 11B and the second array in FIG. 11C in both the horizontal and vertical directions.
- 5 pixels at the center and 4 corners of the 3 ⁇ 3 pixel group are G filters, and 2 pixels in the same pixel column among the 4 pixels other than 5 pixels are R filters and the rest Two pixels are used as a B filter.
- an array pattern in which two pixels in the same pixel row among the four pixels are R filters and the remaining two pixels are B filters is the second array.
- a color filter array in which only the first array in FIG. 11A is repeated in the horizontal and vertical directions is conceivable.
- a color filter array in which only the second array in FIG. 11B is repeated in the horizontal direction and the vertical direction is also conceivable.
- the location where the G filter is present does not change, and the embodiments described below can be similarly applied.
- FIG. 12A is a diagram showing still another modified example of the color filter array in FIG.
- the array of this modification is formed by alternately arranging the first array in FIG. 12B and the second array in FIG. 12C in the horizontal direction and the vertical direction.
- 5 pixels at the center and 4 corners of the 3 ⁇ 3 pixel group are G filters, and the 4 pixels other than 5 pixels are divided into 2 adjacent pixels diagonally, one of 2 The pixel is an R filter and the other two pixels are a B filter.
- the second array of 12 (c) is configured by using the one two pixels as a B filter and the other two pixels as an R filter.
- phase difference detection pixel array described with reference to FIGS. 2 to 10 is applied to the color filter array of a total of 6 patterns in FIG. 11A and its modified example, and FIG. 12A and its modified example.
- the present invention is not limited to these six patterns of color filter arrays, and any color filter that satisfies the following conditions may be used. That is, (1) It is a predetermined color filter array arranged on pixels arranged in a square lattice in the horizontal direction and the vertical direction of the single-plate color image pickup device.
- the basic arrangement pattern is repeatedly arranged in the horizontal direction and the vertical direction.
- the first filter is arranged in each line in the horizontal, vertical, and diagonal (diagonal direction) directions of the color filter array.
- One or more second filters are arranged in the horizontal and vertical lines of the color filter array in the basic array pattern.
- the ratio of the number of pixels of the first color corresponding to the first filter is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter.
- the first filter corresponding to the first color that contributes most to obtain the luminance signal is arranged in each of the horizontal, vertical, and diagonal lines of the color filter array. Therefore, it is possible to improve the reproduction accuracy of the synchronization (interpolation) processing (also referred to as demosaic processing) in the high frequency region, and also supports two or more second colors other than the first color. Since at least one second filter is arranged in each horizontal and vertical line of the color filter array, the occurrence of color moire (false color) can be suppressed and high resolution can be achieved. .
- the color filter array repeats the pattern when performing the synchronization (interpolation) process (also referred to as demosaic process) in the subsequent stage.
- the subsequent processing can be simplified as compared with the conventional random arrangement.
- the ratio of the number of pixels of the first color corresponding to the first filter and the number of pixels of each color of the second color corresponding to the second filter is made different, and this contributes most particularly to obtaining a luminance signal. Since the ratio of the number of pixels of the first color is made larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, aliasing can be suppressed and high frequency reproducibility is improved. .
- the color filter array includes a portion in which the first filter is continuous for two or more pixels in each line in the horizontal, vertical and diagonal directions.
- the direction in which the luminance change is small in the horizontal, vertical, and diagonal directions the direction with high correlation
- the color filter array preferably includes a square array corresponding to 2 ⁇ 2 pixels formed of the first filter.
- the pixel value of 2 ⁇ 2 pixels it is possible to determine a direction having high correlation among horizontal, vertical, and diagonal directions.
- the color filter array in the predetermined basic array pattern should be point-symmetric with respect to the center of the basic array pattern. This makes it possible to reduce the circuit scale of the processing circuit in the subsequent stage.
- the first filter is arranged at the center and four corners in the 3 ⁇ 3 pixel group, and the 3 ⁇ 3 pixel group is repeatedly arranged in the horizontal direction and the vertical direction. Is good. Since the first filters are arranged at the four corners of the 3 ⁇ 3 pixel group, when the 3 ⁇ 3 pixel group is repeatedly arranged in the horizontal direction and the vertical direction, the color filter array is separated from the first filter. A square array corresponding to 2 ⁇ 2 pixels is included. The pixel value of 2 ⁇ 2 pixels can be used to determine the direction of high correlation among the horizontal, vertical, and diagonal directions, and the first filter has a horizontal, vertical, and It is arranged in each line in the oblique direction.
- the second filter may be arranged in each of the horizontal, vertical and diagonal lines of the color filter array. Thereby, the color reproducibility in the oblique direction can be further improved.
- the color filter array in FIG. 11A illustrates a color filter array of a pixel group of 12 pixels vertically ⁇ 12 pixels horizontally, but a color filter array (basic pattern array) of a pixel group of 6 pixels vertically ⁇ 6 pixels horizontally. ) Is repeated horizontally and vertically.
- the arrangement of the phase difference detection pixels in the 6 ⁇ 6 pixel group is also made a basic pattern, and a color image pickup element can be formed by repeating this basic pattern.
- phase difference detection pixels are denoted by “X” and “Y”.
- the phase difference detection pixels X and Y are arranged, the following conditions should be satisfied. However, since it is difficult to satisfy all the requirements, the phase difference detection pixel is provided at a position that satisfies this condition as much as possible.
- phase difference detection pixels In order to increase the resolution (resolution) of the phase difference information, it is desirable to arrange the phase difference detection pixels as closely as possible without leaving a gap in the horizontal direction. (2) In order to be able to calculate the captured image signal of the phase difference detection pixel with high accuracy by pixel interpolation, it is desired to place the image signal in a place where there are many normal pixels of the same color around the phase difference detection pixel. (3) Since the moving image may be captured by the thinning readout in the image sensor, it is desired to provide the phase difference detection pixel line at a position where it does not overlap the readout pixel line. (4) In order to suppress the influence of color mixing, it is not desired to make the R pixel adjacent to the phase difference detection pixel.
- FIG. 13 is a diagram in which the arrangement example of the phase difference detection pixels described in FIG. 2 is applied in the color filter array.
- the X pixel and the Y pixel are hatched so that the phase difference detection pixel position can be easily understood.
- the ratio of G pixels in a color image sensor is higher than the ratio of R pixels and B pixels. For this reason, even if a larger number of G pixels than R pixels and B pixels become phase difference detection pixels and are not used for capturing a subject image, the quality of the color captured image is not deteriorated.
- each X pixel and each Y pixel is equipped with a color filter of the same color, for example, a G color filter, or no color filter, or a transparent filter or a white filter.
- the transparent filter and the white filter are filters that transmit all of light in the red wavelength range, light in the blue wavelength range, and light in the green wavelength range, and the transparent filter has a relatively high light transmittance (for example, 70% or more).
- the white filter has a lower light transmittance than the transparent filter.
- the horizontal line is a phase difference detection pixel line as in this embodiment, for example, a high-definition still image is captured and the detection signal of the phase difference detection pixel line is read when phase difference information with high resolution is required. It will be better if you put it out.
- FIG. 14 is an explanatory diagram of a modification of FIG. In the example of FIG. 13, four horizontal lines out of 12 vertical pixels are set as phase difference detection pixel lines.
- FIG. 14 shows an embodiment in which this is two horizontal lines, X pixels are placed on the third horizontal line, and Y pixels are placed on the ninth horizontal line.
- a distance of 6 pixels is provided between the horizontal line of X pixels and the horizontal line of Y pixels constituting the pair.
- the distance is not limited to the distance of 6 pixels, and may be a distance of 4 pixels as shown in FIG. 15, for example.
- the X pixel line and the Y pixel line are provided on a horizontal line where G pixels are densely present.
- FIG. 16 is an embodiment in which the phase difference detection pixel arrangement example described in FIG. 4 is applied to the color filter array in FIG. While the phase difference detection pixels are continuously arranged by three pixels in the horizontal direction, the phase difference detection pixel position is shifted by three pixels in the vertical direction. The three phase difference detection pixels are provided on a horizontal line where the G pixels are dense.
- the horizontal line where the G pixels are sparse is not a phase difference detection pixel line.
- the second horizontal line, the fifth horizontal line, the eighth horizontal line, and the eleventh horizontal line are horizontal lines in which no phase difference detection pixel exists. For this reason, when thinning-out reading is performed, the captured image signals of the second, fifth, eighth, and eleventh horizontal lines may be read. In the embodiment of FIG. 16, the above-described condition (4) regarding the arrangement of the phase difference detection pixels is also satisfied.
- FIG. 17 shows an embodiment in which the phase difference detection pixel arrangement example of FIG. 9 is applied to the color filter array of FIG. X pixels or Y pixels are spread continuously in an oblique direction. Since any of the phase difference detection pixels X and Y has normal pixels of R pixel, G pixel, and B pixel around them, the accuracy when the captured image signals of the pixels X and Y are obtained by pixel interpolation is improved.
- the interval between the X pixel and the Y pixel constituting the pair is set to 6 pixels, but the pair target pixels may be spread on an oblique line below 3 pixels.
- the phase difference detection pixel arrangement example of FIG. 10 may be applied.
- X pixels and Y pixels are laid out obliquely continuously, since there is a phase difference detection pixel in every horizontal line, when creating a moving image by thinning out pixels, a captured image of the phase difference detection pixel position is used. The signal needs to be interpolated by surrounding pixels.
- FIG. 18 is an embodiment in which the phase difference detection pixel arrangement example of FIG. 5 is applied to the color filter array of FIG.
- any phase difference detection pixel all the surrounding 8 pixels are normal pixels, and 20 of the 24 surrounding pixels are normal pixels, so that the interpolation accuracy of the captured image signal is improved.
- the phase difference detection pixels are provided only in the odd horizontal lines and the even horizontal lines are only normal pixels, it is not necessary to read only the even lines during moving image reading. Note that the other side of the paired pixels may be changed by applying the phase difference detection pixel arrangement example of FIG.
- FIG. 19 shows an embodiment in which the phase difference detection pixel arrangement example of FIG. 7 is applied to the color filter array of FIG.
- all the surrounding 8 pixels are normal pixels
- 21 of the 24 surrounding pixels are normal pixels, so that the interpolation accuracy of the captured image signal is improved.
- the other side of the paired pixels may be changed by applying the phase difference detection pixel arrangement example of FIG.
- FIG. 20 shows, as a basic pattern of phase difference detection pixel arrangement, a pattern in which two color filter arrays (vertical 12 pixels ⁇ horizontal 12 pixels) in FIG. 11A are arranged in the vertical direction, and the upper 12 ⁇ 12 pixels.
- One X pixel is arranged in each vertical line of the group so that no phase difference detection pixel is adjacent in the horizontal direction, and one in each vertical line of the lower 12 ⁇ 12 pixel group in the horizontal direction.
- the Y pixels are arranged so that the phase difference detection pixels are not adjacent to each other.
- the X pixel arrangement position and the Y pixel arrangement position in each pixel group are the same.
- FIG. 21 is a diagram showing another phase difference detection pixel arrangement example in the color filter array of FIG.
- this color filter array there are the second horizontal line, the fifth horizontal line, the eighth horizontal line, and the eleventh horizontal line in which G pixels are sparse, and phase difference detection is performed on G pixels in the horizontal lines in which G pixels are sparse. If the pixel is not used, the interpolation accuracy of the captured image signal by pixel interpolation is improved. For this reason, the example of FIG. 21 is configured to increase the interpolation accuracy of the captured image signal at the expense of the resolution and resolution of the phase difference information. That is, one pixel in a 2 ⁇ 2 pixel G pixel block is used as a phase difference detection pixel, and no phase difference detection pixel is placed on a vertical line where G is sparse.
- phase difference information with high resolution can be obtained, and a captured image signal at a phase difference detection pixel position can be interpolated with high accuracy.
- the phase difference detection pixels are arranged so that the two phase difference detection pixels are not adjacent to each other in the horizontal direction and the vertical direction, the resolution of the acquired phase difference information and the interpolation accuracy of the captured image signal at the phase difference detection pixel position are It becomes a semantic trade-off relationship.
- phase difference detection pixels X are arranged so as not to be evenly spaced apart in the horizontal direction.
- the horizontal direction in FIG. 2 becomes the vertical direction, and it goes without saying that the above-described embodiments can be applied to the image pickup device rotated by 90 ° as it is.
- the color image sensor of the embodiment described above is a color image sensor in which color filters of a predetermined color filter array are arranged on a plurality of pixels composed of photoelectric conversion elements arranged in the horizontal direction and the vertical direction.
- the color filter array includes a first filter corresponding to the first color that contributes most to obtain a luminance signal, and a second filter corresponding to two or more second colors other than the first color.
- a first filter corresponding to the first color that contributes most to obtain a luminance signal
- a second filter corresponding to two or more second colors other than the first color are arranged at the center and four corners in the 3 ⁇ 3 pixel group, and the arrangement pattern is repeatedly arranged in the horizontal direction and the vertical direction.
- the first filter is disposed in each of horizontal, vertical, and diagonal lines of the color filter array,
- the ratio of the number of pixels of the first color corresponding to the first filter is arranged larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter,
- a phase difference detection pixel for obtaining phase difference information is obtained for any one of the horizontal direction component and the vertical direction component of the pixel group. It is arranged.
- the color imaging device of the embodiment in the pixel group in the predetermined region, either one of a horizontal line arranged along the horizontal direction and a vertical line arranged along the vertical direction is selected.
- a first phase difference detection pixel and a second phase difference detection pixel that form a pair for detecting a phase difference are arranged on the line pixels for the second line.
- the first and second phase difference detection pixels are provided in a pixel having the first filter.
- the phase difference detection pixel may be any one of the horizontal line pixels and the vertical line pixels that has a relatively large number of pixels on which the first filter is mounted. It is arranged on the line pixel with respect to the pixel.
- all of the pixels on the line pixel with respect to any one of the horizontal line pixels and the vertical line pixels are the phase difference detection pixels, and
- the color filter of the phase difference detection pixel is the same color filter, a transparent filter, or a white filter.
- the color filter array includes an oblique line array in which the first filter is continuously arranged in an oblique direction, and the phase difference detection pixel is an oblique line of the first filter. It is arranged on the pixel corresponding to the arrangement.
- the color image sensor includes the first and second phase difference detection pixels that form a pair to detect a phase difference in one of the pixels corresponding to the two adjacent diagonal line arrays.
- a first phase difference detection pixel is arranged, and a second phase difference detection pixel forming the pair is arranged on the other of the pixels corresponding to the two adjacent diagonal line arrays.
- the phase difference detection pixel is arranged at the position of the first filter, and the arranged phase difference detection pixel is adjacent to the phase difference detection pixel in the horizontal direction.
- the other phase difference detection pixels arranged on the pixel line in any one of the vertical directions are arranged at different positions in the vertical direction and the horizontal direction.
- the second filter corresponding to each color of the second color in the color filter array is one in each of the horizontal and vertical lines of the color filter array. It is arranged as described above.
- the first color is green
- the second color is red and blue
- an array pattern in which two pixels on the same vertical line are red and the remaining two pixels are blue is a first array
- an array pattern in which two pixels on the same horizontal line are red and the remaining two pixels are blue is a second array
- the first array and the second array are alternately arranged in both the horizontal direction and the vertical direction.
- the first color is green
- the second color is red and blue
- an array pattern in which the one two pixels are blue and the other two pixels are red is a second array
- the first array and the second array are alternately arranged in both the horizontal direction and the vertical direction.
- a square lattice 6 ⁇ 6 pixel group including two first arrays and two second arrays is used as a basic array pattern.
- the basic array pattern at least one of the phase difference detection pixels is arranged on a line of each pixel along one of the vertical direction and the horizontal direction.
- the color imaging element of the embodiment includes a first phase difference detection pixel that forms a pair to detect a phase difference on the line of each pixel along one of the vertical direction and the horizontal direction. And a second phase difference detection pixel are arranged.
- a square lattice 6 ⁇ 6 pixel group including two first arrays and two second arrays is used as a basic array pattern.
- the first and second phase difference detection pixels that form a pair to detect the phase difference are arranged on a line of each pixel along the vertical direction in one basic arrangement pattern
- the second phase difference detection pixel is arranged on a line of each pixel along a vertical direction in another basic arrangement pattern adjacent in the vertical direction of the one basic arrangement pattern.
- the second phase difference detection pixel is arranged in another basic arrangement pattern adjacent in the horizontal direction of the basic arrangement pattern in which the first phase difference detection pixel is arranged. It is characterized by being.
- a square lattice 6 ⁇ 6 pixel group including two first arrays and two second arrays is used as a basic array pattern.
- a set of two basic arrangement patterns adjacent in either the vertical direction or the horizontal direction The phase difference detection pixels are arranged at pixel positions where the green first filters are densely arranged in either the vertical direction or the horizontal direction, and either the vertical direction or the horizontal direction
- Pixels other than the phase difference detection pixels are arranged at pixel positions where the green first filters are sparsely arranged in the direction of
- the first phase difference detection pixel and the second phase difference detection pixel forming the pair are arranged across the two sets of adjacent basic arrangement patterns.
- the image pickup apparatus is characterized by mounting any one of the color image pickup devices described above.
- the captured image signal is thinned and read out from pixels on the line in which the phase difference detection pixel does not exist among the vertical pixel line and the horizontal pixel line.
- a decimation readout unit for generating a moving image.
- the imaging apparatus of the embodiment includes an AF processing unit that performs AF processing using the detection signal of the phase difference detection pixel.
- both high-resolution (resolution) phase difference information and high pixel interpolation accuracy of the captured image signal at the phase difference detection pixel position can be obtained.
- the color image pickup device can obtain both high resolution (resolution) phase difference information and high pixel interpolation accuracy of a picked-up image signal of a phase difference detection pixel position, and can be applied to a digital still camera, a digital video camera, or the like. It is useful to apply.
- This application is based on Japanese Patent Application No. 2011-288032 filed on Dec. 28, 2011, the contents of which are incorporated herein by reference.
- Image pickup device 31
- Image pickup element 34
- Image signal processing circuit 40 43
- Horizontal direction line pixel row line
- Vertical line pixel column line
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
3×3画素群の中央および4隅の5画素を緑色のカラーフィルタとし、該5画素以外の4画素のうちの2画素を赤色のカラーフィルタ、残り2画素を青色のカラーフィルタとした配列パターンを、水平方向および垂直方向共に繰り返し配置したカラーフィルタ配列に代表されるカラー撮像素子において、カラー撮像素子の所定の領域内の画素群おいて、水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに位相差検出画素X,Yを設ける。
Description
本発明は、位相差検出画素を持つカラー撮像素子と、このカラー撮像素子を搭載した撮像装置に関する。
CCD型やCMOS型等の撮像素子は、光電変換素子でなる画素を二次元アレイ状に配列形成して構成される。図22(a)は、1画素分の平面図を例示するものであり、矩形の光電変換素子(フォトダイオード:以下、画素という。)1の上に遮光膜1aを積層し、その遮光膜1aに開口1bを設けている。この開口1bは、受光量を多くとれるように、なるべく画素1の受光面を覆わないように広く形成される。
この様な多数の画素1を、二次元アレイ状に半導体基板表面部に配列形成するのであるが、近年では、位相差検出画素を、被写体画像を撮像する画素1の配列中に混在させた撮像素子が提案され、実機に適用される様になっている。
図22(b)は、位相差検出画素の一例の平面図である。位相差検出画素2では、図22(a)の開口1bより狭い遮光膜開口2bが、画素中心に対して右側に偏心する様に設けられている。位相差検出画素3では、遮光膜開口2bと同じ大きさの狭い遮光膜開口3bが、画素中心に対して左側に偏心する様に設けられている。
遮光膜開口2b,3bが左右方向にずれた位相差検出画素2,3のペアを用いることで、左右方向つまり水平方向の入射光位相差情報を取得することができる。そして、この位相差検出画素ペアを、撮像素子内で水平方向に並べれば、位相差情報の水平方向の分布を求めることができ、この分布情報から、例えば被写体までの焦点距離を検出することが可能となる。このため、下記の特許文献1,2では、位相差検出画素2,3を、焦点検出用の画素として用いている。
図23は、特許文献1,2に記載された位相差検出画素の配置例を説明する図である。位相差検出画素以外の画素(通常画素ということにする。)の遮光膜開口の図示は省略している。従来の撮像素子5では、通常画素1が正方格子状に配列形成されており、その中の所定範囲内の1行分の全画素が、位相差検出画素2,3のペアとなっている。
この様に、一行分の全画素を位相差検出画素ペアにすることで、検出する位相差情報の水平方向解像度が高くなるという利点がある。なお、狭い遮光膜開口2b,3bを画素中心に対して偏心させることで位相差検出画素ペアを構成する例について述べた。しかし、通常画素1の隣接2画素に対して楕円形状の1個のマイクロレンズを搭載して瞳分割を行い、位相差検出画素ペアとするものもある。
図23に示す従来技術の様に、1行分の画素の全てを位相差検出画素とすることで、水平方向に解像度の高い位相差情報の分布データを取得することが可能となる。しかし、一方で、不具合も生じる。位相差検出画素は、通常画素1より受光量が少なくかつ位相差を持った構造のため、普通は、位相差検出画素の画素位置の被写体撮像画像信号は、周囲の通常画素の撮像画像信号を補間演算して求める様にしている。つまり、位相差検出画素は、被写体の撮像に関しては、欠陥画素と同じ扱いになっている。
図23に示す撮像素子5では、位相差検出画素2,3が水平方向に隙間無く敷き詰められた一行の画素行になっている。このため、位相差検出画素2,3の画素位置における撮像画像信号は、この画素行の上下の通常画素の撮像画像信号を用いて補間演算することになる。つまり、1行分の信号が全て補間演算により生成されることになるため、この1行分の画質が劣化してしまう。
図23の構成に対し、図24に示す様に、位相差検出画素2,3を垂直方向に並べ、この位相差検出画素ペアを水平方向に並べれば、図23の場合に比較して水平方向解像度を2倍にすることができる。しかし、この構成では、水平方向ラインの2ライン分が位相差検出画素で埋められてしまう。このため、位相差検出画素位置の撮像画像信号を補間演算して求めるとき、この2ライン分の画質が劣化してしまう。
特に、カラー画像を撮像する撮像素子では、カラーフィルタ配列との関係もあり、位相差情報の解像度と、位相差検出画素位置の撮像画像信号を画素補間演算で求めるときの画質との関係も考慮して、何処に位相差検出画素を配置すれば良いかを考える必要がある。
本発明の目的は、解像度の高い位相差情報を検出でき、しかも、位相差検出画素位置の撮像画像信号を周囲画素の撮像画像信号で高品位に画素補間することができるカラーフィルタ配列と位相差検出画素の配置位置との組み合わせを実現するカラー撮像素子及び撮像装置を提供することにある。
本発明のカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなるカラー撮像素子であって、
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分の全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分の全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
本発明の撮像装置は、上記のカラー撮像素子を搭載したことを特徴とする。
本発明によれば、解像度の高い位相差情報を検出でき、しかも、位相差検出画素位置の撮像画像信号を周囲画素の撮像画像信号で高品位に画素補間することが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置の機能ブロック構成図である。撮像装置30には、例えば、CMOS型の撮像素子31が配置される。撮像素子31は、図22に例示したような通常画素と位相差検出画素とが混在する素子である。撮像素子31の前段には撮影レンズ29が配置される。また、撮像装置30には、撮像素子31の出力画像信号を取り込んでバス32に出力する画像入力コントローラ33が設けられる。なお、撮像素子31は、CCD型等の他の形式の撮像素子でも良い。
バス32には、撮像素子31の出力画像信号に対して周知の画像処理を施す画像信号処理回路34と、画像処理後の画像信号をJPEG画像データ等に圧縮する圧縮処理回路35と、撮像装置30背面等に設けられた画像表示装置36に撮像画像やスルー画像(ライブビュー画像)を表示するビデオエンコーダ37と、この撮像装置30を統括制御するCPU40と、撮像素子31からスルー画像として出力される信号を処理して自動露出(AE),自動焦点(AF)及び自動ホワイトバランス(AWB)を検出する回路41と、メインメモリ42と、位相差検出画素位置の撮像画像信号を画素補間で求める処理回路43と、記録メディア44にJPEG画像データを保存するメディアコントローラ45とが接続されている。処理回路43の機能は、画像信号処理回路34の機能の一部である。
撮像素子31は、タイミングジェネレータ47からのタイミング信号によって駆動され、タイミングジェネレータ47は、CPU40からの指示によって動作する。撮影レンズ29のフォーカスレンズ位置もCPU40からの指示によって駆動される。CPU40には、シャッタレリーズボタン48が接続されている。
撮像素子31における位相差検出画素の配置とカラーフィルタ配列との関係を説明する前に、位相差検出画素の配置位置について図2~図10を用いて説明する。カラーフィルタ配列との関係については、図11以降で説明する。
図2~図10では、図を見やすくするために、図22(b)で説明した位相差検出画素ペアの一方の画素を「X」で標記し、他方を「Y」で標記し、通常画素は矩形枠だけで示すことにする。また、以下の説明では、位相差検出画素Xを「X画素」、位相差検出画素Yを「Y画素」ともいうことにする。
図2に示す例では、同一水平ライン(同一画素行)51に位相差検出画素Xを隙間無く敷き詰め、その3水平ライン下の同一画素行54に位相差検出画素Yを隙間無く敷き詰めている。隙間無くとは、水平方向に隣接する位相差検出画素間に1画素分の隙間も無い、即ち、通常画素が配置されないという意味である。
また、「カラー撮像素子の所定の領域内の画素群おいて、水平方向成分全てに位相差検出画素が配置されている」とは、カラー撮像素子を垂直方向から見た場合に、位相差画素が所定の領域において水平方向の全ての画素位置に配列されている状態を示す。つまり、各垂直ライン上にある位相差検出画素を垂直方向に移動させ、1つの水平行(例えば3行目)に配置し直した結果、水平方向に1画素分の隙間もなく、全て位相差検出画素が配置される状態をいう。例えば、後述の図5において、X画素は、垂直方向の配置位置が異なることを無視すれば、水平方向の全位置に設けられている。ここで所定の領域内の画素群とは、撮像素子に配置された全画素群のうち一部の領域内の画素群を含むものであるが、全領域の画素群であっても良い。
同様に、「カラー撮像素子の所定の領域内の画素群おいて、垂直方向成分全てに位相差画素が配置されている」とは、水平方向に見た場合に、位相差検出画素が所定の領域において垂直方向に全て配列されている状態を示す。つまり、各水平ライン上にある位相差検出画素を水平方向に移動させ、1つの垂直列(例えば3列目)に配置し直した結果、垂直方向に1画素分の隙間もなく、全て位相差検出画素が配置される状態をいう。例えば、後述の図9の左下の6×6画素群において、Y画素を第1列目に移動させると、Y画素は1画素分の隙間無く、列方向に並ぶことになる。即ち、Y画素は、水平方向の配置位置が異なることを無視すれば、垂直方向の全位置に設けられる。同様に、所定の領域内の画素群とは、撮像素子に配置された全画素群のうち一部の領域内の画素群を含むものであるが、全領域の画素群であっても良い。
ペアを組むXYの組み合わせは、同一垂直ライン(例えば同一画素列61)上のX画素とY画素である。この程度又はこの数倍程度、垂直方向にペア画素XYがずれていてもよい。このようにしても、例えば、近年の1000万画素以上を搭載した撮像素子では、同一被写体の同一水平線上の画像がペア画素XYに入射していると考えることができるので、位相差情報を取得するのに問題はない。
図2の例を図24の例と比較すると、図2では、X画素を設けた水平ライン51とY画素を設けた水平ライン54との間に通常画素のライン52,53が存在する。このため、X画素位置の撮像画像信号を画素補間で求める場合、ライン52,53の通常画素の撮像画像信号も使用して算出できるため、画素補間精度が向上し、画像品質が高くなる。
ここで、垂直方向に隣接させた位相差検出画素ペアXYを、ペア単位に水平方向に並べることで得られる位相差情報の分布データについて説明する。図3は、図1のAF検出回路41が検出した位相差情報の分布データを例示する図である。図2の水平行51,54に配列された位相差検出画素ペアXYは、3画素行離間しているが、撮像素子上の位相差検出画素ペアXYの横並びのラインには、被写体のうち同一水平線上の位置からの出射した光が入射していると考えることができる。
位相差検出画素Xは、図22(b)から分かる通り、画素中心から右側に遮光膜開口2bが偏心している。これは、画素側から見ると、遮光膜開口2bは、左目側の開口となっている。位相差検出画素Yの遮光膜開口3bは、逆に、右目側の開口となっている。
つまり、横並びの夫々の位相差検出画素Xが検出した検出信号値を結ぶX検出信号線と、横並びの夫々の位相差検出画素Yが検出した検出信号値を結ぶY検出信号線とは、左右の目で同一被写体を見たときの左右の視差量つまり位相差量だけずれる。このズレ量(位相差量)を求めれば、被写体までの距離を算出することができる。
図1のCPU40は、AF検出回路41から図3のデータを受け取ると、撮影レンズ29のフォーカスレンズ位置を被写体に合焦させる位置に移動させる。この移動により、図3の2つのX検出信号線とY検出信号線との間のズレは小さくなり、合焦した位置で、両方の信号線は重なることになる。このようにしてAF処理が実行される。
図3に示すX検出信号線上のプロット点は、各X画素の検出信号量である。もし、図23に示す様に、ペア画素XYを水平方向に隣接させると、図3に比べてX検出信号線のプロット点の密度は半分となる。このため、図23より図3の方が、得られる位相差情報の解像度が高くなる。
この様に解像度の高い位相差情報を得る場合、図2の例では、ペアを構成するX画素とY画素との間を3画素分離間させた。しかし、更に6画素分に離間させても、高精細画像を撮影できる1000万画素クラスの撮像素子では、同一被写体位置から出射した光はペア画素に入ると考えることができる。
そこで、図4に示す位相差検出画素ペアXYの配列が考えられる。図2の例では、X画素を同一水平ライン上に敷き詰めたが、図4の例では、水平方向3画素ずつ、X画素の垂直方向の位置をずらして、これに合わせてペア対象のY画素位置もずらしている。
この図4の例でも、垂直方向の位置ズレを度外視すれば、ペアを構成するX画素及びY画素がどの垂直ライン(画素列)にも存在することになる。この結果、図2の構成例と同じ解像度の位相差情報の分布データを得ることができる。
しかも、この図4の構成例の場合、例えばX画素71と同一垂直位置(同一水平ライン)に通常画素72が存在することになる。この結果、X画素71の撮像画像信号を画素補間で算出するとき、この通常画素72の撮像画像信号も用いて計算ができ、撮像画像の品質を高めることが可能となる。
図5は、図4の配置例を更にバラバラにして、どの位相差検出画素も、周囲8画素位置に他の位相差検出画素が来ない様に、かつ、ペアを構成するX画素とY画素との間に6画素分の距離を設けている。垂直方向の位置ズレを度外視したとき、どの垂直ライン(画素列)にも位相差検出画素ペアXYが存在するため、位相差情報の水平方向解像度を高く維持できる。更に、この図5の例は、縦6画素×横12画素の画素群を単位として、位相差検出画素の配列位置を同じとしている。
図5の配置例によれば、隣接箇所に位相差検出画素が無く、通常画素だけとしている。つまり、位相差検出画素は、この位相差検出画素に隣接する水平方向、垂直方向のいずれかの方向の画素のライン上に配置された他の位相差検出画素とは、垂直方向及び水平方向に異なる位置に配置されている。そのため、この位相差検出画素の撮像画像信号を画素補間で求めるときの補正精度が向上し、更に高品質な撮像画像を得ることが可能となる。
図6の配置例では、位相差検出画素の配置位置は図5の例と同じである。しかし、この12×12画素群を4つの6×6画素群に分け、右上の6×6画素群の位相差検出画素(図5ではX画素)を図6ではY画素とし、右下の6×6画素群の位相差検出画素(図5ではY画素)を図6ではX画素としている。
この様に、垂直方向だけでなく、水平方向でもペア画素XYが組めるようにしておけば、水平方向の位相差情報の分布データを得るばかりでなく、垂直方向の位相差情報の分布データを得ることが可能となる。
図7は、別の位相差検出画素の配置例を示す図である。図5の配置列と同様に、6×6画素群を単位として、この画素群中に、6個の位相差検出画素を設けている。しかし、図5とは異なり、位相差検出画素を、どの水平ライン(画素行)にも、かつ、どの垂直ライン(画素列)にも必ず1個設けている。また、垂直方向にペアを構成するX画素とY画素との距離は6画素分としている。
図7の配置例は、図5の配置例と同じく、縦6画素×横12画素の画素群にX画素を設け、この下部位置に当たる縦6画素×横12画素の画素群にY画素を設ける構成を繰り返している。これに対し、図8の配置例では、図6と同様に、12×12画素群を4個の6×6画素群に分け、図7の配置例に対し、右上の画素群中にY画素を配置し、右下の画素群中にX画素を配置している。
この図8の配置例によれば、垂直方向に並ぶX画素とY画素をペア画素としたとき、各垂直ラインにペア画素が存在するため、水平方向に高解像度の位相差情報を得ることが可能となる。また、水平方向に並ぶX画素とY画素をペア画素としたとき、各水平ラインにペア画素が存在するため、垂直方向に高解像度の位相差情報を得ることが可能となる。
図9は、更に別の配置例を示す図である。この例では、正方格子状に配列される画素のうち、正方格子の左上角と右下角を結ぶ対角線に平行な方向(以下、斜め方向という。)に、X画素を連続して敷き詰め、このX画素に対して水平方向又は垂直方向に6画素分離れた斜め方向にY画素を敷き詰めて構成される。
同一垂直ライン上のX画素とY画素とをペア画素としても良く、同一水平ライン上のX画素とY画素をペア画素としても良い。この例による位相差情報の分布データは、水平方向と垂直方向の両方を得ることができ、その解像度は、水平方向,垂直方向共に、図2の位相差画素配列の場合と同じく高解像度となる。
図10は、図9の変形例である。斜め方向に隣接する位相差検出画素をX画素,Y画素,X画素,Y画素,…と交互に設けている。そして、斜め方向に隣接する2本の位相差検出画素ラインの同一水平位置(又は同一垂直位置)の2つの位相差検出画素の一方をX画素,他方をY画素とすれば、図9の場合と同様に、水平方向,垂直方向の位相差情報を高解像度で得ることが可能となる。
図10の配置例で、斜め方向に隣接するX画素,Y画素の組みをペア画素とすることも可能である。この場合には、水平方向,垂直方向の位相差情報を図23の配置で得られる解像度(図9の場合の半分の解像度)で得ることが可能となる。
この図9,図10に例示する斜め方向の位相差検出画素の配置でも、位相差検出画素の同一垂直位置,同一水平位置に多くの通常画素が存在するため、位相差検出画素の撮像画像信号を画素補間により高精度に求めることが可能となる。
図11(a)は、上述した図2~図10で説明した位相差検出画素の配置例を適用するのに好適なカラーフィルタ配列を示す図である。空白の矩形枠は、G画素(G色のカラーフィルタを搭載した画素をいうものとする。R画素,B画素も同様の意味で使う。)であるが、「G」の標記を省略し、図面を見易くしている。
このカラーフィルタ配列は、図11(b)の第1配列と図11(c)の第2配列とを、水平方向,垂直方向共に交互に繰り返し配列することで形成される。
図11(b)の第1配列では、3×3画素群の中央及び4隅の5画素をGフィルタとし、この5画素以外の4画素のうちの同一画素列の2画素をRフィルタ、残り2画素をBフィルタとすることで構成される。また、図11(c)に示す様に、上記4画素のうち同一画素行の2画素をRフィルタ、残り2画素をBフィルタとした配列パターンが第2配列となる。
図11(b)(c)に示す第1配列,第2配列を水平方向,垂直方向に交互に並べると、G画素が4画素ずつ塊になった箇所が離散的,周期的位置に形成される。
図11(a)のカラーフィルタ配列の変形例として、図11(a)の第1配列だけを水平方向,垂直方向に繰り返すカラーフィルタ配列が考えられる。また、図11(b)の第2配列だけを水平方向,垂直方向に繰り返すカラーフィルタ配列も考えられる。これらの場合、Gフィルタが存在する箇所は変わらないため、以下に述べる実施形態を同じように適用可能である。
図12(a)は、図11(a)のカラーフィルタ配列の更に別の変形例を示す図である。この変形例の配列は、図12(b)の第1配列と、図12(c)の第2配列を水平方向,垂直方向に交互に配置することで形成される。
図12(b)の第1配列は、3×3画素群の中央及び4隅の5画素をGフィルタとし、この5画素以外の4画素を斜めに隣接する2画素ずつに分け、一方の2画素をRフィルタにすると共に他方の2画素をBフィルタとすることで構成される。上記一方の2画素をBフィルタにすると共に上記他方の2画素をRフィルタとすることで、12(c)の第2配列が構成される。
この図12(a)のカラーフィルタ配列の変形例として、上記と同様に、図12(b)の第1配列だけを、或いは図12(c)の第2配列だけを、水平方向,垂直方向に繰り返し配列したカラーフィルタ配列が考えられる。
以下、図11(a)及びその変形例、図12(a)及びその変形例の計6パターンのカラーフィルタ配列に、図2~図10で説明した位相差検出画素配列を適用する。しかし、本発明は、これら6パターンのカラーフィルタ配列に限るものではなく、次の条件を満たすカラーフィルタであれば良い。即ち、
(1)単板式カラー撮像素子の水平方向及び垂直方向に正方格子配列された画素上に配列される所定のカラーフィルタ配列である点。
(2)輝度信号を得るために最も寄与する第1の色(例えば緑色)に対応する第1のフィルタと、この第1の色以外の2色以上の第2の色(例えば青色と赤色)に対応する第2のフィルタとが配列された所定の基本配列パターンを含む点。
(3)この基本配列パターンが水平方向及び垂直方向に繰り返して配置される点。
(4)第1のフィルタは、カラーフィルタ配列の水平,垂直,斜め(対角方向)方向の各ライン内に配置される点。
(5)第2のフィルタは、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置される点。
(6)第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい点。
以上の条件を満たせば良い。
(1)単板式カラー撮像素子の水平方向及び垂直方向に正方格子配列された画素上に配列される所定のカラーフィルタ配列である点。
(2)輝度信号を得るために最も寄与する第1の色(例えば緑色)に対応する第1のフィルタと、この第1の色以外の2色以上の第2の色(例えば青色と赤色)に対応する第2のフィルタとが配列された所定の基本配列パターンを含む点。
(3)この基本配列パターンが水平方向及び垂直方向に繰り返して配置される点。
(4)第1のフィルタは、カラーフィルタ配列の水平,垂直,斜め(対角方向)方向の各ライン内に配置される点。
(5)第2のフィルタは、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置される点。
(6)第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい点。
以上の条件を満たせば良い。
これら条件を満たすカラー撮像素子によれば、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタを、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置するようにしたため、高周波領域での同時化(補間)処理(デモザイク処理ともいう)の再現精度を向上させることができ、また、上記第1の色以外の2色以上の第2の色に対応する第2のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、上記カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化(補間)処理(デモザイク処理ともいう)を行う際に、繰り返しパターにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
更に、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るために最も寄与する第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよくなる。
好適には、上記のカラーフィルタ配列は、第1のフィルタが水平,垂直及び斜め方向の各ライン内で2画素以上連続する部分を含むのが良い。これにより、最小画素間隔で、水平、垂直、及び斜め方向における輝度の変化の小さい方向(相関の高い方向)の判別が可能となる。
更に好適には、上記のカラーフィルタ配列は、第1のフィルタからなる2×2画素に対応する正方配列を含むのが良い。この2×2画素の画素値を使用して、水平、垂直、及び斜め方向のうちの相関の高い方向を判別することが可能となる。
更に好適には、所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称であるのが良い。これにより、後段に処理回路の回路規模を小さくすることが可能になる。
更に好適には、上記のカラーフィルタ配列は、第1のフィルタが3×3画素群において中心と4隅に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されているのが良い。3×3画素群の4隅に第1のフィルタが配置されているため、この3×3画素群が水平方向及び垂直方向に繰り返し配置されると、カラーフィルタ配列は、上記第1のフィルタからなる2×2画素に対応する正方配列を含むようになる。この2×2画素の画素値を使用して、水平、垂直、及び斜め方向のうちの相関の高い方向を判別することができ、また、第1のフィルタがカラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるようになる。
更に好適には、第2のフィルタが、上記カラーフィルタ配列の水平,垂直及び斜め方向の各ライン内に配置されるのが良い。これにより、斜め方向の色再現性をより向上させることができる。
以上の条件を満たすカラーフィルタ配列の好適な実施形態とし、以下、図11(a)のカラーフィルタ配列を用いて説明する。図11(a)のカラーフィルタ配列は、縦12画素×横12画素の画素群のカラーフィルタ配列を図示しているが、縦6画素×横6画素の画素群のカラーフィルタ配列(基本パターン配列)を水平方向,垂直方向に繰り返す構造になっている。これは他の変形例でも同様である。このため、6×6画素群内での位相差検出画素の配置も基本パターン化し、この基本パターンの繰り返し配列でカラー撮像素子が形成できるようにする。
以下の図13以降では、位相差検出画素を「X」「Y」で標記する。位相差検出画素X,Yを配置する場合、次の様な条件を満たすのが良い。尤も、全ての要件を満たすのは困難なため、なるべくこの条件を満たす位置に位相差検出画素を設けることにする。
位相差検出画素の配置に関する条件:
(1)位相差情報の解像度(分解能)を高めるために、なるべく水平方向に間を空けずに密に位相差検出画素を配置したい。
(2)位相差検出画素の撮像画像信号を高精度に画素補間により算出できる様にするため、位相差検出画素の周囲に同色の通常画素が多くある場所に配置したい。
(3)撮像素子では、間引き読み出しによって動画像を撮影することがあるため、位相差検出画素ラインが読み出し画素ラインに重ならない位置に設けたい。
(4)混色の影響を抑えるため、位相差検出画素にR画素を隣接させたくない。
(1)位相差情報の解像度(分解能)を高めるために、なるべく水平方向に間を空けずに密に位相差検出画素を配置したい。
(2)位相差検出画素の撮像画像信号を高精度に画素補間により算出できる様にするため、位相差検出画素の周囲に同色の通常画素が多くある場所に配置したい。
(3)撮像素子では、間引き読み出しによって動画像を撮影することがあるため、位相差検出画素ラインが読み出し画素ラインに重ならない位置に設けたい。
(4)混色の影響を抑えるため、位相差検出画素にR画素を隣接させたくない。
図13は、カラーフィルタ配列中に、図2で説明した位相差検出画素の配置例を適用した図である。位相差検出画素位置が分かり易くなるように、X画素,Y画素にはハッチングを付してある。
図11(a)のカラーフィルタ配列を見れば分かるように、G画素が疎となるライン(第2,第5,第8,第11水平ライン)と、G画素が密となるラインが存在する。そこで、本実施形態では、図13に示す様に、G画素が密となる第3(及び第9)水平ラインの全画素をX画素とし、これとペア画素を構成するG画素が密となる第6(第12)水平ラインの全画素をY画素としている。
元々、カラー撮像素子におけるG画素の比率は、R画素,B画素の比率より高い。このため、R画素,B画素より多くの数のG画素が位相差検出画素となって被写体画像撮像用でなくなっても、カラーの撮像画像の品質を低下させることはない。
図13の実施形態で、ペアを構成するX画素とY画素との間に3画素分の距離を空けたのは、X画素,Y画素の撮像画像信号の補間精度を高めるためである。この図13の構成では、各X画素,各Y画素の夫々には、同一色のカラーフィルタ、例えばG色のカラーフィルタを搭載したり、或いはカラーフィルタ無し、又は透明フィルタや白色フィルタを搭載したりする。ここで、透明フィルタ及び白色フィルタは、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであり、透明フィルタは比較的高い光透過率(例えば70%以上の光透過率)を有し、白色フィルタは透明フィルタよりも低い光透過率を有する。
この実施形態の様に、水平ラインを位相差検出画素ラインにすると、例えば、高精細静止画像を撮像し、かつ分解能の高い位相差情報が必要なときに位相差検出画素ラインの検出信号を読み出せば良くなる。そして、動画を撮影する時には、位相差検出画素ラインの信号を読み出さずに、間引き読み出しにより、位相差検出画素以外の通常のR画素,G画素,B画素の撮像画像信号を読み出せば済むことになる。
カラー撮像素子から画素間引き動作によって動画像データを読み出す場合、1/2画素間引き,1/3画素間引き,偶数ライン間引き,奇数ライン間引き等の種々の画素間引き読み出し方法がある。しかし、図1のCPU40が、そのカラー撮像素子31のどこに位相差検出画素ラインが設けられているかを予め知っていれば、それに合わせて、位相差検出画素ラインを飛ばして撮像画像信号を読み出すようにタイミングジェネレータ47に指示を出せば済む。
図14は、図13の変形例の説明図である。図13の例では、縦12画素のうち4水平ラインを位相差検出画素ラインとした。これを2水平ラインとし、第3水平ラインにX画素を、第9水平ラインにY画素を置いた実施形態が図14である。
図14の例では、ペアを構成するX画素の水平ラインとY画素の水平ラインとの間に6画素分の距離を設けている。しかし、この6画素分の距離に限るわけではなく、例えば図15に示す様に、4画素分の距離とすることでも良い。最も、X画素ライン,Y画素ラインは、G画素が密に存在する水平ラインに設けるのが良い。
図16は、図11(a)のカラーフィルタ配列に、図4で説明した位相差検出画素配置例を適用した実施形態である。水平方向に3画素ずつ位相差検出画素を連続させる一方、位相差検出画素位置を3画素ずつ垂直方向にずらしている。各3画素ずつの位相差検出画素は、G画素が密となる水平ラインに設けている。
G画素が疎となる水平ラインのG画素は、これを位相差検出画素にしてしまうと、このG画素位置の撮像画像信号の補間精度が高くなりにくい。このため、G画素が疎となる水平ラインは位相差検出画素ラインにしないのが好ましい。
この図16の例では、第2水平ライン,第5水平ライン,第8水平ライン,第11水平ラインが、位相差検出画素が存在しない水平ラインとなる。このため、間引き読み出しを行う場合には、この第2,第5,第8,第11水平ラインの撮像画像信号を読み出せば良い。なお、図16の実施形態では、前述の位相差検出画素の配置に関する条件(4)も満たす形態となっている。
図17は、図11(a)のカラーフィルタ配列に、図9の位相差検出画素配置例を適用した実施形態である。斜め方向に連続してX画素又はY画素を敷き詰めている。いずれの位相差検出画素X,Yも、周囲にR画素,G画素,B画素の通常画素が存在するため、画素X,Yの撮像画像信号を画素補間して求めるときの精度が向上する。
なお、図17では、ペアを構成するX画素とY画素との間隔を6画素分としているが、3画素分下の斜めラインにペア対象画素を敷き詰めても良い。また、図10の位相差検出画素配置例を適用しても良い。斜めに連続してX画素,Y画素を敷き詰める実施形態は、どの水平ラインにも位相差検出画素が存在するため、画素間引き読み出しして動画像を作るときは、位相差検出画素位置の撮像画像信号は周囲画素で画素補間する必要がある。
図18は、図11(a)のカラーフィルタ配列に、図5の位相差検出画素配置例を適用した実施形態である。どの位相差検出画素も、周囲8画素が全て通常画素となり、周囲24画素中の20画素が通常画素となるため、撮像画像信号の補間精度が向上する。また、奇数の水平ラインにだけ位相差検出画素が設けられ、偶数の水平ラインは通常画素だけとなるため、動画読出時には偶数ラインだけ読み出せず良くなる。なお、図6の位相差検出画素配置例を適用してペア画素の相手側を変えても良い。
図19は、図11(a)のカラーフィルタ配列に、図7の位相差検出画素配置例を適用した実施形態である。この実施形態では、どの位相差検出画素も、周囲8画素が全て通常画素となり、周囲24画素中の21画素が通常画素となるため、撮像画像信号の補間精度が向上する。なお、図8の位相差検出画素配置例を適用してペア画素の相手側を変えても良い。
図20は、図11(a)のカラーフィルタ配列(縦12画素×横12画素)を垂直方向に2つ並べたパターンを、位相差検出画素配置の基本パターンとしており、上側の12×12画素群の各垂直方向ラインに1つずつ、水平方向に位相差検出画素が隣接しないようにX画素を配置し、下側の12×12画素群の各垂直方向ラインに1つずつ、水平方向に位相差検出画素が隣接しないようにY画素を配置している。各画素群中のX画素配置位置とY画素配置位置は同じにしている。
図21は、図11(a)のカラーフィルタ配列において、別の位相差検出画素配置例を示す図である。このカラーフィルタ配列では、G画素が疎となる第2水平ライン,第5水平ライン,第8水平ライン,第11水平ラインがあり、G画素が疎となる水平ライン中のG画素を位相差検出画素にしない方が、画素補間による撮像画像信号の補間精度が良くなる。このため、図21の例は、位相差情報の解像度,分解能は少し犠牲にして、撮像画像信号の補間精度を高める構成となっている。即ち、2×2画素のG画素塊の中の1画素を位相差検出画素とし、Gが疎となる垂直ラインには位相差検出画素を置かない配置としている。
以上述べた各実施形態によれば、解像度の高い位相差情報を得ることができると共に、位相差検出画素位置の撮像画像信号を高精度に補間可能となる。水平方向,垂直方向に2つの位相差検出画素が隣接しないように位相差検出画素を配置する場合、取得する位相差情報の分解能と、位相差検出画素位置の撮像画像信号の補間精度は、ある意味トレードオフの関係になる。
しかし、上述した図11(a),図11(b)の様な、上記のカラーフィルタ配列の条件を満たす配列であれば、位相差情報の高い分解能と撮像画像信号の高い補間精度の両方を両立させることができる。
なお、上述した各実施形態では、例えば図2の様に水平方向に密に1画素も間隔を置かない様に位相差検出画素Xを配置する例について述べているが、この撮像素子を90°回転させれば、図2の水平方向は垂直方向となり、90°回転させた撮像素子にも上述した各実施形態をそのまま適用可能であることはいうまでもない。
以上述べた実施形態のカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなるカラー撮像素子であって、
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
また、実施形態のカラー撮像素子は、上記所定の領域内の画素群において、水平方向に沿って配列されている水平ライン、垂直方向に沿って配列されている垂直ラインのうち、いずれかの一方のラインに対するライン画素上に、位相差を検出するためにペアを組む第1の位相差検出画素及び第2の位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1,第2の位相差検出画素は、上記第1のフィルタを持つ画素に設けられることを特徴とする。
また、実施形態のカラー撮像素子は、上記位相差検出画素が、上記水平ライン画素、上記垂直ライン画素のうち、上記第1のフィルタを搭載する画素の数が相対的に多いいずれか一方のライン画素に対するライン画素上に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記水平ライン画素、上記垂直ライン画素のうち、いずれか一方のライン画素に対するライン画素上の画素全てを上記位相差検出画素にすると共に、そのライン上の上記位相差検出画素のカラーフィルタを同一色フィルタ、透明フィルタ、又は白色フィルタとすることを特徴とする。
また、実施形態のカラー撮像素子は、上記カラーフィルタ配列が、上記第1のフィルタが斜め方向に連続的に配置される斜めライン配列を含み、上記位相差検出画素は第1のフィルタの斜めライン配列に対応する画素上に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、隣接する2本の上記斜めライン配列に対応する画素の一方に、位相差を検出するためにペアを組む第1,第2の上記位相差検出画素のうち第1の位相差検出画素が配置され、上記隣接する2本の上記斜めライン配列に対応する画素の他方に、上記ペアを組む第2の位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記位相差検出画素は、上記第1のフィルタの位置に配置され、かつ、その配置された位相差検出画素は、その位相差検出画素に隣接する水平方向、垂直方向のいずれかの方向の画素のライン上に配置された他の位相差検出画素とは、垂直方向及び水平方向に異なる位置に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記カラーフィルタ配列において上記第2の色の各色に対応する上記第2のフィルタは、上記カラーフィルタ配列の水平方向、及び垂直方向の各ライン内に1つ以上配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1の色は緑色であり、上記第2の色は赤色及び青色であり、
上記3×3画素群の中央及び4隅の画素を除く他の4画素のうち、同一垂直ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第1配列、上記4画素のうち、同一水平ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
上記3×3画素群の中央及び4隅の画素を除く他の4画素のうち、同一垂直ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第1配列、上記4画素のうち、同一水平ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
また、実施形態のカラー撮像素子は、上記第1の色は緑色であり、上記第2の色は赤色及び青色であり、
上記3×3画素群の中央及び4隅の画素を除く他の4画素を、斜めに隣接する2画素ずつに分け、一方の2画素を赤色にすると共に他方の2画素を青色とした配列パターンを第1配列、上記一方の2画素を青色にすると共に上記他方の2画素を赤色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
上記3×3画素群の中央及び4隅の画素を除く他の4画素を、斜めに隣接する2画素ずつに分け、一方の2画素を赤色にすると共に他方の2画素を青色とした配列パターンを第1配列、上記一方の2画素を青色にすると共に上記他方の2画素を赤色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
また、実施形態のカラー撮像素子は、上記第1配列を2つ、上記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
その基本配列パターン内で、垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に少なくとも1つの上記位相差検出画素が配置されることを特徴とする。
その基本配列パターン内で、垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に少なくとも1つの上記位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に、位相差を検出するためにペアを組む第1の位相差検出画素と第2の位相差検出画素とが配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1配列を2つ、上記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
位相差を検出するためにペアを組む第1,第2の位相差検出画素のうち、
上記第1の位相差検出画素が、1つの上記基本配列パターン内で、垂直方向に沿った各画素のライン上に配置され、
上記第2の位相差検出画素が、上記1つの基本配列パターンの垂直方向に隣接する他の基本配列パターン内における垂直方向に沿った各画素のライン上に配置されることを特徴とする。
位相差を検出するためにペアを組む第1,第2の位相差検出画素のうち、
上記第1の位相差検出画素が、1つの上記基本配列パターン内で、垂直方向に沿った各画素のライン上に配置され、
上記第2の位相差検出画素が、上記1つの基本配列パターンの垂直方向に隣接する他の基本配列パターン内における垂直方向に沿った各画素のライン上に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1の位相差検出画素が配置される上記基本配列パターンの水平方向に隣接する他の基本配列パターン内に、上記第2の位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1配列を2つ、上記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
垂直方向と水平方向とのいずれかの方向に隣接する2つの上記基本配列パターンを1組とし、
垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが密に配列されている画素位置には上記位相差検出画素が配置され、かつ、垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが疎に配置されている画素位置には上記位相差検出画素以外の画素が配置され、
上記ペアを組む第1の位相差検出画素及び第2の位相差検出画素が、上記1組の隣接する2つの上記基本配列パターンに跨って配置されていることを特徴とする。
垂直方向と水平方向とのいずれかの方向に隣接する2つの上記基本配列パターンを1組とし、
垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが密に配列されている画素位置には上記位相差検出画素が配置され、かつ、垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが疎に配置されている画素位置には上記位相差検出画素以外の画素が配置され、
上記ペアを組む第1の位相差検出画素及び第2の位相差検出画素が、上記1組の隣接する2つの上記基本配列パターンに跨って配置されていることを特徴とする。
また、実施形態の撮像装置は、上記のいずれかに記載のカラー撮像素子を搭載したことを特徴とする。
また、実施形態の撮像装置であって、上記垂直方向の画素のラインと、上記水平方向の画素のラインのうち、上記位相差検出画素が存在しないライン上の画素から撮像画像信号を間引き読み出しして動画像を生成する間引き読み出し部を備えることを特徴とする。
また、実施形態の撮像装置は、上記位相差検出画素の検出信号を用いてAF処理を行うAF処理部を備えることを特徴とする。
以上述べた実施形態によれば、高い解像度(分解能)の位相差情報と位相差検出画素位置の撮像画像信号の高い画素補間精度を両方共に得ることができる。
本発明に係るカラー撮像素子は、高い解像度(分解能)の位相差情報と位相差検出画素位置の撮像画像信号の高い画素補間精度を両方共に得ることができ、デジタルスチルカメラやデジタルビデオカメラ等に適用すると有用である。
本出願は、2011年12月28日出願の日本特許出願番号2011-288032に基づくものであり、その内容はここに参照として取り込まれる。
本出願は、2011年12月28日出願の日本特許出願番号2011-288032に基づくものであり、その内容はここに参照として取り込まれる。
30 撮像装置
31 撮像素子
34 画像信号処理回路
40 CPU
43 画素補間処理回路
51~54 水平方向ライン(画素行ライン)
61 垂直方向ライン(画素列ライン)
31 撮像素子
34 画像信号処理回路
40 CPU
43 画素補間処理回路
51~54 水平方向ライン(画素行ライン)
61 垂直方向ライン(画素列ライン)
Claims (19)
- 水平方向および垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなるカラー撮像素子であって、
前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、前記第1のフィルタが前記3×3画素群において中心と4隅に配置され、該配列パターンが水平方向および垂直方向に繰り返して配置され、
前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直、および斜め方向の各ライン内に配置され、
前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
前記カラー撮像素子の所定の領域内の画素群において、該画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに、位相差情報を取得するための位相差検出画素が配置されているカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記所定の領域内の画素群において、水平方向に沿って配列されている水平ライン、垂直方向に沿って配列されている垂直ラインのうち、いずれかの一方のラインに対するライン画素上に、位相差を検出するためにペアを組む第1の位相差検出画素および第2の位相差検出画素が配置されるカラー撮像素子。 - 請求項2に記載のカラー撮像素子であって、
前記第1,第2の位相差検出画素は、前記第1のフィルタを持つ画素に設けられるカラー撮像素子。 - 請求項2又は請求項3に記載のカラー撮像素子であって、
前記位相差検出画素は、前記水平ライン画素、前記垂直ライン画素のうち、前記第1のフィルタを搭載する画素の数が相対的に多いいずれか一方のライン画素に対するライン画素上に配置されるカラー撮像素子。 - 請求項1又は請求項2に記載のカラー撮像素子であって、
前記水平ライン画素、前記垂直ライン画素のうち、いずれか一方のライン画素に対するライン画素上の画素全てを前記位相差検出画素にすると共に、該ライン上の前記位相差検出画素のカラーフィルタを同一色フィルタ、透明フィルタ、又は白色フィルタとするカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記カラーフィルタ配列は、前記第1のフィルタが斜め方向に連続的に配置される斜めライン配列を含み、前記位相差検出画素は第1のフィルタの斜めライン配列に対応する画素上に配置されるカラー撮像素子。 - 請求項6に記載のカラー撮像素子であって、
隣接する2本の前記斜めライン配列に対応する画素の一方に、位相差を検出するためにペアを組む第1,第2の前記位相差検出画素のうち第1の位相差検出画素が配置され、前記隣接する2本の前記斜めライン配列に対応する画素の他方に、前記ペアを組む第2の位相差検出画素が配置されるカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記位相差検出画素は、前記第1のフィルタの位置に配置され、かつ、該配置された位相差検出画素は、当該位相差検出画素に隣接する水平方向、垂直方向のいずれかの方向の画素のライン上に配置された他の位相差検出画素とは、垂直方向および水平方向に異なる位置に配置されるカラー撮像素子。 - 請求項1乃至請求項3のいずれか1項に記載のカラー撮像素子であって、
前記カラーフィルタ配列において前記第2の色の各色に対応する前記第2のフィルタは、前記カラーフィルタ配列の水平方向、および垂直方向の各ライン内に1つ以上配置されるカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記第1の色は緑色であり、前記第2の色は赤色および青色であり、
前記3×3画素群の中央および4隅の画素を除く他の4画素のうち、同一垂直ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第1配列、前記4画素のうち、同一水平ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第2配列とし、
水平方向および垂直方向共に前記第1配列と前記第2配列を交互に配置したカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記第1の色は緑色であり、前記第2の色は赤色および青色であり、
前記3×3画素群の中央および4隅の画素を除く他の4画素を、斜めに隣接する2画素ずつに分け、一方の2画素を赤色にすると共に他方の2画素を青色とした配列パターンを第1配列、前記一方の2画素を青色にすると共に前記他方の2画素を赤色とした配列パターンを第2配列とし、
水平方向および垂直方向共に前記第1配列と前記第2配列を交互に配置したカラー撮像素子。 - 請求項10又は請求項11に記載のカラー撮像素子であって、
前記第1配列を2つ、前記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
該基本配列パターン内で、垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に少なくとも1つの前記位相差検出画素が配置されるカラー撮像素子。 - 請求項12に記載のカラー撮像素子であって、
前記垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に、位相差を検出するためにペアを組む第1の位相差検出画素と第2の位相差検出画素とが配置されるカラー撮像素子。 - 請求項10又は請求項11に記載のカラー撮像素子であって、
前記第1配列を2つ、前記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
位相差を検出するためにペアを組む第1,第2の位相差検出画素のうち、
前記第1の位相差検出画素が、1つの前記基本配列パターン内で、垂直方向に沿った各画素のライン上に配置され、
前記第2の位相差検出画素が、前記1つの基本配列パターンの垂直方向に隣接する他の基本配列パターン内における垂直方向に沿った各画素のライン上に配置されるカラー撮像素子。 - 請求項14に記載のカラー撮像素子であって、
前記第1の位相差検出画素が配置される前記基本配列パターンの水平方向に隣接する他の基本配列パターン内に、前記第2の位相差検出画素が配置されるカラー撮像素子。 - 請求項10又は請求項11に記載のカラー撮像素子であって、
前記第1配列を2つ、前記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
垂直方向と水平方向とのいずれかの方向に隣接する2つの前記基本配列パターンを1組とし、
垂直方向と水平方向とのいずれかの方向に緑色の前記第1のフィルタが密に配列されている画素位置には前記位相差検出画素が配置され、かつ、垂直方向と水平方向とのいずれかの方向に緑色の前記第1のフィルタが疎に配置されている画素位置には前記位相差検出画素以外の画素が配置され、
前記ペアを組む第1の位相差検出画素および第2の位相差検出画素が、前記1組の隣接する2つの前記基本配列パターンに跨って配置されているカラー撮像素子。 - 請求項1乃至請求項3のいずれか1項に記載のカラー撮像素子を搭載した撮像装置。
- 請求項17に記載の撮像装置であって、
前記垂直方向の画素のラインと、前記水平方向の画素のラインのうち、前記位相差検出画素が存在しないライン上の画素から撮像画像信号を間引き読み出しして動画像を生成する間引き読み出し部を備える撮像装置。 - 請求項17又は請求項18に記載の撮像装置であって、
前記位相差検出画素の検出信号を用いてAF処理を行うAF処理部を備える撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280065471.XA CN104025584B (zh) | 2011-12-28 | 2012-12-13 | 彩色摄像元件及摄像装置 |
JP2013551607A JP5597777B2 (ja) | 2011-12-28 | 2012-12-13 | カラー撮像素子及び撮像装置 |
US14/319,887 US9325954B2 (en) | 2011-12-28 | 2014-06-30 | Color imaging element having phase difference detection pixels and imaging apparatus equipped with the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011288032 | 2011-12-28 | ||
JP2011-288032 | 2011-12-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/319,887 Continuation US9325954B2 (en) | 2011-12-28 | 2014-06-30 | Color imaging element having phase difference detection pixels and imaging apparatus equipped with the same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013099637A1 true WO2013099637A1 (ja) | 2013-07-04 |
Family
ID=48697129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/082384 WO2013099637A1 (ja) | 2011-12-28 | 2012-12-13 | カラー撮像素子及び撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9325954B2 (ja) |
JP (1) | JP5597777B2 (ja) |
CN (1) | CN104025584B (ja) |
WO (1) | WO2013099637A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015079193A (ja) * | 2013-10-18 | 2015-04-23 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
JP2020092335A (ja) * | 2018-12-06 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および電子機器 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4449936B2 (ja) * | 2006-03-31 | 2010-04-14 | ソニー株式会社 | 撮像装置、カメラシステムおよびその駆動方法 |
CN104813212B (zh) * | 2012-11-20 | 2017-02-22 | 富士胶片株式会社 | 摄像装置及曝光确定方法 |
CN104251768B (zh) * | 2014-09-18 | 2017-03-08 | 常熟实盈光学科技有限公司 | 判定摄像头模组中镜头阴影效应的方法 |
US10366674B1 (en) * | 2016-12-27 | 2019-07-30 | Facebook Technologies, Llc | Display calibration in electronic displays |
WO2018168551A1 (ja) | 2017-03-16 | 2018-09-20 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
US10397465B2 (en) * | 2017-09-01 | 2019-08-27 | Qualcomm Incorporated | Extended or full-density phase-detection autofocus control |
CN107728361B (zh) * | 2017-09-19 | 2020-10-23 | 捷开通讯(深圳)有限公司 | 具有摄像功能的显示面板及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05505718A (ja) * | 1991-01-25 | 1993-08-19 | イーストマン・コダック・カンパニー | フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ |
JP2010512048A (ja) * | 2006-11-30 | 2010-04-15 | イーストマン コダック カンパニー | 低解像度画像の生成 |
JP2011242514A (ja) * | 2010-05-17 | 2011-12-01 | Nikon Corp | デジタルカメラ |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2739586B2 (ja) | 1989-02-10 | 1998-04-15 | 富士写真フイルム株式会社 | カラー固体撮像デバイス |
US5251019A (en) | 1991-01-25 | 1993-10-05 | Eastman Kodak Company | Solid state color image sensor using a field-staggered color filter pattern |
DE19616440A1 (de) | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
JP3592147B2 (ja) * | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
JP5029268B2 (ja) * | 2007-10-01 | 2012-09-19 | 株式会社ニコン | 電子カメラ |
US7745779B2 (en) | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5241355B2 (ja) * | 2008-07-10 | 2013-07-17 | キヤノン株式会社 | 撮像装置とその制御方法 |
JP2011221290A (ja) * | 2010-04-09 | 2011-11-04 | Olympus Corp | 撮像装置及びカメラ |
JP5565105B2 (ja) | 2010-05-31 | 2014-08-06 | 株式会社ニコン | 撮像装置 |
JP5589857B2 (ja) * | 2011-01-11 | 2014-09-17 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
-
2012
- 2012-12-13 JP JP2013551607A patent/JP5597777B2/ja not_active Expired - Fee Related
- 2012-12-13 WO PCT/JP2012/082384 patent/WO2013099637A1/ja active Application Filing
- 2012-12-13 CN CN201280065471.XA patent/CN104025584B/zh not_active Expired - Fee Related
-
2014
- 2014-06-30 US US14/319,887 patent/US9325954B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05505718A (ja) * | 1991-01-25 | 1993-08-19 | イーストマン・コダック・カンパニー | フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ |
JP2010512048A (ja) * | 2006-11-30 | 2010-04-15 | イーストマン コダック カンパニー | 低解像度画像の生成 |
JP2011242514A (ja) * | 2010-05-17 | 2011-12-01 | Nikon Corp | デジタルカメラ |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015079193A (ja) * | 2013-10-18 | 2015-04-23 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
JP2020092335A (ja) * | 2018-12-06 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および電子機器 |
JP7281895B2 (ja) | 2018-12-06 | 2023-05-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および電子機器 |
US11997400B2 (en) | 2018-12-06 | 2024-05-28 | Sony Semiconductor Solutions Corporation | Imaging element and electronic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013099637A1 (ja) | 2015-05-07 |
US9325954B2 (en) | 2016-04-26 |
JP5597777B2 (ja) | 2014-10-01 |
CN104025584A (zh) | 2014-09-03 |
CN104025584B (zh) | 2016-02-03 |
US20140313380A1 (en) | 2014-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5589146B2 (ja) | 撮像素子及び撮像装置 | |
JP5597777B2 (ja) | カラー撮像素子及び撮像装置 | |
US8730545B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
JP5872406B2 (ja) | カラー撮像素子 | |
US8723991B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
EP2720455B1 (en) | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device | |
US8736743B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
US8842214B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
JP2011250325A (ja) | 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法 | |
US8723992B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
JP5607266B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP5124549B2 (ja) | 固体撮像素子の動画像信号読出方法及び撮像装置 | |
JP2011210748A (ja) | Ccd型固体撮像素子及びその製造方法並びに撮像装置 | |
JP5607267B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP5624227B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2015161727A (ja) | 撮像素子および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12861349 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013551607 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12861349 Country of ref document: EP Kind code of ref document: A1 |