WO2012127699A1 - カラー撮像素子、撮像装置、及び撮像プログラム - Google Patents

カラー撮像素子、撮像装置、及び撮像プログラム Download PDF

Info

Publication number
WO2012127699A1
WO2012127699A1 PCT/JP2011/067546 JP2011067546W WO2012127699A1 WO 2012127699 A1 WO2012127699 A1 WO 2012127699A1 JP 2011067546 W JP2011067546 W JP 2011067546W WO 2012127699 A1 WO2012127699 A1 WO 2012127699A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
color
pixels
phase difference
difference detection
Prior art date
Application number
PCT/JP2011/067546
Other languages
English (en)
French (fr)
Inventor
河村　典子
和紀 井上
遠藤　宏
貴嗣 青木
田中　誠二
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201180069495.8A priority Critical patent/CN103444183B/zh
Priority to EP11861733.1A priority patent/EP2690873A4/en
Priority to JP2013505761A priority patent/JP5547338B2/ja
Publication of WO2012127699A1 publication Critical patent/WO2012127699A1/ja
Priority to US14/031,822 priority patent/US8723991B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0488—Optical or mechanical part supplementary adjustable parts with spectral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to a color imaging device, an imaging device, and an imaging program, and more particularly to a color imaging device, an imaging device, and an imaging program including phase difference detection pixels.
  • phase difference detection is performed on some of the many pixels formed on the light-receiving surface of the solid-state image sensor in order to improve AF (autofocus) performance.
  • Some pixels are used as pixels (see, for example, Patent Documents 1 to 7).
  • the phase difference detection pixel is composed of two neighboring pixels mounted with a pair of the same color filters, and is compared to a light shielding film opening provided in a normal pixel, respectively.
  • a small light shielding film opening is provided.
  • the light shielding film opening provided in one phase difference detection pixel forming a pair is eccentrically provided in a direction away from the other phase difference detection pixel (for example, the left side), and the light shielding film of the other phase difference detection pixel is provided.
  • the opening is provided eccentrically in the opposite direction (for example, the right side).
  • a signal is read from the phase difference detection pixel of the solid-state imaging device, and the amount of defocus from the detection signal of the pixel whose light shielding film opening is eccentric to the right side and the detection signal of the pixel eccentric to the left side And adjust the focal position of the taking lens.
  • phase difference detection pixels are the same as the normal pixels because the light shielding film opening is narrow and the sensitivity is low. There is a problem that cannot be handled.
  • phase correction pixels are subjected to interpolation calculation correction using detection signals of surrounding normal pixels, depending on the position of the phase difference detection pixels, the accuracy of interpolation may deteriorate and the image quality may deteriorate.
  • the present invention has been made to solve the above-described problems, and an object thereof is to provide a color imaging device, an imaging apparatus, and an imaging program capable of improving the interpolation accuracy of the phase difference detection pixels.
  • a color image pickup device is an image pickup device including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, and a plurality of pixels including the plurality of photoelectric conversion elements.
  • a color filter provided above and corresponding to a first color that contributes most to obtain a luminance signal is disposed on the four corners and the center pixel of a square array of 3 ⁇ 3 pixels.
  • a second filter corresponding to a second color different from the first color is disposed in a central line in the horizontal direction of the square array and is different from the first color and the second color.
  • a third filter corresponding to the third color is arranged in the center line in the vertical direction of the square arrangement, and the arrangement of the first arrangement pattern and the first filter is the same.
  • the second A color filter in which a basic arrangement pattern of 6 ⁇ 6 pixels in which a second arrangement pattern in which the arrangement of the filter and the arrangement of the third filter are interchanged is point-symmetrically arranged is repeatedly arranged; and the basic arrangement pattern A phase difference detection pixel arranged in the pixel corresponding to the center position of at least one of the two sets of the first array pattern and the second array pattern It is characterized by that.
  • the phase difference detection pixel includes a first light-shielding film that shields a part of the pixel and shields a part of the pixel from light.
  • a light-shielding means including a second light-shielding film that transmits a region that is paired with a region that transmits the first light-shielding film may be provided.
  • the first light-shielding film in the light-shielding means shields the left half region of the pixel in the horizontal direction, and the second light-shielding film is in the horizontal direction of the pixel.
  • the right half region may be shielded from light.
  • the phase difference detection pixels are respectively provided in pixels corresponding to the center positions of the two sets of the first array pattern and the second array pattern, and It is good also as a structure arrange
  • the phase difference detection pixels are respectively provided in pixels corresponding to the center position of the two sets of the first array pattern and the second array pattern, and An array line in which the first array pattern and the second array pattern in which the phase difference detection pixels are disposed are disposed in the horizontal direction, and the first in which the phase difference detection pixels are not disposed.
  • the arrangement line and the arrangement line in which the second arrangement pattern is arranged along the horizontal direction may be alternately arranged in the vertical direction.
  • the phase difference detection pixel includes a second set of the first array pattern and the second array pattern, the first array pattern on the one side in the horizontal direction.
  • the first array pattern and the second array pattern provided in a pixel corresponding to the center position of the first array pattern and the second array pattern, and in which the phase difference detection pixel is disposed, are An array line disposed along the horizontal direction, and an array line where the first array pattern and the second array pattern where the phase difference detection pixels are not disposed are disposed along the horizontal direction, It is good also as a structure arrange
  • phase difference detection pixels are arranged on the two first arrangement patterns arranged on one diagonal of the basic arrangement pattern and on the other diagonal.
  • the two second array patterns provided in a pixel corresponding to the center position of two array patterns arranged on either diagonal, and in at least a predetermined region of the image sensor May be arranged in the pixel corresponding to the center position in all basic array patterns.
  • the phase difference detection pixels are arranged on the two first array patterns arranged on one diagonal of the basic array pattern and on the other diagonal.
  • the pixel corresponding to the center position of the two arrangement patterns arranged on any diagonal is provided, and the phase difference detection pixel is arranged.
  • An array line in which the basic array pattern is disposed along the horizontal direction and an array line in which the basic array pattern in which the phase difference detection pixels are not disposed are disposed in the horizontal direction are in the vertical direction. It is good also as a structure arrange
  • the array line in which the first light-shielding film is disposed along the horizontal direction, and the array line in which the second light-shielding film is disposed along the horizontal direction; May be arranged alternately in the vertical direction.
  • an array line alternately arranged in the horizontal direction in the order of the first light-shielding film and the second light-shielding film, the second light-shielding film, and the first light-shielding film may be arranged alternately in the vertical direction.
  • the first color is a green (G) color
  • the second color is a red (R) color
  • the third color is blue (G).
  • the light-shielding means is a color
  • the left-side pixel in the horizontal direction of the first light-shielding film and the right-side pixel in the horizontal direction of the second light-shielding film are the R-color pixels. It is good also as the structure arranged.
  • the first color is a green (G) color
  • the second color is one of a red (R) color and a blue (B) color
  • the third color may be the other color of red (R) and blue (B).
  • An image pickup apparatus is the color image pickup device according to any one of the first to twelfth aspects, and the color image pickup so as to read out the phase difference detection pixel data from the phase difference detection pixel.
  • a driving means for driving the element and a focus adjusting means for adjusting the focus based on the phase difference detection pixel data are provided.
  • An imaging device is the color imaging device according to any one of the fifth, sixth, and eighth aspects, and reading out phase difference detection pixel data from the phase difference detection pixel and the position.
  • Driving means for driving the color image sensor so as to read out pixel data for moving image creation from normal pixels other than the phase difference detection pixels, focus adjustment means for adjusting the focus based on the phase difference detection pixel data, and the moving image creation And creating means for creating moving image data based on the pixel data for use.
  • an image pickup apparatus includes the color image pickup element according to any one of the first to twelfth aspects and a 2 ⁇ 2 first filter arranged in the center of the basic array pattern.
  • Driving means for driving the color imaging device so as to read out pixel data of the direction determination pixels, detection means for detecting a correlation direction of luminance based on the pixel data read out from the direction determination pixels, and Interpolating means for interpolating pixel data of colors other than the corresponding color from pixel data of surrounding pixels based on the correlation direction is provided.
  • the imaging program of the invention according to claim 16 is an imaging program for causing a computer to function as each means constituting the imaging apparatus according to any one of claims 13 to 15.
  • FIG. 1 shows a schematic block diagram of the imaging apparatus 10 according to the present embodiment.
  • the imaging device 10 includes an optical system 12, an imaging element 14, an imaging processing unit 16, an image processing unit 20, a driving unit 22, and a control unit 24.
  • the optical system 12 includes, for example, a lens group including a plurality of optical lenses, an aperture adjustment mechanism, a zoom mechanism, an automatic focus adjustment mechanism, and the like.
  • the image sensor 14 includes an image sensor including a plurality of photoelectric conversion elements arranged in a horizontal direction and a vertical direction, for example, a color filter disposed on an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). This is a so-called single-plate type imaging device having the above-described configuration.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • FIG. 2 shows a part of the color filter 30 according to this embodiment.
  • the number of pixels is (4896 ⁇ 3264) pixels as an example and the aspect ratio is 3: 2, but the number of pixels and the aspect ratio are not limited thereto.
  • the color filter 30 includes a 3 ⁇ 3 pixel square array in which a first filter G (hereinafter referred to as a G filter) corresponding to G (green) that contributes most to obtain a luminance signal.
  • a second filter R hereinafter referred to as an R filter
  • R corresponding to R (red) is disposed on the center line in the horizontal direction of the square array, and B (blue).
  • a third filter B (hereinafter referred to as B filter) corresponding to the first arrangement pattern A arranged in the center line in the vertical direction of the square arrangement, the first basic arrangement pattern A, and the G filter A color filter in which a basic array pattern C of 6 ⁇ 6 pixels in which the second array pattern B having the same layout and the arrangement of the R filter and the layout of the B filter are arranged symmetrically is arranged repeatedly. is there.
  • the color filter 30 has the following features (1), (2), (3), (4), and (5).
  • the color filter 30 shown in FIG. 2 includes a basic array pattern C composed of square array patterns corresponding to 6 ⁇ 6 pixels, and the basic array pattern C is repeatedly arranged in the horizontal direction and the vertical direction. That is, in this color filter array, R, G, and B color filters (R filter, G filter, and B filter) are arrayed with a predetermined periodicity.
  • the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, when performing the synchronization (interpolation) processing of the R, G, and B signals read from the color image sensor, the pattern repeatedly Can be processed according to
  • the color filter array of the reduced image after the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit is provided. Can be used.
  • the G filter corresponding to the color (G color in this embodiment) that contributes most to obtain the luminance signal corresponds to the horizontal, vertical, and diagonal lines of the color filter array. Is placed inside.
  • G filters corresponding to luminance pixels are arranged in horizontal, vertical, and diagonal lines of the color filter array, improving the reproducibility of synchronization processing in the high frequency range regardless of the direction of high frequency. Can be made.
  • the color filter 30 shown in FIG. 2 has an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color, And arranged in each vertical line.
  • the R filter and B filter are arranged in the horizontal and vertical lines of the color filter array, the occurrence of color moire (false color) can be suppressed. Thereby, it is possible to prevent an optical low-pass filter for suppressing the occurrence of false colors from being arranged in the optical path from the incident surface of the optical system to the imaging surface. Even when an optical low-pass filter is applied, it is possible to apply a filter having a weak function of cutting a high-frequency component for preventing the occurrence of false colors, so that the resolution is not impaired.
  • the basic array pattern C includes a 3 ⁇ 3 pixel first array pattern A surrounded by a broken line frame, and a 3 ⁇ 3 pixel second array pattern B surrounded by a dashed line frame.
  • the arrangement is arranged alternately in the horizontal and vertical directions.
  • G filters which are luminance pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the B filter is arranged in the horizontal direction and the R filter is arranged in the vertical direction across the center G filter, while the second arrangement pattern B is arranged in the center G filter.
  • the R filters are arranged in the horizontal direction, and the B filters are arranged in the vertical direction. That is, in the first arrangement pattern A and the second arrangement pattern B, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the first array pattern A and the second array pattern B have the first array pattern A and the second array pattern B alternately in the horizontal and vertical directions as shown in FIG. Are arranged in a square array corresponding to 2 ⁇ 2 pixels.
  • the color filter 30 shown in FIG. 2 includes a square array corresponding to 2 ⁇ 2 pixels made of a G filter.
  • this color filter array it is possible to determine a direction having a high correlation among the horizontal direction, the vertical direction, and the diagonal direction by using the information of the G pixel having the minimum pixel interval.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (synchronization process).
  • the basic arrangement pattern C of the color filter 30 shown in FIG. 2 is point-symmetric with respect to the center of the basic arrangement pattern C (the centers of the four G filters). Further, as shown in FIG. 2, the first array pattern A and the second array pattern B in the basic array pattern C are also point-symmetric with respect to the central G filter.
  • the color filter array of the first and third lines in the horizontal direction is GRGGBG
  • the color filter array of the fourth and sixth lines is GBGGRG
  • the color filter array of the fifth line is RGRBGB.
  • the basic array pattern C is shifted by one pixel in the horizontal direction and the vertical direction by C ′, and the basic array pattern shifted by two pixels is C ′′, the basic array pattern C is C ′′. Even if the patterns C ′ and C ′′ are repeatedly arranged in the horizontal direction and the vertical direction, the same color filter arrangement is obtained.
  • the basic array pattern C in which the basic array pattern is point-symmetric is referred to as a basic array pattern for convenience.
  • the imaging element 14 Since the imaging device 10 performs so-called phase difference AF control, the imaging element 14 has phase detection pixels arranged in a predetermined pattern. On this phase difference detection pixel, as shown in FIG. 3, a light shielding part 40 including a light shielding film 40A for shielding the left half pixel in the horizontal direction and a light shielding film 40B for shielding the right half pixel in the horizontal direction. Is formed.
  • the phase difference AF control the amount of phase shift is detected based on the pixel data of the phase difference detection pixel provided with the light shielding film 40A and the pixel data of the phase difference detection pixel provided with the light shielding film 40B. The focus position of the taking lens is adjusted based on the above.
  • the light shielding unit 40 is provided on each of the phase difference detection pixels at the center of the two sets of the first array pattern A and the second array pattern B, and They are arranged for all basic array patterns C.
  • the (2, 2) phase difference detection pixel in the upper left basic array pattern C in FIG. Is provided with a light shielding film 40A
  • the phase difference detection pixels (5, 5) are provided with a light shielding film 40B.
  • the light shielding film 40A is provided for the phase difference detection pixels (5, 2)
  • the light shielding film 40B is provided for the phase difference detection pixels (2, 5).
  • the first array pattern A and the second array pattern B on the diagonal of the basic array pattern C are paired, and the center positions of the two sets of the first array pattern A and the second array pattern B are paired.
  • a light shielding film 40A and a light shielding film 40B are formed on the phase difference detection pixels, respectively.
  • Such basic array patterns C are arranged side by side in the horizontal and vertical directions.
  • the light-shielding portions 40 are provided for all the basic array patterns C.
  • the present invention is not limited thereto, and may be provided only for the basic array patterns C in a predetermined region of a part of the image sensor. Good. The same applies to the following embodiments.
  • the central pixel on which the G filters of the first array pattern A and the second array pattern B are arranged is used as a phase difference detection pixel, and the light shielding film 40A or the light shielding film 40B is disposed on this pixel.
  • Four G filters are arranged around the phase difference detection pixels.
  • the pixel data of the phase difference detection pixel is used as an image, the pixel data of the phase difference detection pixel needs to be interpolated from surrounding pixels, but four G filters are arranged around the pixel data. For this reason, for example, in the case of moving image shooting while performing phase difference AF control or still image shooting, the accuracy of interpolation can be improved.
  • the imaging processing unit 16 performs predetermined processing such as amplification processing, correlated double sampling processing, A / D conversion processing, and the like on the imaging signal output from the imaging device 14 and outputs it to the image processing unit 20 as pixel data. To do.
  • the image processing unit 20 performs so-called synchronization processing on the pixel data output from the imaging processing unit 16. That is, for all pixels, pixel data of colors other than the corresponding color is interpolated from the pixel data of surrounding pixels to generate R, G, and B pixel data of all pixels. Then, so-called YC conversion processing is performed on the generated R, G, and B pixel data to generate luminance data Y and color difference data Cr and Cb. Then, a resizing process for resizing these signals to a size corresponding to the shooting mode is performed.
  • the driving unit 22 performs reading driving of the imaging signal from the imaging device 14 in accordance with an instruction from the control unit 24.
  • the control unit 24 controls the drive unit 22 and the image processing unit 20 according to the shooting mode and the like. Although details will be described later, the control unit 24 instructs the driving unit 22 to read out the imaging signal by a reading method according to the shooting mode, or instructs the image processing unit 20 to select an image according to the shooting mode. Or instructing it to perform processing.
  • control unit 24 instructs the drive unit 22 to read out the image pickup signal using a thinning method according to the instructed shooting mode. To do.
  • the shooting mode includes a still image mode for shooting a still image, and an HD movie that generates a relatively high resolution HD (high definition) movie data by thinning the captured image and records it on a recording medium such as a memory card (not shown).
  • a moving image mode such as a through moving image mode (live view mode) that thins out a captured image and outputs a relatively low resolution through moving image to a display unit (not shown).
  • processing shown in FIG. 4 is executed when an instruction is given to execute shooting according to the shooting mode.
  • step 100 the drive unit 22 is instructed to read out pixel data by a thinning method corresponding to the shooting mode.
  • Phase difference AF control is performed based on the pixel data of the line, and other lines, that is, at least a part of normal pixel lines are read to create moving image data.
  • the phase difference detection pixels are interpolated from the pixel data of the surrounding normal pixels.
  • the phase difference detection pixels are arranged on the center pixel where the G filters of the first arrangement pattern A and the second arrangement pattern B are arranged, and four G pixels are arranged around the pixels.
  • a filter is placed. For this reason, for example, when shooting moving images while performing phase difference AF control, or when interpolating phase difference detection pixel data from surrounding pixels in still image shooting, the accuracy of interpolation can be improved. . Further, since the filter disposed on the phase difference detection pixel is a filter corresponding to G that is sensitive to human eyes, the accuracy of the phase difference AF control can be improved.
  • step 102 the image processing unit 20 is instructed to execute image processing (synchronization processing and YC conversion processing) and resizing processing according to the shooting mode.
  • the image sensor 14 Since the image sensor 14 is a single-plate color image sensor, its output image is a RAW image (mosaic image), and many images are obtained by interpolating the missing color pixels from surrounding pixels (synchronization process). A channel image needs to be obtained. In this case, the problem is the reproduction characteristics of high-frequency image signals.
  • the color filter 30 has a 2 ⁇ 2 G filter arranged at the center of the basic array pattern C, and the pixel is not a phase difference detection pixel but a normal pixel.
  • the normal pixel when calculating the pixel value of another color at the pixel position of the target pixel of the synchronization processing extracted from the mosaic image, the normal pixel is provided with the 2 ⁇ 2 G filter.
  • the luminance correlation direction based on the pixel data of the G pixel and using the pixel values of the other color pixels existing in the determined correlation direction, the pixel values of the other color pixels are accurately estimated. Then, the generation of false colors in the high frequency part is suppressed. This will be specifically described below.
  • 2 ⁇ 2 G pixels corresponding to the G filter are extracted from the mosaic image output from the image sensor 14, and the pixel values of the G pixels are set to G1, G2,
  • the direction determination circuit included in the synchronization processing circuit calculates a difference absolute value for each direction.
  • the absolute difference value in the vertical direction is (
  • the absolute difference value in the horizontal direction is (
  • the difference absolute value in the direction is
  • the difference absolute value in the upper left diagonal direction is
  • the direction discriminating circuit discriminates that there is a correlation (correlation direction) in the direction of taking the smallest difference absolute value among these four correlation absolute values.
  • the correlation direction is determined from the 2 ⁇ 2 G pixels adjacent to each other as described above, the correlation direction can be determined with the minimum pixel interval. That is, the correlation direction can be accurately determined without being affected by high frequency.
  • the synchronization processing circuit determines the determined correlation direction when calculating a pixel value of another color at the pixel position of the target pixel of the synchronization process.
  • the pixel values of the pixels of other colors existing in are used.
  • pixels of all colors of R pixel, G pixel, and B pixel exist in the horizontal direction and the vertical direction, if it is determined that there is a correlation direction in the horizontal direction or the vertical direction, Pixel values of pixels of other colors in the vicinity of the target pixel that are present in the direction or the vertical direction are acquired. Then, the obtained pixel value of one pixel or the interpolated value of the pixel values of a plurality of pixels is set as a pixel value of another color at the pixel position of the target pixel.
  • the R pixel value at the pixel position of the G22 pixel uses the R12 or R32 pixel value as it is, or the R12 and R32 pixels Determined by interpolating from values.
  • the pixel value of B at the pixel position of the pixel of G22 is determined by using the pixel value of B02 or B42 as it is, or by interpolating from the pixel values of B02 and B42.
  • the R pixel value at the pixel position of the B02 pixel is determined by using the R12 pixel value as it is, or by interpolating from the R12 and R32 pixel values.
  • the G pixel value at the pixel position of the B02 pixel is set to the pixel value of the G22 as it is, or is interpolated from the pixel value of the G pixel at the same horizontal position of the adjacent B array and the pixel value of G22. To decide.
  • the filter arrangement of the color filter 30 has only G pixels in the diagonal direction (diagonal direction) centering on the G pixels in the A array of 3 ⁇ 3 pixels
  • the correlation direction is an oblique direction in which the G pixels are continuous.
  • the pixel value G11 of G11 is interpolated using the pixel values R12, R21 of the pixels R12, B21 in the vicinity of the pixel of G11 and the color difference between the G pixel values G12 ′, G21 ′ at the pixel positions of these pixels. , R and G pixel values R11 ′ and B11 ′ at the pixel position of the G11 pixel are calculated.
  • interpolation is performed using the following formula.
  • the pixel values R22 ′ and B22 ′ of the R and B pixels at the pixel position of the G22 pixel are obtained by using the color difference between the neighboring R12 and R32 pixels and the B21 and B23 pixels at G22. Are interpolated to calculate R and G pixel values R22 ′ and B22 ′ at the pixel position of the G22 pixel.
  • interpolation is performed using the following formula.
  • the target pixel of the synchronization process is a G pixel, and when calculating the R and B pixel values at this pixel position, there are only G pixels in an oblique direction.
  • the target pixel of the synchronization process is an R pixel, and when calculating the G and B pixel values at this pixel position, there are G pixels or B pixels in an oblique direction.
  • the target pixel of the synchronization processing is a B pixel, and there is no G pixel or R pixel in the diagonal direction when calculating the G and R pixel values at this pixel position.
  • the pixel value of the target pixel is interpolated by the color difference of the pixel values of the neighboring pixels for which the RGB pixel values are calculated, and other colors Pixel values can be calculated.
  • the method of calculating the pixel values of other colors by interpolating the pixel values of the target pixel based on the color difference of neighboring pixels is as follows.
  • the target pixel of the synchronization processing is a G pixel
  • the pixel value is G
  • there is no R or B pixel in the correlation direction determined by the direction determination circuit the R and B pixels in the vicinity of the G pixel
  • the pixel values RG and BG of the R and B pixels at the target pixel position are calculated by the following equations.
  • This equation (1) corresponds to the above-described equations (a) and (b).
  • the target pixel of the synchronization process is an R pixel
  • the pixel value is R
  • the pixel values GR and BR of the G and B pixels at the position of the target pixel are calculated by the following equations. .
  • the target pixel of the synchronization processing is a B pixel
  • the pixel value is B
  • the G and R pixels in the vicinity of the B pixel Are G and R
  • B pixel values at the pixel positions of these pixels are BG and BR
  • the pixel values GB and RB of the G and R pixels at the target pixel position are calculated by the following equations.
  • the present invention is not limited to the above formulas (1) to (6), and when there are a plurality of pixels having the same color as the color to be obtained by interpolation in the vicinity of the target pixel of the synchronization process, the formula (c) Similarly to (d), interpolation may be performed using an average color difference of a plurality of pixels.
  • the pixel value of the target pixel is calculated based on the color difference of other neighboring color pixels.
  • pixel values of other colors are calculated by interpolation, the present invention is not limited to this, and pixel values of other colors are calculated by interpolating the pixel values of target pixels based on the color ratios of other neighboring pixels. You may make it do.
  • the target pixel of the synchronization processing is a G pixel
  • the pixel value is G
  • there is no R or B pixel in the correlation direction determined by the direction determination circuit the R and B pixels in the vicinity of the G pixel
  • the pixel values RG and BG of the R and B pixels at the target pixel position are calculated by the following equations.
  • RG G ⁇ (R / GR)
  • BG G ⁇ (B / GB) (4)
  • the target pixel of the synchronization process is an R pixel
  • the pixel value is R
  • the pixel values GR and BR of the G and B pixels at the position of the target pixel are calculated by the following equations. .
  • the target pixel of the synchronization processing is a B pixel
  • the pixel value is B
  • the G and R pixels in the vicinity of the B pixel Are G and R
  • B pixel values at the pixel positions of these pixels are BG and BR
  • the pixel values GB and RB of the G and R pixels at the target pixel position are calculated by the following equations.
  • the control unit 24 can be configured by a computer including a CPU, ROM, RAM, nonvolatile ROM, and the like.
  • the processing program for the above processing can be stored in advance in a nonvolatile ROM, for example, and can be read and executed by the CPU.
  • an array line in which the light shielding film 40A is disposed along the horizontal direction and an array line in which the light shielding film 40B is disposed along the horizontal direction are provided.
  • the arrangement lines alternately arranged in the horizontal direction in order may be arranged alternately in the vertical direction.
  • FIG. 8 only the phase difference detection pixels are shown.
  • both the light shielding film 40A and the light shielding film 40B are arranged obliquely, so that, for example, when a subject including an oblique line is photographed, it is possible to focus accurately. The same applies to the following embodiments.
  • FIG. 9 shows the arrangement of the light shielding films 40A and 40B according to the present embodiment. This embodiment is different from the first embodiment in the arrangement of the light shielding films 40A and 40B.
  • the light shielding unit 40 is placed on the phase difference detection pixel at the center of the two sets of the first array pattern A and the second array pattern B that form the basic array pattern C.
  • a first array pattern in which the first array pattern A and the second array pattern B, which are each provided, and in which the light shielding unit 40 is disposed, are disposed along the horizontal direction, and the first array pattern in which the light shielding unit 40 is not disposed.
  • the array lines in which A and the second array pattern B are disposed along the horizontal direction are alternately disposed in the vertical direction. That is, in the example of FIG.
  • the light shielding films 40A and 40B are arranged on the line of the (2n + 1) th basic array pattern C in the vertical direction, and the light shielding films 40A and 40B are arranged on the line of the (2n + 2) th basic array pattern C. Is not placed.
  • the control unit 24 reads out pixel data of the phase difference detection pixels in which the light shielding films 40A and 40B are arranged on the line of the (2n + 1) th basic array pattern C in the vertical direction. Then, the phase difference AF control is performed, and the pixel data of the normal pixels in the line of the (2n + 2) th basic array pattern C in the vertical direction is read to create moving image data.
  • the pixel data of the phase difference detection pixel is used only for the phase difference AF control and is not used for creating the moving image data. Therefore, it is not necessary to interpolate from surrounding pixels.
  • the moving image data is created from pixel data of normal pixels. Therefore, the processing speed of the phase difference AF control can be improved as compared with the case where the phase difference detection pixels are based on the creation of moving image data. In addition, the processing speed of moving image data creation can be improved as compared with the case where moving image data is generated by interpolation.
  • FIG. 10 shows the arrangement of the light shielding films 40A and 40B according to the present embodiment. This embodiment is different from the first embodiment in the arrangement of the light shielding films 40A and 40B.
  • the thinning drive is the same as in the second embodiment.
  • the light shielding unit 40 is provided on one side in the horizontal direction of the two sets of the first array pattern A and the second array pattern B that constitute the basic array pattern C.
  • the first array pattern A and the second array pattern B which are provided on the phase difference detection pixel at the center of the first array pattern C and the second array pattern B and in which the light shielding portion 40 is disposed, are horizontal.
  • the arrangement lines arranged along the direction and the arrangement lines arranged along the horizontal direction with the first arrangement pattern A and the second arrangement pattern B where the light shielding portion 40 is not arranged are alternately arranged in the vertical direction. Has been. That is, in the example of FIG.
  • the light shielding films 40A and 40B are arranged on the line of the (2n + 1) th basic array pattern C in the vertical direction, and the light shielding films 40A and 40B are arranged on the line of the (2n + 2) th basic array pattern C. Is not placed.
  • the number of normal pixels increases around the phase difference detection pixels, so that the interpolation accuracy can be improved and the image quality can be improved.
  • FIG. 11 shows the arrangement of the light shielding films 40A and 40B according to the present embodiment. This embodiment is different from the above embodiment in the arrangement of the light shielding films 40A and 40B.
  • the thinning drive is the same as in the first embodiment.
  • the light shielding unit 40 is provided on the phase difference detection pixel at the center of the two first arrangement patterns A arranged on one diagonal of the basic arrangement pattern C. And arranged for all basic array patterns.
  • the phase difference detection pixels are interpolated from surrounding pixels to generate moving image data.
  • the pixels adjacent to each other in the horizontal direction on the side where the light-shielding film 40B of the phase difference detection pixel provided with is provided are the same as the B pixel.
  • the influence of the color mixture can be offset, and the pixels adjacent in the horizontal direction and the light shielding film 40B are provided on the side where the light shielding film 40A of the phase difference detection pixel provided with the light shielding film 40A is provided.
  • the image quality can be improved as compared with the case where the pixels adjacent in the horizontal direction on the side where the light shielding film 40B of the phase difference detection pixel is provided are not the same.
  • all the basic arrays are provided on the phase difference detection pixels at the center of the two second array patterns B arranged on the other diagonal of the basic array pattern C. It is good also as a structure arrange
  • the pixels adjacent in the horizontal direction on the provided side are both R pixels and are the same. In particular, since the wavelength of R easily reaches adjacent pixels, color mixing can be prevented more effectively and image quality can be improved.
  • FIG. 13 shows the arrangement of the light shielding films 40A and 40B according to the present embodiment. This embodiment is different from the above embodiment in the arrangement of the light shielding films 40A and 40B.
  • the thinning drive is the same as in the second and third embodiments.
  • the light shielding portion 40 is provided on the phase difference detection pixel at the center of the two first array patterns B arranged on one diagonal of the basic array pattern C. And an array line in which the basic array pattern C in which the light shielding portion 40 is disposed is disposed in the horizontal direction, and an array line in which the basic array pattern C in which the light shielding portion 40 is not disposed is disposed in the horizontal direction. Are alternately arranged in the vertical direction.
  • the phase difference detection pixel in which the pixel adjacent to the horizontal direction on the side where the light shielding film 40A is provided and the light shielding film 40B is provided on the side where the light shielding film 40A is provided.
  • the pixels adjacent in the horizontal direction on the side where the light shielding film 40B of the pixels for use is provided are the same for the B pixels. For this reason, the influence of the color mixture can be offset, and the pixels adjacent in the horizontal direction and the light shielding film 40B are provided on the side where the light shielding film 40A of the phase difference detection pixel provided with the light shielding film 40A is provided.
  • the image quality can be improved as compared with the case where the pixels adjacent in the horizontal direction on the side where the light shielding film 40B of the phase difference detection pixel is provided are not the same.
  • the control unit 24 reads out pixel data of the phase difference detection pixels in which the light shielding films 40A and 40B are arranged on the line of the (2n + 1) th basic array pattern C in the vertical direction.
  • the phase difference AF control is performed, and the pixel data of the normal pixels of the line of the (2n + 2) th basic array pattern C in the vertical direction is read to create moving image data.
  • the processing speed of the phase difference AF control can be improved as compared with the case where the phase difference detection pixels are based on the creation of moving image data.
  • the processing speed of moving image data creation can be improved as compared with the case where moving image data is generated by interpolation.
  • the basic array is provided on the phase difference detection pixel at the center of the two second array patterns B disposed on the other diagonal, and the light shielding portion 40 is disposed.
  • the arrangement line in which the pattern C is arranged along the horizontal direction and the arrangement line in which the basic arrangement pattern C in which the light shielding unit 40 is not arranged are arranged in the horizontal direction may be alternately arranged in the vertical direction. Good.
  • the pixels adjacent in the horizontal direction on the provided side are both R pixels and are the same. In particular, since the wavelength of R easily reaches adjacent pixels, color mixing can be prevented more effectively and image quality can be improved.
  • the color filter array of the three primary colors of RGB has been described, but the type of the color filter is not limited to this.
  • the configuration in which the phase difference detection pixel is provided with the light shielding film 40A that shields the left half pixel in the horizontal direction or the light shielding film 40B that shields the right half pixel in the horizontal direction has been described.
  • the light shielding region is not limited to this, and the light shielding film 40A shields a part of the phase difference detection pixel and transmits the other region, and the light shielding film 40B includes the phase difference detection pixel. As long as a part of the light is shielded and the region that is paired with the region through which the light shielding film 40A transmits is transmitted, it is sufficient.
  • a phase difference detection pixel may be formed. That is, the imaging element is composed of a top microlens, an inner microlens, and a light receiving element having the same shape, and the first pixel D1 that receives a light beam that passes through the entire area of the photographing lens pupil and one half of the area of the photographing lens pupil.
  • the top microlenses L2 and L3 having a smaller diameter than the top microlens L1 of the first pixel D1 are connected to the inner microlens. Each is shifted in a different direction with respect to the optical axis. In addition, the top microlens and the light receiving element are shifted from each other.
  • the second pixel D2 and the third D3 can be formed as phase difference detection pixels. Even in such a configuration, the present invention is applicable. Furthermore, the form which does not provide an inner lens may be sufficient depending on the structure of an image pick-up element. Further, the configuration of the phase difference pixel is not limited to the above configuration, and can be replaced as long as the pupil division can be performed.
  • Phase difference detection pixels have different characteristics, such as low sensitivity compared to normal pixels. Therefore, when using pixel data of phase difference detection pixels as image data for still images or moving images, phase difference detection pixels This pixel data needs to be corrected. Therefore, in the present embodiment, a method for correcting pixel data of phase difference detection pixels will be described.
  • the average value correction is a method of averaging pixel values of normal pixels around the phase difference detection pixels and using this as pixel data of the phase difference detection pixels.
  • the gain correction is a method of raising the pixel data of the phase difference detection pixel by multiplying the pixel data of the phase difference detection pixel by a predetermined gain corresponding to the level difference between the normal pixel and the phase difference detection pixel. It is.
  • FIG. 17 shows the arrangement of G pixels in a 3 ⁇ 3 pixel centering on the central G pixel in the A array and the B array.
  • the central G pixel is G1
  • the surrounding G pixels are G2, G3, G4, and G5 clockwise from the upper left.
  • the phase difference detection pixels are all arranged in the G1 pixel in FIG.
  • the average value of the pixel data of each of the surrounding pixels G2, G3, G4, and G5 is the G1 pixel. Let it be pixel data.
  • the average value of the pixel data of the phase difference detection pixels is corrected based on the pixel data of the surrounding normal pixels.
  • the gain correction and the average value correction may be properly used according to the content of the captured image.
  • Imaging device 12 Optical system 14
  • Image sensor 16 Imaging processing part 20
  • Image processing part 22 Drive part 24
  • Control part 30 Color filter 40
  • Light-shielding part 40A, 40B Light-shielding film

Abstract

　位相差検出用画素の補間精度を向上させることができる。　撮像素子（１４）は、第１のフィルタが３×３画素の正方配列の四隅及び中央の画素上に、第２のフィルタが正方配列の水平方向における中央のラインに、第３のフィルタが、正方配列の垂直方向における中央のラインに各々配置された第１の配列パターンと、第１の配列パターンと第１のフィルタの配置が同一で第２のフィルタの配置と第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された基本配列パターンが繰り返し配置されたカラーフィルタ（３０）と、基本配列パターンを構成する２組の第１の配列パターン及び第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する画素に配置された位相差検出用画素と、を備える。

Description

カラー撮像素子、撮像装置、及び撮像プログラム
　本発明は、カラー撮像素子、撮像装置、及び撮像プログラムに係り、特に、位相差検出用画素を含むカラー撮像素子、撮像装置、及び撮像プログラムに関する。
　デジタルカメラ等の撮像装置に搭載される固体撮像素子には、ＡＦ（オートフォーカス）性能を高めるために、固体撮像素子受光面上に形成される多数の画素のうちの一部画素を位相差検出用画素としたものがある（例えば特許文献１～７参照）。
　位相差検出用画素は、例えば下記の特許文献１～７に記載されている様に、ペアとなる同色フィルタを搭載した近隣２画素で構成され、通常画素に設けられる遮光膜開口に比べて夫々小さな遮光膜開口が設けられる。そして更に、ペアを組む一方の位相差検出用画素に設ける遮光膜開口は、他方の位相差検出用画素から離れる方向（例えば左側）に偏心して設けられ、他方の位相差検出用画素の遮光膜開口は、反対方向（例えば右側）に偏心して設けられる。
　撮像装置でＡＦ動作を行うとき、固体撮像素子の位相差検出用画素から信号を読み出し、遮光膜開口が右側に偏心した画素の検出信号と左側に偏心した画素の検出信号とから焦点のずれ量を求め、撮影レンズの焦点位置を調整する。
　このＡＦ動作は、位相差検出用画素が多いほど精度が高くなるが、通常の被写体画像を本撮像する場合、位相差検出用画素は、遮光膜開口が狭く感度が低いため、通常画素と同じに取り扱えないという問題がある。
　このため、全画素から信号を読み出して被写体画像を生成するときは、位相差検出用画素の検出信号を通常画素の感度と同程度に利得補正したり、あるいは、位相差検出用画素を欠陥画素として取り扱い、周りの通常画素の検出信号で補間演算補正したりする必要がある。
特開２０００－１５６８２３号公報 特開２００７－１５５９２９号公報 特開２００９－８９１４４号公報 特開２００９－１０５６８２号公報 特開２０１０－６６４９４号公報 特開２００８－３１２０７３号公報 特許第３５９２１４７号公報
　位相差検出用画素について、周囲の通常画素の検出信号で補間演算補正する場合、位相差検出用画素の位置によっては補間の精度が劣化し、画質が劣化する場合がある。
　本発明は上記問題点を解決するためになされたものであり、位相差検出用画素の補間精度を向上させることができるカラー撮像素子、撮像装置、及び撮像プログラムを提供することを目的とする。
　上記課題を解決するため、請求項１記載の発明のカラー撮像素子は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する前記画素に配置された位相差検出用画素と、を備えたことを特徴とする。
　この発明によれば、基本配列パターンを構成する２組の第１の配列パターン及び第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する画素に配置された位相差検出用画素を備えた構成としたので、位相差検出用画素の補間精度を向上させることができる。
　なお、請求項２に記載したように、前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた構成としてもよい。
　また、請求項３に記載したように、前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである構成としてもよい。
　また、請求項４に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記中央の位置に対応する画素に配置された構成としてもよい。
　また、請求項５に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。
　また、請求項６に記載したように、前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向における一方の側の組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。
　また、請求項７に記載したように、前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての基本配列パターンにおいて前記中央の位置に対応する画素に配置された構成としてもよい。
　また、請求項８に記載したように、前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。
　また、請求項９に記載したように、前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。
　また、請求項１０に記載したように、前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された構成としてもよい。
　また、請求項１１に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色であり、前記第３の色は、青（Ｂ）色であり、前記第１の遮光膜の前記水平方向における左側の画素及び前記第２の遮光膜の前記水平方向における右側の画素が、前記Ｒ色の画素となるように前記遮光手段が配置されている構成としてもよい。
　また、請求項１２に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。
　請求項１３記載の発明の撮像装置は、前記請求項１～１２の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、を備えたことを特徴とする。
　請求項１４記載の発明の撮像装置は、前記請求項５、６、８の何れか１項に記載のカラー撮像素子と、前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、前記動画作成用画素データに基づいて動画データを作成する作成手段と、を備えたことを特徴とする。
　また、請求項１５記載の発明の撮像装置は、前記請求項１～１２の何れか１項に記載のカラー撮像素子と、前記基本配列パターンの中央に２×２の第１のフィルタが配置された方向判別用画素の画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、前記方向判別用画素から読み出した画素データに基づいて、輝度の相関方向を検出する検出手段と、検出した前記相関方向に基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間する補間手段と、を備えたことを特徴とする。
　また、請求項１６記載の発明の撮像プログラムは、コンピュータを、請求項１３～請求項１５の何れか１項に記載の撮像装置を構成する各手段として機能させるための撮像プログラムである。
　本発明によれば、位相差検出用画素の補間精度を向上させることができる、という効果を有する。
撮像装置の概略ブロック図である。 本発明に係るカラーフィルタの構成図である。 第１実施形態に係る遮光部の配置を示す図である。 制御部で実行される処理のフローチャートである。 第１実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図である。 輝度の相関方向の判別方法と同時化処理時の画素補間方法を説明するための図である。 斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するための図である。 斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するための図である。 遮光膜の配置パターンについて説明するための図である。 遮光膜の配置パターンについて説明するための図である。 第２実施形態に係る遮光部の配置を示す図である。 第３実施形態に係る遮光部の配置を示す図である。 第４実施形態に係る遮光部の配置を示す図である。 第４実施形態に係る遮光部の配置を示す図である。 第５実施形態に係る遮光部の配置を示す図である。 第５実施形態に係る遮光部の配置を示す図である。 位相差検出用画素の変形例について説明するための図である。 カラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 位相差検出用画素の画素データを平均値補正で補正する場合について説明するための図である。
　以下、図面を参照して本発明の実施形態について説明する。
（第１実施形態）
　図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。
　光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
　撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
　図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＢ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の基本配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。
　すなわち、カラーフィルタ３０は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。
　〔特徴(1)〕
　図２に示すカラーフィルタ３０は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。
　また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
　〔特徴(2)〕
　図２に示すカラーフィルタ３０は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。
　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
　〔特徴(3)〕
　図２に示すカラーフィルタ３０は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　図２に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、図１６に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　〔特徴(4)〕
　図２に示すカラーフィルタ３０は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
　図５に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
　即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。
　〔特徴(5)〕
　図２に示すカラーフィルタ３０の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
　図１６に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲであり、第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢとなっている。
　いま、図１６において、基本配列パターンＣを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＣ’、それぞれ２画素ずつシフトした基本配列パターンをＣ”とすると、これらの基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
　即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図１６に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。
　撮像装置１０は、所謂位相差方式のＡＦ制御を行うため、撮像素子１４は、位相差検出用画素が予め定めたパターンで配置されている。この位相差検出用画素上には、図３に示すように、水平方向の左半分の画素を遮光する遮光膜４０Ａ及び水平方向の右半分の画素を遮光する遮光膜４０Ｂを含む遮光部４０が形成されている。位相差ＡＦ制御では、遮光膜４０Ａが設けられた位相差検出用画素の画素データと遮光膜４０Ｂが設けられた位相差検出用画素の画素データとに基づいて位相のずれ量を検出し、これに基づいて撮影レンズの焦点位置を調整する。
　この遮光部４０は、本実施形態では、図３に示すように、２組の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に各々設けられ、かつ、全ての基本配列パターンＣに対して配置されている。例えば、水平方向の位置をＸ、垂直方向の位置をＹとして画素位置を（Ｘ，Ｙ）で表した場合、図３において左上の基本配列パターンＣの（２，２）の位相差検出用画素には遮光膜４０Ａが設けられ、（５，５）の位相差検出用画素には遮光膜４０Ｂが設けられている。また、（５，２）の位相差検出用画素に遮光膜４０Ａが設けられ、（２，５）の位相差検出用画素に遮光膜４０Ｂが設けられている。このように、基本配列パターンＣの対角上の第１の配列パターンＡ及び第２の配列パターンＢをペアとして、２組の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に各々遮光膜４０Ａ及び遮光膜４０Ｂが形成されている。このような基本配列パターンＣが水平方向及び垂直方向に並んで配置されている。なお、図３では、全ての基本配列パターンＣに遮光部４０が設けられているが、これに限らず、撮像素子の一部の所定の領域内の基本配列パターンＣにのみ設けるようにしてもよい。これは以下の実施形態でも同様である。
　このように、第１の配列パターンＡ及び第２の配列パターンＢのＧフィルタが配置された中央の画素を位相差検出用画素として、この画素上に遮光膜４０Ａ又は遮光膜４０Ｂを配置している。そして、この位相差検出用画素の周囲には、４個のＧフィルタが配置されている。ここで、位相差検出用画素の画素データを画像として用いる場合、位相差検出用画素の画素データは周囲の画素から補間する必要があるが、周囲に４個のＧフィルタが配置されている。このため、例えば位相差ＡＦ制御を行いながら動画撮影するような場合や静止画撮影において、補間の精度を向上させることができる。
　撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画素データとして画像処理部２０に出力する。
　画像処理部２０は、撮像処理部１６から出力された画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。そして、生成したＲ，Ｇ，Ｂの画素データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。
　駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。
　制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。
　撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。
　撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがある。
　次に、本実施形態の作用として、制御部２４で実行される処理について、図４に示すフローチャートを参照して説明する。
　なお、図４に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。
　まず、ステップ１００では、撮影モードに応じた間引き方法で画素データを読み出すように駆動部２２に指示する。
　例えば、ＨＤ動画モードやスルー動画モード等の動画モードの場合、位相差ＡＦ制御しながら、動画データを生成するので、遮光膜４０Ａ及び遮光膜４０Ｂが設けられた少なくとも一部の位相差検出用画素、すなわち、図３では垂直方向における（３ｎ＋２）番目、（ｎ＝０，１，２，・・・）のラインのうち少なくとも一部の遮光膜４０Ａ及び遮光膜４０Ｂを含むラインを読み出して、そのラインの画素データに基づいて位相差ＡＦ制御を行うと共に、それ以外のライン、すなわち通常画素のラインの少なくとも一部のラインを読み出して、動画データを作成する。この動画データを作成する際、位相差検出用画素については、その周囲の通常画素の画素データから補間する。
　図３に示すように、位相差検出用画素は、第１の配列パターンＡ及び第２の配列パターンＢのＧフィルタが配置された中央の画素上に配置され、その周囲には４個のＧフィルタが配置されている。このため、例えば位相差ＡＦ制御を行いながら動画撮影するような場合や静止画撮影において、位相差検出用画素の画素データを周囲の画素から補間する場合に、補間の精度を向上させることができる。また、位相差検出用画素上に配置されたフィルタは、人間の目に敏感なＧに対応したフィルタであるので、位相差ＡＦ制御の精度を向上させることができる。
　ステップ１０２では、撮影モードに応じた画像処理（同時化処理及びＹＣ変換処理）及びリサイズ処理を実行するよう画像処理部２０に指示する。
　次に、画像処理部２０の同時化処理回路の処理内容について説明する。
　撮像素子１４は単板式のカラー撮像素子であるため、その出力画像はＲＡＷ画像（モザイク画像）であり、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得る必要がある。この場合に問題となるのが、高周波の画像信号の再現特性である。
　また、図３に示すように、カラーフィルタ３０は、基本配列パターンＣの中央に２×２のＧフィルタが配置されており、その画素は位相差検出用画素ではなく通常画素である。
　そこで、本実施形態では、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記２×２のＧフィルタが配置された通常画素であるＧ画素の画素データに基づいて輝度の相関方向を判別し、方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定し、高周波部の偽色の発生を抑圧する。以下、具体的に説明する。
　図５に示すように、撮像素子１４から出力されるモザイク画像からＧフィルタに対応する２×２画素のＧ画素を取り出し、各Ｇ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、同時化処理回路に含まれる方向判別回路は、各方向別の差分絶対値を算出する。
　即ち、垂直方向の差分絶対値は（｜Ｇ１－Ｇ３｜＋｜Ｇ２－Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１－Ｇ２｜＋｜Ｇ３－Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２－Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１－Ｇ４｜となる。
　方向判別回路は、これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別する。
　いま、図６に示すように中央に３×３画素のＡ配列（図２参照）が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。
　また、図７Ａに示すようなパターンの入力があった場合（黒が０、白が２５５）、図７Ｂに示す４隅の２×２画素のＧ画素の画素値の垂直方向の差分絶対値の総和は、｜０－２５５｜×８＝２０４０となり、水平方向の差分絶対値の総和も、｜０－２５５｜×８＝２０４０になる。一方、右上斜め方向の差分絶対値の総和は、｜２５５－２５５｜×２＋｜０－０｜×２＝０となり、左上斜め方向の差分絶対値の総和は、｜０－０｜×２＋｜２５５－２５５｜×２＝０となる。したがって、差分絶対値の総和が最小になる方向は、右上斜め方向と左上斜め方向の２方向となるが、図７Ａのパターンの場合は、斜めの最大周波数の入力であるため、斜め方向のどちらを採用しても問題はない。
　上記のように互いに隣接する２×２画素のＧ画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。
　次に、画像処理部２０の同時化処理回路によりＲＧＢのモザイク画像を同時化処理する方法について説明する。
　同時化処理の対象画素における相関方向が判別されると、同時化処理回路は、同時化処理の対象画素の画素位置における、他の色の画素値を算出する際に、前記判別された相関方向に存在する他の色の画素の画素値を使用する。
　図３に示すように、水平方向及び垂直方向にはＲ画素、Ｇ画素、Ｂ画素の全ての色の画素が存在するため、水平方向又は垂直方向に相関方向があると判別されると、水平方向又は垂直方向に存在する、対象画素の近傍の他の色の画素の画素値を取得する。そして、取得した１画素の画素値、又は複数の画素の画素値の補間した値を、対象画素の画素位置における他の色の画素値とする。
　例えば、相関方向が水平方向と判別された場合、図６において、Ｇ２２の画素の画素位置におけるＲの画素値は、Ｒ１２又はＲ３２の画素値をそのまま画素値とする、または、Ｒ１２及びＲ３２の画素値から補間することにより決定する。
　同様に、Ｇ２２の画素の画素位置におけるＢの画素値は、Ｂ０２又はＢ４２の画素値をそのまま画素値とする、または、Ｂ０２及びＢ４２の画素値から補間することにより決定する。
　また、Ｂ０２の画素の画素位置におけるＲの画素値は、Ｒ１２の画素値をそのまま画素値とする、または、Ｒ１２及びＲ３２の画素値から補間することにより決定する。
　更に、Ｂ０２の画素の画素位置におけるＧの画素値は、Ｇ２２の画素値をそのまま画素値とする、または、隣接するＢ配列の同じ水平位置にあるＧ画素の画素値とＧ２２の画素値から補間することにより決定する。
　尚、相関方向が垂直方向と判別された場合も、上記と同様に垂直方向に存在する他の色の画素値を使用することができる。
　また、カラーフィルタ３０のフィルタ配列は、３×３画素のＡ配列のＧ画素を中心とする斜め方向（対角方向）には、Ｇ画素しか存在しないため、相関方向がＧ画素の連続する斜め方向と判別されると、Ｇの画素値が算出されている近傍のＲ，Ｂ画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出する。
　図６に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、Ｇ１１の画素の補間方向には、Ｒ，Ｂ画素が存在しない。そこで、Ｇ１１の画素の近傍のＲ１２，Ｂ２１の画素の画素値Ｒ１２，Ｒ２１と、これらの画素の画素位置におけるＧの画素値Ｇ１２’，Ｇ２１’の色差を用いてＧ１１の画素値Ｇ１１を補間し、Ｇ１１の画素の画素位置におけるＲ，Ｇの画素値Ｒ１１’，Ｂ１１’を算出する。
　具体的には、以下の式で補間を行う。
　Ｒ１１’＝Ｇ１１＋（Ｒ１２－Ｇ１２’）　　　…（ａ）
　Ｂ１１’＝Ｇ１１＋（Ｂ２１－Ｇ２１’）　　　…（ｂ）
　上記式（ａ）及び（ｂ）において、Ｇ１２’＝Ｇ０１、Ｇ２１’＝Ｇ１０である。即ち、画素値Ｇ１２’，Ｇ２１’は、左斜め方向の方向判別により推定したＲ１２，Ｂ２１の画素の画素位置におけるＧの画素値である。
　同様に、Ｇ２２の画素の画素位置のＲ，Ｂ画素の画素値Ｒ２２’，Ｂ２２’は、その近傍のＲ１２，Ｒ３２の画素と，Ｂ２１，Ｂ２３の画素の各画素位置の色差を用いて、Ｇ２２の画素値Ｇ２２を補間し、Ｇ２２の画素の画素位置におけるＲ，Ｇの画素値Ｒ２２’，Ｂ２２’を算出する。
　具体的には、以下の式で補間を行う。
　Ｒ２２’＝Ｇ２２＋｛（Ｒ１２＋Ｒ３２）／２－（Ｇ１２’＋Ｇ３２’）／２｝　　　…（ｃ）
　Ｂ２２’＝Ｇ２２＋｛（Ｂ２１＋Ｂ２３）／２－（Ｇ２１’＋Ｇ２３’）／２｝　　　…（ｄ）
　尚、Ｇ３２’＝Ｇ４３，Ｇ２３’＝Ｇ３４である。
　上記のようにして３×３画素（Ａ配列）の全ての画素の同時化処理が終了すると、隣接する３×３画素（Ｂ配列）の対象画素に対して、上記と同じ処理（方向判別と同時化処理）を行い、これを３×３画素単位で移動させながら繰り返す。
　前述したように、カラー撮像素子１２のカラーフィルタ配列の場合、同時化処理の対象画素がＧ画素で、この画素位置におけるＲ，Ｂの画素値を算出する際に、斜め方向にＧ画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がＲ画素で、この画素位置におけるＧ，Ｂの画素値を算出する際に、斜め方向にＧ画素，又はＢ画素が存在しない場合や、同時化処理の対象画素がＢ画素で、この画素位置におけるＧ，Ｒの画素値を算出する際に、斜め方向にＧ画素，又はＲ画素が存在しない場合が考えられる。
　この場合にも、上記式（ａ）～（ｄ）と同様にして、ＲＧＢの画素値が算出された近傍の画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出することができる。
　近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
　同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式により算出する。
　ＲＧ＝Ｇ＋（Ｒ－ＧＲ），ＢＧ＝Ｇ＋（Ｂ－ＧＢ）　　　…（１）
　この式（１）は、前述した式（ａ），（ｂ）に相当するものである。
　同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式により算出する。
　ＧＲ＝Ｒ＋（Ｇ－ＲＧ），ＢＲ＝Ｒ＋（Ｂ－ＲＢ）　　　…（２）
　また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式により算出する。
　ＧＢ＝Ｂ＋（Ｇ－ＢＧ），ＲＢ＝Ｂ＋（Ｒ－ＢＲ）　　　…（３）
　尚、上記式（１）～（６）に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式（ｃ）～（ｄ）と同様に、複数の画素の平均の色差を使用して補間してもよい。
　また、本実施形態では、同時化処理の対象画素に対し、判別された相関方向に他の色の画素が存在しない場合には、近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしたが、これに限らず、近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
　近傍の画素の色比により、対象画素の画素値を補間して他の色の画素値を算出する方法の具体例を下記に示す。
　同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式により算出する。
　ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ）　　　…（４）
　同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式により算出する。
　ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ）　　　…（５）
　また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式により算出する。
　ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ）　　　…（６）
　また、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接するＧ画素の画素値の差分絶対値がそれぞれ等しい場合（差分絶対値が全ての方向で０の場合、又はほぼ０の場合）には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。
　なお、制御部２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。
　また、本実施形態では、図３、図８Ａに示すように、遮光膜４０Ａが水平方向に沿って配置された配列ラインと、遮光膜４０Ｂが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された場合について説明したが、図８Ｂに示すように、遮光膜４０Ａ及び遮光膜４０Ｂの順に水平方向に交互に配置された配列ラインと、遮光膜４０Ｂ及び遮光膜４０Ａの順に水平方向に交互に配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。なお、図８では、位相差検出用画素のみ示している。同図Ｂに示す配置の場合、遮光膜４０Ａ及び遮光膜４０Ｂともに斜めに配置されることになるため、例えば斜め線を含む被写体を撮影した場合に、精度よくピントを合わせることが可能となる。これは、以下の実施形態でも同様である。
（第２実施形態）
　次に、本発明の第２実施形態について説明する。なお、第１実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
　図９には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。
　図９に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢの中央の位相差検出用画素上に各々設けられ、かつ、遮光部４０が配置された第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図９の例では、垂直方向において（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置され、（２ｎ＋２）番目の基本配列パターンＣのラインには遮光膜４０Ａ、４０Ｂが配置されていない。
　この場合、制御部２４は、撮影モードが動画モードの場合、垂直方向における（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置された位相差検出用画素の画素データを読み出して位相差ＡＦ制御すると共に、垂直方向における（２ｎ＋２）番目の基本配列パターンＣのラインの通常画素の画素データを読み出して動画データを作成する。
　このように、本実施形態では、位相差検出用画素の画素データは位相差ＡＦ制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差ＡＦ制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。
（第３実施形態）
　次に、本発明の第３実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
　図１０には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が第１実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については第２実施形態と同様である。
　図１０に示すように、本実施形態では、遮光部４０が、基本配列パターンＣを構成する２組の第１の配列パターンＡ及び第２の配列パターンＢのうち、水平方向における一方の側の第１の配列パターンＣ及び第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない第１の配列パターンＡ及び第２の配列パターンＢが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。すなわち、図１０の例では、垂直方向において（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置され、（２ｎ＋２）番目の基本配列パターンＣのラインには遮光膜４０Ａ、４０Ｂが配置されていない。また、水平方向においては、６画素おきに遮光膜４０Ａ、４０Ｂが配置されている。すなわち、水平方向においては、（６ｍ＋２）番目（ｍ＝０，１，２，・・・）のラインに遮光膜４０Ａ、４０Ｂが配置されている。
　このため、第２実施形態と比較すると、位相差検出用画素の周囲に通常画素が増えるため、補間精度を向上させることができ、画質を向上させることができる。
（第４実施形態）
　次に、本発明の第４実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
　図１１には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が上記実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については第１実施形態と同様である。
　図１１に示すように、本実施形態では、遮光部４０が、基本配列パターンＣの一方の対角上に配置された２つの第１の配列パターンＡの中央の位相差検出用画素上に設けられ、かつ、全ての基本配列パターンに対して配置されている。
　この場合、動画モードにおいて、位相差ＡＦ制御しながら動画データを表示等する場合、位相差検出用画素については、周囲の画素から補間して動画データを作成する。
　ところで、水平方向に隣接する画素においては、隣の画素からの光が漏れ込むことで混色が発生する場合がある。これに対し、本実施形態においては、図１１に示すように、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＢ画素で同一となっている。このため、混色の影響を相殺することができ、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が同一でない場合と比較して、画質を向上させることができる。
　なお、図１２に示すように、基本配列パターンＣの他方の対角上に配置された２つの第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、全ての基本配列パターンに対して配置された構成としてもよい。この場合、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＲ画素で同一となっている。特に、Ｒの波長は隣接する画素に届きやすいため、混色をより効果的に防ぐことができ、画質を向上させることができる。
（第５実施形態）
　次に、本発明の第５実施形態について説明する。なお、上記実施形態と同一部分については同一符号を付し、その詳細な説明は省略する。
　図１３には、本実施形態に係る遮光膜４０Ａ、４０Ｂの配置を示した。本実施形態が上記実施形態と異なる点は、遮光膜４０Ａ、４０Ｂの配置である。間引き駆動については、第２、３実施形態と同様である。
　図１３に示すように、本実施形態では、遮光部４０が、基本配列パターンＣの一方の対角上に配置された２つの第１の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置されている。
　このように、本実施形態においては、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＢ画素で同一となっている。このため、混色の影響を相殺することができ、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が同一でない場合と比較して、画質を向上させることができる。
　また、制御部２４は、撮影モードが動画モードの場合、垂直方向における（２ｎ＋１）番目の基本配列パターンＣのラインに遮光膜４０Ａ、４０Ｂが配置された位相差検出用画素の画素データを読み出して位相差ＡＦ制御すると共に、垂直方向における（２ｎ＋２）番目の基本配列パターンＣのラインの通常画素の画素データを読み出して動画データを作成する。
　このように、位相差検出用画素の画素データは位相差ＡＦ制御にのみ使用し、動画データの作成には使用しないので、周囲の画素から補間する必要がない。また、動画データは、通常画素の画素データから作成する。このため、位相差検出用画素を動画データの作成に基いる場合と比較して、位相差ＡＦ制御の処理速度を向上させることができる。また、補間して動画データを作成する場合と比較して、動画データ作成の処理速度を向上させることができる。
　なお、図１４に示すように、他方の対角上に配置された２つの第２の配列パターンＢの中央の位相差検出用画素上に設けられ、かつ、遮光部４０が配置された基本配列パターンＣが水平方向に沿って配置された配列ラインと、遮光部４０が配置されない基本配列パターンＣが水平方向に沿って配置された配列ラインと、が垂直方向に交互に配置された構成としてもよい。
　この場合、遮光膜４０Ａが設けられた位相差検出用画素の遮光膜４０Ａが設けられた側に水平方向に隣接する画素と、遮光膜４０Ｂが設けられた位相差検出用画素の遮光膜４０Ｂが設けられた側に水平方向に隣接する画素と、が共にＲ画素で同一となっている。特に、Ｒの波長は隣接する画素に届きやすいため、混色をより効果的に防ぐことができ、画質を向上させることができる。
　また、上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。
　また、上記各実施形態では、位相差検出用画素に、水平方向の左半分の画素を遮光する遮光膜４０Ａ又は水平方向の右半分の画素を遮光する遮光膜４０Ｂが設けられた構成について説明したが、遮光する領域はこれに限られるものではなく、遮光膜４０Ａが位相差検出用画素の一部の領域を遮光し他の領域を透過するものであり、遮光膜４０Ｂが位相差検出用画素の一部を遮光し遮光膜４０Ａが透過する領域と対になる領域を透過するものであればよい。
　また、上記各実施形態では、位相差検出用画素に遮光膜が設けられた構成について説明したが、これに限らず、例えば特願２００９－２２７３３８号に記載されたような構成とすることにより、位相差検出用画素を形成してもよい。すなわち、撮像素子を、トップマイクロレンズ、インナーマイクロレンズ、及び同一形状の受光素子で構成し、撮影レンズ瞳の全域を通る光線を受光する第１の画素Ｄ１、撮影レンズ瞳の半分の領域の一部を通る光線のみを受光する第２の画素Ｄ２、撮影レンズ瞳の半分の領域の一部で第２の画素Ｄ２とは異なる領域を通る光線のみを受光する第３の画素Ｄ３を含んで構成する。そして、図１５に示すように、第２の画素Ｄ２、第３の画素Ｄ３については、第１の画素Ｄ１のトップマイクロレンズＬ１よりも直径が小さいトップマイクロレンズＬ２、Ｌ３を、インナーマイクロレンズの光軸に対して各々異なる方向にシフトして各々配置する。また、トップマイクロレンズと受光素子とはシフトして配置する。これにより、第２の画素Ｄ２、第３のＤ３を位相差検出用画素として形成することができる。このような構成においても、本発明は適用可能である。さらに、撮像素子の構成によってはインナーレンズを設けない形態でも良い。また、位相差画素の構成としては上記構成に限られず、瞳分割できるものであれば代替可能である。
（第６実施形態）
　次に、本発明の第６実施形態について説明する。
　位相差検出用画素は、通常画素と比較して感度が低い等、その特性が異なるため、位相差検出用画素の画素データを静止画像や動画像の画像データとして用いる場合、位相差検出用画素の画素データは補正する必要がある。そこで、本実施形態では、位相差検出用画素の画素データの補正方法について説明する。
　補正方法としては、平均値補正及びゲイン補正の２種類の方法が知られており、何れを用いてもよい。平均値補正は、位相差検出用画素の周囲の通常画素の画素値を平均し、これを位相差検出用画素の画素データとする方法である。一方、ゲイン補正は、位相差検出用画素の画素データに、通常画素と位相差検出用画素とのレベル差に相当する所定のゲインを乗じることにより、位相差検出用画素の画素データを引き上げる方法である。
　以下、位相差検出用画素の画素データを平均値補正で補正する場合について具体的に説明する。
　図１７には、Ａ配列及びＢ配列の中央のＧ画素を中心とした３×３画素内のＧ画素の配置を示した。同図においては、中心のＧ画素をＧ１、その周囲のＧ画素を左上から時計回りにそれぞれＧ２、Ｇ３、Ｇ４、Ｇ５としている。
　図３、９～１４に示すように、位相差検出用画素は、何れも図１７においてＧ１画素に配置されている。
　従って、位相差検出用画素であるＧ１画素の画素データを画像データとして用いる場合には、その周囲の通常画素であるＧ２、Ｇ３、Ｇ４、Ｇ５の各画素の画素データの平均値をＧ１画素の画素データとする。
　以上のようにして、位相差検出用画素の画素データを、周囲の通常画素の画素データに基づいて平均値補正する。
　なお、撮影画像の内容によっては、ゲイン補正及び平均値補正の何れを行う方が良好な画像が得られるかが異なる場合がある。従って、撮影画像の内容に応じてゲイン補正と平均値補正とを使い分けるようにしてもよい。
１０　撮像装置
１２　光学系
１４　撮像素子
１６　撮像処理部
２０　画像処理部
２２　駆動部
２４　制御部
３０　カラーフィルタ
４０　遮光部
４０Ａ、４０Ｂ　遮光膜

Claims (16)

  1. 　水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    　前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
    　前記基本配列パターンを構成する２組の前記第１の配列パターン及び前記第２の配列パターンのうち、少なくとも１組のパターンの中央の位置に対応する前記画素に配置された位相差検出用画素と、
    　を備えたカラー撮像素子。
  2. 　前記位相差検出用画素には、当該画素の一部の領域を遮光し他の領域を透過する第１の遮光膜又は当該画素の一部を遮光し前記第１の遮光膜が透過する領域と対になる領域を透過する第２の遮光膜を含む遮光手段が設けられた
    　請求項１記載のカラー撮像素子。
  3. 　前記遮光手段における前記第１の遮光膜が画素の水平方向の左半分の領域を遮光するものであり、前記第２の遮光膜が画素の水平方向の右半分の領域を遮光するものである
    　請求項２記載のカラー撮像素子。
  4. 　前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての前記基本配列パターンにおいて前記中央の位置に対応する画素に配置された
    　請求項１～３の何れか１項に記載のカラー撮像素子。
  5. 　前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に各々設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
    　請求項１～３の何れか１項に記載のカラー撮像素子。
  6. 　前記位相差検出用画素が、２組の前記第１の配列パターン及び前記第２の配列パターンのうち、前記水平方向における一方の側の組の前記第１の配列パターン及び前記第２の配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記第１の配列パターン及び前記第２の配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
    　請求項１～３の何れか１項に記載のカラー撮像素子。
  7. 　前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記撮像素子の少なくとも所定の領域内においては全ての基本配列パターンにおいて前記中央の位置に対応する画素に配置された
    　請求項１～３の何れか１項に記載のカラー撮像素子。
  8. 　前記位相差検出用画素が、前記基本配列パターンの一方の対角上に配置された２つの前記第１の配列パターン及び他方の対角上に配置された２つの前記第２の配列パターンのうち、何れかの対角上に配置された２つの配列パターンの中央の位置に対応する画素に設けられ、かつ、前記位相差検出用画素が配置された前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、前記位相差検出用画素が配置されない前記基本配列パターンが前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
    　請求項１～３の何れか１項に記載のカラー撮像素子。
  9. 　前記第１の遮光膜が前記水平方向に沿って配置された配列ラインと、前記第２の遮光膜が前記水平方向に沿って配置された配列ラインと、が前記垂直方向に交互に配置された
    　請求項２～８の何れか１項に記載のカラー撮像素子。
  10. 　前記第１の遮光膜及び前記第２の遮光膜の順に前記水平方向に交互に配置された配列ラインと、前記第２の遮光膜及び前記第１の遮光膜の順に前記水平方向に交互に配置された配列ラインと、が前記垂直方向に交互に配置された
    　請求項２～８の何れか１項に記載のカラー撮像素子。
  11. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色であり、前記第３の色は、青（Ｂ）色であり、
    　前記第１の遮光膜の前記水平方向における左側の画素及び前記第２の遮光膜の前記水平方向における右側の画素が、前記Ｒ色の画素となるように前記遮光手段が配置されている
    　請求項３～１０の何れか１項に記載のカラー撮像素子。
  12. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である
    　請求項１～１０の何れか１項に記載のカラー撮像素子。
  13. 　前記請求項１～１２の何れか１項に記載のカラー撮像素子と、
    　前記位相差検出用画素から位相差検出用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    　前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
    　を備えた撮像装置。
  14. 　前記請求項５、６、８の何れか１項に記載のカラー撮像素子と、
    　前記位相差検出用画素から位相差検出用画素データを読み出すと共に前記位相差検出用画素以外の通常画素から動画作成用画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    　前記位相差検出用画素データに基づいて焦点調整する焦点調整手段と、
    　前記動画作成用画素データに基づいて動画データを作成する作成手段と、
    　を備えた撮像装置。
  15. 　前記請求項１～１２の何れか１項に記載のカラー撮像素子と、
    　前記基本配列パターンの中央に２×２の第１のフィルタが配置された方向判別用画素の画素データを読み出すように前記カラー撮像素子を駆動する駆動手段と、
    　前記方向判別用画素から読み出した画素データに基づいて、輝度の相関方向を検出する検出手段と、
    　検出した前記相関方向に基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間する補間手段と、
    　を備えた撮像装置。
  16. 　コンピュータを、請求項１３～請求項１５の何れか１項に記載の撮像装置を構成する各手段として機能させるための撮像プログラム。
PCT/JP2011/067546 2011-03-24 2011-07-29 カラー撮像素子、撮像装置、及び撮像プログラム WO2012127699A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180069495.8A CN103444183B (zh) 2011-03-24 2011-07-29 彩色摄像元件及摄像装置
EP11861733.1A EP2690873A4 (en) 2011-03-24 2011-07-29 IMAGING ELEMENT, IMAGING DEVICE AND IMAGING PROGRAM
JP2013505761A JP5547338B2 (ja) 2011-03-24 2011-07-29 カラー撮像素子、撮像装置、及び撮像プログラム
US14/031,822 US8723991B2 (en) 2011-03-24 2013-09-19 Color imaging element, imaging device, and storage medium storing an imaging program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011066629 2011-03-24
JP2011-066629 2011-03-24
JP2011163308 2011-07-26
JP2011-163308 2011-07-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/031,822 Continuation US8723991B2 (en) 2011-03-24 2013-09-19 Color imaging element, imaging device, and storage medium storing an imaging program

Publications (1)

Publication Number Publication Date
WO2012127699A1 true WO2012127699A1 (ja) 2012-09-27

Family

ID=46878890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/067546 WO2012127699A1 (ja) 2011-03-24 2011-07-29 カラー撮像素子、撮像装置、及び撮像プログラム

Country Status (5)

Country Link
US (1) US8723991B2 (ja)
EP (1) EP2690873A4 (ja)
JP (1) JP5547338B2 (ja)
CN (1) CN103444183B (ja)
WO (1) WO2012127699A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002274A1 (ja) * 2014-07-02 2016-01-07 オリンパス株式会社 撮像装置、画像処理方法、及び画像処理プログラム
KR20160016142A (ko) * 2014-08-04 2016-02-15 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP2016028265A (ja) * 2014-06-16 2016-02-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2690872A4 (en) * 2011-03-24 2014-09-03 Fujifilm Corp COLOR IMAGING ELEMENT, IMAGING DEVICE, AND IMAGING PROGRAM
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
KR102269600B1 (ko) 2014-08-05 2021-06-25 삼성전자주식회사 위상차 포커스 검출 가능한 촬상소자
JP2018046394A (ja) * 2016-09-14 2018-03-22 オリンパス株式会社 撮像素子、撮像装置
US10366674B1 (en) * 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
US11245878B2 (en) * 2019-02-28 2022-02-08 Qualcomm Incorporated Quad color filter array image sensor with aperture simulation and phase detection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2000156823A (ja) 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2007155929A (ja) 2005-12-01 2007-06-21 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2008312073A (ja) 2007-06-16 2008-12-25 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2009089144A (ja) 2007-10-01 2009-04-23 Nikon Corp 電子カメラ
JP2009105682A (ja) 2007-10-23 2009-05-14 Nikon Corp 撮像素子および撮像装置
JP2009227338A (ja) 2008-02-28 2009-10-08 Chugoku Electric Power Co Inc:The 作業服類の保管袋及びこれを用いた保管方法
JP2010066494A (ja) 2008-09-10 2010-03-25 Olympus Corp 固体撮像素子及びデジタルカメラ
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
US6707937B1 (en) * 2000-07-14 2004-03-16 Agilent Technologies, Inc. Interpolation of edge portions of a digital image
US7847829B2 (en) * 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
CN101821657B (zh) * 2007-08-06 2013-08-07 佳能株式会社 摄像设备
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2000156823A (ja) 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2007155929A (ja) 2005-12-01 2007-06-21 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
JP2008312073A (ja) 2007-06-16 2008-12-25 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2009089144A (ja) 2007-10-01 2009-04-23 Nikon Corp 電子カメラ
JP2009105682A (ja) 2007-10-23 2009-05-14 Nikon Corp 撮像素子および撮像装置
JP2009227338A (ja) 2008-02-28 2009-10-08 Chugoku Electric Power Co Inc:The 作業服類の保管袋及びこれを用いた保管方法
JP2010066494A (ja) 2008-09-10 2010-03-25 Olympus Corp 固体撮像素子及びデジタルカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2690873A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016028265A (ja) * 2014-06-16 2016-02-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
WO2016002274A1 (ja) * 2014-07-02 2016-01-07 オリンパス株式会社 撮像装置、画像処理方法、及び画像処理プログラム
JP2016015634A (ja) * 2014-07-02 2016-01-28 オリンパス株式会社 撮像装置、画像処理方法、及び画像処理プログラム
CN105745923B (zh) * 2014-07-02 2017-06-30 奥林巴斯株式会社 摄像装置及图像处理方法
US9749520B2 (en) 2014-07-02 2017-08-29 Olympus Corporation Imaging device and image processing method
KR20160016142A (ko) * 2014-08-04 2016-02-15 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
KR102346622B1 (ko) 2014-08-04 2022-01-04 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치

Also Published As

Publication number Publication date
US20140043508A1 (en) 2014-02-13
CN103444183A (zh) 2013-12-11
CN103444183B (zh) 2015-01-28
EP2690873A1 (en) 2014-01-29
JPWO2012127699A1 (ja) 2014-07-24
EP2690873A4 (en) 2014-10-08
US8723991B2 (en) 2014-05-13
JP5547338B2 (ja) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5490313B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5547338B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5398346B2 (ja) 撮像装置及び信号処理装置
JP5361535B2 (ja) 撮像装置
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5539584B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5680797B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP5600812B2 (ja) 撮像装置
JP5539583B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
WO2012124182A1 (ja) 撮像装置及び撮像プログラム
JP5624227B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5607267B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP7019442B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11861733

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013505761

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2011861733

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011861733

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE