WO2013042606A1 - デジタルカメラ及び固体撮像装置 - Google Patents

デジタルカメラ及び固体撮像装置 Download PDF

Info

Publication number
WO2013042606A1
WO2013042606A1 PCT/JP2012/073452 JP2012073452W WO2013042606A1 WO 2013042606 A1 WO2013042606 A1 WO 2013042606A1 JP 2012073452 W JP2012073452 W JP 2012073452W WO 2013042606 A1 WO2013042606 A1 WO 2013042606A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
pixel
color
difference pixels
imaging
Prior art date
Application number
PCT/JP2012/073452
Other languages
English (en)
French (fr)
Inventor
小柴　賢明
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2013042606A1 publication Critical patent/WO2013042606A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a digital camera and a solid-state imaging device that capture a parallax image for stereoscopic viewing.
  • an R phase difference pixel that photoelectrically converts light (pupil split light beam) incident from the right direction by arranging a photodiode (photoelectric conversion region) shifted from the center position of the pixel, and left direction Describes a solid-state imaging device composed of an L phase difference pixel that photoelectrically converts light incident from the light source and a digital camera including the same.
  • These R phase difference pixels and L phase difference pixels are prepared for three colors, and are arranged in a Bayer array of 2 vertical pixels ⁇ 2 horizontal pixels.
  • the R divided image generated from the R phase difference pixel and the L divided image generated from the L phase difference pixel are compared.
  • a focus adjustment amount (defocus amount) is calculated.
  • the photographing lens is driven via the lens control unit to perform automatic focus adjustment (AF). Further, at the time of photographing, one still image is generated by using the R phase difference pixel and the L phase difference pixel as one pixel without distinguishing them.
  • the digital camera of the present invention includes a solid-state imaging device, a photographing lens, and an image processing unit.
  • a plurality of first R phase difference pixels, a plurality of first L phase difference pixels, a plurality of second R phase difference pixels, and a plurality of second L phase difference pixels are arranged on the imaging surface.
  • a color filter of at least one of the three primary colors is included.
  • the first R phase difference pixel has high sensitivity to incident light incident at a first angle from the first direction.
  • the first L phase difference pixel has high sensitivity to incident light incident at a first angle from a second direction opposite to the first direction.
  • the second R phase difference pixel has high sensitivity to incident light incident at a second angle smaller than the first angle from the first direction.
  • the second L phase difference pixel has high sensitivity to incident light incident at a second angle from a second direction opposite to the first direction.
  • the photographic lens forms an image of a subject on the imaging surface of the solid-state imaging device.
  • the image processing unit In the first imaging mode, the image processing unit generates the first viewpoint image based on the imaging signals of the plurality of first R phase difference pixels, and generates the second viewpoint based on the imaging signals of the plurality of first L phase difference pixels. Generate a viewpoint image.
  • the first viewpoint image is generated based on the imaging signals of the plurality of second R phase difference pixels, and the second viewpoint image is generated based on the imaging signals of the plurality of second L phase difference pixels. .
  • the plurality of pixels are partitioned into 2 ⁇ 2 pixel blocks having color filters of the same color, and each pixel block includes a first R phase difference pixel, a first L phase difference pixel, a second R phase difference pixel, and a second L level. It is preferable to have a phase difference pixel.
  • the three primary colors are a first color, a second color, and a third color, and it is preferable that the first pixel block rows and the second pixel block rows are alternately arranged in the column direction.
  • first pixel block row pixel blocks having a first color filter and pixel blocks having a second color filter are alternately arranged.
  • second pixel block row pixel blocks having a third color filter and pixel blocks having a first color filter are alternately arranged.
  • the pixel mixture is preferably addition or averaging of two phase difference pixels in the same direction within the same block.
  • the first color is green
  • the second color is blue
  • the third color is red.
  • Each first R phase difference pixel has a photodiode and a first R decentered microlens formed at a position shifted by a first distance in the first direction from the center of the photodiode, and each first L-th phase difference pixel
  • the phase difference pixel includes a photodiode and a first L eccentric microlens formed at a position shifted by a first distance in the second direction from the center of the photodiode
  • each second R phase difference pixel includes: A second R-decentered microlens formed at a position shifted by a second distance shorter than the first distance in the first direction from the center of the photodiode;
  • the phase difference pixel may include a photodiode and a second L eccentric microlens formed at a position shifted by a second distance in the second direction from the center of the photodiode. The first distance is greater than the second distance;
  • the movable range of the zoom lens is set as a first area on the wide angle side, a second area on the telephoto side, and a third area between the first area and the second area. Is selected in the first area, the second imaging mode is selected when the variable magnification lens is in the second area, and the first imaging mode is selected when the variable magnification lens is in the third area. It is preferable to select the three imaging modes.
  • the solid-state imaging device of the present invention includes a plurality of first R phase difference pixels, a plurality of first L phase difference pixels, a plurality of second R phase difference pixels, a plurality of second L phase difference pixels, and one color for each pixel. And at least three primary color filters arranged to be assigned.
  • the first R phase difference pixel has high sensitivity to incident light incident at a first angle from the first direction.
  • the first L phase difference pixel has high sensitivity to incident light incident at a first angle from a second direction opposite to the first direction.
  • the second R phase difference pixel has high sensitivity to incident light incident at a second angle smaller than the first angle from the first direction.
  • the second L phase difference pixel has high sensitivity to incident light incident at a second angle from a second direction opposite to the first direction.
  • the plurality of pixels are partitioned into 2 ⁇ 2 pixel blocks having color filters of the same color, and each pixel block includes a first R phase difference pixel, a first L phase difference pixel, a second R phase difference pixel, and a second L level. It is preferable to have a phase difference pixel.
  • FIG. 3 is a sectional view taken along line III-III in FIG. 2.
  • FIG. 4 is a sectional view taken along line IV-IV in FIG. 2.
  • FIG. 5 is a sectional view taken along line VV in FIG. 2.
  • FIG. 3 is a sectional view taken along line VI-VI in FIG. 2.
  • It is a top view of a light shielding film. It is a figure explaining the addition process of an imaging signal.
  • photography procedure It is explanatory drawing which shows the imaging state at the time of 1st imaging mode. It is explanatory drawing which shows the imaging state at the time of 2nd imaging mode.
  • a digital camera 10 is a monocular 3D digital camera that generates a parallax image composed of R viewpoint image data and L viewpoint image data.
  • the digital camera 10 has a CPU 11.
  • the CPU 11 sequentially executes various programs read from a memory (not shown) based on control signals from the operation unit 12 including a shutter button and various operation buttons, and controls the respective units of the digital camera 10 in an integrated manner.
  • the digital camera 10 has first to third imaging modes for generating parallax images with different parallax amounts.
  • first imaging mode a first parallax image having the largest first parallax amount is generated.
  • second imaging mode a second parallax image having the smallest second parallax amount is generated.
  • third imaging mode a third parallax image having a third parallax amount that is intermediate between the first parallax amount and the second parallax amount is generated. Switching of the imaging mode is performed by the operation unit 12.
  • the lens unit 13 includes a photographing lens 14 and a mechanical shutter 15.
  • the taking lens 14 includes a zoom lens 16 and a focus lens 17.
  • the zoom lens 16 and the focus lens 17 are driven by the zoom mechanism 18 and the focus mechanism 19, respectively, and move in the direction of the photographing optical axis O1.
  • the mechanical shutter 15, the zoom mechanism 18, and the focus mechanism 19 are controlled by the CPU 11 via the lens driver 21.
  • the zoom lens 16 and the focus lens 17 move in the optical axis direction.
  • focus adjustment the focus lens 17 moves in the optical axis direction. It is also possible to adjust the focus by moving the entire photographing lens 14.
  • a known correction lens may be provided in order to correct the focus shift caused by the magnification change of the variable magnification lens 16. In this case, the focus lens 17 is stopped during zooming.
  • the mechanical shutter 15 has a shutter blade that moves between a closed position that prevents the object light from entering the solid-state imaging device 20 and an open position that allows the object light to enter.
  • the mechanical shutter 15 opens or blocks the optical path from the photographing lens 14 to the solid-state imaging device 20 by moving the shutter blade to each position.
  • the lens unit 13 includes a diaphragm (not shown) that controls the amount of subject light incident on the solid-state imaging device 20.
  • the solid-state imaging device 20 is a CMOS type image sensor, which converts subject light from the photographing lens 14 into an electrical signal and outputs it.
  • the CMOS driver 23 controls driving of the solid-state imaging device 20 under the control of the CPU 11.
  • the image processing circuit 22 performs various kinds of processing such as gradation conversion, white balance correction, and ⁇ correction processing on the imaging signal from the solid-state imaging device 20 to generate R viewpoint image data and L viewpoint image data. Further, the image processing circuit 22 generates L focus detection image data and R focus detection image data for a predetermined AF area, for example, the center of the screen, for focus adjustment.
  • the AF detection unit 26 calculates a focus adjustment amount (defocus amount) for focusing the photographing lens 14 based on the L focus detection image data and the R focus detection image data.
  • the AF control unit 27 of the CPU 11 performs focus adjustment by moving the focus lens 17 via the lens driver 21 based on the focus adjustment amount obtained by the AF detection unit 26. Note that the moving direction of the focus lens 17 is determined from the sign of the adjustment amount of the focus adjustment amount.
  • the compression / decompression processing circuit 29 performs compression processing on the image data of each image processed by the image processing circuit 22.
  • the compression / decompression processing circuit 29 performs decompression processing on the compressed image data read from the memory card 31 via the media I / F 30.
  • the media I / F 30 records and reads each image data with respect to the memory card 31.
  • the display unit 32 is a liquid crystal display or the like, and displays a through image (live view image), a reproduced image, and the like.
  • the display unit 32 displays a stereoscopic image for the first to third parallax images.
  • the display unit 32 a device that displays a three-dimensional image is used.
  • the three-dimensional image display includes a lenticular method, a parallax barrier method, a parallax barrier method, an anaglyph method, a frame sequential method, a light direction method, and the like.
  • the imaging surface 20 a of the solid-state imaging device 20 includes first R phase difference pixels R 1R , G 1R , B 1R , first L phase difference pixels R 1L , G 1L , B 1L , and second R phase difference pixels.
  • R 2R , G 2R , B 2R and second L phase difference pixels R 2L , G 2L , B 2L are arranged. These pixels are arranged in a square array.
  • R, G, and B represent the three primary colors of the color filter provided in each pixel.
  • R represents red
  • G represents green
  • B represents blue.
  • Each pixel selectively receives light having a wavelength corresponding to the color of the color filter.
  • each pixel depends on the incident direction of incident light.
  • the first R phase difference pixels R 1R , G 1R , B 1R and the first L phase difference pixels R 1L , G 1L , B 1L are incident at angles ⁇ (first Sensitivity is high with respect to incident light having an incident angle of 1 maximum sensitivity.
  • the second R phase difference pixels R 2R , G 2R , B 2R and the second L phase difference pixels R 2L , G 2L , B 2L have an angle ⁇ smaller than the first highest sensitivity incident angle ⁇ . Sensitivity is high with respect to incident light of (second highest sensitivity incident angle).
  • a first pixel block 34R, a second pixel block 34G, and a third pixel block 34B are configured by four pixels arranged in a 2 ⁇ 2 square array, and color filters of the same color are arranged in each block.
  • the first pixel block 34R includes a first R phase difference pixel R 1R , a first L phase difference pixel R 1L , a second R phase difference pixel R 2R , and a second L phase difference pixel R 2L .
  • the first R phase difference pixel R 1R and the first L phase difference pixel R 1L , the second R phase difference pixel R 2R and the second L phase difference pixel R 2L are adjacent to each other in the row direction.
  • the first R phase difference pixel R 1R and the second R phase difference pixel R 2R , the first L phase difference pixel R 1L and the second L phase difference pixel R 2L are adjacent to each other in the column direction.
  • the second pixel block 34G and the third pixel block 34B are the same as the first pixel block 34R except that the color of the color filter is different.
  • the first pixel block row 36 is configured by alternately arranging the second pixel block 34G and the third pixel block 34B in the row direction.
  • the first pixel block 34R and the second pixel block 34G are alternately arranged in the row direction to form a second pixel block row 37.
  • the first pixel block rows 36 and the second pixel block rows 37 are alternately formed in the column direction.
  • Each pixel of the solid-state imaging device 20 is provided with a pixel circuit (not shown) as is well known. This pixel circuit converts the signal charge accumulated in the photodiode 41 (see FIGS. 3 to 6) of each pixel into a signal voltage and outputs the signal voltage.
  • the solid-state imaging device 20 is provided with a plurality of drive lines (not shown) for driving the pixel circuit and a plurality of signal lines (not shown) for reading a signal voltage from each pixel. .
  • the signal voltage read out to the signal line is output to the image processing circuit 22 as an output signal through an output circuit and an amplifier (both not shown).
  • a photodiode (PD) 41 formed of an N-type layer is provided on the surface layer of a semiconductor substrate (Psub) 40 formed of P-type silicon.
  • the pixel circuit is formed in the semiconductor substrate 40 although not shown.
  • a transparent insulating film 43 made of, for example, silicon oxide (SiO 2 ) is provided.
  • a light shielding film 44 made of, for example, tungsten is provided. As shown in FIG. 7, the light shielding film 44 has a first R eccentric opening 46a, a first L eccentric opening 46b, a second R eccentric opening 47a, and a second L eccentric opening 47b. These openings are circular, for example.
  • the first L eccentric opening 46b is provided in the first L phase difference pixels R 1L , G 1L , and B 1L , and the center thereof is shifted from the center line of the PD 41 by a distance L1 in the right direction. As a result, the first L phase difference pixels R 1L , G 1L , and B 1L are partially opened in the right region on the surface of the PD 41.
  • the 2R eccentric opening 47a is first 2R phase difference pixel R 2R, provided on the G 2R, B 2R, the center is shifted to the left by a distance L2 from the center line of the PD 41.
  • the second L eccentric opening 47b is provided in the second L phase difference pixels R 2L , G 2L , and B 2L , and the center thereof is shifted from the center line of the PD 41 by the distance L2 in the right direction.
  • L2 ⁇ L1.
  • a flattening layer 48 having a flat surface and a transparent surface is provided on the light shielding film 44.
  • a color filter array 50 is provided on the planarizing layer 48.
  • the color filter array 50 includes a red color filter 50R, a green color filter 50G, and a blue color filter 50B.
  • the red color filter 50R is disposed above the PD 41 of the first R phase difference pixel R 1R , the first L phase difference pixel R 1L , the second R phase difference pixel R 2R , and the second L phase difference pixel R 2L , and these PD 41 Red light is incident on.
  • the green color filter 50G is disposed above the PD 41 of the first R phase difference pixel G 1R , the first L phase difference pixel G 1L , the second R phase difference pixel G 2R , and the second L phase difference pixel G 2L , and these PD 41 Green light is incident on.
  • a micro lens 52 is provided so that the optical axis O2 coincides with the center line of each PD 41.
  • the second R phase difference pixels R 2R , G 2R , and B 2R have high sensitivity to the incident light 54R that is incident from the right oblique direction, like the first R phase difference pixels R 1R , G 1R , and B 1R, and the second R phase difference pixels R 2R , G 2R , and B 2R Highest sensitivity when incident at the highest sensitivity incident angle ⁇ .
  • the second highest sensitivity incident angle ⁇ is an angle determined according to the shift amount L2 of the second R eccentric opening 47a, and is smaller than the first highest sensitivity incident angle ⁇ .
  • the second L phase difference pixels R 2L , G 2L , and B 2L are high in sensitivity to the incident light 54L incident from the left oblique direction, like the first L phase difference pixels R 1L , G 1L , and B 1L. , The highest sensitivity when incident at the second highest sensitivity incident angle ⁇ .
  • the CPU 11 controls signal output from each pixel of the solid-state imaging device 20 via the CMOS driver 23.
  • the CPU 11 In the first imaging mode, the CPU 11 outputs signals from the first R phase difference pixels R 1R , G 1R , B 1R and the first L phase difference pixels R 1L , G 1L , B 1L .
  • signals are output from the second R phase difference pixels R 2R , G 2R , B 2R and the second L phase difference pixels R 2L , G 2L , B 2L .
  • signals are output from all pixels.
  • the image processing circuit 22 In the third imaging mode, the image processing circuit 22, as shown in FIG. 8, outputs signals from the first R phase difference pixels R 1R , G 1R , B 1R and the second R phase difference pixels R 2R , G 2R , B
  • the R viewpoint image data is generated by adding the phase difference pixels in the same direction within the same pixel block (so-called pixel mixture) to the output signal from 2R . Specifically, R 1R and R 2R are added, G 1R and G 2R are added, and B 1R and B 2R are added.
  • the output signal from the first L phase difference pixels R 1L , G 1L , B 1L and the output signal from the second L phase difference pixels R 2L , G 2L , B 2L are phase difference in the same direction within the same pixel block.
  • L viewpoint image data is generated by adding the pixels. Note that the averaging is not limited to addition, and averaging may be performed.
  • the parallax amount of the third parallax image obtained in the third imaging mode becomes a value approximately in the middle between the first parallax amount in the first imaging mode and the second parallax amount in the second imaging mode.
  • an L viewpoint image and an R viewpoint image are created in a predetermined cycle and sent to the display unit 32 to display a stereoscopic image.
  • the display unit 32 is not for stereoscopic display, either the L viewpoint image or the R viewpoint image is displayed on the display unit 32. Thereby, a three-dimensional image or a through image of the two-dimensional image is displayed on the display unit 32.
  • the image processing circuit 22 generates R focus detection image data and L focus detection image data based on output signals from the pixels included in the AF area of the imaging surface 20a, for example, the central region, in each imaging mode. .
  • R and L focus detection image data is generated in the first imaging mode.
  • R and L focus detection is performed based on output signals from the second R phase difference pixels R 2R , G 2R , B 2R and the second L phase difference pixels R 2L , G 2L , B 2L included in the central region.
  • Image data is generated.
  • R and L focus detection image data is generated based on a signal obtained by adding the output signals from the pixels included in the central region as described above.
  • the AF area may be not only the central portion of the screen but the entire screen.
  • R and L viewpoint image data may be used as the R and L focus detection image data.
  • the operation of the digital camera 10 will be described with reference to the flowchart of FIG.
  • the CPU 11 controls the operation of the mechanical shutter 16 via the lens driver 21 and also uses the solid-state imaging device 20 via the CMOS driver 23. Drive.
  • the mechanical shutter 15 When the mechanical shutter 15 is opened, light from the subject enters the solid-state imaging device 20.
  • the PD 41 of each pixel of the solid-state imaging device 20 photoelectrically converts incident light to generate a signal charge and accumulate it. These signal charges are read out in time series as signal voltages by the pixel circuit under the control of the CMOS driver 23.
  • the CPU 11 selects a pixel from which the signal voltage is read according to the selected imaging mode.
  • the R viewpoint image is obtained by adding the image signals from the first R phase difference pixels R 1R , G 1R , B 1R and the image signals from the second R phase difference pixels R 2R , G 2R , B 2R.
  • L viewpoint image data by generating data and adding the image signals from the first L phase difference pixels R 1L , G 1L and B 1L and the image signals from the second L phase difference pixels R 2L , G 2L and B 2L Is generated.
  • the R and L viewpoint images are displayed on the display unit 32 as a through image.
  • the AF control unit 27 performs focus adjustment by moving the focus lens 17 in the optical axis direction by the focus mechanism 19 via the lens driver 21 based on the focus adjustment amount calculated by the AF detection unit 26.
  • the moving direction of the focus lens 17 is determined according to the positive / negative of the focus adjustment amount.
  • This phase difference AF is described in detail in Japanese Patent No. 2959142, Japanese Patent Application Laid-Open No. 2009-128892, Japanese Patent Application Laid-Open No. 2007-158597, and the detailed description thereof is omitted here.
  • This AF control is repeatedly performed in a predetermined cycle while displaying a through image.
  • the first to third imaging modes can be selected by the operation unit 12, but the CPU 11 automatically selects the first to third imaging modes according to the position of the variable magnification lens 16. You may comprise. This is based on the fact that the incident angle of incident light that is incident on the imaging surface 20 a of the solid-state imaging device 20 changes according to the position of the variable magnification lens 16.
  • the solid-state imaging devices 20 and 60 include the primary color filters 50R, 50G, and 50B for red, green, and blue, but instead, complementary colors of yellow, magenta, and cyan.
  • a color filter may be used.
  • a color filter of four or more colors may be used.
  • the solid-state imaging device is not limited to the CMOS type, and may be a CCD type.

Abstract

　適切な視差量の視差画像を取得可能とする。　固体撮像装置（２０）は、第１Ｒ位相差画素（Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒ）、第１Ｌ位相差画素（Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌ）、第２Ｒ位相差画素（Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒ）、第２Ｌ位相差画素（Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ）を有する。第１Ｒ位相差画素は、右斜め方向から角度αで入射した光に対して感度が高い。第１Ｌ位相差画素は、左斜め方向から角度αで入射した光に対して感度が高い。第２Ｒ位相差画素は、右斜め方向から角度βで入射した光に対して感度が高い。第２Ｌ位相差画素は、左斜め方向から角度βで入射した光に対して感度が高い。角度αは、角度βより大きい。第１撮像モードでは、第１Ｒ及び第１Ｌ位相差画素の撮像信号から視差画像を生成する。第２撮像モードでは、第２Ｒ及び第２Ｌ位相差画素の撮像信号から視差画像を生成する。

Description

デジタルカメラ及び固体撮像装置
　本発明は、立体視用の視差画像を撮影するデジタルカメラ及び固体撮像装置に関する。
　写真、映画、テレビ等において、両眼視差を利用した立体鑑賞（立体視）が普及している。この両眼視差は、左右の目に、異なる２Ｄ画像を見せることで、擬似的な立体感を与えるものである。立体鑑賞に用いられる画像は、視差画像と呼ばれており、右目用のＲ視点画像と、左目用のＬ視点画像とで構成されている。この視差画像は、原理的にはカメラ位置を変えて撮影することで作成することができる。また、Ｒ視点画像を撮影する第１のレンズユニットと、Ｌ視点画像を撮影する第２のレンズユニットとを備え、１回の撮影で視差画像を撮影することができるようにした複眼式デジタルカメラが市販されている。
　また、特許文献１には、フォトダイオード（光電変換域）を画素の中心位置からずらして配置して、右方向から入射する光（瞳分割光束）を光電変換するＲ位相差画素と、左方向から入射する光を光電変換するＬ位相差画素とから構成された固体撮像装置及びこれを備えたデジタルカメラが記載されている。これらのＲ位相差画素とＬ位相差画素は３色分用意され、縦２画素×横２画素のベイヤ配列で配列されている。
　焦点調節時には、Ｒ位相差画素から生成したＲ分割画像と、Ｌ位相差画素から生成したＬ分割画像とを比較し、２種類の画像のずれ（位相差）から、撮影レンズの合焦状態や焦点調節量（デフォーカス量）を算出する。この焦点調節量に応じて、レンズ制御部を介して撮影レンズを駆動して自動焦点調節（ＡＦ）を行う。また、撮影時には、Ｒ位相差画素とＬ位相差画素とを区別せずに、１個の画素として用いることで、１つの静止画像を生成する。
特開２００７－１５８５９７号公報
　特許文献１のデジタルカメラは、Ｒ位相差画素とＬ位相差画素を用いて、位相差方式の自動焦点調節を行うものであり、立体視用の視差画像の撮影をするものではないが、画面全体のＲ位相差画素からＲ視点画像を生成し、同様にＬ位相差画素からＬ視点画像を生成すれば、視差画像を得ることは可能である。
　ところで、視差画像を再生して立体視をしたときの立体感は、Ｒ視点画像とＬ視点画像とのずれ量で表される視差量に依存する。一般に、視差量が大きいほど、画面からの飛び出し量や、画面から後退した奥行き量が大きくなり、立体感が強くなる。
　しかしながら、適切な立体感が得られる視差量には個人差がある。特許文献１に記載の固体撮像装置では、得られる視差画像の視差量が一定であるため、この視差量がユーザにとって適切でないと、視差画像を再生した際に、立体感があまり感じられないことや、逆に、立体感が強すぎて目が疲労するという問題がある。
　本発明は、適切な視差量の視差画像を得ることができるデジタルカメラ及び固体撮像装置を提供することを目的とする。
　上記目的を達成するため、本発明のデジタルカメラは、固体撮像装置と、撮影レンズと、画像処理部とを備える。固体撮像装置は、複数の第１Ｒ位相差画素と、複数の第１Ｌ位相差画素と、複数の第２Ｒ位相差画素と、複数の第２Ｌ位相差画素とが撮像面に配列され、各画素は少なくとも３原色のうちの１色のカラーフィルタを有する。第１Ｒ位相差画素は、第１の方向から第１の角度で入射する入射光に対して高い感度を有する。第１Ｌ位相差画素は、第１の方向とは逆の第２の方向から第１の角度で入射する入射光に対して高い感度を有する。第２Ｒ位相差画素は、第１の方向から第１の角度より小さい第２の角度で入射する入射光に対して高い感度を有する。第２Ｌ位相差画素は、第１の方向とは逆の第２の方向から第２の角度で入射する入射光に対して高い感度を有する。撮影レンズは、固体撮像装置の撮像面に被写体の画像を結像させる。画像処理部は、第１撮像モード時には、複数の第１Ｒ位相差画素の撮像信号に基づいて第１の視点画像を生成するとともに、複数の第１Ｌ位相差画素の撮像信号に基づいて第２の視点画像を生成する。第２撮像モード時には、複数の第２Ｒ位相差画素の撮像信号に基づいて第１の視点画像を生成するとともに、複数の第２Ｌ位相差画素の撮像信号に基づいて第２の視点画像を生成する。
　画像処理部は、第３撮像モード時には、複数の第１Ｒ位相差画素の撮像と複数の第２Ｒ位相差画素の撮像とを画素混合して第１の視点画像を生成するとともに、複数の第１Ｌ位相差画素の撮像信号と複数の第２Ｌ位相差画素の撮像信号とを画素混合して第２の視点画像を生成することが好ましい。
　第１～第３の撮像モードのうちから１つを選択するための操作部を備えることが好ましい。
　複数の画素は、同色のカラーフィルタを有する２×２の画素ブロックに区画され、各画素ブロックは、第１Ｒ位相差画素と、第１Ｌ位相差画素と、第２Ｒ位相差画素と、第２Ｌ位相差画素とを有することが好ましい。
　３原色は、第１色、第２色、第３色であり、第１画素ブロック行と第２画素ブロック行とが、列方向に交互に配列されていることが好ましい。第１画素ブロック行には、第１色のカラーフィルタを有する画素ブロックと、第２色のカラーフィルタを有する画素ブロックとが交互に配置されている。第２画素ブロック行には、第３色のカラーフィルタを有する画素ブロックと、第１色のカラーフィルタを有する画素ブロックとが交互に配列されている。第３撮像モードで、画素混合は、同一ブロック内で同一方向の２つの位相差画素を加算または平均化することであることが好ましい。第１色は緑色、第２色は青色、第３色は赤色であることが好ましい。
　各画素は、フォトダイオードと、遮光膜と、カラーフィルタ上に配置されたマイクロレンズとを有し、遮光膜は、第１Ｒ偏心開口と、第１Ｌ偏心開口と、第２Ｒ偏心開口と、第２Ｌ偏心開口とを有することが好ましい。第１Ｒ偏心開口は、第１Ｒ位相差画素のフォトダイオードの中心上から第２の方向に、第１の距離だけずれた位置に形成されている。第１Ｌ偏心開口は、第１Ｌ位相差画素のフォトダイオードの中心上から第１の方向に第１の距離だけずれた位置に形成されている。第２Ｒ偏心開口は、第２Ｒ位相差画素のフォトダイオードの中心上から第１の距離より短い第２の方向に、第２の距離だけずれた位置に形成されている。第２Ｌ偏心開口は、第２Ｌ位相差画素のフォトダイオードの中心上から第１の方向に第２の距離だけずれた位置に形成されている。
　各第１Ｒ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から第１の方向に第１の距離だけずれた位置に形成された第１Ｒ偏心マイクロレンズとを有し、各第１Ｌ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から第２の方向に第１の距離だけずれた位置に形成された第１Ｌ偏心マイクロレンズとを有し、各第２Ｒ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から第１の方向に、第１の距離よりも短い第２の距離だけずれた位置に形成された第２Ｒ偏心マイクロレンズとを有し、各第２Ｌ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から第２の方向に第２の距離だけずれた位置に形成された第２Ｌ偏心マイクロレンズとを有していてもよい。第１の距離は、第２の距離より大きい、
　撮影レンズの一部を構成する変倍レンズと、変倍レンズを広角端と望遠端との間で移動させるレンズ移動機構と、変倍レンズの位置に応じて第１～第３の撮像モードのうちから１つを選択する選択制御部とを備えることが好ましい。
　変倍レンズの移動可能範囲は、広角側に第１領域、望遠側に第２領域、第１領域と第２領域の間に第３領域が設定されており、選択制御部は、変倍レンズが第１領域にある場合には第１撮像モードを選択し、変倍レンズが第２領域にある場合には第２撮像モードを選択し、変倍レンズが第３領域にある場合には第３撮像モードを選択することが好ましい。
　固体撮像装置の全ての画素の撮像信号を記憶するフレームメモリと、操作部により選択された撮像モードに応じて、フレームメモリから所定の撮像信号を選択的に読み出す読み出し制御部とを備えることが好ましい。
　本発明の固体撮像装置は、複数の第１Ｒ位相差画素と、複数の第１Ｌ位相差画素と、複数の第２Ｒ位相差画素と、複数の第２Ｌ位相差画素と、各画素に１色が割り当てられるように配置された少なくとも３原色のカラーフィルタとを備える。第１Ｒ位相差画素は、第１の方向から第１の角度で入射する入射光に対して高い感度を有する。第１Ｌ位相差画素は、第１の方向とは逆の第２の方向から第１の角度で入射する入射光に対して高い感度を有する。第２Ｒ位相差画素は、第１の方向から第１の角度より小さい第２の角度で入射する入射光に対して高い感度を有する。第２Ｌ位相差画素は、第１の方向とは逆の第２の方向から第２の角度で入射する入射光に対して高い感度を有する。
　複数の画素は、同色のカラーフィルタを有する２×２の画素ブロックに区画され、各画素ブロックは、第１Ｒ位相差画素と、第１Ｌ位相差画素と、第２Ｒ位相差画素と、第２Ｌ位相差画素とを有することが好ましい。
　３原色は、第１色、第２色、第３色であり、第１画素ブロック行と第２画素ブロック行とが、列方向に交互に配列されていることが好ましい。第１画素ブロック行には、第１色のカラーフィルタを有する画素ブロックと、第２色のカラーフィルタを有する画素ブロックとが交互に配置されている。第２画素ブロック行には、第３色のカラーフィルタを有する画素ブロックと、第１色のカラーフィルタを有する画素ブロックとが交互に配列されている。
　本発明によれば、固体撮像装置は、第１の角度で入射する入射光に対して高い感度を有する第１Ｒ及び第Ｌ位相差画素と、第２の角度で入射する入射光に対して高い感度を有する複数の第２Ｒ及び第２Ｌ位相差画素とを備え、少なくとも第１及び第２撮像モードを実行する。第１撮像モードでは、第１Ｒ及び第１Ｌ位相差画素の撮像信号から第１視差量の視差画像を生成し、第２撮像モードでは、第２Ｒ及び第２Ｌ位相差画素の撮像信号から第２視差量の視差画像を生成するから、撮像モードを選択することで適切な視差量の視差画像を得ることができる。
デジタルカメラのブロック図である。 固体撮像装置の平面図である。 図２のIII－III線に沿った断面図である。 図２のIV－IV線に沿った断面図である。 図２のV－V線に沿った断面図である。 図２のVI－VI線に沿った断面図である 遮光膜の平面図である。 撮像信号の加算処理を説明する図である。 撮影手順を示すフローチャートである。 第１撮像モード時の撮像状態を示す説明図である。 第２撮像モード時の撮像状態を示す説明図である。 第３撮像モード時の撮像状態を示す説明図である。 第１Ｒ及び第１Ｌ位相差画素の変形例を示す断面図である。 第２Ｒ及び第２Ｌ位相差画素の変形例を示す断面図である。 デジタルカメラの別の例を示すブロック図である。 図１５に示すデジタルカメラの撮影手順を示すフローチャートである。
　図１において、デジタルカメラ１０は、Ｒ視点画像データとＬ視点画像データとで構成される視差画像を生成する単眼３Ｄデジタルカメラである。このデジタルカメラ１０はＣＰＵ１１を有する。ＣＰＵ１１は、シャッタボタンや各種操作ボタンを含む操作部１２からの制御信号に基づき、メモリ（図示せず）から読み出した各種プログラムを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。
　デジタルカメラ１０は、視差量の異なる視差画像を生成する第１～第３撮像モードを有している。第１撮像モードでは、最も大きい第１視差量の第１視差画像を生成する。第２撮像モードでは、最も小さい第２視差量の第２視差画像を生成する。第３撮像モードでは、第１視差量と第２視差量の中間である第３視差量の第３視差画像を生成する。撮像モードの切り替えは操作部１２で行われる。
　レンズユニット１３には、撮影レンズ１４及びメカシャッタ１５が組み込まれている。撮影レンズ１４には、変倍レンズ１６とフォーカスレンズ１７が含まれている。変倍レンズ１６及びフォーカスレンズ１７は、それぞれ変倍機構１８及びフォーカス機構１９により駆動され、撮影光軸Ｏ１の方向に移動する。メカシャッタ１５、変倍機構１８、及びフォーカス機構１９は、レンズドライバ２１を介してＣＰＵ１１によって動作制御される。ズーミング時には、変倍レンズ１６とフォーカスレンズ１７とが光軸方向に移動する。焦点調節時には、フォーカスレンズ１７が光軸方向に移動する。なお、撮影レンズ１４の全体を移動して焦点調節をすることも可能である。また、変倍レンズ１６の変倍によるピントずれを補正するために、周知の補正レンズを設けてもよい。この場合は、ズーミング時には、フォーカスレンズ１７が停止している。
　メカシャッタ１５は、固体撮像装置２０への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動するシャッタ羽根を有する。メカシャッタ１５は、シャッタ羽根を各位置に移動させることによって、撮影レンズ１４から固体撮像装置２０に至る光路を開放または遮断する。また、レンズユニット１３には、固体撮像装置２０に入射する被写体光の光量を制御する絞り（図示せず）が含まれている。
　固体撮像装置２０は、ＣＭＯＳ型イメージセンサであり、撮影レンズ１４からの被写体光を電気的な信号に変換して出力する。ＣＭＯＳドライバ２３は、ＣＰＵ１１の制御の下で固体撮像装置２０の駆動を制御する。
　画像処理回路２２は、固体撮像装置２０からの撮像信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して、Ｒ視点画像データとＬ視点画像データを生成する。また、画像処理回路２２は、焦点調節のために、所定のＡＦエリア、例えば画面中央部についてのＬ焦点検出用画像データとＲ焦点検出用画像データを生成する。
　ＡＦ検出部２６は、Ｌ焦点検出用画像データとＲ焦点検出用画像データに基づき、撮影レンズ１４を合焦させるための焦点調節量（デフォーカス量）を求める。ＣＰＵ１１のＡＦ制御部２７は、ＡＦ検出部２６が求めた焦点調節量に基づき、レンズドライバ２１を介してフォーカスレンズ１７を移動させて焦点調節を行う。なお、焦点調節量の調節量の符号からフォーカスレンズ１７の移動方向が定まる。
　圧縮伸長処理回路２９は、画像処理回路２２で処理された各画像の画像データに対して圧縮処理を施す。また、圧縮伸長処理回路２９は、メディアＩ／Ｆ３０を介してメモリカード３１から読み出された圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３０は、メモリカード３１に対する各画像データの記録及び読み出しを行う。表示部３２は、液晶ディスプレイなどであり、スルー画（ライブビュー画像）や再生画像などを表示する。この表示部３２は、第１～第３視差画像に対しては立体画像を表示する。
　表示部３２としては、３次元画像表示を行うものが用いられる。この３次元画像表示には、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などがある。
　図２において、固体撮像装置２０の撮像面２０ａには、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌと、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌが配置されている。これらの画素は、正方配列されている。ここで、Ｒ，Ｇ，Ｂは、各画素に設けられたカラーフィルタの３原色を表している。Ｒは赤色、Ｇは緑色、Ｂは青色を表す。各画素は、カラーフィルタの色に対応した波長の光を選択的に受光する。
　第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒは、Ｒ視点画像データの作成及びＲ焦点画像データの作成に用いられる画素である。第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌは、Ｌ視点画像データの作成及びＬ焦点画像データの作成に用いられる画素である。
　各画素の感度は、入射光の入射方向に依存する。図３及び図５に示すように、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌとは、互いに逆方向から入射する角度α（第１最高感度入射角度）の入射光に対して感度が高い。図４及び図６に示すように、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌは、第１最高感度入射角度αより小さい角度β（第２最高感度入射角度）の入射光に対して感度が高い。
　２×２の正方配列された４つの画素により、第１画素ブロック３４Ｒ、第２画素ブロック３４Ｇ、第３画素ブロック３４Ｂがそれぞれ構成され、各ブロック内は同色のカラーフィルタが配置されている。第１画素ブロック３４Ｒは、第１Ｒ位相差画素Ｒ１Ｒ、第１Ｌ位相差画素Ｒ１Ｌ、第２Ｒ位相差画素Ｒ２Ｒ、第２Ｌ位相差画素Ｒ２Ｌを有している。第１Ｒ位相差画素Ｒ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ、第２Ｒ位相差画素Ｒ２Ｒと第２Ｌ位相差画素Ｒ２Ｌは、それぞれ行方向に隣接している。第１Ｒ位相差画素Ｒ１Ｒと第２Ｒ位相差画素Ｒ２Ｒ、第１Ｌ位相差画素Ｒ１Ｌと第２Ｌ位相差画素Ｒ２Ｌは、それぞれ列方向に隣接している。第２画素ブロック３４Ｇと第３画素ブロック３４Ｂとは、カラーフィルタの色が異なる以外は、第１画素ブロック３４Ｒと同様である。
　第２画素ブロック３４Ｇと第３画素ブロック３４Ｂが行方向に交互に配列されて第１画素ブロック行３６が構成されている。また、第１画素ブロック３４Ｒと第２画素ブロック３４Ｇが行方向に交互に配列されて第２画素ブロック行３７が構成されている。第１画素ブロック行３６と第２画素ブロック行３７は、列方向に交互に形成されている。
　固体撮像装置２０の各画素には、周知のように、画素回路（図示せず）が設けられている。この画素回路は、各画素のフォトダイオード４１（図３～６参照）に蓄積された信号電荷を信号電圧に変換して出力する。また、固体撮像装置２０には、画素回路を駆動するための複数の駆動線（図示せず）と、各画素から信号電圧を読み出すための複数の信号線（図示せず）が設けられている。なお、信号線に読み出された信号電圧は、出力回路やアンプ（いずれも図示せず）を経て出力信号として画像処理回路２２に出力される。
　図３～図６において、Ｐ型シリコンで形成された半導体基板（Ｐｓｕｂ）４０の表層には、Ｎ型層により形成されたフォトダイオード（ＰＤ）４１が設けられている。また、半導体基板４０内には、図示は省略するが、上記の画素回路が形成されている。
　半導体基板４０上には、例えば酸化シリコン（ＳｉＯ２）で形成された透明な絶縁膜４３が設けられている。絶縁膜４３上には、例えばタングステンで形成された遮光膜４４が設けられている。図７に示すように、遮光膜４４には、第１Ｒ偏心開口４６ａ、第１Ｌ偏心開口４６ｂ、第２Ｒ偏心開口４７ａ、第２Ｌ偏心開口４７ｂが形成されている。これらの開口は、例えば円形である。
　第１Ｒ偏心開口４６ａは、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒに設けられており、その中心は、ＰＤ４１の中心線から左方向に距離Ｌ１だけずれている。これにより、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒは、ＰＤ４１の表面上の左側領域の一部が開口されている。
　第１Ｌ偏心開口４６ｂは、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌに設けられており、その中心は、ＰＤ４１の中心線から右方向に距離Ｌ１だけずれている。これにより、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌは、ＰＤ４１の表面上の右側領域の一部が開口されている。
　第２Ｒ偏心開口４７ａは、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒに設けられており、その中心は、ＰＤ４１の中心線から左方向に距離Ｌ２だけずれている。そして、第２Ｌ偏心開口４７ｂは、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌに設けられており、その中心は、ＰＤ４１の中心線から右方向に距離Ｌ２だけずれている。ここで、Ｌ２＜Ｌ１である。
　遮光膜４４上には、表面が平坦で透明な平坦化層４８が設けられている。この平坦化層４８上にはカラーフィルタアレイ５０が設けられている。カラーフィルタアレイ５０は、赤色カラーフィルタ５０Ｒと、緑色カラーフィルタ５０Ｇと、青色カラーフィルタ５０Ｂで構成されている。
　赤色カラーフィルタ５０Ｒは、第１Ｒ位相差画素Ｒ１Ｒ、第１Ｌ位相差画素Ｒ１Ｌ、第２Ｒ位相差画素Ｒ２Ｒ、第２Ｌ位相差画素Ｒ２ＬのＰＤ４１の上方に配置されており、これらのＰＤ４１には赤色光が入射する。緑色カラーフィルタ５０Ｇは、第１Ｒ位相差画素Ｇ１Ｒ、第１Ｌ位相差画素Ｇ１Ｌ、第２Ｒ位相差画素Ｇ２Ｒ、第２Ｌ位相差画素Ｇ２ＬのＰＤ４１の上方に配置されており、これらのＰＤ４１には緑色光が入射する。青色カラーフィルタ５０Ｂは、第１Ｒ位相差画素Ｂ１Ｒ、第１Ｌ位相差画素Ｂ１Ｌ、第２Ｒ位相差画素Ｂ２Ｒ、第２Ｌ位相差画素Ｂ２ＬのＰＤ４１の上方に配置されており、これらのＰＤ４１には青色光が入射する。
　カラーフィルタアレイ５０上には、各ＰＤ４１の中心線に光軸Ｏ２が一致するようにマイクロレンズ５２がそれぞれ設けられている。
　第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒのマイクロレンズ５２に右斜め方向から入射した入射光５４Ｒは第１Ｒ偏心開口４６ａを通過してＰＤ４１の左側領域に集光されるが、左斜め方向から入射した入射光５４Ｌは遮光膜４４により遮光される。このため、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒは、入射光５４Ｒに対して感度が高く、第１最高感度入射角度αで入射したときに最も感度が高い。第１最高感度入射角度αは、第１Ｒ偏心開口４６ａのずれ量Ｌ１に応じて決まる角度である。
　第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌのマイクロレンズ５２に左斜め方向から入射した入射光５４Ｌは第１Ｌ偏心開口４６ｂを通過してＰＤ４１の右側領域に集光されるが、右斜め方向から入射した入射光５４Ｒは遮光膜４４により遮光される。このため、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌは、入射光５４Ｌに対して感度が高く、第１最高感度入射角度αで入射したときに最も感度が高い。
　第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒは、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと同様に、右斜め方向から入射した入射光５４Ｒに対して感度が高く、第２最高感度入射角度βで入射したときに最も感度が高い。第２最高感度入射角度βは、第２Ｒ偏心開口４７ａのずれ量Ｌ２に応じて決まる角度であり、第１最高感度入射角度αより小さい。そして、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌは、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌと同様に、左斜め方向から入射した入射光５４Ｌに対して感度が高いが、第２最高感度入射角度βで入射したときに最も感度が高い。
　ＣＰＵ１１は、ＣＭＯＳドライバ２３を介して、固体撮像装置２０の各画素からの信号出力を制御する。ＣＰＵ１１は、第１撮像モード時には、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌから信号を出力させる。第２撮像モード時には、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌから信号を出力させる。そして、第３撮像モード時には、全画素から信号を出力させる。
　画像処理回路２２は、第１撮像モード時には、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒからの出力信号に基づいてＲ視点画像データを生成し、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌからの出力信号に基づいてＬ視点画像データを生成する。第２撮像モード時には、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒからの出力信号に基づいてＲ視点画像データを生成し、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌからの出力信号に基づいてＬ視点画像データを生成する。前述のようにα＞βであることにより、第１撮像モードで得られる第１視差画像は第１視差量であり、第２撮像モードで得られる第２視差画像の第２視差量よりも大きい。
　画像処理回路２２は、第３撮像モード時には、図８に示すように、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒからの出力信号と、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒからの出力信号とを、同一の画素ブロック内で同一方向の位相差画素を加算（いわゆる画素混合）することにより、Ｒ視点画像データを生成する。具体的には、Ｒ１ＲとＲ２Ｒとを加算し、Ｇ１ＲとＧ２Ｒとを加算し、Ｂ１ＲとＢ２Ｒとを加算する。第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌからの出力信号と、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌからの出力信号とを、同一の画素ブロック内で同一方向の位相差画素を加算することにより、Ｌ視点画像データを生成する。なお、加算に限られず、平均化を行なってもよい。
　この画素混合により、第３撮像モードで得られる第３視差画像の視差量は、第１撮像モードの第１視差量と、第２撮像モードの第２視差量とのほぼ中間の値となる。
　第１～第３撮像モード時には、Ｌ視点画像及びＲ視点画像が所定のサイクルで作成され、表示部３２に送られて立体画像が表示される。なお、表示部３２が立体表示用でない場合には、Ｌ視点画像またはＲ視点画像の一方が表示部３２に表示される。これにより、表示部３２に３次元画像または２次元画像のスルー画が表示される。
　また、画像処理回路２２は、各撮像モード時に撮像面２０ａのＡＦエリア、例えば中央領域に含まれる画素からの出力信号に基づき、Ｒ焦点検出用画像データとＬ焦点検出用画像データとを生成する。具体的には、第１撮像モード時には、中央領域に含まれる第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌからの出力信号に基づき、Ｒ及びＬ焦点検出用画像データを生成する。第２撮像モード時には、中央領域に含まれる第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌからの出力信号に基づき、Ｒ及びＬ焦点検出用画像データを生成する。そして、第３撮像モード時には、中央領域に含まれる画素からの出力信号を、前述のように加算した信号に基づき、Ｒ及びＬ焦点検出用画像データを生成する。ＡＦエリアは、画面の中央部だけでなく、画面全体でもよい。この場合には、Ｒ及びＬ焦点検出用画像データとして、Ｒ及びＬ視点画像データを用いてもよい。
　次に、図９のフローチャートを参照しながらデジタルカメラ１０の作用を説明する。操作部１２により第１～第３撮像モードのうちいずれか１つが選択されると、ＣＰＵ１１は、レンズドライバ２１を介してメカシャッタ１６の動作を制御するとともに、ＣＭＯＳドライバ２３を介して固体撮像装置２０を駆動する。
　メカシャッタ１５が開放されると、固体撮像装置２０に被写体からの光が入射する。固体撮像装置２０の各画素のＰＤ４１は、入射光を光電変換して信号電荷を発生し、これを蓄積する。これらの信号電荷は、ＣＭＯＳドライバ２３の制御の下、画素回路により信号電圧として時系列に読み出される。このとき、ＣＰＵ１１は、選択されている撮像モードに応じて、信号電圧を読み出す画素を選択する。
　第１撮像モードが設定されている場合には、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌの画素回路が駆動されて信号電圧が読み出される。第２撮像モードが設定されている場合には、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌの画素回路が駆動されて信号電圧が読み出される。第３撮像モードが設定されている場合には、全画素の画素回路が駆動されて信号電圧が読み出される。
　読み出された各信号電荷は、出力回路（図示せず）を経て、固体撮像装置２０から撮像信号として出力される。この撮像信号は、アンプ、Ａ／Ｄ変換器（いずれも図示せず）を経て、画像信号として画像処理回路２２に送られる。画像処理回路２２は、画像信号に対して画像処理（階調変換、ホワイトバランス補正、γ補正、色補正等）を施す。
　画像処理回路２２は、第１撮像モード時には、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒからの画像信号に基づいてＲ視点画像データを生成し、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌからの画像信号にＬ視点画像データを生成する。第２撮像モード時には、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒからの画像信号に基づいてＲ視点画像データを生成し、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌからの画像信号にＬ視点画像データを生成する。第３撮像モード時には、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒからの画像信号と、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒからの画像信号とを加算してＲ視点画像データを生成し、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌからの画像信号と、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌからの画像信号とを加算してＬ視点画像データを生成する。撮影前は、このＲ及びＬ視点画像がスルー画として表示部３２に表示される。
　このスルー画の表示中に、画像処理回路２２は、固体撮像装置２０から出力された撮像信号のうち、撮像面２０ａの中央領域に対応する撮像信号に基づいてＲ及びＬ焦点検出用画像データを生成する。Ｒ及びＬ焦点検出用画像は、合焦時には一致しているが、合焦していない場合には、その程度に応じて左右方向にずれている。ＡＦ検出部２６は、Ｒ及びＬ焦点検出用画像データを解析して、Ｒ焦点検出用画像とＬ焦点検出用画像のずれ方向及びずれ量を求め、レンズユニット１３の焦点調節量（デフォーカス量）を算出する。
　ＡＦ制御部２７は、ＡＦ検出部２６により算出された焦点調節量に基づき、レンズドライバ２１を介して、フォーカス機構１９によりフォーカスレンズ１７を光軸方向に移動することで焦点調節を行う。なお、フォーカスレンズ１７の移動方向は、焦点調節量の正負に応じて決まる。この位相差ＡＦは、特許第２９５９１４２号、特開２００９－１２８８９２号、特開２００７－１５８５９７号などに詳細に記載されているので、ここでは詳しい説明を省略する。このＡＦ制御は、スルー画の表示中に所定のサイクルで繰り返し行われる。
　操作部１２のレリーズボタンが押下されて撮影が指示されると、固体撮像装置２０の各画素が強制的にリセットされてから、信号電荷の蓄積を開始する。そして、被写体の明るさに応じた露光時間が経過すると、メカシャッタ１５が閉じて露光が終了する。この後に、固体撮像装置２０から１フレーム分の撮像信号が出力される。画像処理回路２２は、撮影前のスルー画表示時と同様に、Ｒ及びＬ視点画像データを生成する。
　このＲ及びＬ視点画像データは、圧縮伸張処理回路２９により、視差画像データとして１つの画像ファイルに圧縮され、メディアＩ／Ｆ３０を経由してメモリカード３１に記録されるとともに、表示部３２に表示される。なお、固体撮像装置２０からの信号取り出し後に、メカシャッタ１５が開口し、スルー画の撮像が再開される。
　第１撮像モードで得られる第１視差画像と、第２撮像モードで得られる第２視差画像と、第３撮像モードで得られる第３視差画像とは、それぞれ視差量が異なるため、ユーザは、自分の好みに応じた視差量の視差画像を選択することができる。第１視差画像は、視差量が最も大きいので、立体感の強い立体画像を鑑賞することができる。第２視差画像は、視差量が最も小さいので、立体感が弱く、目の疲労が抑えられる。
　なお、上記実施形態では、操作部１２により第１～第３撮像モードの選択を可能としているが、変倍レンズ１６の位置に応じてＣＰＵ１１が第１～第３撮像モードを自動的に選択するよう構成してもよい。これは、変倍レンズ１６の位置に応じて、固体撮像装置２０の撮像面２０ａに入射する入射光の入射角度が変化することに基づいている。
　具体的には、ＣＰＵ１１は、変倍レンズ１６の広角端Ｗから望遠端Ｔまでの移動可能範囲を、３つの領域に区分し、変倍レンズ１６がいずれの領域内にあるのかに応じて、第１～第３撮像モードからいずれか１つを選択する。変倍レンズ１６の移動可能範囲のうち、広角端Ｗ側を第１領域Ａ１、望遠端Ｔ側を第２領域Ａ２、これらの間を第３領域Ａ３とする。
　図１０に示すように、変倍レンズ１６が第１領域Ａ１にある場合には、ＣＰＵ１１は、第１撮像モードを選択する。この場合には、変倍レンズ１６から撮像面２０ａに入射する入射光５４Ｒ，５４Ｌは、大きな入射角度θ１である。第１撮像モードでは、角度が大きい第１最高感度入射角度αに対して感度が高い第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌにより撮像が行われるので、輝度が大きく視認性の高い視差画像が得られる。
　図１１に示すように、変倍レンズ１６が第２領域Ａ２にある場合には、ＣＰＵ１１は、第２撮像モードを選択する。この場合には、変倍レンズ１６から撮像面２０ａに入射する入射光５４Ｒ，５４Ｌは小さな入射角度θ２である。第２撮像モードでは、角度が小さな第２最高感度入射角度βに対して感度が高い第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌにより撮像が行われるので、輝度が大きく視認性の高い視差画像が得られる。
　図１２に示すように、変倍レンズ１６が第３領域Ａ３にある場合には、ＣＰＵ１１は、第３撮像モードを選択する。この場合には、変倍レンズ１６から撮像面２０ａに入射する入射光５４Ｒ，５４Ｌの入射角度はθ３であり、変倍レンズ１６が第１領域Ａ１にある場合と第２領域Ａ２にある場合との中間の大きさとなる（θ１＞θ３＞θ２）。第３撮像モードでは、全画素により撮像が行われ、第１最高感度入射角度αと第２最高感度入射角度βとの間の角度で入射する入射光に対して高い感度が得られるので、輝度が大きく視認性の高い視差画像が得られる。
　また、上記実施形態では、第１Ｒ偏心開口４６ａ、第１Ｌ偏心開口４６ｂ、第２Ｒ偏心開口４７ａ、第２Ｌ偏心開口４７ｂによって、各画素の感度が入射光の方向性依存を得るように構成しているが、これに代えて、マイクロレンズの形状や配置を変更することにより、入射光の方向性依存を与えてもよい。
　例えば、図１３及び図１４に示す固体撮像装置６０では、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒは、第１Ｒ偏心マイクロレンズ６２ａを有しており、第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌは、第１Ｌ偏心マイクロレンズ６２ｂを有している。第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒは、第２Ｒ偏心マイクロレンズ６３ａを有しており、第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌは、第２Ｌ偏心マイクロレンズ６３ｂを有している。遮光膜６４には、各画素のＰＤ４１の表面を全て露呈させる開口６４ａが形成されている。
　第１Ｒ偏心マイクロレンズ６２ａは、その下方のＰＤ４１の中心線から右方向に距離Ｌ３だけずれた位置に配置されており、このＰＤ４１に右斜め上方からの入射光５４Ｒを集光させ、特に、第１最高感度入射角度αの入射光を効率よく集光させる。第１Ｌ偏心マイクロレンズ６２ｂは、その下方のＰＤ４１の中心線から左方向に距離Ｌ３だけずれた位置に配置されており、このＰＤ４１に左斜め上方からの入射光５４Ｌを集光させ、特に、第１最高感度入射角度αの入射光を効率よく集光させる。
　第２Ｒ偏心マイクロレンズ６３ａは、その下方のＰＤ４１の中心線から右方向に距離Ｌ４だけずれた位置に配置されており、このＰＤ４１に右斜め上方からの入射光５４Ｒを集光させ、特に、第１最高感度入射角度βの入射光を効率よく集光させる。第２Ｌ偏心マイクロレンズ６３ｂは、その下方のＰＤ４１の中心線から左方向に距離Ｌ４だけずれた位置に配置されており、このＰＤ４１に左斜め上方からの入射光５４Ｌを集光させ、特に、第２最高感度入射角度βの入射光を効率よく集光させる。Ｌ３＞Ｌ４であり、α＞βの関係を満たす。
　また、上記実施形態では、第１～第３撮像モードの選択に応じて、固体撮像装置２０の画素を選択的に駆動して所望の撮像信号を出力させているが、これに代えて、常に固体撮像装置２０の全画素を駆動して撮像信号を出力させる。そして、この１フレーム分の撮像信号を画像信号としてフレームメモリに記憶させた後、このフレームメモリに記憶された画像信号から、撮像モードに応じて選択的に読み出しを行い、読み出された画像信号に基づいてＲ及びＬ視点画像データを生成してもよい。
　具体的には、図１５に示すように、固体撮像装置２０と画像処理回路２２との間にフレームメモリ７０を設け、ＣＰＵ１１に、読み出し制御部７１を構成する。フレームメモリ７０は、固体撮像装置２０の全画素からの出力された撮像信号を記憶する。読み出し制御部７１は、撮像モードに応じてフレームメモリ７０から、Ｒ及びＬ視点画像データを生成するための撮像信号を選択的に読み出す。
　このデジタルカメラの作用を図１６のフローチャートを参照しながら説明する。操作部１２により第１～第３撮像モードのうちいずれか１つが選択されると、上記実施形態と同様に、固体撮像装置２０が駆動され、表示部３２にスルー画の表示が行われる。このとき、固体撮像装置２０は、上記実施形態と同様に駆動され、出力された撮像信号は、フレームメモリ７０を介して画像処理回路２２に送られる。このスルー画の表示中に、上記実施形態と同様に、ＡＦ制御が行われる。
　操作部１２のレリーズボタンが押下されて撮影が指示されると、固体撮像装置２０は、所定時間露光された後、ＣＰＵ１１により全画素の画素回路が駆動され、１フレーム分の撮像信号が出力される。この１フレーム分の撮像信号は、フレームメモリ７０に一時的に記憶される。読み出し制御部７１は、選択されている撮像モードに応じて、フレームメモリ７０に記憶された撮像信号を選択的に読み出して画像処理回路２２に送る。
　第１撮像モードが選択されている場合には、フレームメモリ７０に記憶された撮像信号から、第１Ｒ位相差画素Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒと第１Ｌ位相差画素Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌに対応する撮像信号を読み出して画像処理回路２２に送る。第２撮像モードが選択されている場合には、フレームメモリ７０に記憶された撮像信号から、第２Ｒ位相差画素Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒと第２Ｌ位相差画素Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌに対応する撮像信号を読み出して画像処理回路２２に送る。第３撮像モードが選択されている場合には、フレームメモリ７０に記憶された撮像信号を全て読み出して画像処理回路２２に送る。
　画像処理回路２２は、前述した実施形態と同様な手順でＲ及びＬ視点画像データを生成する。このＲ及びＬ視点画像データは、視差画像データとして１つの画像ファイルに圧縮され、メモリカード３１に記録されるとともに、表示部３２に表示される。この表示中に、操作部１２が操作されて撮像モードが変更されると、読み出し制御部７１は、変更された撮像モードに応じて、フレームメモリ７０に記憶された撮像信号を選択的に読み出して画像処理回路２２に送る。この後、同様に、視差画像の生成、記録、表示が行われる。撮像モードの変更を指示しない場合、例えば撮影後所定時間が経過すると、スルー画の撮像が再開され、次の静止画の準備がなされる。
　このように、ある撮像モードで撮影した後、再度撮影を行うことなく、視差量の異なる他の視差画像を自由に観察して、好みの視差画像を保存することができる。
　また、上記実施形態では、固体撮像装置２０，６０は、赤色、緑色、青色の原色カラーフィルタ５０Ｒ，５０Ｇ，５０Ｂを有しているが、これに代えて、黄色、マゼンタ色、シアン色の補色カラーフィルタを用いてもよい。さらに、４色以上のカラーフィルタを用いてもよい。さらに、固体撮像装置は、ＣＭＯＳ型に限られず、ＣＣＤ型であってもよい。
　また、上記実施形態では、感度の入射角度依存性が異なる２組の位相差画素（第１Ｒ及び第１Ｌ位相差画素と、第２Ｒ及び第２Ｌ位相差画素）を設けているが、感度の入射角度依存性が異なる３組の位相差画素を設けてもよい。
　２Ｄ用の撮影では、Ｒ視点画像とＬ視点画像の一方が通常画像として保存される。この代わりに、感度の入射角度依存性を持たない通常画素を各ブロック内に配置し、この通常画素から通常画像を生成してもよい。
　１０　デジタルカメラ
　１４　撮影レンズ
　２０，６０　固体撮像装置
　３４Ｒ　第１画素ブロック
　３４Ｇ　第２画素ブロック
　３４Ｂ　第３画素ブロック
　４１　フォトダイオード
　４４，６４　遮光膜
　４６ａ　第１Ｒ偏心開口
　４６ｂ　第１Ｌ偏心開口
　４７ａ　第２Ｒ偏心開口
　４７ｂ　第２Ｌ偏心開口
　５０　カラーフィルタアレイ
　５０Ｇ，５０Ｂ，５０Ｒ　カラーフィルタ
　５２　マイクロレンズ
　６２ａ　第１Ｒ偏心マイクロレンズ
　６２ｂ　第１Ｌ偏心マイクロレンズ
　６３ａ　第２Ｒ偏心マイクロレンズ
　６３ｂ　第２Ｌ偏心マイクロレンズ
　Ｒ１Ｒ，Ｇ１Ｒ，Ｂ１Ｒ　第１Ｒ位相差画素
　Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌ　第１Ｌ位相差画素
　Ｒ２Ｒ，Ｇ２Ｒ，Ｂ２Ｒ　第２Ｒ位相差画素
　Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ　第２Ｌ位相差画素

Claims (15)

  1. 　第１の方向から第１の角度で入射する入射光に対して高い感度を有する複数の第１Ｒ位相差画素と、前記第１の方向とは逆の第２の方向から第１の角度で入射する入射光に対して高い感度を有する複数の第１Ｌ位相差画素と、第１の方向から前記第１の角度より小さい第２の角度で入射する入射光に対して高い感度を有する複数の第２Ｒ位相差画素と、前記第１の方向とは逆の第２の方向から第２の角度で入射する入射光に対して高い感度を有する複数の第２Ｌ位相差画素とが撮像面に配列され、各画素は少なくとも３原色のうちの１色のカラーフィルタを有する固体撮像装置と、
    　前記固体撮像装置の前記撮像面に被写体の画像を結像させる撮影レンズと、
    　第１撮像モード時には、前記複数の第１Ｒ位相差画素の撮像信号に基づいて第１の視点画像を生成するとともに、前記複数の第１Ｌ位相差画素の撮像信号に基づいて第２の視点画像を生成し、第２撮像モード時には、前記複数の第２Ｒ位相差画素の撮像信号に基づいて第１の視点画像を生成するとともに、前記複数の第２Ｌ位相差画素の撮像信号に基づいて第２の視点画像を生成する画像処理部と、
    　を備えることを特徴とするデジタルカメラ。
  2. 　前記画像処理部は、第３撮像モード時には、前記複数の第１Ｒ位相差画素の撮像と前記複数の第２Ｒ位相差画素の撮像とを画素混合して第１の視点画像を生成するとともに、前記複数の第１Ｌ位相差画素の撮像信号と前記複数の第２Ｌ位相差画素の撮像信号とを画素混合して第２の視点画像を生成することを特徴とする請求の範囲第１項に記載のデジタルカメラ。
  3. 　前記第１～第３の撮像モードのうちから１つを選択するための操作部を備えることを特徴とする請求の範囲第２項に記載のデジタルカメラ。
  4. 　前記複数の画素は、同色のカラーフィルタを有する２×２の画素ブロックに区画され、
    　前記各画素ブロックは、前記第１Ｒ位相差画素と、前記第１Ｌ位相差画素と、前記第２Ｒ位相差画素と、前記第２Ｌ位相差画素とを有することを特徴とする請求の範囲第３項に記載のデジタルカメラ。
  5. 　前記３原色は、第１色、第２色、第３色であり、
    　前記第１色のカラーフィルタを有する前記画素ブロックと、前記第２色のカラーフィルタを有する前記画素ブロックとが交互に配置された第１画素ブロック行と、
    　前記第３色のカラーフィルタを有する前記画素ブロックと、前記第１色のカラーフィルタを有する前記画素ブロックとが交互に配列された第２画素ブロック行とを備え、
    　前記第１画素ブロック行と前記第２画素ブロック行とは、列方向に交互に配列されていることを特徴とする請求の範囲第４項に記載のデジタルカメラ。
  6. 　前記第３撮像モードで、前記画素混合は、同一ブロック内で同一方向の２つの位相差画素を加算または平均化することであることを特徴とする請求の範囲第５項に記載のデジタルカメラ。
  7. 　前記第１色は緑色、前記第２色は青色、前記第３色は赤色であることを特徴とする請求の範囲第６項に記載のデジタルカメラ。
  8. 　前記各画素は、フォトダイオードと、遮光膜と、前記カラーフィルタ上に配置されたマイクロレンズとを有し、
    　前記遮光膜は、前記第１Ｒ位相差画素の前記フォトダイオードの中心上から前記第２の方向に、第１の距離だけずれた位置に形成された第１Ｒ偏心開口と、前記第１Ｌ位相差画素の前記フォトダイオードの中心上から前記第１の方向に、前記第１の距離だけずれた位置に形成された第１Ｌ偏心開口と、前記第２Ｒ位相差画素の前記フォトダイオードの中心上から前記第２の方向に前記第１の距離より短い第２の距離だけずれた位置に形成された第２Ｒ偏心開口と、前記第２Ｌ位相差画素の前記フォトダイオードの中心上から前記第１の方向に、前記第２の距離だけずれた位置に形成された第２Ｌ偏心開口とを有する、
    　ことを特徴とする請求の範囲第１項から第７項いずれか１項に記載のデジタルカメラ。
  9. 　前記各第１Ｒ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から前記第１の方向に第１の距離だけずれた位置に形成された第１Ｒ偏心マイクロレンズとを有し、
    　前記各第１Ｌ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から前記第２の方向に前記第１の距離だけずれた位置に形成された第１Ｌ偏心マイクロレンズとを有し、
    　前記各第２Ｒ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から前記第１の方向に、前記第１の距離よりも短い第２の距離だけずれた位置に形成された第２Ｒ偏心マイクロレンズとを有し、
    　前記各第２Ｌ位相差画素は、フォトダイオードと、このフォトダイオードの中心上から前記第２の方向に前記第２の距離だけずれた位置に形成された第２Ｌ偏心マイクロレンズとを有する、
    　ことを特徴とする請求の範囲第１項から第７項いずれか１項に記載のデジタルカメラ。
  10. 　前記撮影レンズの一部を構成する変倍レンズと、
    　前記変倍レンズを広角端と望遠端との間で移動させるレンズ移動機構と、
    　前記変倍レンズの位置に応じて前記第１～第３の撮像モードのうちから１つを選択する選択制御部と、
    　を備えることを特徴とする請求の範囲第２項に記載のデジタルカメラ。
  11. 　前記変倍レンズの移動可能範囲は、前記広角側に第１領域、前記望遠側に第２領域、前記第１領域と前記第２領域の間に第３領域が設定されており、
    　前記選択制御部は、前記変倍レンズが前記第１領域にある場合には前記第１撮像モードを選択し、前記変倍レンズが前記第２領域にある場合には前記第２撮像モードを選択し、前記変倍レンズが前記第３領域にある場合には前記第３撮像モードを選択する、
    　ことを特徴とする請求の範囲第１０項に記載のデジタルカメラ。
  12. 　前記固体撮像装置の全ての画素の撮像信号を記憶するフレームメモリと、
    　前記操作部により選択された前記撮像モードに応じて、前記フレームメモリから所定の撮像信号を選択的に読み出す読み出し制御部と、
    　を備えることを特徴とする請求の範囲第３項に記載のデジタルカメラ。
  13. 　第１の方向から第１の角度で入射する入射光に対して高い感度を有する複数の第１Ｒ位相差画素と、
    　前記第１の方向とは逆の第２の方向から第１の角度で入射する入射光に対して高い感度を有する複数の第１Ｌ位相差画素と、
    　第１の方向から前記第１の角度より小さい第２の角度で入射する入射光に対して高い感度を有する複数の第２Ｒ位相差画素と、
    　前記第１の方向とは逆の第２の方向から第２の角度で入射する入射光に対して高い感度を有する複数の第２Ｌ位相差画素と、
    　前記各画素に１色が割り当てられるように配置された少なくとも３原色のカラーフィルタと、
    　を備えたことを特徴とする固体撮像装置。
  14. 　前記複数の画素は、同色のカラーフィルタを有する２×２の画素ブロックに区画され、
    　前記各画素ブロックは、前記第１Ｒ位相差画素と、前記第１Ｌ位相差画素と、前記第２Ｒ位相差画素と、前記第２Ｌ位相差画素とを有することを特徴とする請求の範囲第１３項に記載の固体撮像装置。
  15. 　前記３原色は、第１色、第２色、第３色であり、
    　前記第１色のカラーフィルタを有する前記画素ブロックと、前記第２色のカラーフィルタを有する前記画素ブロックとが交互に配置された第１画素ブロック行と、
    　前記第３色のカラーフィルタを有する前記画素ブロックと、前記第１色のカラーフィルタを有する前記画素ブロックとが交互に配列された第２画素ブロック行とを備え、
    　前記第１画素ブロック行と前記第２画素ブロック行とは、列方向に交互に配列されていることを特徴とする請求の範囲第１４項に記載の固体撮像装置。
PCT/JP2012/073452 2011-09-22 2012-09-13 デジタルカメラ及び固体撮像装置 WO2013042606A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011207577A JP2014232899A (ja) 2011-09-22 2011-09-22 固体撮像装置及びデジタルカメラ
JP2011-207577 2011-09-22

Publications (1)

Publication Number Publication Date
WO2013042606A1 true WO2013042606A1 (ja) 2013-03-28

Family

ID=47914376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/073452 WO2013042606A1 (ja) 2011-09-22 2012-09-13 デジタルカメラ及び固体撮像装置

Country Status (2)

Country Link
JP (1) JP2014232899A (ja)
WO (1) WO2013042606A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184433A (ja) * 2014-03-24 2015-10-22 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
JP7370413B2 (ja) 2017-06-30 2023-10-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2010020015A (ja) * 2008-07-09 2010-01-28 Canon Inc 撮像装置
JP2011103335A (ja) * 2009-11-10 2011-05-26 Fujifilm Corp 撮像素子及び撮像装置
JP2011248032A (ja) * 2010-05-26 2011-12-08 Nippon Hoso Kyokai <Nhk> 立体撮像装置
JP2012054856A (ja) * 2010-09-03 2012-03-15 Sony Corp 撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2010020015A (ja) * 2008-07-09 2010-01-28 Canon Inc 撮像装置
JP2011103335A (ja) * 2009-11-10 2011-05-26 Fujifilm Corp 撮像素子及び撮像装置
JP2011248032A (ja) * 2010-05-26 2011-12-08 Nippon Hoso Kyokai <Nhk> 立体撮像装置
JP2012054856A (ja) * 2010-09-03 2012-03-15 Sony Corp 撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184433A (ja) * 2014-03-24 2015-10-22 キヤノン株式会社 撮像素子、撮像装置、画像処理方法、並びにプログラム
JP7370413B2 (ja) 2017-06-30 2023-10-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
US11924566B2 (en) 2017-06-30 2024-03-05 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device

Also Published As

Publication number Publication date
JP2014232899A (ja) 2014-12-11

Similar Documents

Publication Publication Date Title
JP5547349B2 (ja) デジタルカメラ
JP6848941B2 (ja) 撮像素子および撮像装置
JP7001080B2 (ja) 撮像装置
JP5628913B2 (ja) 撮像装置および撮像方法
US8520059B2 (en) Stereoscopic image taking apparatus
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5621056B2 (ja) カラー撮像素子
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
US8786676B2 (en) Imaging device for generating stereoscopic image
US9426349B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
US9077976B2 (en) Single-eye stereoscopic image capturing device
JP5269252B2 (ja) 単眼立体撮像装置
WO2013038863A1 (ja) 単眼立体撮影装置、撮影方法及びプログラム
JP2012015819A (ja) 立体画像撮像装置
WO2012002298A1 (ja) 撮像装置および撮像方法
WO2013042606A1 (ja) デジタルカメラ及び固体撮像装置
JP5998583B2 (ja) 撮像装置
JP5457240B2 (ja) 立体撮像装置
JP5907668B2 (ja) 撮像装置及び撮像素子
JP2012124650A (ja) 撮像装置および撮像方法
WO2013031348A1 (ja) 撮像装置
WO2013031392A1 (ja) 立体撮像装置
JP2011077680A (ja) 立体撮影装置および撮影制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12833354

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12833354

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP