WO2013147198A1 - 撮像装置および撮像素子 - Google Patents

撮像装置および撮像素子 Download PDF

Info

Publication number
WO2013147198A1
WO2013147198A1 PCT/JP2013/059621 JP2013059621W WO2013147198A1 WO 2013147198 A1 WO2013147198 A1 WO 2013147198A1 JP 2013059621 W JP2013059621 W JP 2013059621W WO 2013147198 A1 WO2013147198 A1 WO 2013147198A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
group
image
adjacent
Prior art date
Application number
PCT/JP2013/059621
Other languages
English (en)
French (fr)
Inventor
寛信 村田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201380017868.6A priority Critical patent/CN104205808B/zh
Priority to US14/389,626 priority patent/US9826183B2/en
Priority to JP2014508109A priority patent/JP6264284B2/ja
Priority to EP13767811.6A priority patent/EP2835965B1/en
Publication of WO2013147198A1 publication Critical patent/WO2013147198A1/ja
Priority to US15/794,710 priority patent/US10389959B2/en
Priority to US16/401,436 priority patent/US20190260951A1/en
Priority to US17/387,390 priority patent/US20210358981A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to an imaging device and an imaging element.
  • Patent Document 1 An imaging device that performs focus detection by a pupil division type phase difference method based on output signals from a plurality of pixels dedicated to focus detection arranged in a part of the imaging device is known (see Patent Document 1).
  • the focus detection using the conventional technology is limited to the position where the focus detection pixels are arranged. However, if the number of pixels dedicated to focus detection is increased, an image signal cannot be obtained at the position where the pixels dedicated to focus detection are arranged, so that the image quality deteriorates.
  • the conventional technology enables focus detection by the phase difference method in addition to the generation of the image signal based on the output signal of the image sensor, while providing a dedicated pixel for focus detection in a part of the image sensor. The evil caused by.
  • an imaging device includes an imaging device that captures a subject image by a subject light flux that has passed through an imaging optical system, and an image generation unit that generates an image signal based on an output signal from the imaging device.
  • a focus detection unit that detects a focus adjustment state of the imaging optical system by a phase difference detection method based on an output signal from the image sensor, and the image sensor passes through the upper pixel group and each upper pixel.
  • a lower pixel group that receives the subject luminous flux and a microlens group arranged to guide the subject luminous flux to the upper pixel group, and the upper pixel group is different from each other in the first, second, and third groups.
  • First, second, and third pixels each having spectral sensitivity are two-dimensionally arranged, and behind each microlens of the microlens group, one first pixel, one second pixel, and two pixels are arranged.
  • One third pixel and two rows and two These four pixels receive four light beams respectively passing through the four pupil regions of the exit pupil of the imaging optical system, and the lower pixel group is the first, second, and second of the upper pixel group.
  • the fourth, fifth and sixth pixels respectively having fourth, fifth and sixth spectral sensitivities complementary to the third spectral sensitivity are arranged two-dimensionally, and the first, second and The position of the third pixel and the position of the fourth, fifth and sixth pixels below the fourth, fifth and sixth pixels pass through the first, second and third pixels, respectively.
  • the image generation unit generates an image signal based on an output signal from one of the upper pixel group and the lower pixel group, and the focus detection unit Based on the output signal from the other pixel group of the lower pixel group and the lower pixel group Te detecting the focusing state.
  • the upper-layer pixel group further includes two first, second and third pixels each having substantially the same spectral sensitivity. It is preferable that the four pixels adjacent to the two rows and two columns are arranged behind the four different microlenses and arranged so that the positions with respect to the microlenses are different from each other. .
  • the upper pixel group includes output signals relating to cyan for the first pixel, yellow for the second pixel, and magenta for the third pixel.
  • the lower pixel group preferably outputs an output signal relating to the complementary color of cyan for the fourth pixel, the complementary color of yellow for the fifth pixel, and the complementary color of magenta for the sixth pixel.
  • the upper and lower pixel groups have a two-dimensional and two-column set of four pixels arranged behind one microlens in a two-dimensional shape.
  • the set includes first to fourth sets having different pixel arrangements, and the upper-layer pixel group is adjacent to the first array in the predetermined array direction in the first set.
  • a pixel and a third pixel are disposed, and a third pixel and a second pixel are respectively disposed adjacent to the first pixel and the third pixel in a direction perpendicular to a predetermined arrangement direction;
  • the third pixel and the first pixel are arranged adjacent to each other in the predetermined arrangement direction, and the second pixel is adjacent to the third pixel and the first pixel in the vertical direction.
  • the third pixel are arranged, and in the third set, the third pixel is adjacent to the predetermined arrangement direction.
  • the first pixel and the second pixel are arranged, and the first pixel and the third pixel are arranged adjacent to the third pixel and the second pixel, respectively, in the vertical direction.
  • the second pixel and the third pixel are arranged adjacent to each other in a predetermined arrangement direction, and the third pixel and the first pixel are adjacent to each of the second pixel and the third pixel in the vertical direction.
  • Pixels are arranged, the first set and the second set are adjacent to each other in a predetermined arrangement direction and are alternately arranged in a predetermined arrangement direction, and the third set and the fourth set are arranged in a predetermined arrangement direction. And the second row formed by the first set and the third set and the fourth set formed by the first set and the second set.
  • the columns are preferably adjacent to each other in the vertical direction and alternately arranged in the vertical direction.
  • the image generation unit adds output signals from four fourth pixels adjacent to each other in 2 rows and 2 columns. By adding output signals from four fifth pixels adjacent in the form of 2 rows and 2 columns and adding output signals from 4 sixth pixels adjacent to each other in 2 rows and 2 columns, An image signal of the array is preferably generated.
  • the image generation unit includes the fourth, fifth, and sixth pixels located behind each microlens. It is preferable to obtain three color signals at each microlens position based on the output signal.
  • the image generation unit outputs signals of the other two spectral components at the fourth to sixth pixel positions. It is preferable that three color signals are acquired by performing the color interpolation processing to be generated, and a luminance signal and a color difference signal are generated based on the three color signals.
  • the focus detection unit has substantially the same spectral sensitivity in the upper layer or the lower layer pixel group, and is microscopic. It is preferable to detect the focus adjustment state of the imaging optical system based on output signals from a pair of pixels having different positions with respect to the lens.
  • the focus detection unit includes a third pixel included in each of the first group and the second group in the upper layer pixel group, and A focus adjustment state of the imaging optical system is detected in a predetermined arrangement direction based on an output signal from at least one third pixel among the third pixels respectively included in the third group and the fourth group. Is preferred.
  • the focus detection unit includes a third pixel included in each of the first group and the third group in the upper pixel group, and It is preferable to detect the focus adjustment state of the imaging optical system in the vertical direction based on an output signal from at least one third pixel among the third pixels included in each of the second group and the fourth group. .
  • the focus detection unit includes a third pixel included in each of the first group and the fourth group in the upper layer pixel group, and The focus of the imaging optical system in a direction oblique to a predetermined arrangement direction based on an output signal from at least one third pixel among the third pixels included in each of the second group and the third group
  • the regulation state is detected.
  • the imaging device absorbs light of a predetermined wavelength provided in each microlens and a plurality of microlenses arranged in a two-dimensional manner, and receives light other than the predetermined wavelength.
  • a first imaging unit having a plurality of light-receiving units that transmit; and a second imaging unit that receives light transmitted through the first imaging unit.
  • the first imaging unit receives light of the same predetermined wavelength provided in two adjacent microlenses among the plurality of microlenses. It is preferable that the light-receiving portions to be absorbed are arranged adjacent to each other.
  • the present invention it is possible to perform generation of an image signal and focus detection by a phase difference method based on an output signal from the image sensor without providing a pixel dedicated to focus detection in the image sensor.
  • FIG. 1 is a diagram illustrating the configuration of a digital camera system according to an embodiment of the present invention.
  • the digital camera system 1 includes an interchangeable lens 2 and a camera body 3.
  • the interchangeable lens 2 is attached to the camera body 3 via the mount portion 4.
  • the interchangeable lens 2 includes a lens control unit 5, a main lens 9, a zoom lens 8, a focusing lens 7, and a diaphragm 6.
  • the lens control unit 5 includes a microcomputer and a memory, and controls the driving of the focusing lens 7 and the diaphragm 6, detects the opening state of the diaphragm 6, detects the positions of the zoom lens 8 and the focusing lens 7, and the camera body 3 side described later. Lens information is transmitted to the body control unit 14 and camera information is received from the body control unit 14.
  • the camera body 3 includes an image pickup device 12, an image pickup device drive control unit 19, a body control unit 14, a liquid crystal display device drive circuit 15, a liquid crystal display device 16, an eyepiece lens 17, an operation member 18, and the like, and is a removable memory card. 20 is attached.
  • the image sensor 12 is disposed on the planned image formation surface of the interchangeable lens 2 and images a subject image formed by the interchangeable lens 2.
  • the body control unit 14 includes a microcomputer and a memory.
  • the body control unit 14 controls the operation of the entire digital camera system.
  • the body control unit 14 and the lens control unit 5 are configured to perform communication via the electrical contact unit 13 of the mount unit 4.
  • the image sensor drive control unit 19 generates a control signal necessary for the image sensor 12 in response to an instruction from the body control unit 14.
  • the liquid crystal display element driving circuit 15 drives the liquid crystal display element 16 constituting a liquid crystal viewfinder (EVF: electrical viewfinder) in accordance with an instruction from the body control unit 14. The photographer observes an image displayed on the liquid crystal display element 16 through the eyepiece 17.
  • the memory card 20 is a storage medium that stores and stores image signals and the like.
  • the subject image formed on the image sensor 12 by the interchangeable lens 2 is photoelectrically converted by the image sensor 12.
  • the photoelectric conversion signal accumulation and signal readout timing are controlled by a control signal from the image sensor drive control unit 19.
  • An image signal read from the image sensor 12 is converted into digital data by an A / D converter (not shown) and sent to the body controller 14.
  • the body control unit 14 calculates a defocus amount based on an image signal corresponding to a predetermined focus detection area from the image sensor 12 and sends the defocus amount to the lens control unit 5.
  • the lens control unit 5 calculates a focusing lens drive amount based on the defocus amount received from the body control unit 14, and drives the focusing lens 7 with a motor or the like (not shown) based on the lens drive amount to achieve a focus position. Move to.
  • the body control unit 14 generates image data for recording based on the signal output from the image sensor 12 after the shooting instruction.
  • the body control unit 14 stores the generated image data in the memory card 20 and sends it to the liquid crystal display element driving circuit 15 to reproduce and display it on the liquid crystal display element 16.
  • the camera body 3 is provided with an operation member 18 including a shutter button, a focus detection area setting member, and the like.
  • the body control unit 14 detects operation signals from these operation members 18 and controls operations (such as photographing processing and setting of a focus detection area) according to the detection results.
  • the imaging element 12 has a stacked structure, and an upper photoelectric conversion layer 41 (FIG. 4) and a lower photoelectric conversion layer 43 (FIG. 4) are stacked.
  • the upper photoelectric conversion layer 41 is composed of a photoconductive film that absorbs (photoelectric conversion) light having a wavelength component described later, and light having a wavelength component that has not been absorbed (photoelectric conversion) by the upper photoelectric conversion layer 41 is lower. The light passes through the photoelectric conversion layer 43 and is photoelectrically converted by the photoelectric conversion layer 43.
  • FIGS. 2A and 2B are plan views illustrating the arrangement of pixels in the upper photoelectric conversion layer 41 of the image sensor 12.
  • 10 ⁇ 10 pixels are extracted and shown as a representative.
  • Each pixel is laid out in a substantially square shape and arranged in a two-dimensional manner.
  • pixels that photoelectrically convert cyan (Cy) component light Cy pixels
  • pixels that photoelectrically convert magenta (Mg) component light Mg pixels
  • Ye yellow
  • the Cy pixel includes a photoelectric conversion unit that absorbs (photoelectrically converts) cyan component light.
  • the Mg pixel is composed of a photoelectric conversion unit that absorbs (photoelectric conversion) light of a magenta component.
  • the Ye pixel includes a photoelectric conversion unit that absorbs (photoelectric conversion) yellow component light.
  • the imaging element 12 is formed with a plurality of microlenses 40 for efficiently guiding the light flux from the interchangeable lens 2 to a set of four pixels.
  • the microlens 40 is constituted by, for example, an axially symmetric spherical lens or an aspherical lens whose center and optical axis substantially coincide with each other, and is arranged two-dimensionally with the light incident side as a convex shape.
  • each micro lens 40 one Cy pixel, two Mg pixels, and one Ye pixel are arranged in two rows and two columns.
  • a group of four pixels located behind the microlens 40 is classified into four types (P1 to P4) according to the arrangement difference.
  • Cy pixels are arranged at the upper left, Mg pixels at the upper right, Mg pixels at the lower left, and Ye pixels at the lower right.
  • Mg pixels are arranged at the upper left, Cy pixels at the upper right, Ye pixels at the lower left, and Mg pixels at the lower right.
  • an Mg pixel is arranged at the upper left, a Ye pixel at the upper right, a Cy pixel at the lower left, and an Mg pixel at the lower right.
  • the Ye pixel is arranged at the upper left, the Mg pixel is arranged at the upper right, the Mg pixel is arranged at the lower left, and the Cy pixel is arranged at the lower right.
  • the first set P1 and the second set P2 are adjacent to each other in the horizontal direction (X direction) and are alternately arranged in the horizontal direction.
  • a column formed from the first set P1 and the second set P2 is referred to as a first column L1.
  • the third set P3 and the fourth set P4 are adjacent to each other in the horizontal direction and are alternately arranged in the horizontal direction.
  • a column formed from the third set P3 and the fourth set P4 is referred to as a second column L2.
  • the first row L1 and the second row L2 are adjacent to each other in the vertical direction (Y direction) and are alternately and repeatedly arranged in the vertical direction.
  • the first set P1 and the third set P3 are adjacent in the vertical direction
  • the second set P2 and the fourth set P4 are adjacent in the vertical direction.
  • the positional relationship between the microlens 40 and the Cy pixel, Mg pixel, and Ye pixel is as follows.
  • Cy pixels are arranged at the upper left, upper right, lower left, and lower right behind the four microlenses 40 adjacent in the vertical and horizontal directions, respectively.
  • the Mg pixels are arranged at the upper right and lower left, upper left and lower right, upper left and lower right, upper right and lower left behind the four microlenses 40 adjacent in the vertical and horizontal directions.
  • the Ye pixels are arranged at the lower right, lower left, upper right, and upper left behind the four microlenses 40 that are vertically and horizontally adjacent to each other.
  • the Cy pixels, the Mg pixels, and the Ye pixels are equally arranged so as not to be biased to a specific position behind the microlens 40.
  • FIG. 2 (b) is a diagram in which the same parts as in FIG. 2 (a) are extracted.
  • the Cy pixel, Mg pixel, and Ye pixel are Four adjacent pixels in 2 rows and 2 columns are arranged so as to be the same color pixels.
  • the 4 pixels of the same color in 2 rows and 2 columns are arranged behind the different microlenses 40, and the positions with respect to the microlenses 40 are different.
  • the Cy pixel, the Mg pixel, and the Ye pixel respectively disposed behind the four different microlenses 40 are disposed adjacent to each other in 2 rows and 2 columns for each color.
  • FIGS. 3A and 3B are plan views illustrating the arrangement of pixels in the lower photoelectric conversion layer 43 (FIG. 4) of the image sensor 12. 10 ⁇ 10 pixels corresponding to the pixel positions illustrated in FIG. 2 are illustrated. Each pixel is laid out in a substantially square shape and arranged in a two-dimensional manner. As the pixels, pixels that photoelectrically convert red (R) component light (R pixels), pixels that photoelectrically convert green (G) component light (G pixels), and pixels that photoelectrically convert blue (B) component light Three types (B pixel) are provided.
  • the R pixel is composed of a photoelectric conversion unit that photoelectrically converts light of a red (complementary color of Cy) component that has not been absorbed (photoelectric conversion) by the upper Cy pixel.
  • the G pixel includes a photoelectric conversion unit that photoelectrically converts light of a green (complementary color of Mg) component that has not been absorbed (photoelectric conversion) by the upper Mg pixel.
  • the B pixel includes a photoelectric conversion unit that photoelectrically converts light of a blue (complementary color of Ye) component that has not been absorbed (photoelectric conversion) by the upper Ye pixel. That is, the R, G, and B light receiving portions are configured using the Cy pixel, Mg pixel, and Ye pixel of the upper photoelectric conversion layer 41 as color filters.
  • the R pixel is arranged at the upper left, the G pixel at the upper right, the G pixel at the lower left, and the B pixel at the lower right.
  • the G pixel is arranged at the upper left, the R pixel at the upper right, the B pixel at the lower left, and the G pixel at the lower right.
  • the set (referred to as Q3) located in the lower layer of the third set P3 G pixels are arranged in the upper left, B pixels in the upper right, R pixels in the lower left, and G pixels in the lower right.
  • B pixels are arranged at the upper left, G pixels at the upper right, G pixels at the lower left, and R pixels at the lower right.
  • the positional relationship between the microlens 40 and the R, G, and B pixels is as follows.
  • the R pixels are arranged at the upper left, upper right, lower left, and lower right behind the four microlenses 40 adjacent vertically and horizontally.
  • the G pixels are arranged behind the four microlenses 40 adjacent in the vertical and horizontal directions, in the upper right and lower left, upper left and lower right, upper left and lower right, upper right and lower left, respectively.
  • B pixels are arranged at the lower right, lower left, upper right, and upper left behind the four microlenses 40 adjacent in the vertical and horizontal directions, respectively.
  • the R pixel, G pixel, and B pixel are equally arranged so as not to be biased to a specific position behind the microlens 40.
  • FIG. 3B is a diagram in which the same parts as those in FIG. 3A are extracted.
  • the R pixel, G pixel, and B pixel are Four adjacent pixels in 2 rows and 2 columns are arranged so as to be the same color pixels.
  • the 4 pixels of the same color in 2 rows and 2 columns are arranged behind the different microlenses 40, and the positions with respect to the microlenses 40 are different.
  • the R pixel, the G pixel, and the B pixel respectively disposed behind the four different microlenses 40 are disposed adjacent to each other in 2 rows and 2 columns for each color.
  • the set 50r composed of 4 R pixels of the same color and 2 rows and 2 columns
  • the set 50g composed of 4 G pixels
  • the set 50b composed of 4 B pixels are viewed as a set of 4 pixels.
  • FIG. 4 is a diagram illustrating a cross section of the image sensor 12.
  • the image sensor 12 is formed by laminating a lower photoelectric conversion layer 43 formed on a silicon substrate and an upper photoelectric conversion layer 41 using an organic film via a wiring layer 42.
  • a microlens 40 is formed above the upper photoelectric conversion layer 41.
  • the upper photoelectric conversion layer 41 constitutes the Cy pixel, Mg pixel, and Ye pixel with a photoconductive film interposed between the electrodes.
  • a Cy pixel in the first set P1 is configured by sandwiching the photoconductive film P1-Cy between the upper electrode a and the lower electrode k-Cy.
  • the Mg pixel in the second set P2 is configured by sandwiching the photoconductive film P2-Mg between the upper electrode a and the lower electrode k-Mg.
  • the lower photoelectric conversion layer 43 is composed of R pixels, G pixels, and B pixels on a silicon substrate, and photoelectrically converts light incident on each pixel.
  • the R pixels in the first set Q ⁇ b> 1 receive complementary color light (R) that has passed through the Cy pixels in the first set P ⁇ b> 1 of the upper photoelectric conversion layer 41.
  • the G pixel in the second set Q2 receives complementary color light (G) that has passed through the Mg pixel in the second set P2 of the upper photoelectric conversion layer 41.
  • FIG. 5 is a diagram illustrating a circuit configuration per pixel in the image sensor 12.
  • the reference power supply Vref is supplied to the reference power supply terminals t32a and t32b.
  • the power supply Vcc is supplied to the power supply terminals t31a and t31b. Further, the power source Vpc is supplied from the terminal t33 to the PC (photoconductor) 20.
  • the configuration of the signal detection unit of the upper photoelectric conversion layer 41 is as follows.
  • the PC 20 constitutes a photoelectric conversion unit for one pixel of the upper photoelectric conversion layer 41. In the PC 20, charges are accumulated by photoelectrically converting incident light.
  • the source follower amplifier MOS transistor Tr6 amplifies a voltage signal based on the accumulated charge.
  • the transfer switch MOS transistor Tr5 constitutes a switch for selecting a read target pixel.
  • the control pulse signal ⁇ SEL # 1 for turning on / off the transfer switch MOS transistor Tr5 is supplied to the terminal t11, the amplified signal is read from the terminal t11 via the transfer switch MOS transistor Tr5.
  • the reset MOS transistor Tr7 discharges unnecessary charges according to the reset pulse signal ⁇ R # 1 supplied to the terminal t13 (that is, resets to a predetermined potential).
  • the configuration of the signal detection unit of the lower photoelectric conversion layer 43 is as follows.
  • the photodiode PD constitutes a photoelectric conversion unit for one pixel of the lower photoelectric conversion layer 43.
  • the photodiode PD photoelectrically converts the light transmitted through the PC 20 to generate charges.
  • the photodiode PD and the floating diffusion (FD) part are connected via a transfer MOS transistor Tr4.
  • the control pulse signal ⁇ Tx # 2 for turning on / off the transfer MOS transistor Tr4 is supplied to the terminal t24, charges are transferred to the floating diffusion portion via the transfer MOS transistor Tr4.
  • the source follower amplifier MOS transistor Tr2 amplifies a voltage signal based on the accumulated charge.
  • the transfer switch MOS transistor Tr1 constitutes a switch for selecting a readout target pixel.
  • the control pulse signal ⁇ SEL # 2 for turning on / off the transfer switch MOS transistor Tr1 is supplied to the terminal t22, the amplified signal is read from the terminal t21 via the transfer switch MOS transistor Tr1.
  • the reset MOS transistor Tr3 discharges unnecessary charges in the floating diffusion portion (that is, resets to a predetermined potential) in response to the reset pulse signal ⁇ R # 2 supplied to the terminal t23.
  • FIG. 6 is a diagram illustrating the exit pupil 80 of the interchangeable lens 2 in a state where the diaphragm 6 is opened.
  • the light beams that have passed through the four regions 81 to 84 of the exit pupil 80 are incident on pixels located at the upper left, upper right, lower left, and lower right of the microlens 40 in FIG.
  • the correspondence between the light beam incident on the pixels located at the upper left, upper right, lower left, and lower right and the first region 81, the second region 82, the third region 83, and the fourth region 84 is as follows. What is necessary is just to consider that the optical axis Ax of the interchangeable lens 2 is upside down with respect to the axis of symmetry.
  • the defocus amount is obtained based on a pixel row 90 in which Mg pixels of the image sensor 12 are arranged in the horizontal direction (X-axis direction).
  • the pixel column 90 is included in the second set P2 and is located at the upper left of the microlens 40 (Mg-a), and the Mg pixel is included in the first set P1 and is located at the upper right of the microlens 40. (Mg-b).
  • the light beam A passing through the first region 81 and the light beam B passing through the second region 82 on the exit pupil 80 are incident on the pixels constituting the pixel row 90.
  • the light beam A is incident on an Mg pixel (Mg-a) located at the upper left of the microlens 40.
  • the light beam B is incident on an Mg pixel (Mg-b) located at the upper right of the microlens 40.
  • signal waveforms (signal arrays a1, a2, a3, a4...) Obtained from the Mg pixels (Mg-a) that receive the light flux A and Mg pixels (Mg-b) that receive the light flux B.
  • the signal waveforms (signal sequences b1, b2, b3, b4...) Obtained from the above are overlapped in shape.
  • the body control unit 14 determines the interchangeable lens 2 based on the positional relationship between the signal waveform (signal sequence a1, a2, a3, a4...) By the light beam A and the signal waveform by the light beam B (signal sequence b1, b2, b3, b4.
  • the focus position adjustment state (defocus amount) is calculated, and the calculation result is transmitted to the lens controller 5 as camera information.
  • the lens control unit 5 moves the focusing lens 7 forward and backward in the optical axis direction based on the camera information, the focus is adjusted so that a sharp image is formed on the image sensor 12.
  • the pixel row 120 is included in the second set P2 and is located at the upper left of the microlens 40 (Mg-a).
  • the pixel row 120 is included in the fourth set P4 and is located at the lower left of the microlens 40. (Mg—c).
  • the light beam A that passes through the first region 81 and the light beam C that passes through the third region 83 on the exit pupil 80 are incident on the pixels constituting the pixel row 120.
  • the light beam A is incident on an Mg pixel (Mg-a) located at the upper left of the microlens 40.
  • the light beam C is incident on an Mg pixel (Mg-c) located at the lower left of the microlens 40.
  • signal waveforms (signal rows a1, a2) obtained from Mg pixels (Mg-a) that receive the light flux A are obtained. , A3, a4,..., And the signal waveforms (signal trains c1, c2, c3, c4...) Obtained from the Mg pixels (Mg-c) that receive the light flux C overlap in shape.
  • the signal waveform (signal sequence a1, a2, a3, a4%)
  • the signal waveform (signal sequence c1, c2, c3, c4.
  • the positional relationship differs depending on the shift from the lens (defocus amount).
  • the body control unit 14 determines the interchangeable lens 2 based on the positional relationship between the signal waveform (signal sequence a1, a2, a3, a4...) By the light beam A and the signal waveform by the light beam C (signal sequence c1, c2, c3, c4.
  • the focus position adjustment state (defocus amount) is calculated, and the calculation result is transmitted to the lens controller 5 as camera information.
  • the lens control unit 5 moves the focusing lens 7 forward and backward in the optical axis direction based on the camera information, the focus is adjusted so that a sharp image is formed on the image sensor 12.
  • the pixel column 150 is included in the second set P2, and includes an Mg pixel (Mg-a) located at the upper left of the microlens 40, an Mg pixel (Mg-d) located at the lower right, and a third set P3.
  • An Mg pixel (Mg-a) located at the upper left of the microlens 40 and an Mg pixel (Mg-d) located at the lower right are included.
  • the light beam A that passes through the first region 81 and the light beam D that passes through the fourth region 84 on the exit pupil 80 are incident on the pixels constituting the pixel row 150.
  • the light beam A is incident on an Mg pixel (Mg-a) located at the upper left of the microlens 40.
  • the light beam D is incident on an Mg pixel (Mg-d) located at the lower right of the microlens 40.
  • signal waveforms (signal arrays a1, a2) obtained from Mg pixels (Mg-a) that receive the light flux A are obtained. , A3, a4,..., And the signal waveforms (signal trains d1, d2, d3, d4...) Obtained from the Mg pixels (Mg-d) that receive the light beam D overlap in shape.
  • the signal waveform (signal sequence a1, a2, a3, a4%) And the signal waveform (signal sequence d1, d2, d3, d4.
  • the positional relationship (shift direction and shift amount) differs depending on the shift (defocus amount).
  • the body control unit 14 determines the interchangeable lens 2 based on the positional relationship between the signal waveform (signal sequence a1, a2, a3, a4%) By the light beam A and the signal waveform (signal sequence d1, d2, d3, d4.
  • the focus position adjustment state (defocus amount) is calculated, and the calculation result is transmitted to the lens controller 5 as camera information.
  • the lens control unit 5 moves the focusing lens 7 forward and backward in the optical axis direction based on the camera information, the focus is adjusted so that a sharp image is formed on the image sensor 12.
  • any one of the following three methods is used as an image signal generation process for generating a color image signal based on an output signal from the lower photoelectric conversion layer 43.
  • the body control unit 14 performs image signal generation processing by a method instructed in advance by initial setting.
  • FIG. 13 is a diagram illustrating the first image signal generation process.
  • the body control unit 14 that performs the first image signal generation process handles four pixels that receive a light beam through the same microlens 40 as one set 200.
  • Each set 200 includes two G pixels, one B pixel, and one R pixel.
  • the body control unit 14 uses the output signal from the R pixel as the R image signal of the set 200, the output signal from the B pixel as the B image signal of the set 200, and outputs from the two G pixels. Let the average value of the signals be the G image signals of the set 200. As a result, the body control unit 14 obtains a color image signal (RGB) that is 1 ⁇ 4 the number of pixels included in the lower photoelectric conversion layer 43 of the image sensor 12 as shown in FIG. Can do. The body control unit 14 generates a recording image file using the color image signal thus obtained.
  • RGB color image signal
  • a color image signal can be acquired without performing the color interpolation process for interpolating the color signal.
  • FIG. 14 is a diagram illustrating the second image signal generation process. As shown in FIG. 14A, the body control unit 14 that performs the second image signal generation process handles adjacent four pixels of the same row of 2 rows and 2 columns as one set 210.
  • the body control unit 14 sets a signal obtained by adding the output signals from the four pixels included in each group 210 as an image signal of the group 210. Specifically, in the case of the R pixel set 210, the body control unit 14 sets a signal obtained by adding the output signals from the four R pixels as the R image signal of the set 210. In the case of the G pixel set 210, the body control unit 14 sets a signal obtained by adding the output signals from the four G pixels as the G image signal of the set 210. In the case of the B pixel set 210, the body control unit 14 sets a signal obtained by adding the output signals from the four B pixels as the B image signal of the set 210. Thereby, as shown in FIG. 14B, the body control unit 14 can obtain a Bayer array image signal that is a 1 ⁇ 4 pixel number of the number of pixels included in the lower photoelectric conversion layer 43 of the imaging element 12. it can.
  • the received light amounts of the four pixels arranged behind the microlens 40 may not be uniform.
  • the received light amount of the pixel located at the upper left of the microlens 40 is large and the received light amount of the pixel located at the lower right of the microlens 40 is small, or at a different incident angle ⁇ 2,
  • the amount of light received by the pixel located at the upper left of the lens 40 is small, and the amount of light received by the pixel located at the lower right of the microlens 40 is increased.
  • a signal obtained by adding output signals from four pixels (that is, four pixels included in each group 210) arranged at different positions (upper left, upper right, lower left, lower right) of the micro lens 40 Therefore, an appropriate image signal can be generated regardless of the incident angle of the light to the microlens 40.
  • the body control unit 14 further generates an insufficient color component by interpolation processing in the image signal of the Bayer array by using the signal from the adjacent set 210. For example, in the case of the G pixel set 210, since there is no R image signal and B image signal, color interpolation processing is performed using the signals of the peripheral set 210. Since the color interpolation processing in such a Bayer array is known, detailed description thereof is omitted.
  • the body control unit 14 generates a recording image file using the color image signal (RGB) obtained by the color interpolation processing.
  • the body control unit 14 that performs the third image signal generation processing first performs color interpolation processing for interpolating the color components that are insufficient in each pixel.
  • FIG. 15 is a diagram for explaining the process of interpolating the G image signal.
  • the body control unit 14 generates a G image signal by interpolation processing at the position of each R pixel and B pixel, using output signals from four G pixels located in the vicinity of the pixel. For example, when the G image signal is interpolated at the position of the R pixel indicated by the thick frame in FIG. 15A, output signals from four G pixels (G1 to G4) located in the vicinity of the R pixel are used.
  • the body control unit 14 sets ( ⁇ G1 + ⁇ G2 + ⁇ G3 + ⁇ G4) / 4 as the G image signal of the R pixel.
  • the body control unit 14 performs the process of interpolating the G image signal at the positions of the R pixel and the B pixel, thereby obtaining the G image signal at the position of each pixel 30 as shown in FIG. Obtainable.
  • FIG. 16 is a diagram for explaining the process of interpolating the R image signal.
  • the body control unit 14 treats adjacent four pixels of the same color in 2 rows and 2 columns as one set 220.
  • the body control unit 14 sets a signal obtained by adding the output signals from the four R pixels in the R pixel set 220 as the R image signal of the set 220.
  • the body control unit 14 interpolates the R image signals in the G pixel set 220 and the B pixel set 220 using the R image signals in the peripheral R pixel set 220. Since each set 220 forms a Bayer array as shown in FIG. 16B, the body control unit 14 can perform this interpolation process using a color interpolation process in a known Bayer array.
  • the body control unit 14 sets a signal (R / 4) obtained by dividing the R image signal interpolated in the G pixel set 220 by 4 as an R image signal in the four G pixels constituting the G pixel set 220. Similarly, the body control unit 14 uses a signal (R / 4) obtained by dividing the R image signal interpolated in the B pixel set 220 by 4 to obtain an R image signal in the four B pixels constituting the B pixel set 220. And In this way, the body control unit 14 performs the process of interpolating the R image signal at the position of the G pixel and the B pixel, thereby obtaining the R image signal at the position of each pixel 30 as shown in FIG. Obtainable.
  • the body control unit 14 can obtain the B image signal at the position of each pixel 30 by performing the process of interpolating the B image signal at the position of the R pixel and the G pixel.
  • the body control unit 14 obtains RGB image signals at the positions of the respective pixels 30 as shown in FIG. 17A by performing the color interpolation processing as described above. Then, the body control unit 14 obtains the luminance signal Y at the position of each pixel 30 using the RGB image signal at the position of each pixel. For example, the body control unit 14 sets 0.299R + 0.587G + 0.114B as the luminance signal Y.
  • the body control unit 14 sets a signal (R ⁇ Y) obtained by subtracting the luminance signal Y from the R image signal as the color difference signal Cr at the position of each pixel 30.
  • the body control unit 14 sets a signal (BY) obtained by subtracting the luminance signal Y from the B image signal at the position of each pixel 30 as the color difference signal Cb.
  • the body control unit 14 can obtain the luminance signal Y and the color difference signals Cr and Cb at the position of each pixel 30.
  • the body control unit 14 uses the color image signal (YCrCb) obtained in this way to generate a recording image file with a higher resolution than in the first image signal generation process and the second image signal generation process. Generate.
  • FIG. 18 is a flowchart for explaining the flow of the photographing process executed by the body control unit 14.
  • the body control unit 14 activates a program that executes the processing illustrated in FIG. 18 when a main switch (not illustrated) that configures the operation member 18 is turned on.
  • the body control unit 14 causes the image sensor 12 to start photoelectric conversion at a predetermined frame rate.
  • the body control unit 14 determines whether or not an imaging instruction has been issued while sequentially displaying the through image based on the image signal from the lower photoelectric conversion layer 43 on the liquid crystal display element 16.
  • the through image is a monitor image acquired before an imaging instruction.
  • step S18 the body control unit 14 determines whether the time is up. When the body control unit 14 measures a predetermined time (for example, 5 seconds), it makes an affirmative decision in step S18 and ends the process of FIG. If the time measured is less than the predetermined time, the body control unit 14 makes a negative determination in step S18 and returns to step S11.
  • a predetermined time for example, 5 seconds
  • step S12 the body control unit 14 performs AE processing and AF processing.
  • AE process an exposure calculation is performed based on the level of the image signal for the through image, and an aperture value AV and a shutter speed TV are determined so that an appropriate exposure can be obtained.
  • AF process focus adjustment is performed by performing the above-described focus detection process based on the output signal string from the pixel string included in the set focus detection area in the upper photoelectric conversion layer 41.
  • step S13 the body control unit 14 performs a photographing process and proceeds to step S14.
  • the diaphragm 6 is controlled based on the AV, and the image sensor 12 performs photoelectric conversion for recording in the accumulation time based on the TV.
  • step S14 the body control unit 14 performs the above-described image signal generation processing using the output signal from the lower photoelectric conversion layer 43, and performs predetermined image processing (gradation conversion processing, contour processing) on the obtained image signal. Emphasis processing, white balance adjustment processing, etc.).
  • the body control unit 14 proceeds to step S15.
  • step S15 the body control unit 14 displays the captured image on the liquid crystal display element 16, and proceeds to step S16.
  • step S16 the body control unit 14 generates an image file for recording, and proceeds to step S17.
  • step S ⁇ b> 17 the body control unit 14 records the image file on the memory card 20 and ends the process of FIG. 18.
  • the digital camera system 1 includes an imaging device 12 that captures a subject image by a subject light beam that has passed through the interchangeable lens 2, a body control unit 14 that generates an image signal based on an output signal from the imaging device 12, and an imaging And a body control unit 14 that detects a focus adjustment state of the interchangeable lens 2 by a phase difference detection method based on an output signal from the element 12, and the imaging element 12 includes a pixel group of the upper photoelectric conversion layer 41 and an upper photoelectric sensor.
  • the pixel group of the upper photoelectric conversion layer 41 includes two-dimensionally arranged Cy pixels, Ye pixels, and Mg pixels having first, second, and third spectral sensitivities different from each other. Behind each microlens 40 of the lens group, one Cy pixel, one Ye pixel, and two Mg pixels are arranged in two rows and two columns, and these four pixels are 4 of the exit pupil of the interchangeable lens 2.
  • the four light fluxes A to D respectively passing through the pupil regions 81 to 84 are received, and the pixel group of the lower photoelectric conversion layer 43 is the first, second, and third spectrum of the pixel group of the upper photoelectric conversion layer 41.
  • R pixels, B pixels, and G pixels each having fourth, fifth, and sixth spectral sensitivities that are complementary to each other in sensitivity are two-dimensionally arranged, and the Cy pixel, Ye pixel, and Mg pixel of the upper photoelectric conversion layer 41
  • the positions of the R pixel, B pixel, and G pixel of the lower photoelectric conversion layer 43 respectively receive the light fluxes that have passed through the Cy pixel, Ye pixel, and Mg pixel, respectively.
  • the body control unit 14 generates an image signal based on an output signal from one of the pixel group of the upper photoelectric conversion layer 41 and the pixel group of the lower photoelectric conversion layer 43, and the body control unit 14 Since the focus adjustment state is detected based on the output signal from the other pixel group of the pixel group of the photoelectric conversion layer 41 and the pixel group of the lower photoelectric conversion layer 43, a pixel dedicated to focus detection is provided in the image sensor 12. Without providing, it is possible to generate an image signal and perform focus detection by a phase difference method based on the output signal of the image sensor 12.
  • the pixel group of the upper photoelectric conversion layer 41 further includes a Cy pixel, a Ye pixel, and a Mg pixel each having substantially the same spectral sensitivity (that is, pixels of the same color).
  • the four pixels adjacent to the two rows and two columns are arranged behind four different microlenses 40, and are arranged so that their positions relative to the microlenses 40 are different from each other.
  • the incident light flux can be appropriately photoelectrically converted regardless of the incident angle of the light to the microlens 40.
  • the pixel group of the upper photoelectric conversion layer 41 outputs an output signal related to Cy for the first pixel, Ye for the second pixel, and Mg for the third pixel, respectively.
  • the pixel group of the lower photoelectric conversion layer 43 is configured such that the fourth pixel outputs an output signal related to the complementary color of Cy, the fifth pixel outputs the complementary color of Ye, and the sixth pixel outputs the complementary color of Mg.
  • the red, green and blue color image signals can be obtained from the output signal of the image sensor 12.
  • the pixel group of the upper photoelectric conversion layer 41 and the lower photoelectric conversion layer 43 is a set of four pixels in two rows and two columns arranged behind one microlens 40. Are formed in a two-dimensional array, and the set includes first to fourth sets P1 to P4 having different pixel arrangements, and the pixel group of the upper photoelectric conversion layer 41 is the first set P1.
  • the Cy pixel and the Mg pixel are disposed adjacent to each other in the horizontal direction
  • the Mg pixel and the Ye pixel are disposed adjacent to the Cy pixel and the Mg pixel in the vertical direction.
  • the Mg pixel and the Cy pixel are arranged adjacent to each other in the horizontal direction, and the Ye pixel and the Mg pixel are arranged adjacent to the Mg pixel and the Cy pixel in the vertical direction.
  • the horizontal direction Adjacent to M A pixel and a Ye pixel are arranged, and a Cy pixel and an Mg pixel are arranged in the vertical direction adjacent to the Mg pixel and the Ye pixel, respectively.
  • the Ye pixel and The Mg pixel is arranged, the Mg pixel and the Cy pixel are arranged adjacent to the Ye pixel and the Mg pixel in the vertical direction, respectively, and the first set P1 and the second set P2 are adjacent to the horizontal direction.
  • the third set P3 and the fourth set P4 are adjacent to each other in the horizontal direction and alternately arranged in the horizontal direction, and the first set P1 and the second set P2 are alternately arranged in the horizontal direction.
  • the first row L1 formed by the third row and the second row L2 formed by the fourth set and the fourth set are adjacent to each other in the vertical direction and are alternately arranged in the vertical direction. Therefore, the image sensor 12 It is possible to perform focus detection by the phase difference method based on the output signal, it is possible to perform any of the above first to third image signal processing.
  • the body control unit 14 adds the output signals from four R pixels adjacent to each other in 2 rows and 2 columns, and forms 2 rows and 2 columns.
  • the output signals from the four adjacent B pixels are added together, and the output signals from the four G pixels adjacent to each other in two rows and two columns are added to generate an image signal of the Bayer array (that is, the second Therefore, an appropriate image signal can be generated regardless of the incident angle of light to the microlens 40.
  • an existing image processing engine that performs the color interpolation process in the Bayer array can be used.
  • the body control unit 14 uses each output signal from the R pixel, B pixel, and G pixel located behind each micro lens. Since the three color signals at the position of the lens 40 are acquired (that is, the first image signal generation process is performed), a color image signal can be acquired without performing the color interpolation process.
  • the body control unit 14 In the digital camera system 1 of the above (1) to (4), the body control unit 14 generates colors of signals of the other two spectral components at each pixel position of the R pixel, B pixel, and G pixel. Since the three color signals are acquired by performing the interpolation process, and the luminance signal and the color difference signal are generated based on the three color signals (that is, the third image signal generation process is performed), the high resolution The image signal can be acquired.
  • the body control unit 14 has substantially the same spectral sensitivity among the pixel groups of the upper photoelectric conversion layer 41 and is positioned relative to the microlens 40. Since the focus adjustment state of the interchangeable lens 2 is detected based on output signals from a pair of different pixels, the focus adjustment state is appropriately determined by the phase difference method based on the output signal from the image sensor 12. Can be detected.
  • the body control unit 14 uses the Mg pixels included in the first group P1 and the second group P2 in the pixel group of the upper photoelectric conversion layer 41, respectively. Since the focus adjustment state of the interchangeable lens 2 is detected in the horizontal direction based on the output signal, the focus adjustment state can be appropriately detected by the phase difference method.
  • the body control unit 14 includes the Mg pixels included in the second group P2 and the fourth group P4 in the pixel group of the upper photoelectric conversion layer 41, respectively. Since the focus adjustment state of the photographing optical system is detected in the vertical direction based on the output signal, the focus adjustment state can be appropriately detected by the phase difference method.
  • the body control unit 14 uses the Mg pixels included in the second group P2 and the third group P3 in the pixel group of the upper photoelectric conversion layer 41, respectively. Since the focus adjustment state of the interchangeable lens 2 is detected in a direction oblique to the horizontal direction based on the output signal, the focus adjustment state can be appropriately detected by the phase difference method.
  • the focus detection process is performed using the output signal from the Mg pixel of the upper photoelectric conversion layer 41.
  • the focus detection process is performed using the output signal from the Cy pixel or Ye pixel. It may be.
  • the body control unit 14 of Modification 1 is configured to obtain an evaluation value using an output signal from the upper photoelectric conversion layer 41.
  • This evaluation value is, for example, an integrated value of output signals for each of the Mg pixel, Cy pixel, and Ye pixel.
  • the body control unit 14 of Modification 1 performs the above-described focus detection process using the larger one of the Cy pixel and Ye pixel. . Thereby, even when a subject having a small Mg component is photographed, the focus detection process can be appropriately performed.
  • the recording image signal is generated using the process instructed in advance by the initial setting among the first to third image signal generation processes.
  • the present invention is not limited to this. .
  • the body control unit 14 when displaying a through image, selects a first image signal generation process that can generate an image signal without performing a color interpolation process, and selects the selected first image. An image signal is generated using signal generation processing.
  • a third image signal generation process capable of generating a high-resolution image signal is selected, and an image signal is generated using the selected third image signal generation process.
  • the body control unit 14 of Modification 2 selects one of the first, second, and third image signal generation processes to display an image in real time, for example. Select the first image signal generation process that does not require color interpolation in the desired scene, select the third image signal process in the scene where you want to record the image with high image quality, etc. You can choose the treatment.
  • the body control unit 14 generates an image signal by the first or second image signal generation process for the moving image, and generates an image signal by the third image signal generation process for the still image. May be.
  • the body control unit 14 may generate an image signal by using both the first and second image signal generation processes, for example.
  • the body control unit 14 displays, for example, both the image generated by the first image signal generation process and the image generated by the second image signal generation process on the rear display device (not shown).
  • the body control unit 14 records, on the memory card 20, an image selected by the user via the operation member 18 among the two displayed images.
  • the upper photoelectric conversion layer 41 includes the Mg pixel (Mg-b) included in the first set P1 and the Mg pixel (Mg-a) included in the second set P2.
  • the amount of defocus in the horizontal direction is obtained based on the output signal sequence from the pixel row 90, but this is not a limitation.
  • a defocus amount in the horizontal direction is obtained based on a pixel row composed of Mg pixels (Mg-d) included in the third set P3 and Mg pixels (Mg-c) included in the fourth set P4.
  • the defocus amount in the horizontal direction may be obtained based on both the pixel column and the pixel column 90.
  • the defocus amount in the vertical direction is obtained based on the signal sequence, the present invention is not limited to this.
  • the defocus amount in the vertical direction is obtained based on a pixel row composed of Mg pixels (Mg-b) included in the first set P1 and Mg pixels (Mg-d) included in the third set P3.
  • the defocus amount in the vertical direction may be obtained based on both the pixel column and the pixel column 120.
  • the defocus amount in the oblique direction is obtained based on the output signal sequence from the pixel column 150 configured as described above.
  • the present invention is not limited to this.
  • the defocus amount in the oblique direction may be obtained based on the above, or the defocus amount in the oblique direction may be obtained based on both the pixel row and the pixel row 150.
  • the upper photoelectric conversion layer 41 is provided with Mg pixels, Cy pixels, and Ye pixels
  • the lower photoelectric conversion layer 43 is provided with G pixels, R pixels, and B pixels.
  • G pixels, R pixels, and B pixels are provided in the upper photoelectric conversion layer
  • Mg pixels, Cy pixels, and Ye pixels are provided in the lower photoelectric conversion layer.
  • the present invention is applied to the digital camera system 1 in which the interchangeable lens 2 is mounted on the camera body 3, but the present invention is not limited thereto.
  • the present invention can be applied to a lens-integrated digital camera.

Abstract

　本発明の第１の態様によると、撮像装置は、撮像光学系を通過した被写体光束による被写体像を撮像する撮像素子と、　撮像素子からの出力信号に基づき、画像信号を生成する画像生成部と、　撮像素子からの出力信号に基づき、撮像光学系の焦点調節状態を位相差検出方式により検出する焦点検出部と、　を備え、　撮像素子は、　上層の画素群と、上層の各画素を通過した被写体光束を受光する下層の画素群と、　上層の画素群に被写体光束を導くように配置されたマイクロレンズ群とを有し、　上層の画素群は、互いに異なる第１、第２および第３の分光感度をそれぞれ有する第１、第２および第３の画素が２次元状に配列され、マイクロレンズ群の各マイクロレンズの背後には、一つの第１の画素と一つの第２の画素と二つの第３の画素とが２行２列に配置され、これら４つの画素は、撮像光学系の射出瞳の４つの瞳領域をそれぞれ通過する４つの光束をそれぞれ受光し、　下層の画素群は、上層の画素群の第１、第２および第３の分光感度とそれぞれ補色関係の第４、第５および第６の分光感度をそれぞれ有する第４、第５および第６の画素が２次元状に配列され、　上層の第１、第２および第３の画素の位置と、下層の第４、第５および第６の画素の位置とは、該第４、第５および第６の画素が第１、第２および第３の画素をそれぞれ通過した光束をそれぞれ受光するように定められ、　画像生成部は、上層の画素群および下層の画素群のうち一方の画素群からの出力信号に基づいて画像信号を生成し、　焦点検出部は、上層の画素群および下層の画素群の他方の画素群からの出力信号に基づいて焦点調節状態を検出する。

Description

撮像装置および撮像素子
　本発明は、撮像装置および撮像素子に関する。
　撮像素子の一部に配置された複数の焦点検出専用の画素からの出力信号に基づいて、瞳分割型位相差方式による焦点検出を行う撮像装置が知られている（特許文献１参照）。
日本国特開２００７－２８２１０９号公報
　従来技術で焦点検出を行うには、焦点検出専用の画素が配置された位置に限られる。しかしながら、焦点検出専用の画素を増やすと、焦点検出専用の画素が配置された位置では画像信号が得られないために画質が低下してしまう。このように、従来技術では、撮像素子の出力信号に基づいて画像信号の生成に加え位相差方式による焦点検出を可能とする一方で、撮像素子の一部に焦点検出専用の画素を設けたことによる弊害が生じていた。
　本発明の第１の態様によると、撮像装置は、撮像光学系を通過した被写体光束による被写体像を撮像する撮像素子と、撮像素子からの出力信号に基づき、画像信号を生成する画像生成部と、撮像素子からの出力信号に基づき、撮像光学系の焦点調節状態を位相差検出方式により検出する焦点検出部と、を備え、撮像素子は、上層の画素群と、上層の各画素を通過した被写体光束を受光する下層の画素群と、上層の画素群に被写体光束を導くように配置されたマイクロレンズ群とを有し、上層の画素群は、互いに異なる第１、第２および第３の分光感度をそれぞれ有する第１、第２および第３の画素が２次元状に配列され、マイクロレンズ群の各マイクロレンズの背後には、一つの第１の画素と一つの第２の画素と二つの第３の画素とが２行２列に配置され、これら４つの画素は、撮像光学系の射出瞳の４つの瞳領域をそれぞれ通過する４つの光束をそれぞれ受光し、下層の画素群は、上層の画素群の第１、第２および第３の分光感度とそれぞれ補色関係の第４、第５および第６の分光感度をそれぞれ有する第４、第５および第６の画素が２次元状に配列され、上層の第１、第２および第３の画素の位置と、下層の第４、第５および第６の画素の位置とは、該第４、第５および第６の画素が第１、第２および第３の画素をそれぞれ通過した光束をそれぞれ受光するように定められ、画像生成部は、上層の画素群および下層の画素群のうち一方の画素群からの出力信号に基づいて画像信号を生成し、焦点検出部は、上層の画素群および下層の画素群の他方の画素群からの出力信号に基づいて焦点調節状態を検出する。
　本発明の第２の態様によると、第１の態様の撮像装置において、上層の画素群はさらに、第１、第２および第３の画素は、それぞれ略同一の分光感度を有する画素同士で２行２列に隣接して配置され、該２行２列に隣接する４画素は、異なる４つのマイクロレンズの背後にそれぞれ配置され、且つマイクロレンズに対する位置がそれぞれ異なるように配置されるのが好ましい。
　本発明の第３の態様によると、第２の態様の撮像装置において、上層の画素群は、第１の画素がシアン、第２の画素がイエロー、第３の画素がマジェンタに関する出力信号をそれぞれ出力し、下層の画素群は、第４の画素がシアンの補色、第５の画素がイエローの補色、第６の画素がマジェンタの補色に関する出力信号をそれぞれ出力するのが好ましい。
　本発明の第４の態様によると、第３の態様の撮像装置において、上層および下層の画素群は、一つのマイクロレンズの背後に配置される２行２列の４画素の組が２次元状に配列されて形成され、組は、画素の配置がそれぞれ異なる第１～第４の組を有し、上層の画素群は、第１の組では、所定の配列方向に隣接して第１の画素および第３の画素が配置されると共に、所定の配列方向に垂直な方向に該第１の画素および該第３の画素にそれぞれ隣接して第３の画素および第２の画素が配置され、第２の組では、所定の配列方向に隣接して第３の画素および第１の画素が配置されると共に、垂直方向に該第３の画素および該第１の画素にそれぞれ隣接して第２の画素および第３の画素が配置され、第３の組では、所定の配列方向に隣接して第３の画素および第２の画素が配置されると共に、垂直方向に該第３の画素および該第２の画素にそれぞれ隣接して第１の画素および第３の画素が配置され、第４の組では、所定の配列方向に隣接して第２の画素および第３の画素が配置されると共に、垂直方向に該第２の画素および該第３の画素にそれぞれ隣接して第３の画素および第１の画素が配置され、第１の組および第２の組は、所定の配列方向に隣接し、且つ所定の配列方向に交互に繰り返し配列され、第３の組および第４の組は所定の配列方向に隣接し、且つ所定の配列方向に交互に繰り返し配列され、第１の組および第２の組で形成される第１の列と第３の組および第４の組で形成される第２の列とは垂直方向に隣接し、且つ垂直方向に交互に繰り返し配列されるのが好ましい。
　本発明の第５の態様によると、第２～４のいずれか一の態様の撮像装置において、画像生成部は、２行２列で互いに隣接する４つの第４の画素からの出力信号を加算し、２行２列の形で隣接する４つの第５の画素からの出力信号を加算し、２行２列で互いに隣接する４つの第６の画素からの出力信号を加算することにより、ベイヤー配列の画像信号を生成するのが好ましい。
　本発明の第６の態様によると、第１～４のいずれか一の態様の撮像装置において、画像生成部は、各マイクロレンズの背後に位置する第４、第５および第６の画素からの出力信号に基づいて、各マイクロレンズ位置における３つの色信号を取得するのが好ましい。
　本発明の第７の態様によると、第１～４のいずれか一の態様の撮像装置において、画像生成部は、第４～第６の各画素位置において、他の２つの分光成分の信号を生成する色補間処理を行うことにより３つの色信号を取得し、３つの色信号に基づいて輝度信号および色差信号を生成するのが好ましい。
　本発明の第８の態様によると、第１～７のいずれか一の態様の撮像装置において、焦点検出部は、上層または下層の画素群のうち、略同一の分光感度を有し、且つマイクロレンズに対する位置が異なる一対の画素からの出力信号に基づいて、撮像光学系の焦点調節状態を検出するのが好ましい。
　本発明の第９の態様によると、第４の態様の撮像装置において、焦点検出部は、上層の画素群のうち、第１の組と第２の組にそれぞれ含まれる第３の画素、および第３の組と第４の組にそれぞれ含まれる第３の画素のうち少なくとも一方の第３の画素からの出力信号に基づいて、所定の配列方向において撮像光学系の焦点調節状態を検出するのが好ましい。
　本発明の第１０の態様によると、第４の態様の撮像装置において、焦点検出部は、上層の画素群のうち、第１の組と第３の組にそれぞれ含まれる第３の画素、および第２の組と第４の組にそれぞれ含まれる第３の画素のうち少なくとも一方の第３の画素からの出力信号に基づいて、垂直方向において撮像光学系の焦点調節状態を検出するのが好ましい。
　本発明の第１１の態様によると、第４の態様の撮像装置において、焦点検出部は、上層の画素群のうち、第１の組と第４の組にそれぞれ含まれる第３の画素、および第２の組と第３の組にそれぞれ含まれる第３の画素のうち少なくとも一方の第３の画素からの出力信号に基づいて、所定の配列方向に対して斜めの方向において撮像光学系の焦点調節状態を検出するのが好ましい。
　本発明の第１２の態様によると、撮像素子は、二次元状に配列した複数のマイクロレンズと、マイクロレンズ毎に設けられた、所定の波長の光を吸収し、所定の波長以外の光を透過する複数の受光部と、を有する第1撮像部と、第１撮像部を透過した光を受光する第２撮像部と、を備える。
　本発明の第１３の態様によると、第１２の態様の撮像素子において、第1撮像部は、複数のマイクロレンズのうちの隣接する２つのマイクロレンズに設けられた、同じ所定の波長の光を吸収する受光部が隣接して配置されているのがよい。
　本発明によれば、撮像素子に焦点検出専用の画素を設けることなく、撮像素子からの出力信号に基づいて画像信号の生成および位相差方式による焦点検出を行うことができる。
本発明の実施の形態によるデジタルカメラシステムの構成を例示する図である。 上部光電変換層における画素の配置を例示する平面図である。 下部光電変換層における画素の配置を例示する平面図である。 撮像素子の断面を例示する図である。 撮像素子における１画素当たりの回路構成を例示する図である。 交換レンズの射出瞳を例示する図である。 デフォーカス量を求める画素列を説明する図である。 射出瞳を通る光束を説明する図である。 デフォーカス量を求める画素列を説明する図である。 射出瞳を通る光束を説明する図である。 デフォーカス量を求める画素列を説明する図である。 射出瞳を通る光束を説明する図である。 第１の画像信号生成処理を説明する図である。 第２の画像信号生成処理を説明する図である。 第３の画像信号生成処理を説明する図である。 第３の画像信号生成処理を説明する図である。 第３の画像信号生成処理を説明する図である。 撮影処理の流れを説明するフローチャートである。
　以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラシステムの構成を例示する図である。デジタルカメラシステム１は、交換レンズ２とカメラボディ３から構成される。交換レンズ２は、マウント部４を介してカメラボディ３に装着される。
　交換レンズ２は、レンズ制御部５、主レンズ９、ズームレンズ８、フォーカシングレンズ７、および絞り６を含む。レンズ制御部５は、マイクロコンピュータとメモリなどで構成され、フォーカシングレンズ７と絞り６の駆動制御、絞り６の開口状態の検出、ズームレンズ８およびフォーカシングレンズ７の位置検出、後述するカメラボディ３側のボディ制御部１４に対するレンズ情報の送信、ボディ制御部１４からのカメラ情報の受信などを行う。
　カメラボディ３は、撮像素子１２、撮像素子駆動制御部１９、ボディ制御部１４、液晶表示素子駆動回路１５、液晶表示素子１６、接眼レンズ１７、および操作部材１８などを含み、着脱可能なメモリカード２０が装着されている。撮像素子１２は、交換レンズ２の予定結像面に配置されて交換レンズ２により結像される被写体像を撮像する。
　ボディ制御部１４は、マイクロコンピュータとメモリなどで構成される。ボディ制御部１４は、デジタルカメラシステム全体の動作制御を行う。ボディ制御部１４とレンズ制御部５は、マウント部４の電気接点部１３を介して通信を行うように構成される。
　撮像素子駆動制御部１９は、ボディ制御部１４からの指示に応じて撮像素子１２で必要な制御信号を生成する。液晶表示素子駆動回路１５は、ボディ制御部１４からの指示に応じて液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）を構成する液晶表示素子１６を駆動する。撮影者は、接眼レンズ１７を介して液晶表示素子１６に表示された像を観察する。メモリカード２０は、画像信号などを格納記憶する記憶媒体である。
　交換レンズ２によって撮像素子１２上に結像された被写体像は、撮像素子１２によって光電変換される。撮像素子１２は、撮像素子駆動制御部１９からの制御信号によって光電変換信号の蓄積および信号読出しのタイミング（フレームレート）が制御される。撮像素子１２から読出された画像信号は、不図示のＡ／Ｄ変換部でデジタルデータに変換され、ボディ制御部１４へ送られる。
　ボディ制御部１４は、撮像素子１２からの所定の焦点検出エリアに対応する画像信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ制御部５へ送る。レンズ制御部５は、ボディ制御部１４から受信したデフォーカス量に基づいてフォーカシングレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシングレンズ７を不図示のモーター等で駆動して合焦位置へ移動させる。
　また、ボディ制御部１４は、撮影指示後に撮像素子１２から出力された信号に基づいて記録用の画像データを生成する。ボディ制御部１４は、生成した画像データをメモリカード２０に格納するとともに液晶表示素子駆動回路１５へ送り、液晶表示素子１６に再生表示させる。
　なお、カメラボディ３にはシャッターボタン、焦点検出エリアの設定部材などを含む操作部材１８が設けられている。ボディ制御部１４は、これらの操作部材１８からの操作信号を検出し、検出結果に応じた動作（撮影処理、焦点検出エリアの設定など）の制御を行う。
＜撮像素子の説明＞
　本実施形態は、撮像素子１２に特徴を有するので、以降は撮像素子１２を中心に説明する。撮像素子１２は積層構造を有し、上部の光電変換層４１（図４）と、下部の光電変換層４３（図４）とが積層されている。上部の光電変換層４１は、後述する波長成分の光を吸収（光電変換）する光導電膜で構成され、上部の光電変換層４１で吸収（光電変換）されなかった波長成分の光が下部の光電変換層４３へ透過し、該光電変換層４３で光電変換される。
（上部光電変換層）
　図２（ａ）および（ｂ）は、撮像素子１２の上部光電変換層４１における画素の配置を例示する平面図である。ここでは、代表して１０×１０画素分を抜き出して図示している。各画素は略正方形にレイアウトされ、２次元状に配列されている。画素としては、シアン（Ｃｙ）成分の光を光電変換する画素（Ｃｙ画素）、マジェンタ（Ｍｇ）成分の光を光電変換する画素（Ｍｇ画素）、イエロー（Ｙｅ）成分の光を光電変換する画素（Ｙｅ画素）の３種類が設けられている。
　Ｃｙ画素は、シアン成分の光を吸収（光電変換）する光電変換部から構成される。Ｍｇ画素は、マジェンタ成分の光を吸収（光電変換）する光電変換部から構成される。Ｙｅ画素は、イエロー成分の光を吸収（光電変換）する光電変換部から構成される。
　また、撮像素子１２には、交換レンズ２からの光束を効率的に４つの画素の組へ導くためのマイクロレンズ４０が複数形成されている。図２において５×５＝２５の円がマイクロレンズ４０に対応する。マイクロレンズ４０は、たとえば、その中心と光軸とが略一致する軸対称型の球面レンズあるいは非球面レンズで構成され、光入射側を凸形状として２次元状に配列されている。
　各マイクロレンズ４０の背後には、一つのＣｙ画素、二つのＭｇ画素、一つのＹｅ画素が２行２列に配置される。本説明では、図２（ａ）に示すように、マイクロレンズ４０の背後に位置する４つの画素の組を、その配置の違いによって４通り（Ｐ１～Ｐ４）に分類する。
　マイクロレンズ４０の背後において、第１の組Ｐ１では、左上にＣｙ画素、右上にＭｇ画素、左下にＭｇ画素、右下にＹｅ画素が配置される。第２の組Ｐ２では、左上にＭｇ画素、右上にＣｙ画素、左下にＹｅ画素、右下にＭｇ画素が配置される。第３の組Ｐ３では、左上にＭｇ画素、右上にＹｅ画素、左下にＣｙ画素、右下にＭｇ画素が配置される。第４の組Ｐ４では、左上にＹｅ画素、右上にＭｇ画素、左下にＭｇ画素、右下にＣｙ画素が配置される。
　第１の組Ｐ１および第２の組Ｐ２は、水平方向（Ｘ方向）に隣接し、且つ水平方向に交互に繰り返し配列される。第１の組Ｐ１および第２の組Ｐ２から形成される列を、第１列Ｌ１と呼ぶ。第３の組Ｐ３および第４の組Ｐ４は、水平方向に隣接し、且つ水平方向に交互に繰り返し配列される。第３の組Ｐ３および第４の組Ｐ４から形成される列を、第２列Ｌ２と呼ぶ。
　上記第１列Ｌ１および第２列Ｌ２は、鉛直方向（Ｙ方向）に隣接し、且つ鉛直方向に交互に繰り返し配列される。これにより、各第１の組Ｐ１および第３の組Ｐ３は鉛直方向に隣接し、各第２の組Ｐ２および第４の組Ｐ４は鉛直方向に隣接する。
　このような配置により、マイクロレンズ４０とＣｙ画素、Ｍｇ画素、Ｙｅ画素との位置関係は、以下のようになる。
　まず、Ｃｙ画素は、縦横に隣接する４つのマイクロレンズ４０の背後において、それぞれ左上、右上、左下、右下に配置される。Ｍｇ画素は、縦横に隣接する４つのマイクロレンズ４０の背後において、それぞれ右上および左下、左上および右下、左上および右下、右上および左下に配置される。Ｙｅ画素は、縦横に隣接する４つのマイクロレンズ４０の背後において、それぞれ右下、左下、右上、左上に配置される。このように、Ｃｙ画素、Ｍｇ画素、Ｙｅ画素は、それぞれマイクロレンズ４０の背後で特定の位置に偏らないように均等配置される。
　図２（ｂ）は、図２（ａ）と同様の箇所を抜き出した図である。図２（ａ）に示した４つの画素の組分け（Ｐ１～Ｐ４）を縦横に１画素分ずらして見る場合、図２（ｂ）に示すように、Ｃｙ画素、Ｍｇ画素、Ｙｅ画素は、それぞれ隣接する２行２列の４画素が同色の画素となるように配置されている。
　また同色の２行２列の４画素は、それぞれ異なるマイクロレンズ４０の背後に配置され、マイクロレンズ４０に対する位置がそれぞれ異なる。換言すれば、異なる４つのマイクロレンズ４０の背後にそれぞれ配置されたＣｙ画素、Ｍｇ画素、Ｙｅ画素は、それぞれの色ごとに２行２列に隣接するように配置される。
（下部光電変換層）
　図３（ａ）および（ｂ）は、撮像素子１２の下部光電変換層４３(図４)における画素の配置を例示する平面図である。図２に例示した画素位置に対応する１０×１０画素分を図示している。各画素は略正方形にレイアウトされ、２次元状に配列されている。画素としては、赤（Ｒ）成分の光を光電変換する画素（Ｒ画素）、緑（Ｇ）成分の光を光電変換する画素（Ｇ画素）、青（Ｂ）成分の光を光電変換する画素（Ｂ画素）の３種類が設けられている。
　Ｒ画素は、上部のＣｙ画素で吸収（光電変換）されなかった赤（Ｃｙの補色）成分の光を光電変換する光電変換部から構成される。Ｇ画素は、上部のＭｇ画素で吸収（光電変換）されなかった緑（Ｍｇの補色）成分の光を光電変換する光電変換部から構成される。Ｂ画素は、上部のＹｅ画素で吸収（光電変換）されなかった青（Ｙｅの補色）成分の光を光電変換する光電変換部から構成される。すなわち、上部光電変換層４１のＣｙ画素、Ｍｇ画素、Ｙｅ画素をカラーフィルタとしてＲ、Ｇ、Ｂの受光部を構成する。
　これにより、上述した第１の組Ｐ１の下層に位置する組（Ｑ１と呼ぶ）では、左上にＲ画素、右上にＧ画素、左下にＧ画素、右下にＢ画素が配置される。第２の組Ｐ２の下層に位置する組（Ｑ２と呼ぶ）では、左上にＧ画素、右上にＲ画素、左下にＢ画素、右下にＧ画素が配置される。第３の組Ｐ３の下層に位置する組（Ｑ３と呼ぶ）では、左上にＧ画素、右上にＢ画素、左下にＲ画素、右下にＧ画素が配置される。第４の組Ｐ４の下層に位置する組（Ｑ４と呼ぶ）では、左上にＢ画素、右上にＧ画素、左下にＧ画素、右下にＲ画素が配置される。
　このような配置により、上記マイクロレンズ４０とＲ画素、Ｇ画素、Ｂ画素との位置関係は、以下のようになる。
　まず、Ｒ画素は、縦横に隣接する４つのマイクロレンズ４０の背後において、それぞれ左上、右上、左下、右下に配置される。Ｇ画素は、縦横に隣接する４つのマイクロレンズ４０の背後において、それぞれ右上および左下、左上および右下、左上および右下、右上および左下に配置される。Ｂ画素は、縦横に隣接する４つのマイクロレンズ４０の背後において、それぞれ右下、左下、右上、左上に配置される。このように、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれマイクロレンズ４０の背後で特定の位置に偏らないように均等配置される。
　図３（ｂ）は、図３（ａ）と同様の箇所を抜き出した図である。図３（ａ）に示した４つの画素の組分け（Ｑ１～Ｑ４）を縦横に１画素分ずらして見る場合、図３（ｂ）に示すように、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれ隣接する２行２列の４画素が同色の画素となるように配置されている。
　また同色の２行２列の４画素は、それぞれ異なるマイクロレンズ４０の背後に配置され、マイクロレンズ４０に対する位置がそれぞれ異なる。換言すれば、異なる４つのマイクロレンズ４０の背後にそれぞれ配置されたＲ画素、Ｇ画素、Ｂ画素は、それぞれの色ごとに２行２列に隣接するように配置される。
　上記同色２行２列の４つのＲ画素から構成される組５０ｒ、４つのＧ画素から構成される組５０ｇ、４つのＢ画素から構成される組５０ｂは、４画素を１組として見る場合はベイヤー配列を形成する。
　図４は、撮像素子１２の断面を例示する図である。図４において、撮像素子１２は、シリコン基板上に形成された下部光電変換層４３と、有機膜を用いた上部光電変換層４１とが配線層４２を介して積層される。上部光電変換層４１の上方には、マイクロレンズ４０が形成されている。
　上部光電変換層４１は、電極間に光導電膜を挟んで上記Ｃｙ画素、Ｍｇ画素、Ｙｅ画素を構成する。たとえば、上側電極ａと下側電極ｋ－Ｃｙとの間に光導電膜Ｐ１－Ｃｙを挟んで第１の組Ｐ１におけるＣｙ画素を構成する。また、たとえば、上側電極ａと下側電極ｋ－Ｍｇとの間に光導電膜Ｐ２－Ｍｇを挟んで第２の組Ｐ２におけるＭｇ画素を構成する。
　下部光電変換層４３は、シリコン基板上のＲ画素、Ｇ画素、Ｂ画素で構成され、各画素において入射される光を光電変換する。図４において、第１の組Ｑ１におけるＲ画素は、上部光電変換層４１の第１の組Ｐ１におけるＣｙ画素を透過した補色光（Ｒ）を受光する。また、第２の組Ｑ２におけるＧ画素は、上部光電変換層４１の第２の組Ｐ２におけるＭｇ画素を透過した補色光（Ｇ）を受光する。
　図５は、撮像素子１２における１画素当たりの回路構成を例示する図である。図５において、基準電源端子ｔ３２ａおよびｔ３２ｂに基準電源Vrefが供給される。また、電源端子ｔ３１ａおよびｔ３１ｂには電源Vccが供給される。さらに、端子ｔ３３からＰＣ（フォトコンダクタ）２０へ電源Vpcが供給される。
　上部光電変換層４１の信号検出部の構成は以下の通りである。ＰＣ２０は、該上部光電変換層４１の１画素分の光電変換部を構成する。ＰＣ２０において、入射光を光電変換して電荷が蓄積される。ソースフォロワアンプＭＯＳトランジスタＴｒ６は、上記蓄積電荷に基づく電圧信号を増幅する。転送スイッチＭＯＳトランジスタＴｒ５は、読出し対象画素を選択するためのスイッチを構成する。端子ｔ１１に転送スイッチＭＯＳトランジスタＴｒ５をオン／オフする制御パルス信号φSEL#1が供給されると、増幅後の信号が転送スイッチＭＯＳトランジスタＴｒ５を介して端子ｔ１１から読出される。リセット用ＭＯＳトランジスタＴｒ７は、端子ｔ１３に供給されるリセットパルス信号φR#1に応じて不要電荷を排出させる（すなわち所定電位にリセットする）。
　下部光電変換層４３の信号検出部の構成は以下の通りである。フォトダイオードＰＤは、下部光電変換層４３の１画素分の光電変換部を構成する。フォトダイオードＰＤは、ＰＣ２０を透過した光を光電変換して電荷を生成する。フォトダイオードＰＤとフローティングディフュージョン（ＦＤ）部は、転送ＭＯＳトランジスタＴｒ４を介して接続される。端子ｔ２４に転送ＭＯＳトランジスタＴｒ４をオン／オフする制御パルス信号φTx#2が供給されると、転送ＭＯＳトランジスタＴｒ４を介してフローティングディフュージョン部に電荷が転送される。
　ソースフォロワアンプＭＯＳトランジスタＴｒ２は、上記蓄積電荷に基づく電圧信号を増幅する。転送スイッチＭＯＳトランジスタＴｒ１は、読出し対象画素を選択するためのスイッチを構成する。端子ｔ２２に転送スイッチＭＯＳトランジスタＴｒ１をオン／オフする制御パルス信号φSEL#2が供給されると、増幅後の信号が転送スイッチＭＯＳトランジスタＴｒ１を介して端子ｔ２１から読出される。リセット用ＭＯＳトランジスタＴｒ３は、端子ｔ２３に供給されるリセットパルス信号φR#2に応じてフローティングディフュージョン部の不要電荷を排出させる（すなわち所定電位にリセットする）。
＜焦点検出処理＞
　次に、上述した構成の撮像素子１２から焦点検出用の信号を取得する例を、図６～図１２を用いて説明する。本実施形態では、上部光電変換層４１からの出力信号に基づいて、以下のようにデフォーカス量演算が行われる。図６は、絞り６が開放された状態の交換レンズ２の射出瞳８０を例示する図である。射出瞳８０の４つの領域８１～８４を通過した光束は、それぞれ図２のマイクロレンズ４０の左上、右上、左下、および右下に位置する画素に入射する。各マイクロレンズ４０において左上、右上、左下、および右下に位置する画素に入射する光束と、上記第１領域８１、第２領域８２、第３領域８３、および第４領域８４との対応関係は、交換レンズ２の光軸Ａｘを対称軸として上下左右を反転したものとして考えればよい。
　まず、図７に例示するように、撮像素子１２のうちＭｇ画素が水平方向（Ｘ軸方向）に並ぶ画素列９０に基づいてデフォーカス量を求める場合を説明する。画素列９０は、第２の組Ｐ２に含まれ、マイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）と、第１の組Ｐ１に含まれ、マイクロレンズ４０の右上に位置するＭｇ画素（Ｍｇ－ｂ）とから構成される。画素列９０を構成する画素には、図８に例示するように、射出瞳８０上の第１領域８１を介する光束Ａと第２領域８２を介する光束Ｂとが入射される。光束Ａは、マイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）に入射される。光束Ｂは、マイクロレンズ４０の右上に位置するＭｇ画素（Ｍｇ－ｂ）に入射される。
　合焦時は撮像素子１２に鮮鋭像が結ばれる状態であるため、上述したように異なる瞳位置に瞳分割された光束による一対の像は撮像素子１２上で一致する。つまり、画素列９０において、光束Ａを受光するＭｇ画素（Ｍｇ－ａ）から得られる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）と、光束Ｂを受光するＭｇ画素（Ｍｇ－ｂ）から得られる信号波形（信号列ｂ１、ｂ２、ｂ３、ｂ４…）とは、その形状が重なる。
　一方、非合焦時は撮像素子１２の手前で鮮鋭像を結ぶ状態、あるいは撮像素子１２の後ろ側に鮮鋭像を結ぶ状態であるため、上記瞳分割された光束による一対の像は撮像素子１２上では一致しない。この場合の光束Ａによる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）および光束Ｂによる信号波形（信号列ｂ１、ｂ２、ｂ３、ｂ４…）は、合焦状態からのずれ（デフォーカス量）に応じて、互いの位置関係（ずれ方向およびずれ量）が異なる。
　ボディ制御部１４は、光束Ａによる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）および光束Ｂによる信号波形（信号列ｂ１、ｂ２、ｂ３、ｂ４…）の位置関係に基づいて交換レンズ２による焦点位置の調節状態（デフォーカス量）を算出し、算出結果をカメラ情報としてレンズ制御部５へ送信する。レンズ制御部５がカメラ情報に基づいてフォーカシングレンズ７を光軸方向へ進退移動させると、撮像素子１２上に鮮鋭像を結ぶようにフォーカスが調節される。
　次に、図９に例示するように、撮像素子１２のうちＭｇ画素が鉛直方向（Ｙ軸方向）に並ぶ画素列１２０に基づいてデフォーカス量を求める場合を説明する。画素列１２０は、第２の組Ｐ２に含まれ、マイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）と、第４の組Ｐ４に含まれ、マイクロレンズ４０の左下に位置するＭｇ画素（Ｍｇ－ｃ）とから構成される。画素列１２０を構成する画素には、図１０に例示するように、射出瞳８０上の第１領域８１を介する光束Ａと、第３領域８３を介する光束Ｃとが入射される。光束Ａはマイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）に入射される。光束Ｃはマイクロレンズ４０の左下に位置するＭｇ画素（Ｍｇ－ｃ）に入射される。
　合焦時は撮像素子１２に鮮鋭像が結ばれる状態であるため、上述したように画素列１２０において、光束Ａを受光するＭｇ画素（Ｍｇ－ａ）から得られる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）と、光束Ｃを受光するＭｇ画素（Ｍｇ－ｃ）から得られる信号波形（信号列ｃ１、ｃ２、ｃ３、ｃ４…）とは、その形状が重なる。
　一方、非合焦時の場合の光束Ａによる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）および光束Ｃによる信号波形（信号列ｃ１、ｃ２、ｃ３、ｃ４…）とは、合焦状態からのずれ（デフォーカス量）に応じて、互いの位置関係（ずれ方向およびずれ量）が異なる。
　ボディ制御部１４は、光束Ａによる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）および光束Ｃによる信号波形（信号列ｃ１、ｃ２、ｃ３、ｃ４…）の位置関係に基づいて交換レンズ２による焦点位置の調節状態（デフォーカス量）を算出し、算出結果をカメラ情報としてレンズ制御部５へ送信する。レンズ制御部５がカメラ情報に基づいてフォーカシングレンズ７を光軸方向へ進退移動させると、撮像素子１２上に鮮鋭像を結ぶようにフォーカスが調節される。
　さらに、図１１に例示するように、撮像素子１２のうちＭｇ画素が斜め方向に並ぶ画素列１５０に基づいてデフォーカス量を求める場合を説明する。画素列１５０は、第２の組Ｐ２に含まれ、マイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）および右下に位置するＭｇ画素（Ｍｇ－ｄ）と、第３の組Ｐ３に含まれ、マイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）および右下に位置するＭｇ画素（Ｍｇ－ｄ）とから構成される。画素列１５０を構成する画素には、図１２に例示するように、射出瞳８０上の第１領域８１を介する光束Ａと、第４領域８４を介する光束Ｄとが入射される。光束Ａはマイクロレンズ４０の左上に位置するＭｇ画素（Ｍｇ－ａ）に入射される。光束Ｄはマイクロレンズ４０の右下に位置するＭｇ画素（Ｍｇ－ｄ）に入射される。
　合焦時は撮像素子１２に鮮鋭像が結ばれる状態であるため、上述したように画素列１５０において、光束Ａを受光するＭｇ画素（Ｍｇ－ａ）から得られる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）と、光束Ｄを受光するＭｇ画素（Ｍｇ－ｄ）から得られる信号波形（信号列ｄ１、ｄ２、ｄ３、ｄ４…）とは、その形状が重なる。
　一方、非合焦時の場合の光束Ａによる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）および光束Ｄによる信号波形（信号列ｄ１、ｄ２、ｄ３、ｄ４…）は、合焦状態からのずれ（デフォーカス量）に応じて、互いの位置関係（ずれ方向およびずれ量）が異なる。
　ボディ制御部１４は、光束Ａによる信号波形（信号列ａ１、ａ２、ａ３、ａ４…）および光束Ｄによる信号波形（信号列ｄ１、ｄ２、ｄ３、ｄ４…）の位置関係に基づいて交換レンズ２による焦点位置の調節状態（デフォーカス量）を算出し、算出結果をカメラ情報としてレンズ制御部５へ送信する。レンズ制御部５がカメラ情報に基づいてフォーカシングレンズ７を光軸方向へ進退移動させると、撮像素子１２上に鮮鋭像を結ぶようにフォーカスが調節される。
＜画像信号生成処理＞
　次に、上記撮像素子１２から画像信号を取得する例を、図１３～図１７を用いて説明する。本実施形態では、下部光電変換層４３からの出力信号に基づいてカラーの画像信号を生成する画像信号生成処理として、以下の３方法のいずれかが用いられる。ボディ制御部１４は、あらかじめ初期設定によって指示されている方法による画像信号生成処理を行う。
（第１の画像信号生成処理）
　図１３は、第１の画像信号生成処理を説明する図である。第１の画像信号生成処理を行うボディ制御部１４は、図１３（ａ）に示すように、同じマイクロレンズ４０を介して光束を受光する４画素を１つの組２００として扱う。各組２００にはそれぞれ、Ｇ画素が２つ、Ｂ画素およびＲ画素が１つ含まれる。
　ボディ制御部１４は、各組２００において、Ｒ画素からの出力信号をその組２００のＲ画像信号とし、Ｂ画素からの出力信号をその組２００のＢ画像信号とし、２つのＧ画素からの出力信号の平均値をその組２００のＧ画像信号とする。これにより、ボディ制御部１４は、図１３（ｂ）に示すように、撮像素子１２の下部光電変換層４３に含まれる画素数の１／４画素数であるカラー画像信号（ＲＧＢ）を得ることができる。ボディ制御部１４は、このようにして得られたカラー画像信号を用いて記録用画像のファイルを生成する。
　このように第１の画像信号生成処理では、色信号を補間する色補間処理を行わずに、カラーの画像信号を取得することができる。
（第２の画像信号生成処理）
　図１４は、第２の画像信号生成処理を説明する図である。第２の画像信号生成処理を行うボディ制御部１４は、図１４（ａ）に示すように、隣接する同色の２行２列の４画素を１つの組２１０として扱う。
　ボディ制御部１４は、各組２１０に含まれる４画素からの出力信号を加算した信号を、その組２１０の画像信号とする。具体的には、ボディ制御部１４は、Ｒ画素の組２１０の場合、４つのＲ画素からの出力信号を加算した信号を、その組２１０のＲ画像信号とする。ボディ制御部１４は、Ｇ画素の組２１０の場合、４つのＧ画素からの出力信号を加算した信号を、その組２１０のＧ画像信号とする。ボディ制御部１４は、Ｂ画素の組２１０の場合、４つのＢ画素からの出力信号を加算した信号を、その組２１０のＢ画像信号とする。これにより、ボディ制御部１４は、図１４（ｂ）に示すように、撮像素子１２の下部光電変換層４３に含まれる画素数の１／４画素数であるベイヤー配列の画像信号を得ることができる。
　ところで、マイクロレンズ４０へ入射する光束の入射角によっては、マイクロレンズ４０の背後に配置された４つの画素の受光量が均等にならない場合がある。たとえば、ある入射角θ１のときには、マイクロレンズ４０の左上に位置する画素の受光量が大きくマイクロレンズ４０の右下に位置する画素の受光量が小さくなったり、別の入射角θ２のときには、マイクロレンズ４０の左上に位置する画素の受光量が小さくマイクロレンズ４０の右下に位置する画素の受光量が大きくなったりする。
　第２の画像信号生成処理では、マイクロレンズ４０の異なる位置（左上、右上、左下、右下）に配置された４画素（すなわち各組２１０に含まれる４画素）からの出力信号を加算した信号を画像信号とするようにしたので、マイクロレンズ４０への光の入射角によらず適切な画像信号を生成することができる。
　ボディ制御部１４はさらに、ベイヤー配列の画像信号において、隣接する組２１０からの信号を用いて不足する色成分を補間処理によって生成する。たとえば、Ｇ画素の組２１０の場合、Ｒ画像信号およびＢ画像信号が存在しないので、周辺の組２１０の信号を用いて色補間処理を行う。このようなベイヤー配列における色補間処理は公知であるので、詳細な説明は省略する。ボディ制御部１４は、この色補間処理により得られたカラー画像信号（ＲＧＢ）を用いて記録用画像のファイルを生成する。
（第３の画像信号生成処理）
　第３の画像信号生成処理を行うボディ制御部１４は、まず、各画素において不足する色成分を補間する色補間処理を行う。
　図１５は、Ｇ画像信号を補間する処理を説明する図である。ボディ制御部１４は、各Ｒ画素およびＢ画素の位置において、その画素の近傍に位置する４つのＧ画素からの出力信号を用いてＧ画像信号を補間処理によって生成する。たとえば、図１５（ａ）の太枠で示すＲ画素の位置においてＧ画像信号を補間する場合、このＲ画素の近傍に位置する４つのＧ画素（Ｇ１～Ｇ４）からの出力信号を用いる。ボディ制御部１４は、（αＧ１＋βＧ２＋γＧ３＋δＧ４）／４を、該Ｒ画素のＧ画像信号とする。なお、α～δは、該Ｒ画素からの距離に応じた係数であり、補間対象画素からの距離が近いほど係数を大きくする。この場合、Ｇ画素Ｇ１およびＧ２の方が、Ｇ画素Ｇ３およびＧ４よりも該Ｒ画素に近いので、α＝β＞γ＝δとする。
　このようにしてボディ制御部１４は、Ｒ画素およびＢ画素の位置においてＧ画像信号を補間する処理を行うことで、図１５（ｂ）に示すように、各画素３０の位置においてＧ画像信号を得ることができる。
　図１６は、Ｒ画像信号を補間する処理を説明する図である。ボディ制御部１４は、図１６（ａ）に示すように、隣接する同色の２行２列の４画素を１つの組２２０として扱う。ボディ制御部１４は、Ｒ画素の組２２０において、４つのＲ画素からの出力信号を加算した信号をその組２２０のＲ画像信号とする。ボディ制御部１４は、Ｇ画素の組２２０およびＢ画素の組２２０におけるＲ画像信号を、周辺のＲ画素の組２２０のＲ画像信号を用いて補間する。なお各組２２０は、図１６（ｂ）に示すようにベイヤー配列を形成しているため、ボディ制御部１４は、この補間処理を公知のベイヤー配列における色補間処理を用いて行うことができる。
　ボディ制御部１４は、Ｇ画素の組２２０において補間されたＲ画像信号を４で除算した信号（Ｒ／４）を、Ｇ画素の組２２０を構成する４つのＧ画素におけるＲ画像信号とする。同様に、ボディ制御部１４は、Ｂ画素の組２２０において補間されたＲ画像信号を４で除算した信号（Ｒ／４）を、Ｂ画素の組２２０を構成する４つのＢ画素におけるＲ画像信号とする。このようにしてボディ制御部１４は、Ｇ画素およびＢ画素の位置においてＲ画像信号を補間する処理を行うことで、図１６（ｃ）に示すように、各画素３０の位置においてＲ画像信号を得ることができる。
　なお、Ｂ画像信号を補間する処理は、Ｒ画像信号を補間する処理と同様のため、説明を省略する。ボディ制御部１４は、Ｒ画素およびＧ画素の位置において、Ｂ画像信号を補間する処理を行うことにより、各画素３０の位置においてＢ画像信号を得ることができる。
　ボディ制御部１４は、上述のような色補間処理を行うことにより、図１７（ａ）に示すように、各画素３０の位置においてＲＧＢの画像信号を得る。そしてボディ制御部１４は、各画素の位置におけるＲＧＢの画像信号を用いて、各画素３０の位置における輝度信号Ｙを得る。たとえば、ボディ制御部１４は、０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂを、輝度信号Ｙとする。
　またボディ制御部１４は、各画素３０の位置において、Ｒ画像信号から輝度信号Ｙを引算した信号（Ｒ－Ｙ）を色差信号Ｃｒとする。ボディ制御部１４は、各画素３０の位置において、Ｂ画像信号から輝度信号Ｙを引算した信号（Ｂ－Ｙ）を色差信号Ｃｂとする。
　この結果、ボディ制御部１４は、図１７（ｂ）に示すように、各画素３０の位置において、輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを得ることができる。ボディ制御部１４は、このようにして得られたカラー画像信号（ＹＣｒＣｂ）を用いて、第１の画像信号生成処理および第２の画像信号生成処理に比べて高解像度の記録用画像のファイルを生成する。
＜撮影処理＞
　図１８は、ボディ制御部１４が実行する撮影処理の流れを説明するフローチャートである。ボディ制御部１４は、操作部材１８を構成する不図示のメインスイッチがオン操作された場合に、図１８に例示した処理を実行するプログラムを起動する。
　図１８のステップＳ１１において、ボディ制御部１４は、撮像素子１２に所定のフレームレートで光電変換を開始させる。ボディ制御部１４は、下部光電変換層４３からの画像信号に基づくスルー画像を液晶表示素子１６に逐次再生表示させながら、撮影指示が行われたか否かを判定する。スルー画像は、撮影指示前に取得するモニタ用の画像である。ボディ制御部１４は、操作部材１８を構成するレリーズボタンが押下操作されると、ステップＳ１１を肯定判定してステップＳ１２へ進む。ボディ制御部１４は、レリーズボタンが押下操作されない場合には、ステップＳ１１を否定判定してステップＳ１８へ進む。
　ステップＳ１８において、ボディ制御部１４は、タイムアップか否かを判定する。ボディ制御部１４は、所定時間（たとえば、５秒）を計時した場合にステップＳ１８を肯定判定して図１５による処理を終了する。ボディ制御部１４は、計時時間が所定時間に満たない場合には、ステップＳ１８を否定判定してステップＳ１１へ戻る。
　ステップＳ１２において、ボディ制御部１４は、ＡＥ処理およびＡＦ処理を行う。ＡＥ処理では、上記スルー画像用の画像信号のレベルに基づいて露出演算を行い、適正露出が得られるように絞り値ＡＶとシャッター速度ＴＶを決定する。ＡＦ処理は、上部光電変換層４１のうち、設定されている焦点検出エリアに含まれる画素列からの出力信号列に基づいて、上述した焦点検出処理を行ってフォーカス調節をする。ボディ制御部１４は、以上のＡＥ、ＡＦ処理を行うとステップＳ１３へ進む。
　ステップＳ１３において、ボディ制御部１４は撮影処理を行ってステップＳ１４へ進む。具体的には、上記ＡＶに基づいて絞り６を制御し、上記ＴＶに基づく蓄積時間で撮像素子１２に記録用の光電変換を行わせる。ステップＳ１４において、ボディ制御部１４は、下部光電変換層４３からの出力信号を用いて上述した画像信号生成処理を行い、得られた画像信号に対して所定の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を行う。ボディ制御部１４は、画像処理を行うとステップＳ１５へ進む。
　ステップＳ１５において、ボディ制御部１４は、液晶表示素子１６に撮影画像を表示させて、ステップＳ１６へ進む。ステップＳ１６において、ボディ制御部１４は記録用の画像ファイルを生成し、ステップＳ１７へ進む。ステップＳ１７において、ボディ制御部１４は、画像ファイルをメモリカード２０に記録して図１８による処理を終了する。
　以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラシステム１は、交換レンズ２を通過した被写体光束による被写体像を撮像する撮像素子１２と、撮像素子１２からの出力信号に基づき、画像信号を生成するボディ制御部１４と、撮像素子１２からの出力信号に基づき、交換レンズ２の焦点調節状態を位相差検出方式により検出するボディ制御部１４と、を備え、撮像素子１２は、上部光電変換層４１の画素群と、上部光電変換層４１の各画素を通過した被写体光束を受光する下部光電変換層４３の画素群と、上部光電変換層４１の画素群に被写体光束を導くように配置されたマイクロレンズ群とを有し、上部光電変換層４１の画素群は、互いに異なる第１、第２および第３の分光感度をそれぞれ有するＣｙ画素、Ｙｅ画素およびＭｇ画素が２次元状に配列され、マイクロレンズ群の各マイクロレンズ４０の背後には、一つのＣｙ画素と一つのＹｅ画素と二つのＭｇ画素とが２行２列に配置され、これら４つの画素は、交換レンズ２の射出瞳の４つの瞳領域８１～８４をそれぞれ通過する４つの光束Ａ～Ｄをそれぞれ受光し、下部光電変換層４３の画素群は、上部光電変換層４１の画素群の第１、第２および第３の分光感度とそれぞれ補色関係の第４、第５および第６の分光感度をそれぞれ有するＲ画素、Ｂ画素およびＧ画素が２次元状に配列され、上部光電変換層４１のＣｙ画素、Ｙｅ画素およびＭｇ画素の位置と、下部光電変換層４３のＲ画素、Ｂ画素およびＧ画素の位置とは、該Ｒ画素、Ｂ画素およびＧ画素がＣｙ画素、Ｙｅ画素およびＭｇ画素をそれぞれ通過した光束をそれぞれ受光するように定められ、ボディ制御部１４は、上部光電変換層４１の画素群および下部光電変換層４３の画素群のうち一方の画素群からの出力信号に基づいて画像信号を生成し、ボディ制御部１４は、上部光電変換層４１の画素群および下部光電変換層４３の画素群の他方の画素群からの出力信号に基づいて焦点調節状態を検出するように構成したので、撮像素子１２に焦点検出専用の画素を設けることなく、撮像素子１２の出力信号に基づいて画像信号の生成および位相差方式による焦点検出を行うことができる。
（２）上記（１）のデジタルカメラシステム１において、上部光電変換層４１の画素群はさらに、Ｃｙ画素、Ｙｅ画素およびＭｇ画素は、それぞれ略同一の分光感度を有する画素（すなわち同色の画素）同士で２行２列に隣接して配置され、該２行２列に隣接する４画素は、異なる４つのマイクロレンズ４０の背後にそれぞれ配置され、且つマイクロレンズ４０に対する位置がそれぞれ異なるように配置されるように構成したので、マイクロレンズ４０への光の入射角によらず、入射光束を適切に光電変換できる。
（３）上記（２）のデジタルカメラシステム１において、上部光電変換層４１の画素群は、第１の画素がＣｙ、第２の画素がＹｅ、第３の画素がＭｇに関する出力信号をそれぞれ出力し、下部光電変換層４３の画素群は、第４の画素がＣｙの補色、第５の画素がＹｅの補色、第６の画素がＭｇの補色に関する出力信号をそれぞれ出力するように構成したので、撮像素子１２の出力信号から、赤緑青のカラー画像信号を取得することができる。
（４）上記（３）のデジタルカメラシステム１において、上部光電変換層４１および下部光電変換層４３の画素群は、一つのマイクロレンズ４０の背後に配置される２行２列の４画素の組が２次元状に配列されて形成され、該組は、画素の配置がそれぞれ異なる第１～第４の組Ｐ１～Ｐ４を有し、上部光電変換層４１の画素群は、第１の組Ｐ１では、水平方向に隣接してＣｙ画素およびＭｇ画素が配置されると共に、鉛直方向に該Ｃｙ画素および該Ｍｇ画素にそれぞれ隣接してＭｇ画素およびＹｅ画素が配置され、第２の組Ｐ２では、水平方向に隣接してＭｇ画素およびＣｙ画素が配置されると共に、鉛直方向に該Ｍｇ画素および該Ｃｙ画素にそれぞれ隣接してＹｅ画素およびＭｇ画素が配置され、第３の組Ｐ３では、水平方向に隣接してＭｇ画素およびＹｅ画素が配置されると共に、鉛直方向に該Ｍｇ画素および該Ｙｅ画素にそれぞれ隣接してＣｙ画素およびＭｇ画素が配置され、第４の組Ｐ４では、水平方向に隣接してＹｅ画素およびＭｇ画素が配置されると共に、鉛直方向に該Ｙｅ画素および該Ｍｇ画素にそれぞれ隣接してＭｇ画素およびＣｙ画素が配置され、第１の組Ｐ１および第２の組Ｐ２は、水平方向に隣接し、且つ水平方向に交互に繰り返し配列され、第３の組Ｐ３および第４の組Ｐ４は水平方向に隣接し、且つ水平方向に交互に繰り返し配列され、第１の組Ｐ１および第２の組Ｐ２で形成される第１の列Ｌ１と第３の組および第４の組で形成される第２の列Ｌ２とは鉛直方向に隣接し、且つ鉛直方向に交互に繰り返し配列されるように構成したので、撮像素子１２の出力信号に基づいて位相差方式による焦点検出を行うことができると共に、上記第１～第３の画像信号処理のいずれも行うことができる。
（５）上記（２）～（４）のデジタルカメラシステム１において、ボディ制御部１４は、２行２列で互いに隣接する４つのＲ画素からの出力信号を加算し、２行２列の形で隣接する４つのＢ画素からの出力信号を加算し、２行２列で互いに隣接する４つのＧ画素からの出力信号を加算することにより、ベイヤー配列の画像信号を生成する（すなわち上記第２の画像信号生成処理を行う）ように構成したので、マイクロレンズ４０への光の入射角によらず適切な画像信号を生成することができる。さらに、色補間処理において、ベイヤー配列における色補間処理を行う既存の画像処理エンジンを用いることができる。
（６）上記（１）～（４）のデジタルカメラシステム１において、ボディ制御部１４は、各マイクロレンズの背後に位置するＲ画素、Ｂ画素およびＧ画素からの出力信号に基づいて、各マイクロレンズ４０位置における３つの色信号を取得する（すなわち上記第１の画像信号生成処理を行う）ように構成したので、色補間処理を行うことなく、カラーの画像信号を取得することができる。
（７）上記（１）～（４）のデジタルカメラシステム１において、ボディ制御部１４は、Ｒ画素、Ｂ画素、Ｇ画素の各画素位置において、他の２つの分光成分の信号を生成する色補間処理を行うことにより３つの色信号を取得し、３つの色信号に基づいて輝度信号および色差信号を生成する（すなわち上記第３の画像信号生成処理を行う）ように構成したので、高解像度の画像信号を取得することができる。
（８）上記（１）～（７）のデジタルカメラシステム１において、ボディ制御部１４は、上部光電変換層４１の画素群のうち、略同一の分光感度を有し、且つマイクロレンズ４０に対する位置が異なる一対の画素からの出力信号に基づいて、交換レンズ２の焦点調節状態を検出するように構成したので、撮像素子１２からの出力信号に基づいて、適切に位相差方式により焦点調節状態を検出することができる。
（９）上記（４）のデジタルカメラシステム１において、ボディ制御部１４は、上部光電変換層４１の画素群のうち、第１の組Ｐ１と第２の組Ｐ２にそれぞれ含まれるＭｇ画素からの出力信号に基づいて、水平方向において交換レンズ２の焦点調節状態を検出するように構成したので、適切に位相差方式により焦点調節状態を検出することができる。
（１０）上記（４）のデジタルカメラシステム１において、ボディ制御部１４は、上部光電変換層４１の画素群のうち、第２の組Ｐ２と第４の組Ｐ４にそれぞれ含まれるＭｇ画素からの出力信号に基づいて、鉛直方向において撮影光学系の焦点調節状態を検出するように構成したので、適切に位相差方式により焦点調節状態を検出することができる。
（１１）上記（４）のデジタルカメラシステム１において、ボディ制御部１４は、上部光電変換層４１の画素群のうち、第２の組Ｐ２と第３の組Ｐ３にそれぞれ含まれるＭｇ画素からの出力信号に基づいて、水平方向に対して斜めの方向において交換レンズ２の焦点調節状態を検出するように構成したので、適切に位相差方式により焦点調節状態を検出することができる。
（変形例１）
　上述した実施の形態では、上部光電変換層４１のＭｇ画素からの出力信号を用いて焦点検出処理を行うようにしたが、Ｃｙ画素やＹｅ画素からの出力信号を用いて焦点検出処理を行うようにしてもよい。
　変形例１のボディ制御部１４は、上部光電変換層４１からの出力信号を用いて評価値を求めるように構成されている。この評価値は、たとえば、Ｍｇ画素、Ｃｙ画素、Ｙｅ画素ごとの出力信号の積算値である。Ｍｇ画素における該積算値が低い場合、Ｍｇ画素からの出力信号では適切にデフォーカス量を算出できない可能性がある。そこで、変形例１のボディ制御部１４は、Ｍｇ画素における該積算値が所定閾値以下の場合に、Ｃｙ画素およびＹｅ画素のうち該積算値がより大きい方を用いて上述した焦点検出処理を行う。これにより、Ｍｇ成分が少ない被写体を撮影する場合であっても、適切に焦点検出処理を行うことができる。
（変形例２）
　上述した実施形態では、第１～第３の画像信号生成処理のうち、あらかじめ初期設定によって指示されている処理を用いて記録用の画像信号を生成するようにしたが、これに限らなくてよい。
　たとえば、変形例２のボディ制御部１４は、スルー画像を表示させる場合には、色補間処理を行わずに画像信号を生成できる第１の画像信号生成処理を選択し、選択した第１の画像信号生成処理を用いて画像信号を生成する。一方、記録用の画像については、高解像度の画像信号を生成できる第３の画像信号生成処理を選択し、選択した第３の画像信号生成処理を用いて画像信号を生成する。このように変形例２のボディ制御部１４は、画像信号を生成する際に、第１、第２および第３の画像信号生成処理のいずれかを選択することにより、たとえば、リアルタイムに画像を表示したい場面で色補間処理がいらない第１の画像信号生成処理を選択し、高画質に画像を記録したい場面で第３の画像信号処理を選択するなど、生成する画像の用途に適した画像信号生成処理を選ぶことができる。
　また、ボディ制御部１４は、動画像については、第１または第２の画像信号生成処理によって画像信号を生成し、静止画像については、第３の画像信号生成処理によって画像信号を生成するようにしてもよい。
　また、ボディ制御部１４は、たとえば、第１および第２の画像信号生成処理を両方用いて画像信号を生成するようにしてもよい。この場合のボディ制御部１４は、たとえば、第１の画像信号生成処理によって生成した画像、および第２の画像信号生成処理によって生成した画像の双方を背面表示装置（不図示）に表示させる。ボディ制御部１４は、表示させた２つの画像のうち、ユーザが操作部材１８を介して選択した画像を、メモリカード２０に記録する。
（変形例３）
　上述した実施の形態では、上部光電変換層４１のうち、第１の組Ｐ１に含まれるＭｇ画素（Ｍｇ－ｂ）と第２の組Ｐ２に含まれるＭｇ画素（Ｍｇ－ａ）とから構成される画素列９０からの出力信号列に基づいて、水平方向におけるデフォーカス量を求めるようにしたが、これに限らなくてよい。第３の組Ｐ３に含まれるＭｇ画素（Ｍｇ－ｄ）と第４の組Ｐ４に含まれるＭｇ画素（Ｍｇ－ｃ）とから構成される画素列に基づいて水平方向におけるデフォーカス量を求めるようにしてもよいし、該画素列と画素列９０の双方に基づいて水平方向におけるデフォーカス量を求めるようにしてもよい。
　また上述した実施の形態では、第２の組Ｐ２に含まれるＭｇ画素（Ｍｇ－ａ）と第４の組Ｐ４に含まれるＭｇ画素（Ｍｇ－ｃ）とから構成される画素列１２０からの出力信号列に基づいて、鉛直方向におけるデフォーカス量を求めるようにしたが、これに限らなくてよい。第１の組Ｐ１に含まれるＭｇ画素（Ｍｇ－ｂ）と第３の組Ｐ３に含まれるＭｇ画素（Ｍｇ－ｄ）とから構成される画素列に基づいて鉛直方向におけるデフォーカス量を求めるようにしてもよいし、該画素列と画素列１２０の双方に基づいて鉛直方向におけるデフォーカス量を求めるようにしてもよい。
　また上述した実施の形態では、第２の組Ｐ２に含まれるＭｇ画素（Ｍｇ－ａ）および（Ｍｇ－ｄ）と第３の組Ｐ３に含まれるＭｇ画素（Ｍｇ－ａ）および（Ｍｇ－ｄ）とから構成される画素列１５０からの出力信号列に基づいて、斜め方向におけるデフォーカス量を求めるようにしたが、これに限らなくてよい。第１の組Ｐ１に含まれるＭｇ画素（Ｍｇ－ｂ）および（Ｍｇ－ｃ）と第４の組Ｐ４に含まれるＭｇ画素（Ｍｇ－ｂ）および（Ｍｇ－ｃ）とから構成される画素列に基づいて斜め方向におけるデフォーカス量を求めるようにしてもよいし、該画素列と画素列１５０の双方に基づいて斜め方向におけるデフォーカス量を求めるようにしてもよい。
（変形例４）
　上述した実施の形態では、上部光電変換層４１においてＭｇ画素、Ｃｙ画素およびＹｅ画素を設け、下部光電変換層４３においてＧ画素、Ｒ画素およびＢ画素を設けるようにした。この代わりに、上部光電変換層においてＧ画素、Ｒ画素およびＢ画素を設け、下部光電変換層においてＭｇ画素、Ｃｙ画素およびＹｅ画素を設ける構成にしてもよい。
（変形例５）
　上述した実施の形態では、カメラボディ３に交換レンズ２が装着される構成のデジタルカメラシステム１に本発明を適用するようにしたが、これに限らなくてもよい。たとえば、レンズ一体型のデジタルカメラにも本発明を適用することができる。
　以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１２年第０８１１６５号（２０１２年３月３０日出願）
 

Claims (13)

  1. 　撮像光学系を通過した被写体光束による被写体像を撮像する撮像素子と、
    　前記撮像素子からの出力信号に基づき、画像信号を生成する画像生成部と、
    　前記撮像素子からの出力信号に基づき、前記撮像光学系の焦点調節状態を位相差検出方式により検出する焦点検出部と、
    　を備え、
    　前記撮像素子は、
    　上層の画素群と、前記上層の各画素を通過した前記被写体光束を受光する下層の画素群と、
    　前記上層の画素群に前記被写体光束を導くように配置されたマイクロレンズ群とを有し、
    　前記上層の画素群は、互いに異なる第１、第２および第３の分光感度をそれぞれ有する第１、第２および第３の画素が２次元状に配列され、前記マイクロレンズ群の各マイクロレンズの背後には、一つの前記第１の画素と一つの前記第２の画素と二つの前記第３の画素とが２行２列に配置され、これら４つの画素は、前記撮像光学系の射出瞳の４つの瞳領域をそれぞれ通過する４つの光束をそれぞれ受光し、
    　前記下層の画素群は、前記上層の画素群の前記第１、第２および第３の分光感度とそれぞれ補色関係の第４、第５および第６の分光感度をそれぞれ有する第４、第５および第６の画素が２次元状に配列され、
    　前記上層の第１、第２および第３の画素の位置と、前記下層の第４、第５および第６の画素の位置とは、該第４、第５および第６の画素が前記第１、第２および第３の画素をそれぞれ通過した光束をそれぞれ受光するように定められ、
    　前記画像生成部は、前記上層の画素群および前記下層の画素群のうち一方の画素群からの出力信号に基づいて前記画像信号を生成し、
    　前記焦点検出部は、前記上層の画素群および前記下層の画素群の他方の画素群からの出力信号に基づいて前記焦点調節状態を検出する
    　撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記上層の画素群はさらに、前記第１、第２および第３の画素は、それぞれ略同一の分光感度を有する画素同士で２行２列に隣接して配置され、該２行２列に隣接する４画素は、異なる４つの前記マイクロレンズの背後にそれぞれ配置され、且つ前記マイクロレンズに対する位置がそれぞれ異なるように配置される撮像装置。
  3. 　請求項２に記載の撮像装置において、
    　前記上層の画素群は、前記第１の画素がシアン、前記第２の画素がイエロー、前記第３の画素がマジェンタに関する出力信号をそれぞれ出力し、
    　前記下層の画素群は、前記第４の画素が前記シアンの補色、前記第５の画素が前記イエローの補色、前記第６の画素が前記マジェンタの補色に関する出力信号をそれぞれ出力する撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記上層および前記下層の画素群は、一つの前記マイクロレンズの背後に配置される２行２列の４画素の組が２次元状に配列されて形成され、前記組は、画素の配置がそれぞれ異なる第１～第４の組を有し、
    　前記上層の画素群は、
    　前記第１の組では、所定の配列方向に隣接して前記第１の画素および前記第３の画素が配置されると共に、前記所定の配列方向に垂直な方向に該第１の画素および該第３の画素
    にそれぞれ隣接して前記第３の画素および前記第２の画素が配置され、
    　前記第２の組では、前記所定の配列方向に隣接して前記第３の画素および前記第１の画素が配置されると共に、前記垂直方向に該第３の画素および該第１の画素にそれぞれ隣接して前記第２の画素および前記第３の画素が配置され、
    　前記第３の組では、前記所定の配列方向に隣接して前記第３の画素および前記第２の画素が配置されると共に、前記垂直方向に該第３の画素および該第２の画素にそれぞれ隣接して前記第１の画素および前記第３の画素が配置され、
    　前記第４の組では、前記所定の配列方向に隣接して前記第２の画素および前記第３の画素が配置されると共に、前記垂直方向に該第２の画素および該第３の画素にそれぞれ隣接して前記第３の画素および前記第１の画素が配置され、
    　前記第１の組および第２の組は、前記所定の配列方向に隣接し、且つ前記所定の配列方向に交互に繰り返し配列され、前記第３の組および第４の組は前記所定の配列方向に隣接し、且つ前記所定の配列方向に交互に繰り返し配列され、前記第１の組および第２の組で形成される第１の列と前記第３の組および第４の組で形成される第２の列とは前記垂直方向に隣接し、且つ前記垂直方向に交互に繰り返し配列される撮像装置。
  5. 　請求項２～４のいずれか一項に記載の撮像装置において、
    　前記画像生成部は、２行２列で互いに隣接する４つの前記第４の画素からの出力信号を加算し、２行２列の形で隣接する４つの前記第５の画素からの出力信号を加算し、２行２列で互いに隣接する４つの前記第６の画素からの出力信号を加算することにより、ベイヤー配列の画像信号を生成する撮像装置。
  6. 　請求項１～４のいずれか一項に記載の撮像装置において、
    　前記画像生成部は、各マイクロレンズの背後に位置する前記第４、第５および第６の画素からの出力信号に基づいて、各マイクロレンズ位置における３つの色信号を取得する撮像装置。
  7. 　請求項１～４のいずれか一項に記載の撮像装置において、
    　前記画像生成部は、前記第４～第６の各画素位置において、他の２つの分光成分の信号を生成する色補間処理を行うことにより３つの色信号を取得し、前記３つの色信号に基づいて輝度信号および色差信号を生成する撮像装置。
  8. 　請求項１～７のいずれか一項に記載の撮像装置において、
    　前記焦点検出部は、前記上層または下層の画素群のうち、略同一の分光感度を有し、且つ前記マイクロレンズに対する位置が異なる一対の画素からの出力信号に基づいて、前記撮像光学系の焦点調節状態を検出する撮像装置。
  9. 　請求項４に記載の撮像装置において、
    　前記焦点検出部は、前記上層の画素群のうち、前記第１の組と前記第２の組にそれぞれ含まれる前記第３の画素、および前記第３の組と前記第４の組にそれぞれ含まれる前記第３の画素のうち少なくとも一方の第３の画素からの出力信号に基づいて、前記所定の配列方向において前記撮像光学系の焦点調節状態を検出する撮像装置。
  10. 　請求項４に記載の撮像装置において、
    　前記焦点検出部は、前記上層の画素群のうち、前記第１の組と前記第３の組にそれぞれ含まれる前記第３の画素、および前記第２の組と前記第４の組にそれぞれ含まれる前記第３の画素のうち少なくとも一方の第３の画素からの出力信号に基づいて、前記垂直方向において前記撮像光学系の焦点調節状態を検出する撮像装置。
  11. 　請求項４に記載の撮像装置において、
    　前記焦点検出部は、前記上層の画素群のうち、前記第１の組と前記第４の組にそれぞれ含まれる前記第３の画素、および前記第２の組と前記第３の組にそれぞれ含まれる前記第３の画素のうち少なくとも一方の第３の画素からの出力信号に基づいて、前記所定の配列方向に対して斜めの方向において前記撮像光学系の焦点調節状態を検出する撮像装置。
  12. 　二次元状に配列した複数のマイクロレンズと、前記マイクロレンズ毎に設けられた、所定の波長の光を吸収し、前記所定の波長以外の光を透過する複数の受光部と、を有する第1撮像部と、
    　前記第１撮像部を透過した光を受光する第２撮像部と、
    　を備える撮像素子。
  13. 　請求項１２に記載の撮像素子において、
    　前記第1撮像部は、
    　前記複数のマイクロレンズのうちの隣接する２つの前記マイクロレンズに設けられた、同じ前記所定の波長の光を吸収する受光部が隣接して配置されている撮像素子。
PCT/JP2013/059621 2012-03-30 2013-03-29 撮像装置および撮像素子 WO2013147198A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201380017868.6A CN104205808B (zh) 2012-03-30 2013-03-29 摄像装置以及摄像元件
US14/389,626 US9826183B2 (en) 2012-03-30 2013-03-29 Image-capturing device and image sensor
JP2014508109A JP6264284B2 (ja) 2012-03-30 2013-03-29 撮像装置
EP13767811.6A EP2835965B1 (en) 2012-03-30 2013-03-29 Imaging device and image sensor
US15/794,710 US10389959B2 (en) 2012-03-30 2017-10-26 Image-capturing device and image sensor
US16/401,436 US20190260951A1 (en) 2012-03-30 2019-05-02 Image-capturing device and image sensor
US17/387,390 US20210358981A1 (en) 2012-03-30 2021-07-28 Image-capturing device and image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-081165 2012-03-30
JP2012081165 2012-03-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/389,626 A-371-Of-International US9826183B2 (en) 2012-03-30 2013-03-29 Image-capturing device and image sensor
US15/794,710 Continuation US10389959B2 (en) 2012-03-30 2017-10-26 Image-capturing device and image sensor

Publications (1)

Publication Number Publication Date
WO2013147198A1 true WO2013147198A1 (ja) 2013-10-03

Family

ID=49260439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059621 WO2013147198A1 (ja) 2012-03-30 2013-03-29 撮像装置および撮像素子

Country Status (5)

Country Link
US (4) US9826183B2 (ja)
EP (1) EP2835965B1 (ja)
JP (3) JP6264284B2 (ja)
CN (2) CN104205808B (ja)
WO (1) WO2013147198A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015162562A (ja) * 2014-02-27 2015-09-07 株式会社ニコン 撮像装置およびデジタルカメラ
WO2016147837A1 (ja) * 2015-03-13 2016-09-22 ソニー株式会社 固体撮像素子、駆動方法、および電子機器
JP2017038253A (ja) * 2015-08-11 2017-02-16 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
WO2017119477A1 (ja) * 2016-01-08 2017-07-13 株式会社ニコン 撮像素子および撮像装置
JP7474129B2 (ja) 2020-06-22 2024-04-24 キヤノン株式会社 撮像素子、撮像装置、及び焦点検出方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246400B (zh) * 2012-03-30 2021-02-19 株式会社尼康 拍摄元件及拍摄装置
CN104205808B (zh) * 2012-03-30 2020-06-05 株式会社尼康 摄像装置以及摄像元件
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
TWI620445B (zh) 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
JP6368993B2 (ja) * 2013-07-24 2018-08-08 株式会社ニコン 撮像装置
JP6397281B2 (ja) * 2013-10-23 2018-09-26 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP2016058559A (ja) 2014-09-10 2016-04-21 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
US9967501B2 (en) 2014-10-08 2018-05-08 Panasonic Intellectual Property Management Co., Ltd. Imaging device
JP6782431B2 (ja) 2016-01-22 2020-11-11 パナソニックＩｐマネジメント株式会社 撮像装置
CN112788225B (zh) 2016-01-29 2023-01-20 松下知识产权经营株式会社 摄像装置
CN109788891A (zh) * 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器
US10714520B1 (en) * 2017-08-04 2020-07-14 Facebook Technologies, Llc Manufacturing an on-chip microlens array
US11120082B2 (en) 2018-04-18 2021-09-14 Oracle International Corporation Efficient, in-memory, relational representation for heterogeneous graphs
JP6766095B2 (ja) * 2018-06-08 2020-10-07 キヤノン株式会社 撮像装置、撮像システム、移動体、および積層用の半導体基板
CN112740090B (zh) * 2018-07-20 2022-08-12 株式会社尼康 焦点检测装置、拍摄装置以及可更换镜头
CN109905681B (zh) * 2019-02-01 2021-07-16 华为技术有限公司 图像传感器、从其获取图像数据的方法及摄像设备
CN115280766B (zh) * 2020-03-06 2024-05-03 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN111464733B (zh) * 2020-05-22 2021-10-01 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172278A (ja) * 2002-11-19 2004-06-17 Fuji Film Microdevices Co Ltd カラー固体撮像装置
JP2007067075A (ja) * 2005-08-30 2007-03-15 Nippon Hoso Kyokai <Nhk> カラー撮像素子
JP2007282109A (ja) 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法
JP2007317951A (ja) * 2006-05-26 2007-12-06 Nikon Corp 光検出素子および撮像装置
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010263572A (ja) * 2009-05-11 2010-11-18 Sony Corp 撮像装置
JP2011103335A (ja) * 2009-11-10 2011-05-26 Fujifilm Corp 撮像素子及び撮像装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59108457A (ja) * 1982-12-14 1984-06-22 Olympus Optical Co Ltd 固体撮像素子
AR022366A1 (es) 1998-08-19 2002-09-04 Univ Princeton Dispositivo optoelectronico organico fotosensible, metodo de generacion de energia electrica a partir del mismo, metodo de deteccion de energia electrica a partir del mismo, y metodo de fabricacion del mismo
JP2001021792A (ja) 1999-07-09 2001-01-26 Olympus Optical Co Ltd 焦点検出システム
US7742088B2 (en) 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
JP2004200902A (ja) 2002-12-17 2004-07-15 Nikon Corp 画像処理装置、電子カメラ、及び画像処理プログラム
US6958862B1 (en) * 2003-04-21 2005-10-25 Foveon, Inc. Use of a lenslet array with a vertically stacked pixel array
US20040223071A1 (en) * 2003-05-08 2004-11-11 David Wells Multiple microlens system for image sensors or display units
JP4500706B2 (ja) 2005-02-23 2010-07-14 富士フイルム株式会社 光電変換膜積層型固体撮像素子
KR100665177B1 (ko) 2005-05-25 2007-01-09 삼성전기주식회사 반도체 감광 디바이스용 이미지 센서 및 이를 이용한이미지 처리 장치
JP2007011070A (ja) 2005-06-30 2007-01-18 Olympus Imaging Corp デジタル一眼レフカメラ
US7419844B2 (en) 2006-03-17 2008-09-02 Sharp Laboratories Of America, Inc. Real-time CMOS imager having stacked photodiodes fabricated on SOI wafer
US7711261B2 (en) 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP2007324405A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp 固体撮像素子
JP4867552B2 (ja) 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
JP4321579B2 (ja) 2006-11-28 2009-08-26 ソニー株式会社 撮像装置
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP2008258474A (ja) 2007-04-06 2008-10-23 Sony Corp 固体撮像装置および撮像装置
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
EP2181349B1 (en) 2007-08-06 2019-05-29 Canon Kabushiki Kaisha Image sensing apparatus
JP5171178B2 (ja) 2007-09-13 2013-03-27 富士フイルム株式会社 イメージセンサ及びその製造方法
JP2009099867A (ja) 2007-10-18 2009-05-07 Fujifilm Corp 光電変換素子及び撮像素子
JP5032954B2 (ja) 2007-11-27 2012-09-26 日本放送協会 カラー撮像装置
US8106426B2 (en) 2008-02-04 2012-01-31 Sharp Laboratories Of America, Inc. Full color CMOS imager filter
JP5298638B2 (ja) 2008-02-14 2013-09-25 株式会社ニコン 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
WO2009104417A1 (ja) 2008-02-22 2009-08-27 パナソニック株式会社 撮像装置
JP5058128B2 (ja) * 2008-10-31 2012-10-24 シャープ株式会社 撮像装置及び携帯機器
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP5671789B2 (ja) 2009-08-10 2015-02-18 ソニー株式会社 固体撮像装置とその製造方法および撮像装置
KR101709941B1 (ko) 2009-12-02 2017-02-27 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 장치, 및 이미지 센서 제조 방법
KR101643610B1 (ko) 2010-01-18 2016-07-29 삼성전자주식회사 디지털 촬영장치 및 방법
KR101688523B1 (ko) 2010-02-24 2016-12-21 삼성전자주식회사 적층형 이미지 센서
JP5552858B2 (ja) 2010-03-26 2014-07-16 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US20110317048A1 (en) * 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
JP5676988B2 (ja) 2010-09-14 2015-02-25 キヤノン株式会社 焦点調節装置
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
US20130113967A1 (en) * 2011-11-04 2013-05-09 Honeywell International Inc. Doing Business As (D.B.A.) Honeywell Scanning & Mobility Apparatus comprising image sensor array having global shutter shared by a plurality of pixels
JP5556823B2 (ja) 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
CN104205808B (zh) * 2012-03-30 2020-06-05 株式会社尼康 摄像装置以及摄像元件

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172278A (ja) * 2002-11-19 2004-06-17 Fuji Film Microdevices Co Ltd カラー固体撮像装置
JP2007067075A (ja) * 2005-08-30 2007-03-15 Nippon Hoso Kyokai <Nhk> カラー撮像素子
JP2007282109A (ja) 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法
JP2007317951A (ja) * 2006-05-26 2007-12-06 Nikon Corp 光検出素子および撮像装置
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010263572A (ja) * 2009-05-11 2010-11-18 Sony Corp 撮像装置
JP2011103335A (ja) * 2009-11-10 2011-05-26 Fujifilm Corp 撮像素子及び撮像装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2835965A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015162562A (ja) * 2014-02-27 2015-09-07 株式会社ニコン 撮像装置およびデジタルカメラ
WO2016147837A1 (ja) * 2015-03-13 2016-09-22 ソニー株式会社 固体撮像素子、駆動方法、および電子機器
JPWO2016147837A1 (ja) * 2015-03-13 2017-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、駆動方法、および電子機器
US10249657B2 (en) 2015-03-13 2019-04-02 Sony Semiconductor Solutions Corporation Solid-state image sensing device, drive method, and electronic apparatus
US10692904B2 (en) 2015-03-13 2020-06-23 Sony Semiconductor Solutions Corporation Solid-state image sensing device, drive method, and electronic apparatus
JP2017038253A (ja) * 2015-08-11 2017-02-16 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
WO2017119477A1 (ja) * 2016-01-08 2017-07-13 株式会社ニコン 撮像素子および撮像装置
JPWO2017119477A1 (ja) * 2016-01-08 2018-11-22 株式会社ニコン 撮像素子および撮像装置
JP7474129B2 (ja) 2020-06-22 2024-04-24 キヤノン株式会社 撮像素子、撮像装置、及び焦点検出方法

Also Published As

Publication number Publication date
JP6536642B2 (ja) 2019-07-03
JP2019193280A (ja) 2019-10-31
JP2018029342A (ja) 2018-02-22
US10389959B2 (en) 2019-08-20
US20210358981A1 (en) 2021-11-18
CN111711746A (zh) 2020-09-25
CN104205808A (zh) 2014-12-10
US9826183B2 (en) 2017-11-21
US20150222833A1 (en) 2015-08-06
US20190260951A1 (en) 2019-08-22
EP2835965A4 (en) 2015-12-09
EP2835965B1 (en) 2017-05-03
CN104205808B (zh) 2020-06-05
US20180048837A1 (en) 2018-02-15
JP6264284B2 (ja) 2018-01-24
JPWO2013147198A1 (ja) 2015-12-14
JP7001080B2 (ja) 2022-01-19
EP2835965A1 (en) 2015-02-11

Similar Documents

Publication Publication Date Title
JP7001080B2 (ja) 撮像装置
JP7298635B2 (ja) 撮像素子、及び撮像装置
JP5092685B2 (ja) 撮像素子および撮像装置
JP5256711B2 (ja) 撮像素子および撮像装置
JP5076416B2 (ja) 撮像素子および撮像装置
JP2008103885A (ja) 撮像素子、焦点検出装置および撮像装置
WO2013183561A1 (ja) 撮像素子および撮像装置
JP2009130580A (ja) 撮像素子および撮像装置
JP5998583B2 (ja) 撮像装置
JP2018046563A (ja) 撮像素子
JP6221327B2 (ja) 撮像素子およびカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767811

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014508109

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013767811

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013767811

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14389626

Country of ref document: US