WO2024195367A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2024195367A1
WO2024195367A1 PCT/JP2024/005027 JP2024005027W WO2024195367A1 WO 2024195367 A1 WO2024195367 A1 WO 2024195367A1 JP 2024005027 W JP2024005027 W JP 2024005027W WO 2024195367 A1 WO2024195367 A1 WO 2024195367A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light receiving
light
imaging device
receiving pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/005027
Other languages
English (en)
French (fr)
Inventor
美智子 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2024195367A1 publication Critical patent/WO2024195367A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors

Definitions

  • This disclosure relates to an imaging device that captures an image of a subject.
  • Patent Document 1 discloses an imaging device in which one lens is provided at a position corresponding to a pixel pair including two light-receiving pixels.
  • the imaging device includes a first pixel block having a first color filter and a plurality of first pixel pairs each including two light receiving pixels adjacent to each other in a first direction, the plurality of first pixel pairs being arranged in a first arrangement pattern having a convex portion in the first direction in a plan view; a second pixel block having a second color filter of a different color from the first color filter and a plurality of second pixel pairs each including two light receiving pixels adjacent to each other in the first direction, the plurality of second pixel pairs being arranged in a second arrangement pattern having a concave portion that fits with the convex portion in a plan view; a first lens having a first light collecting power provided on the light receiving pixel arranged on the convex portion; and a second lens having a second light collecting power greater than the first light collecting power provided at a position corresponding to each of the first pixel pairs and the second pixel pairs excluding the first pixel pair including the light receiving pixel arranged on the conve
  • the imaging device has a first pixel block having a first color filter and a second pixel block having a second color filter.
  • the first pixel block includes a plurality of first pixel pairs each including two light receiving pixels adjacent to each other in a first direction, and in a plan view, the plurality of first pixel pairs are arranged in a first arrangement pattern having a convex portion in the first direction.
  • the second pixel block includes a plurality of second pixel pairs each including two light receiving pixels adjacent to each other in the first direction, and in a plan view, the plurality of second pixel pairs are arranged in a second arrangement pattern having a concave portion that fits into the convex portion of the first pixel block.
  • a first lens having a first light collecting power is arranged in the light receiving pixel arranged in the convex portion, and a second lens having a second light collecting power greater than the first light collecting power is arranged in the first pixel pair and the second pixel pair except for the first pixel pair including the light receiving pixel arranged in the convex portion.
  • FIG. 1 is a block diagram illustrating an example configuration of an imaging device according to an embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram illustrating an example of the configuration of the pixel array shown in FIG.
  • FIG. 3 is a schematic diagram showing an example of the layout of light receiving lenses in the configuration of the pixel array shown in FIG.
  • FIG. 4 is a schematic diagram illustrating an example of a cross-sectional configuration of the light-receiving pixel illustrated in FIG.
  • FIG. 5A is a diagram showing an input image to the light-receiving pixels in area A shown in FIG.
  • FIG. 5B is a diagram showing an output image obtained from the light-receiving pixels in area A shown in FIG. FIG.
  • FIG. 6 is a schematic diagram showing an example of the layout of a resist film for processing the light receiving lens shown in FIGS.
  • FIG. 7A is a schematic cross-sectional view illustrating an example of a manufacturing process for the light receiving lens shown in FIGS. 3 and 4.
  • FIG. 7B is a schematic cross-sectional view showing a step subsequent to FIG. 7A.
  • FIG. 7C is a schematic cross-sectional view showing a step subsequent to FIG. 7B.
  • FIG. 8 is a circuit diagram showing an example of the configuration of the pixel block shown in FIG.
  • FIG. 9 is a circuit diagram showing an example of the configuration of another pixel block shown in FIG.
  • FIG. 10 is an explanatory diagram showing an example of connections between the plurality of pixel blocks shown in FIG. FIG.
  • FIG. 11 is a block diagram showing an example of the configuration of the readout unit shown in FIG.
  • FIG. 12 is an explanatory diagram showing an example of the configuration of the image signal shown in FIG.
  • FIG. 13 is an explanatory diagram illustrating an example of the number of effective pixels in the imaging device shown in FIG.
  • FIG. 14 is an explanatory diagram showing an example of operation of a plurality of imaging modes in the imaging device shown in FIG.
  • FIG. 15 is an explanatory diagram illustrating an example of an operation of the imaging device shown in FIG.
  • FIG. 16 is a timing waveform diagram showing an example of a readout operation in the imaging device shown in FIG.
  • FIG. 17 is another explanatory diagram showing an operation example of the imaging device shown in FIG. FIG.
  • FIG. 18 is a diagram illustrating another example of the operation of the imaging device shown in FIG.
  • FIG. 19 is another explanatory diagram showing an operation example of the imaging device shown in FIG.
  • FIG. 20 is another explanatory diagram showing an example of the operation of the imaging device shown in FIG.
  • FIG. 21 is an explanatory diagram illustrating an example of the re-mosaic processing in the imaging apparatus shown in FIG.
  • FIG. 22A is an explanatory diagram illustrating an example of the re-mosaic processing shown in FIG. 21.
  • FIG. 22B is another explanatory diagram illustrating an example of the re-mosaic processing shown in FIG. 21.
  • FIG. 22C is another explanatory diagram illustrating an example of the re-mosaic processing shown in FIG. 21.
  • FIG. 23 is another explanatory diagram showing an operation example of the imaging device shown in FIG.
  • FIG. 24 is another explanatory diagram showing an example of the operation of the imaging device shown in FIG.
  • FIG. 25 is a timing waveform diagram showing an example of another readout operation in the imaging device shown in FIG.
  • FIG. 26 is another explanatory diagram showing an operation example of the imaging device shown in FIG.
  • FIG. 27 is an explanatory diagram illustrating an example of another re-mosaic process in the imaging apparatus shown in FIG.
  • FIG. 28A is an explanatory diagram illustrating an example of the re-mosaic processing shown in FIG. 27.
  • FIG. 28B is another explanatory diagram illustrating an example of the re-mosaic processing shown in FIG. 27.
  • FIG. 28C is another explanatory diagram illustrating an example of the re-mosaic processing shown in FIG. 27.
  • FIG. 29 is a diagram for explaining the relationship between an input image and an output image for an imaging device in which one light receiving lens is arranged for one pixel.
  • FIG. 30 is a diagram for explaining the relationship between an input image and an output image for an imaging device in which one high-refractive-index lens is arranged for two pixels.
  • FIG. 31 is a diagram for explaining the relationship between an input image and an output image for an imaging device in which one low-refractive index lens is arranged for two pixels.
  • FIG. 32 is a diagram illustrating an example of the direction detection operation of the imaging device shown in FIG. FIG.
  • FIG. 33 is a diagram for explaining an output image depending on differences in the curvature of the light receiving lens with respect to an input image.
  • FIG. 34 is a schematic diagram illustrating an example of a cross-sectional configuration of a light receiving pixel in an imaging device according to the first modification of the present disclosure.
  • FIG. 35 is a schematic diagram illustrating an example of a layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 36 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 37 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 34 is a schematic diagram illustrating an example of a cross-sectional configuration of a light receiving pixel in an imaging device according to the first modification of the present disclosure.
  • FIG. 35 is a schematic diagram illustrating an example of a layout of light receiving lenses in an imaging device according to the second modification of this
  • FIG. 38 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 39 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 40 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 41 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the second modification of this disclosure.
  • FIG. 42 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the third modification of this disclosure.
  • FIG. 43 is a schematic diagram illustrating an example of a layout of light receiving lenses in an imaging device according to the third modification of this disclosure.
  • FIG. 44 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the third modification of this disclosure.
  • FIG. 45 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the third modification of this disclosure.
  • FIG. 46 is a schematic diagram illustrating another example of the layout of light receiving lenses in an imaging device according to the fourth modification of this disclosure.
  • FIG. 47 is a schematic diagram illustrating an example of a vertical cross-sectional configuration of an imaging device according to the fifth modification of the present disclosure.
  • FIG. 48 is a diagram illustrating an example of a schematic configuration of the imaging device illustrated in FIG. 47.
  • FIG. 49 is an explanatory diagram showing an example of how the imaging device is used.
  • FIG. 50 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 51 is an explanatory diagram showing an example of the installation positions of the outside-vehicle information detection unit and the imaging unit.
  • Embodiment an example of an imaging device in which a pixel block includes a plurality of pixels and has color filters of the same color, and light receiving lenses having different light collecting powers depending on the position within the pixel block are arranged
  • Modifications 2-1 Modification 1 (another example of the configuration of the imaging device) 2-2.
  • Modification 2 (another example of the configuration of the imaging device) 2-3.
  • Modification 3 (another example of the configuration of the imaging device) 2-4.
  • Modification 4 another example of the configuration of the imaging device) 2-5.
  • Modification 5 another example of the configuration of the imaging device 3. Examples of use of imaging devices 4. Examples of applications to moving objects.
  • Preferred embodiment [Configuration example] 1 illustrates an example of a configuration of an imaging device (imaging device 1) according to an embodiment of the present disclosure.
  • the imaging device 1 includes a pixel array 11, a driving unit 12, a reference signal generating unit 13, a readout unit 20, a signal processing unit 15, and an imaging control unit 18.
  • the pixel array 11 has a plurality of light-receiving pixels P arranged in a matrix.
  • the light-receiving pixels P are configured to generate a signal SIG that includes a pixel voltage Vpix that corresponds to the amount of light received.
  • FIG. 2 shows an example of the arrangement of light-receiving pixels P in the pixel array 11.
  • FIG. 3 is a schematic diagram showing an example of the layout of light-receiving lenses (lenses 101) in the pixel array 11.
  • FIG. 4 shows an example of a schematic cross-sectional structure of the pixel array 11. Note that FIG. 4 shows a cross section corresponding to line I-I' shown in FIG. 3.
  • the pixel array 11 has a plurality of pixel blocks 100 and a plurality of lenses 101.
  • the multiple pixel blocks 100 include pixel blocks 100R, 100Gr, 100Gb, and 100B.
  • the multiple light receiving pixels P are arranged with four pixel blocks 100 (pixel blocks 100R, 100Gr, 100Gb, and 100B) as the minimum repeating unit (unit U).
  • Pixel block 100R has, for example, eight light receiving pixels P (light receiving pixels PR) including, for example, a red (R) color filter 131.
  • Pixel block 100Gr has, for example, ten light receiving pixels P (light receiving pixels PGr) including, for example, a green (G) color filter (red filter 131R).
  • Pixel block 100Gb has, for example, ten light receiving pixels P (light receiving pixels PGb) including, for example, a green (G) color filter (green filter 131G).
  • Pixel block 100B has, for example, eight light receiving pixels P (light receiving pixels PB) including, for example, a blue (B) color filter (blue filter 131B).
  • the difference in color of the color filters is represented by using shading.
  • the arrangement pattern of the light receiving pixels PR in pixel block 100R and the arrangement pattern of the light receiving pixels PB in pixel block 100B are the same, and the arrangement pattern of the light receiving pixels PGr in pixel block 100Gr and the arrangement pattern of the light receiving pixels PGb in pixel block 100Gb are the same.
  • pixel blocks 100R, 100Gr, 100Gb, and 100B are arranged, for example, in 2 rows and 2 columns. Specifically, pixel blocks 100R and 100B, and pixel blocks 100Gr and 100Gb, which have the same arrangement pattern, are arranged on diagonal lines that intersect with each other. As an example, pixel block 100Gr is arranged in the upper left, pixel block 100R is arranged in the upper right, pixel block 100B is arranged in the lower left, and pixel block 100Gb is arranged in the lower right. In this way, pixel blocks 100R, 100Gr, 100Gb, and 100B are arranged in a so-called Bayer array, with pixel block 100 as a unit.
  • the light receiving pixel P corresponds to a specific example of a "light receiving pixel” in the embodiment of the present disclosure.
  • the pixel block 100 corresponds to a specific example of a "pixel block” in the embodiment of the present disclosure.
  • the pixel block 100R and the pixel block 100B correspond to a specific example of a "first pixel block” in the embodiment of the present disclosure
  • the pixel block 100Gr and the pixel block 100Gb correspond to a specific example of a "second pixel block” in the embodiment of the present disclosure.
  • the pixel block 100Gr and the pixel block 100Gb correspond to a specific example of a "first pixel block” in the embodiment of the present disclosure
  • the pixel block 100R and the pixel block 100B correspond to a specific example of a "second pixel block” in the embodiment of the present disclosure.
  • the pixel array 11 includes, for example, a semiconductor substrate 111, a light receiving section 112, a separation section 113, a multilayer wiring layer 121, a color filter 131, and a light shielding film 132.
  • the semiconductor substrate 111 is a support substrate on which the imaging device 1 is formed.
  • the semiconductor substrate 111 is, for example, a P-type semiconductor substrate having a pair of opposing surfaces (a front surface 111S1 and a back surface 111S2).
  • the light receiving sections 112 are semiconductor regions embedded in the semiconductor substrate 111 at positions corresponding to the multiple light receiving pixels P, and are doped with, for example, N-type impurities to form photodiodes (PDs).
  • the isolation sections 113 are provided at the boundaries between the multiple light receiving pixels P adjacent to each other in the XY plane within the semiconductor substrate 111, and are, for example, DTIs (Deep Trench Isolations) made of an insulating material such as an oxide film.
  • DTIs Deep Trench Isolations
  • the multi-layer wiring layer 121 is provided on the surface 111S1 of the semiconductor substrate 111, which is the surface opposite the light incident side S of the pixel array 11.
  • the multi-layer wiring layer 121 includes, for example, a plurality of wiring layers 122-127 and an interlayer insulating layer 128.
  • the plurality of wiring layers 122-127 are provided in order from the rear surface 111S2 side of the semiconductor substrate 111.
  • the plurality of wiring layers 122-127 include, for example, a plurality of wirings such as a control line TRGL described below that connect a plurality of transistors provided on the surface 111S1 of the semiconductor substrate 111 to the drive unit 12 and the readout unit 20.
  • the color filter 131 is provided on the back surface 111S2 of the semiconductor substrate 111, which is the light incident side S of the pixel array 11.
  • the light-shielding film 132 is provided on the back surface 111S2 of the semiconductor substrate 111 so as to surround two light-receiving pixels P (hereinafter also referred to as pixel pair 90) adjacent to each other in the X-axis direction.
  • the multiple lenses 101 are so-called on-chip lenses, and are provided on the color filter 131 on the light incident side S of the pixel array 11.
  • the lenses 101 are provided above two light receiving pixels P (pixel pairs 90) adjacent to each other in the X-axis direction.
  • Four lenses 101 are provided above the eight light receiving pixels P of pixel block 100R.
  • Five lenses 101 are provided above the ten light receiving pixels P of pixel block 100Gr.
  • Five lenses 101 are provided above the ten light receiving pixels P of pixel block 100Gb.
  • Four lenses 101 are provided above the eight light receiving pixels P of pixel block 100B.
  • the lenses 101 are arranged in parallel in the X-axis direction and the Y-axis direction.
  • the lenses 101 arranged in the Y-axis direction are shifted by one light receiving pixel P in the X-axis direction.
  • pixel pairs 90 aligned in the Y-axis direction are shifted in the X-axis direction by one light-receiving pixel P.
  • the imaging device 1 generates phase difference data DF based on the so-called image plane phase difference detected by the multiple pixel pairs 90. For example, a camera equipped with the imaging device 1 determines the amount of defocus based on this phase difference data DF, and moves the position of the shooting lens based on this amount of defocus. In this way, the camera is able to achieve autofocus.
  • the multiple lenses 101 are arranged in pixel blocks 100R, 100Gr, 100Gb, and 100B, each of which is made up of multiple light-receiving pixels P equipped with color filters of the same color, and multiple types of lenses (e.g., two types of lenses 101A and 101B) with different light-gathering powers are arranged.
  • Lens 101A has a greater light-gathering power than lens 101B, and for example has a greater curvature than lens 101B.
  • Lens 101B has a smaller light-gathering power than lens 101A, and for example has a smaller curvature than lens 101A.
  • lens 101A corresponds to the "second lens” in the embodiment of this disclosure.
  • Lens 101B corresponds to the "first lens” in the embodiment of this disclosure.
  • pixel blocks 100R and 100B, and pixel blocks 100Gr and 100Gb, which have the same arrangement pattern, are arranged on diagonal lines that intersect with each other.
  • the arrangement patterns of pixel blocks 100R and 100B each have a convex portion in the X-axis direction, for example.
  • the arrangement patterns of pixel blocks 100Gr and 100Gb each have a concave portion that fits into the convex portions of the arrangement patterns of pixel blocks 100R and 100B.
  • the eight light receiving pixels PR, PB constituting pixel block 100R and pixel block 100B are respectively arranged in a cross pattern in which 2, 4, and 2 light receiving pixels PR, PB are arranged in parallel in the X-axis direction in order in the Y-axis direction, as shown in Figures 2 and 3.
  • the portions in which the four light receiving pixels PR, PB are arranged in parallel in the X-axis direction correspond to the "convex portions" in pixel block 100R and pixel block 100B (convex portions XR, XB).
  • the ten light receiving pixels PGr, PGb constituting pixel block 100Gr and pixel block 100Gb are respectively arranged in an H pattern in which 4, 2, and 4 light receiving pixels PGr, PGb are arranged in parallel in the X-axis direction in order in the Y-axis direction, as shown in Figures 2 and 3.
  • the area where the two light receiving pixels PGr and PGb are arranged in parallel in the X-axis direction corresponds to the "recesses" in pixel blocks 100Gr and 100Gb that fit into the protrusions XR and XB of pixel block 100R and pixel block 100B, respectively (recesses YGr and YGb).
  • the two portions where the four light receiving pixels PGr, PGb are arranged in parallel in the X-axis direction of the pixel blocks 100Gr and 100Gb can be regarded as "convex portions" in the pixel blocks 100Gr and 100Gb (convex portions XGr, XBb).
  • the portions where the two light receiving pixels PR, PB are arranged in parallel in the X-axis direction of the pixel blocks 100R and 100B can be regarded as "concave portions" in the pixel blocks 100R and 100B that fit into the convex portions XGr, XBb of the pixel blocks 100Gr and 100Gb, respectively (concave portions YR, YB).
  • Lens 101A which has a high light-gathering power, is placed in the recesses YR, YB, YGr, and YGb described above.
  • Lens 101B which has a lower light-gathering power compared to lens 101A, is placed in the convex portions XR, XB, XGr, and XBb described above.
  • the difference in light-gathering power leads to a difference in the focusing position of the light incident on lenses 101A and 101B in the thickness direction (Z-axis direction) of semiconductor substrate 111.
  • the light L incident on the lens 101A is focused on the boundary between two adjacent light receiving pixels PGr that constitute the pixel pair 90 on the back surface 111S2 of the semiconductor substrate 111, as shown in FIG. 4.
  • the focused light L is refracted at the separation portion 113 provided at the boundary between the two adjacent light receiving pixels PGr, and is approximately evenly incident on the two adjacent light receiving pixels PGr, and is photoelectrically converted in each light receiving portion 112.
  • the light L incident on the lens 101B is focused toward the boundary between two adjacent light receiving pixels PR that constitute the pixel pair 90 inside the semiconductor substrate 111, as shown in FIG. 4. Therefore, the focused light L is almost not refracted at the separation portion 113 provided at the boundary between the two adjacent light receiving pixels PR, and is incident on the light receiving pixel PR corresponding to the incident position, and is photoelectrically converted in the light receiving portion 112.
  • FIG. 5A shows an input image to a light-receiving pixel P arranged in area A shown in FIG. 3.
  • FIG. 5B shows an output image obtained from a light-receiving pixel P in area A shown in FIG. 3.
  • the numerical values in the figure represent the difference in brightness level input to the corresponding light-receiving pixel P or output from the corresponding light-receiving pixel P.
  • the light receiving pixels P arranged on the convex portions XR, XB, XGr, and XBb have a larger surface area that comes into contact with color filters 131 of different colors than the light receiving pixels P arranged on the concave portions YR, YB, YGr, and YGb.
  • misconnections for example, see FIG. 33(B) are likely to occur due to color mixing within the pixel pair 90.
  • a lens 101B with low light-gathering power is arranged in the pixel pair 90 including the light-receiving pixel P arranged in the convex parts XR, XB, XGr, and XBb that have many surfaces in contact with the color filters 131 of different colors
  • a lens 101A with high light-gathering power is arranged in the pixel pair 90 including the light-receiving pixel P arranged in the concave parts YR, YB, YGr, and YGb that have few surfaces in contact with the color filters 131 of different colors.
  • a lens 101A with high light-gathering power is arranged in the pixel pair 90 corresponding to the concave parts YR, YB, YGr, and YGb that have few surfaces in contact with the color filters 131 of different colors, so that the separation ratio in phase difference detection is ensured.
  • FIG. 6 shows an example layout of the resist film 61 used to process the lenses 101A and 101B.
  • a lens layer 101X is formed with a predetermined thickness on a color filter 131.
  • a resist film 61 having the layout shown in FIG. 6 is formed on the lens layer 101X. Then, photolithography and etching are performed to complete lenses 101A and 101B with different curvatures as shown in FIG. 7.
  • FIG. 8 shows an example of the configuration of pixel block 100Gr.
  • FIG. 9 shows an example of the configuration of pixel block 100R.
  • the pixel array 11 has a plurality of control lines TRGL, a plurality of control lines RSTL, a plurality of control lines SELL, and a plurality of signal lines VSL.
  • the control lines TRGL extend, for example, in the X-axis direction, and one end is connected to the drive unit 12.
  • a control signal STRG is supplied to the control lines TRGL by the drive unit 12.
  • the control lines RSTL extend, for example, in the X-axis direction, and one end is connected to the drive unit 12.
  • a control signal SRST is supplied to the control lines RSTL by the drive unit 12.
  • the control lines SELL extend, for example, in the X-axis direction, and one end is connected to the drive unit 12.
  • a control signal SSEL is supplied to the control lines SELL by the drive unit 12.
  • the signal lines VSL extend, for example, in the Y-axis direction, and one end is connected to the readout unit 20.
  • the signal lines VSL transmit the signals SIG generated by the light-receiving pixels P to the readout unit 20.
  • Pixel block 100Gr has, for example, 10 photodiodes, 10 transistors TRG, a floating diffusion layer (FD), and transistors RST, AMP, and SEL as pixel transistors.
  • the 10 photodiodes and 10 transistors TRG correspond to the 10 light-receiving pixels PGr included in pixel block 100Gr.
  • the transistors TRG, RST, AMP, and SEL are N-type MOS (Metal Oxide Semiconductor) transistors.
  • the floating diffusion layer and the transistors TRG, RST, AMP, and SEL are each provided on the surface 111S1 of the semiconductor substrate 111.
  • the photodiode is a photoelectric conversion element that generates an amount of charge according to the amount of light received and accumulates the generated charge internally.
  • the anode of the photodiode is grounded, and the cathode is connected to the source of the transistor TRG.
  • the transistor TRG transfers the charge generated in the photodiode to the floating diffusion layer.
  • the gate of the transistor TRG is connected to the control line TRGL, the source is connected to the cathode of the photodiode, and the drain is connected to the floating diffusion layer.
  • the gates of the ten transistors TRG are connected to different control lines TRGL out of the ten control lines TRGL (in this example, control lines TRGL1 to TRGL6, TRGL9 to TRGL12).
  • the floating diffusion layer is configured to accumulate the charge transferred from the photodiode via the transistor TRG.
  • the floating diffusion layer is configured, for example, using a diffusion layer formed on the surface of a semiconductor substrate.
  • the gate of the transistor RST is connected to the control line RSTL, the drain is supplied with the power supply voltage VDD, and the source is connected to the floating diffusion layer.
  • the gate of transistor AMP is connected to the floating diffusion layer, the drain is supplied with the power supply voltage VDD, and the source is connected to the drain of transistor SEL.
  • the gate of the transistor SEL is connected to the control line SELL, the drain is connected to the source of the transistor AMP, and the source is connected to the signal line VSL.
  • the transistors TRG and RST are turned on based on the control signals STRG and SRST, and the charge accumulated in the photodiode is discharged. Then, the exposure period T is started by turning off these transistors TRG and RST, and an amount of charge according to the amount of received light is accumulated in the photodiode. Then, after the exposure period T ends, the light receiving pixel P outputs a signal SIG including a reset voltage Vreset and a pixel voltage Vpix to the signal line VSL. Specifically, first, the transistor SEL is turned on based on the control signal SSEL, and the light receiving pixel P is electrically connected to the signal line VSL.
  • the transistor AMP is connected to a constant current source 21 (described later) of the readout section 20, and operates as a so-called source follower.
  • a P-phase (Pre-charge phase) period TP after the transistor RST is turned on and the voltage of the floating diffusion layer is reset the light receiving pixel P outputs a voltage corresponding to the voltage of the floating diffusion layer at that time as a reset voltage Vreset.
  • a D-phase (Data phase) period TD after the transistor TRG is turned on and charge is transferred from the photodiode to the floating diffusion layer the light receiving pixel P outputs a voltage corresponding to the voltage of the floating diffusion layer at that time as a pixel voltage Vpix.
  • the difference voltage between the pixel voltage Vpix and the reset voltage Vreset corresponds to the amount of light received by the light receiving pixel P during the exposure period T.
  • the light receiving pixel P outputs a signal SIG including the reset voltage Vreset and the pixel voltage Vpix to the signal line VSL.
  • the pixel block 100R (FIG. 9) has eight photodiodes, eight transistors TRG, a floating diffusion layer, and transistors RST, AMP, and SEL as pixel transistors.
  • the eight photodiodes and eight transistors TRG correspond to the eight light-receiving pixels PR included in the pixel block 100R.
  • the gates of the eight transistors TRG are connected to different control lines TRGL out of the eight control lines TRGL (in this example, control lines TRGL1, TRGL2, TRGL5 to TRGL10).
  • the floating diffusion layer and the transistors TRG, RST, AMP, and SEL are each provided on the surface 111S1 of the semiconductor substrate 111.
  • pixel block 100B has eight photodiodes, eight transistors TRG, a floating diffusion layer, and transistors RST, AMP, and SEL as pixel transistors.
  • the eight photodiodes and eight transistors TRG correspond to the eight light-receiving pixels PB included in pixel block 100B.
  • the gates of the eight transistors TRG are connected to different control lines TRGL out of the eight control lines TRGL.
  • the floating diffusion layer and the transistors TRG, RST, AMP, and SEL are each provided on the surface 111S1 of the semiconductor substrate 111.
  • pixel block 100Gb has 10 photodiodes, 10 transistors TRG, a floating diffusion layer, and transistors RST, AMP, and SEL as pixel transistors.
  • the 10 photodiodes and 10 transistors TRG correspond to the 10 light-receiving pixels PGb included in pixel block 100Gb.
  • the gates of the 10 transistors TRG are connected to different control lines TRGL out of the 10 control lines TRGL.
  • the floating diffusion layer and the transistors TRG, RST, AMP, and SEL are each provided on the surface 111S1 of the semiconductor substrate 111.
  • pixel blocks 100B and 100Gb that are aligned in the X direction and belong to the same row are connected to multiple control lines TRGL out of the same 12 control lines TRGL.
  • pixel blocks 100B and 100Gb that are aligned in the X direction and belong to the same row are connected to one control line RSTL and one control line SELL.
  • pixel blocks 100B that are aligned in the Y direction and belong to the same column are connected to one signal line VSL.
  • pixel blocks 100Gb that are aligned in the Y direction and belong to the same column are connected to one signal line VSL.
  • the drive unit 12 (FIG. 1) is configured to drive a plurality of light receiving pixels P in the pixel array 11 based on instructions from the imaging control unit 18. Specifically, the drive unit 12 drives a plurality of light receiving pixels P in the pixel array 11 by supplying a plurality of control signals STRG to a plurality of control lines TRGL in the pixel array 11, a plurality of control signals SRST to a plurality of control lines RSTL, and a plurality of control signals SSEL to a plurality of control lines SELL.
  • the reference signal generating unit 13 is configured to generate a reference signal RAMP based on instructions from the imaging control unit 18.
  • the reference signal RAMP has a so-called ramp waveform in which the voltage level gradually changes over time during the period (P-phase period TP and D-phase period TD) when the readout unit 20 performs AD conversion.
  • the reference signal generating unit 13 is configured to supply such a reference signal RAMP to the readout unit 20.
  • the readout unit 20 is configured to generate an image signal Spic0 by performing AD conversion based on the signal SIG supplied from the pixel array 11 via the signal line VSL, based on instructions from the imaging control unit 18.
  • FIG. 11 shows an example of the configuration of the readout section 20.
  • FIG. 10 also shows the reference signal generation section 13, the signal processing section 15, and the imaging control section 18.
  • the readout section 20 has a plurality of constant current sources 21, a plurality of AD (Analog to Digital) conversion sections ADC, and a transfer control section 27.
  • the plurality of constant current sources 21 and the plurality of AD conversion sections ADC are provided corresponding to the plurality of signal lines VSL, respectively.
  • the constant current source 21 and the AD conversion section ADC corresponding to one signal line VSL will be described.
  • the constant current source 21 is configured to pass a predetermined current through the corresponding signal line VSL. One end of the constant current source 21 is connected to the corresponding signal line VSL, and the other end is grounded.
  • the AD conversion unit ADC is configured to perform AD conversion based on the signal SIG on the corresponding signal line VSL.
  • the AD conversion unit ADC has capacitive elements 22 and 23, a comparison circuit 24, a counter 25, and a latch 26.
  • One end of the capacitive element 22 is connected to the signal line VSL and is supplied with the signal SIG, and the other end is connected to the comparison circuit 24.
  • One end of the capacitive element 23 is supplied with the reference signal RAMP supplied from the reference signal generating unit 13, and the other end is connected to the comparison circuit 24.
  • the comparison circuit 24 is configured to generate a signal CP by performing a comparison operation based on the signal SIG supplied from the light-receiving pixel P via the signal line VSL and the capacitive element 22, and the reference signal RAMP supplied from the reference signal generating unit 13 via the capacitive element 23.
  • the comparison circuit 24 sets an operating point by setting the voltages of the capacitive elements 22 and 23 based on a control signal AZ supplied from the imaging control unit 18.
  • the comparison circuit 24 performs a comparison operation to compare the reset voltage Vreset included in the signal SIG with the voltage of the reference signal RAMP, and during the D-phase period TD, performs a comparison operation to compare the pixel voltage Vpix included in the signal SIG with the voltage of the reference signal RAMP.
  • the counter 25 is configured to perform a counting operation of counting pulses of the clock signal CLK supplied from the imaging control unit 18 based on the signal CP supplied from the comparison circuit 24. Specifically, the counter 25 generates a count value CNTP by counting pulses of the clock signal CLK until the signal CP transitions during the P-phase period TP, and outputs this count value CNTP as a digital code having multiple bits. The counter 25 also generates a count value CNTD by counting pulses of the clock signal CLK until the signal CP transitions during the D-phase period TD, and outputs this count value CNTD as a digital code having multiple bits.
  • the latch 26 is configured to temporarily hold the digital code supplied from the counter 25 and output the digital code to the bus wiring BUS based on instructions from the transfer control unit 27.
  • the transfer control unit 27 is configured to control the latches 26 of the multiple AD conversion units ADC to sequentially output digital codes to the bus wiring BUS based on a control signal CTL supplied from the imaging control unit 18.
  • the readout unit 20 uses this bus wiring BUS to sequentially transfer the multiple digital codes supplied from the multiple AD conversion units ADC to the signal processing unit 15 as an image signal Spic0.
  • the signal processing unit 15 (FIG. 1) is configured to generate an image signal Spic by performing a predetermined signal processing based on the image signal Spic0 and instructions from the imaging control unit 18.
  • the signal processing unit 15 has an image data generation unit 16 and a phase difference data generation unit 17.
  • the image data generation unit 16 is configured to generate image data DP indicating a captured image by performing a predetermined image processing based on the image signal Spic0.
  • the phase difference data generation unit 17 is configured to generate phase difference data DF indicating an image plane phase difference by performing a predetermined image processing based on the image signal Spic0.
  • the signal processing unit 15 generates an image signal Spic including the image data DP generated by the image data generation unit 16 and the phase difference data DF generated by the phase difference data generation unit 17.
  • the signal processing unit 15 generates the image signal Spic by, for example, alternately arranging image data DP related to a plurality of rows of light receiving pixels P and phase difference data DF related to a plurality of rows of light receiving pixels P. Then, the signal processing unit 15 Such an image signal Spic is output.
  • the imaging control unit 18 is configured to supply control signals to the drive unit 12, the reference signal generation unit 13, the readout unit 20, and the signal processing unit 15, and to control the operation of these circuits, thereby controlling the operation of the imaging device 1.
  • a control signal Sctl is supplied to the imaging control unit 18 from the outside. This control signal Sctl includes, for example, information about the zoom magnification of the so-called electronic zoom.
  • the imaging control unit 18 is configured to control the operation of the imaging device 1 based on the control signal Sctl.
  • the driving unit 12 sequentially drives a plurality of light receiving pixels P in the pixel array 11 based on an instruction from the imaging control unit 18.
  • the reference signal generating unit 13 generates a reference signal RAMP based on an instruction from the imaging control unit 18.
  • the light receiving pixel P outputs a reset voltage Vreset as a signal SIG during a P phase period TP, and outputs a pixel voltage Vpix according to the amount of received light as a signal SIG during a D phase period TD.
  • the readout unit 20 generates an image signal Spic0 based on the signal SIG supplied from the pixel array 11 via a signal line VSL and an instruction from the imaging control unit 18.
  • the image data generating unit 16 performs a predetermined image processing based on the image signal Spic0 to generate image data DP indicating a captured image
  • the phase difference data generating unit 17 performs a predetermined image processing based on the image signal Spic0 to generate phase difference data DF indicating an image plane phase difference.
  • the signal processing unit 15 generates an image signal Spic including the image data DP and the phase difference data DF.
  • the imaging control unit 18 supplies control signals to the drive unit 12, the reference signal generation unit 13, the readout unit 20, and the signal processing unit 15, and controls the operation of these circuits, thereby controlling the operation of the imaging device 1.
  • the imaging control unit 18 controls the operation of the imaging device 1 based on a control signal Sctl that includes information about the zoom magnification of the electronic zoom.
  • the zoom operation of the imaging device 1 will be described below.
  • FIG. 13 shows an example of the number of light receiving pixels P (number of effective pixels) in a captured image when the zoom magnification is changed from 1x to 10x.
  • the solid line indicates the number of effective pixels of the imaging device 1.
  • FIG. 14 shows an example of zoom operation in the imaging device 1, where (A) shows the operation when the zoom magnification is 1x, (B) shows the operation when the zoom magnification is 2x, and (C) shows the operation when the zoom magnification is 3x.
  • the imaging device 1 has three imaging modes M (imaging modes MA, MB, MC).
  • the imaging control unit 18 selects one of the three imaging modes MA to MC based on information about the zoom magnification included in the control signal Sctl. Specifically, as shown in FIG. 13, the imaging control unit 18 selects imaging mode MA when the zoom magnification is less than 2, selects imaging mode MB when the zoom magnification is 2 or more and less than 3, and selects imaging mode MC when the zoom magnification is 3 or more.
  • the imaging device 1 obtains four pixel values V (pixel values VR, VGr, VGb, VB) for each of a plurality of unit U. Specific operations will be described later. In this manner, the imaging device 1 generates image data DP by generating pixel values V at a ratio of four for every 36 light-receiving pixels P.
  • the number of light-receiving pixels P in the pixel array 11 is 108 [Mpix]
  • pixel values V for 12 [Mpix] are calculated.
  • the number of effective pixels becomes 12 [Mpix], as shown in FIG. 13.
  • imaging mode MA when the zoom magnification is increased from 1, the number of effective pixels decreases according to the magnification. Then, when the zoom magnification becomes 2, imaging mode M becomes imaging mode MB.
  • imaging mode M becomes imaging mode MC.
  • the imaging device 1 obtains 36 pixel values V in each of the multiple units U. A specific operation will be described later. In this manner, the imaging device 1 generates image data DP by generating pixel values V at a ratio of 36 for every 36 light-receiving pixels P.
  • the number of light-receiving pixels P in the pixel array 11 is 108 [Mpix]
  • an image of 108 [Mpix] can be obtained.
  • the zoom magnification is 3x
  • the imaging range is narrowed to 1/9 as shown in FIG. 14(C)
  • the imaging device 1 is provided with three imaging modes M, so that it is possible to reduce the change in the number of effective pixels when the zoom magnification is changed, and therefore it is possible to suppress the change in the image quality of the captured image.
  • FIG. 15 shows an example of an operation of the imaging device 1 in the imaging mode MA.
  • the light-receiving pixels P marked with "o" indicate light-receiving pixels P that are the target of the readout operation.
  • the imaging device 1 generates image data DT1 by calculating a pixel value V corresponding to the amount of light received by the left light receiving pixel P in a pixel pair 90 in which a lens 101 is provided in each of a plurality of pixel blocks 100. Specifically, the imaging device 1 calculates a pixel value VGr1 at the center of gravity of the five light receiving pixels PGr by setting the five light receiving pixels PGr located on the left of the five pixel pairs 90 out of the ten light receiving pixels PGr in pixel block 100Gr as the target of a readout operation.
  • the imaging device 1 also calculates a pixel value VR1 at the center of gravity of the four light receiving pixels PR by setting the four light receiving pixels PR located on the left of the four pixel pairs 90 out of the eight light receiving pixels PR in pixel block 100R as the target of a readout operation.
  • the imaging device 1 calculates a pixel value VB1 at the center of gravity of the four light receiving pixels PB arranged on the left of the four pixel pairs 90 out of the eight light receiving pixels PB in the pixel block 100B by performing a readout operation on the four light receiving pixels PB arranged on the left of the four pixel pairs 90 out of the ten light receiving pixels PGb in the pixel block 100Gb.
  • the imaging device 1 calculates a pixel value VGb1 at the center of gravity of the five light receiving pixels PGb by performing a readout operation on the five light receiving pixels PGb arranged on the left of the five pixel pairs 90 out of the ten light receiving pixels PGb in the pixel block 100Gb. In this way, the imaging device 1 generates image data DT1 (FIG. 15A) including pixel values VGr1, VR1, VB1, and VGb1.
  • the imaging device 1 generates image data DT2 by calculating pixel values V corresponding to the amount of light received by all light receiving pixels P in each of the multiple pixel blocks 100. Specifically, the imaging device 1 performs a readout operation on the ten light receiving pixels PGr of pixel block 100Gr, thereby calculating a pixel value VGr2 at the center of gravity of these ten light receiving pixels PGr. The imaging device 1 also performs a readout operation on the eight light receiving pixels PR of pixel block 100R, thereby calculating a pixel value VR2 at the center of gravity of these eight light receiving pixels PR.
  • the imaging device 1 performs a readout operation on the eight light receiving pixels PB of pixel block 100B, thereby calculating a pixel value VB2 at the center of gravity of these eight light receiving pixels PB.
  • the imaging device 1 performs a readout operation on the 10 light-receiving pixels PGb of the pixel block 100Gb, and calculates the pixel value VGb2 at the center of gravity of the 10 light-receiving pixels PGb. In this way, the imaging device 1 generates image data DT2 (FIG. 15B) that includes the pixel values VGr2, VR2, VB2, and VGb2.
  • Figure 16 shows an example of a read operation, where (A) shows the waveform of the control signal SSEL, (B) shows the waveform of the control signal SRST, (C) shows the waveform of the control signal STRG (control signal STRGL) supplied to the light-receiving pixel PGr arranged on the left in the pixel pair 90, (D) shows the waveform of the control signal STRG (control signal STRGR) supplied to the light-receiving pixel PGr arranged on the right in the pixel pair 90, (E) shows the waveform of the control signal AZ, (F) shows the waveform of the reference signal RAMP, (G) shows the waveform of the signal SIG, and (H) shows the waveform of the signal CP.
  • A shows the waveform of the control signal SSEL
  • B shows the waveform of the control signal SRST
  • C shows the waveform of the control signal STRG (control signal STRGL) supplied to the light-receiving pixel PGr arranged
  • FIG. 16(F) and (G) the waveforms of the reference signal RAMP and the signal SIG are shown using the same voltage axis. Also, in this description, the waveform of the reference signal RAMP shown in FIG. 16(F) is the waveform of the voltage supplied to the input terminal of the comparison circuit 24 via the capacitive element 23, and the waveform of the signal SIG shown in FIG. 16(G) is the waveform of the voltage supplied to the input terminal of the comparison circuit 24 via the capacitive element 22.
  • the horizontal period H starts.
  • the driving unit 12 changes the voltage of the control signal SSEL from a low level to a high level (FIG. 16(A)).
  • the transistor SEL is turned on, and the pixel block 100Gr is electrically connected to the signal line VSL.
  • the driving unit 12 changes the voltage of the control signal SRST from a low level to a high level (FIG. 16(B)).
  • the transistor RST is turned on, and the voltage of the floating diffusion FD is set to the power supply voltage VDD (reset operation).
  • the pixel block 100Gr outputs a voltage corresponding to the voltage of the floating diffusion FD at this time. Also, at this timing t11, the imaging control unit 18 changes the voltage of the control signal AZ from a low level to a high level (FIG. 16(E)). As a result, the comparison circuit 24 of the AD conversion unit ADC sets the operating point by setting the voltages of the capacitance elements 22 and 23. In this manner, the voltage of the signal SIG is set to the reset voltage Vreset, and the voltage of the reference signal RAMP is set to the same voltage as the voltage of the signal SIG (the reset voltage Vreset) (FIGS. 16(F) and 16(G)).
  • the drive unit 12 changes the voltage of the control signal SRST from high to low (FIG. 16(B)).
  • the transistor RST is turned off, and the reset operation is completed.
  • the imaging control unit 18 changes the voltage of the control signal AZ from high to low ( Figure 16 (E)). This causes the comparison circuit 24 to finish setting the operating point.
  • the reference signal generating unit 13 sets the voltage of the reference signal RAMP to voltage V1 (FIG. 16(F)).
  • V1 the voltage of the reference signal RAMP becomes higher than the voltage of the signal SIG, so the comparison circuit 24 changes the voltage of the signal CP from a low level to a high level (FIG. 16(H)).
  • the AD conversion unit ADC performs AD conversion based on the signal SIG. Specifically, first, at timing t13, the reference signal generation unit 13 starts to reduce the voltage of the reference signal RAMP from voltage V1 at a predetermined rate of change ( Figure 16 (F)). Also, at this timing t13, the imaging control unit 18 starts generating the clock signal CLK. The counter 25 of the AD conversion unit ADC counts the pulses of this clock signal CLK by performing a counting operation.
  • the voltage of the reference signal RAMP falls below the voltage of the signal SIG (the reset voltage Vreset) (FIG. 16(F) and (G)).
  • the comparator circuit 24 at C changes the voltage of the signal CP from high to low (FIG. 16(H)).
  • the counter 25 of the AD conversion unit ADC stops counting based on this transition of the signal CP.
  • the count value of the counter 25 at this time (count value CNTP) is a value corresponding to the reset voltage Vreset.
  • the latch 26 holds this count value CNTP. Then, the counter 25 resets the count value.
  • the imaging control unit 18 stops generating the clock signal CLK as the P-phase period TP ends. Also, at this timing t15, the reference signal generation unit 13 stops changing the voltage of the reference signal RAMP ( Figure 16 (F)). Then, during the period after this timing t15, the readout unit 20 supplies the count value CNTP held in the latch 26 to the signal processing unit 15 as the image signal Spic0.
  • the imaging control unit 18 sets the voltage of the reference signal RAMP to voltage V1 (FIG. 16(F)).
  • V1 the voltage of the reference signal RAMP becomes higher than the voltage of the signal SIG (reset voltage Vreset), so the comparison circuit 24 changes the voltage of the signal CP from a low level to a high level (FIG. 16(H)).
  • the drive unit 12 changes the voltage of the control signal STRGL from low to high ( Figure 16(C)).
  • the transistors TRG are turned on, and the charge generated in the photodiodes PD are transferred to the floating diffusion FD (charge transfer operation).
  • the pixel block 100Gr then outputs a voltage corresponding to the voltage of the floating diffusion FD at this time. In this way, the voltage of the signal SIG becomes the pixel voltage Vpix1 ( Figure 16(G)).
  • the drive unit 12 changes the voltage of the control signal STRGL from high to low (FIG. 16(C)).
  • the transistors TRG in the five light receiving pixels PGr arranged to the left of the pixel pair 90 are turned off, and the charge transfer operation ends.
  • the AD conversion unit ADC performs AD conversion based on the signal SIG. Specifically, first, at timing t18, the reference signal generation unit 13 starts to decrease the voltage of the reference signal RAMP from voltage V1 at a predetermined rate of change ( Figure 16 (F)). Also, at this timing t18, the imaging control unit 18 starts generating the clock signal CLK. The counter 25 of the AD conversion unit ADC counts the pulses of this clock signal CLK by performing a counting operation.
  • the voltage of the reference signal RAMP falls below the voltage of the signal SIG (pixel voltage Vpix1) ( Figures 16 (F) and (G)).
  • the counter 25 of the AD conversion unit ADC stops counting based on this transition of the signal CP.
  • the count value of the counter 25 at this time (count value CNTD1) is a value that corresponds to the pixel voltage Vpix1.
  • the latch 26 holds this count value CNTD1. Then, the counter 25 resets the count value.
  • the imaging control unit 18 stops generating the clock signal CLK as the D-phase period TD1 ends. Also, at this timing t20, the reference signal generation unit 13 stops changing the voltage of the reference signal RAMP ( Figure 16 (F)). Then, in the period after this timing t20, the readout unit 20 supplies the count value CNTD1 held in the latch 26 to the signal processing unit 15 as the image signal Spic0.
  • the imaging control unit 18 sets the voltage of the reference signal RAMP to voltage V1 (FIG. 16(F)).
  • the voltage of the reference signal RAMP becomes higher than the voltage of the signal SIG (pixel voltage Vpix1), so the comparison circuit 24 changes the voltage of the signal CP from a low level to a high level (FIG. 16(H)).
  • the drive unit 12 changes the voltages of the control signals STRGL and STRGR from low to high, respectively (FIGS. 16C and 16D).
  • the transistors TRG are turned on, and the charge generated in the photodiodes PD is transferred to the floating diffusion FD (charge transfer operation).
  • the pixel block 100Gr then outputs a voltage corresponding to the voltage of the floating diffusion FD at this time. In this way, the voltage of the signal SIG becomes the pixel voltage Vpix2 (FIG. 16G).
  • the drive unit 12 changes the voltages of the control signals STRGL and STRGR from high to low, respectively (FIGS. 16(C) and (D)).
  • the transistors TRG in the 10 light-receiving pixels PGr are turned off, and the charge transfer operation ends.
  • the AD conversion unit ADC performs AD conversion based on the signal SIG. Specifically, first, at timing t23, the reference signal generation unit 13 starts to reduce the voltage of the reference signal RAMP from voltage V1 at a predetermined rate of change ( Figure 16 (F)). Also, at this timing t23, the imaging control unit 18 starts generating the clock signal CLK. The counter 25 of the AD conversion unit ADC counts the pulses of this clock signal CLK by performing a counting operation.
  • the voltage of the reference signal RAMP falls below the voltage of the signal SIG (pixel voltage Vpix2) ( Figures 16 (F) and (G)).
  • the counter 25 of the AD conversion unit ADC stops counting based on this transition of the signal CP.
  • the count value of the counter 25 at this time (count value CNTD2) is a value that corresponds to the pixel voltage Vpix2.
  • the latch 26 holds this count value CNTD2. Then, the counter 25 resets the count value.
  • the imaging control unit 18 stops generating the clock signal CLK as the D-phase period TD2 ends. Also, at this timing t25, the reference signal generation unit 13 stops changing the voltage of the reference signal RAMP ( Figure 16 (F)). Then, in the period after this timing t25, the readout unit 20 supplies the count value CNTD2 held in the latch 26 to the signal processing unit 15 as the image signal Spic0.
  • the drive unit 12 changes the voltage of the control signal SSEL from high to low (FIG. 16(A)).
  • the transistor SEL is turned off, and the pixel block 100Gr is electrically disconnected from the signal line VSL.
  • the readout unit 20 supplies the image signal Spic0 including the count values CNTP, CNTD1, and CNTD2 to the signal processing unit 15.
  • the signal processing unit 15 generates the pixel value VGr1 shown in FIG. 15A and the pixel value VGr2 shown in FIG. 15B, for example, based on the count values CNTP, CNTD1, and CNTD2 included in the image signal Spic0, using the principle of correlated double sampling. Specifically, the signal processing unit 15 generates the pixel value VGr1, for example, by subtracting the count value CNTP from the count value CNTD1.
  • the signal processing unit 15 can generate the pixel value VGr1 shown in FIG. 15A based on this count value CNTD1. Similarly, the signal processing unit 15 generates the pixel value VGr2, for example, by subtracting the count value CNTP from the count value CNTD2. Since the count value CNTD2 is a value that corresponds to the sum of the amounts of light received by the 10 light receiving pixels PGr of the pixel block 100Gr, the signal processing unit 15 can generate the pixel value VGr2 shown in FIG. 15B based on this count value CNTD2.
  • the signal processing unit 15 generates image data DT1 including pixel values VR1, VGr1, VGb1, and VB1, and image data DT2 including pixel values VR2, VGr2, VGb2, and VB2, as shown in FIG. 15.
  • FIG. 17 shows an example of image processing by the signal processing unit 15 in imaging mode MA.
  • the signal processing unit 15 performs subtraction processing based on the image data DT1 and DT2 to generate image data DT3.
  • the signal processing unit 15 calculates the pixel value VGr3 by subtracting the pixel value VGr1 in the image data DT1 from the pixel value VGr2 in the image data DT2.
  • This pixel value VGr3 is a value corresponding to the sum of the amount of light received by the five light receiving pixels PGr arranged on the right side of the five pixel pairs 90 in the pixel block 100Gr.
  • the pixel value VGr1 is a value corresponding to the sum of the amount of light received by the five light receiving pixels PGr arranged on the left side of the five pixel pairs 90 in the pixel block 100Gr
  • the pixel value VGr2 is a value corresponding to the sum of the amount of light received by the ten light receiving pixels PGr in the pixel block 100Gr. Therefore, by subtracting the pixel value VGr1 from the pixel value VGr2, a value corresponding to the sum of the amount of light received by the five light receiving pixels PGr arranged on the right side of the five pixel pairs 90 in the pixel block 100Gr is obtained.
  • the pixel value VGr3 is a value that corresponds to the sum of the amounts of light received by the five light receiving pixels PGr located to the right of the five pixel pairs 90, and therefore, as shown in FIG. 17, the pixel value VGr3 is located at the center of gravity of these five light receiving pixels PGr.
  • the signal processing unit 15 calculates a pixel value VR3 by subtracting the pixel value VR1 in the image data DT1 from the pixel value VR2 in the image data DT2.
  • This pixel value VR3 is a value that corresponds to the sum of the amounts of light received by the four light receiving pixels PR located on the right of the four pixel pairs 90 in the pixel block 100R.
  • the pixel value VR3 is located at the center of gravity of the four light receiving pixels PR located on the right of the four pixel pairs 90 in the pixel block 100R.
  • the signal processing unit 15 calculates pixel value VB3 by subtracting pixel value VB1 in image data DT1 from pixel value VB2 in image data DT2.
  • This pixel value VB3 is a value that corresponds to the sum of the amount of light received by the four light receiving pixels PB located on the right of the four pixel pairs 90 in pixel block 100B.
  • the pixel value VB3 is located at the center of gravity of the four light receiving pixels PB located on the right of the four pixel pairs 90 in pixel block 100B.
  • the signal processing unit 15 calculates a pixel value VGb3 by subtracting the pixel value VGb1 in the image data DT1 from the pixel value VGb2 in the image data DT2.
  • This pixel value VGb3 is a value that corresponds to the sum of the amount of light received by the five light receiving pixels PGb located on the right of the five pixel pairs 90 in the pixel block 100Gb.
  • the pixel value VGb3 is located at the center of gravity of the five light receiving pixels PGb located on the right of the five pixel pairs 90 in the pixel block 100Gb.
  • the image data generating unit 16 of the signal processing unit 15 performs a predetermined image processing based on the image data DT2 to generate image data DP ( Figure 14 (A)) that represents the captured image.
  • the phase difference data generating unit 17 of the signal processing unit 15 performs predetermined image processing based on the image data DT1 and DT3 to generate phase difference data DF indicating the image plane phase difference. That is, the image data DT1 has a pixel value V at the light receiving pixel P located on the left of the multiple pixel pairs 90, and the image data DT3 has a pixel value V at the light receiving pixel P located on the right of the multiple pixel pairs 90. Therefore, the phase difference data generating unit 17 can generate the phase difference data DF based on the image data DT1 and DT3.
  • the lenses 101 are arranged in parallel in the X and Y directions in the pixel array 11, so that the phase difference data DF can be generated with high resolution over the entire surface of the pixel array 11. Therefore, for example, a camera equipped with such an imaging device 1 can achieve highly accurate autofocus, thereby improving image quality.
  • FIG. 18 shows an example of an operation of the imaging device 1 in the imaging mode MB.
  • Fig. 19 shows more specifically the operation shown in Fig. 18.
  • the light-receiving pixels P marked with "o" indicate the light-receiving pixels P that are the target of the readout operation.
  • the imaging device 1 performs a readout operation on the light-receiving pixel PGr located on the left of one of the five pixel pairs 90 in pixel block 100Gr, and calculates a pixel value VGr1 at the position of this light-receiving pixel PGr.
  • the imaging device 1 performs a readout operation on the two light-receiving pixels PGr in that pixel pair 90, and calculates a pixel value VGr2 at the center of gravity of these two light-receiving pixels PGr.
  • the imaging device 1 performs a readout operation on the light-receiving pixel PR located on the left of one of the four pixel pairs 90 in pixel block 100R, and calculates a pixel value VR1 at the position of this light-receiving pixel PR.
  • the imaging device 1 performs a readout operation on the two light-receiving pixels PR in that pixel pair 90, and calculates a pixel value VR2 at the center of gravity of these two light-receiving pixels PR.
  • the imaging device 1 performs a readout operation on the light-receiving pixel PB located on the left of one of the four pixel pairs 90 in pixel block 100B, and calculates a pixel value VB1 at the position of this light-receiving pixel PB.
  • the imaging device 1 performs a readout operation on two light-receiving pixels PB in that pixel pair 90, and calculates a pixel value VB2 at the center of gravity of these two light-receiving pixels PB.
  • the imaging device 1 performs a readout operation on the light-receiving pixel PGb located on the left of one of the five pixel pairs 90 in pixel block 100Gb, and calculates a pixel value VGb1 at the position of this light-receiving pixel PGb.
  • the imaging device 1 performs a readout operation on two light-receiving pixels PGb in that pixel pair 90, and calculates a pixel value VGb2 at the center of gravity of these two light-receiving pixels PGb.
  • the readout operation in Fig. 19(A) and (B) is the same as the readout operation in the imaging mode MA described above (Fig. 16).
  • the imaging device 1 then performs the operations in Fig. 19(C) and (D), Fig. 19(E) and (F), Fig. 19(G) and (H), Fig. 19(I) and (J), and Fig. 19(K) and (L).
  • the imaging device 1 generates image data DT1 (Fig. 18(A)) including pixel values VGr1, VR1, VB1, and VGb1, and image data DT2 (Fig. 18(B)) including pixel values VGr2, VR2, VB2, and VGb2.
  • FIG. 20 shows an example of image processing by the signal processing unit 15 in imaging mode MB.
  • the signal processing unit 15 performs subtraction processing based on the image data DT1 and DT2 to generate image data DT3.
  • the signal processing unit 15 calculates five pixel values VGr3 by subtracting five pixel values VGr1 in the image data DT1 from five pixel values VGr2 in the image data DT2.
  • the pixel value VGr3 is a value corresponding to the amount of light received at the light receiving pixel PGr located on the right in the pixel pair 90 of the pixel block 100Gr.
  • the pixel value VGr1 is a value corresponding to the amount of light received at the light receiving pixel PGr located on the left in the pixel pair 90 of the pixel block 100Gr
  • the pixel value VGr2 is a value corresponding to the sum of the amounts of light received at the two light receiving pixels PGr in this pixel pair 90.
  • pixel value VGr3 is a value that corresponds to the amount of light received at the light receiving pixel PGr located to the right of pixel pair 90, and therefore, as shown in FIG. 20, pixel value VGr3 is located at the position of the light receiving pixel PGr located to the right of pixel pair 90.
  • the signal processing unit 15 calculates four pixel values VR3 by subtracting the four pixel values VR1 in the image data DT1 from the four pixel values VR2 in the image data DT2, respectively.
  • This pixel value VR3 is a value that corresponds to the amount of light received at the light receiving pixel PR located on the right in the pixel pair 90 of the pixel block 100R.
  • This pixel value VR3 is located at the position of the light receiving pixel PR located on the right in this pixel pair 90.
  • the signal processing unit 15 calculates four pixel values VB3 by subtracting the four pixel values VB1 in the image data DT1 from the four pixel values VB2 in the image data DT2.
  • This pixel value VB3 is a value that corresponds to the amount of light received at the light receiving pixel PB located on the right of the pixel pair 90 in the pixel block 100B.
  • This pixel value VB3 is located at the position of the four light receiving pixels PB located on the right of the pixel pair 90.
  • the signal processing unit 15 calculates five pixel values VGb3 by subtracting the five pixel values VGb1 in the image data DT1 from the five pixel values VGb2 in the image data DT2.
  • the pixel value VGb3 is a value that corresponds to the amount of light received at the light receiving pixel PGb located on the right of the pixel pair 90 in the pixel block 100Gb.
  • the pixel value VGb3 is located at the position of the light receiving pixel PGb located on the right of the pixel pair 90.
  • the image data generating unit 16 of the signal processing unit 15 performs a predetermined image processing based on the image data DT2 as shown in FIG. 20, thereby generating image data DP (FIG. 14(B)) representing the captured image.
  • This predetermined image processing includes a re-mosaic process that modifies the pixel values V and rearranges the pixel values V.
  • Figure 21 shows an example of re-mosaic processing in imaging mode M2, where (A) shows image data DT2, (B) shows the position of pixel value V before and after re-mosaic processing, and (C) shows image data DT4 generated by re-mosaic processing based on image data DT2.
  • image data DT2 shows image data DT2
  • ⁇ indicates the position of pixel value V in image data DT2
  • ⁇ indicates the position of pixel value V in image data DT4.
  • FIG. 22A shows the re-mosaic process for pixel block 100R
  • FIG. 22B shows the re-mosaic process for pixel blocks 100Gr and 100Gb
  • FIG. 22C shows the re-mosaic process for pixel block 100B.
  • (A) shows image data DT2
  • (B) shows image data DT4 generated by the re-mosaic process.
  • 18 pixel values V are included for every 36 light-receiving pixels P. For example, if the number of light-receiving pixels P in the pixel array 11 is 108 [Mpix], the image data DT2 includes 54 [Mpix] worth of pixel values V.
  • 16 pixel values V are included for every 36 light-receiving pixels P. For example, if the number of light-receiving pixels P in the pixel array 11 is 108 [Mpix], the image data DT4 includes 48 [Mpix] worth of pixel values V.
  • the four pixel values VGr4, VR4, VB4, and VGb4 are arranged in a Bayer array.
  • the image data generating unit 16 generates such image data DT4 by modifying the pixel values V in the image data DT2 and rearranging the pixel values V.
  • the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VR2 in the image data DT2, for example, by performing an interpolation process, and generates a pixel value VR4 based on the pixel value V for the one surface.
  • the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VGr2, VGb2 in the image data DT2, for example, by performing an interpolation process, and generates pixel values VGr4, VGb4 based on the pixel value V for the one surface.
  • FIG. 22A the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VR2 in the image data DT2, for example, by performing an interpolation process, and generates pixel values VGr4, VGb4 based on the pixel value V for the one surface.
  • the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VB2 in the image data DT2, for example, by performing an interpolation process, and generates a pixel value VB4 based on the pixel value V for the one surface.
  • the image data generating unit 16 generates the image data DT4 shown in FIG. 21(C) based on the image data DT2 shown in FIG. 21(A). Then, the image data generating unit 16 performs a predetermined image processing based on this image data DT4 to generate image data DP (FIG. 14(B)) that represents the captured image.
  • the phase difference data generating unit 17 of the signal processing unit 15 generates phase difference data DF indicating the image plane phase difference by performing a predetermined image processing based on the image data DT1 and DT3 as shown in FIG. 20. That is, the image data DT1 has a pixel value V of the light receiving pixel P located on the left of the multiple pixel pairs 90, and the image data DT3 has a pixel value V of the light receiving pixel P located on the right of the multiple pixel pairs 90. Therefore, the phase difference data generating unit 17 can generate the phase difference data DF based on the image data DT1 and DT3.
  • the phase difference data generating unit 17 like the image data generating unit 16, generates phase difference data DF by rearranging pixel values V based on the image data DT1 and DT3. That is, the image data DT1 and DT3 include left and right pixel values V related to pixel pairs 90 at a ratio of 18 out of 36 light-receiving pixels P. Therefore, the phase difference data generating unit 17 rearranges the pixel values V so that left and right pixel values V related to pixel pairs 90 are included at a ratio of 16 out of 36 light-receiving pixels P. This allows the phase difference data generating unit 17 to generate phase difference data DF corresponding to the image data DP generated by the image data generating unit 16.
  • FIG. 23 shows an example of an operation of the imaging device 1 in the imaging mode MC.
  • Fig. 24 shows more specifically the operation shown in Fig. 23.
  • the light-receiving pixels P marked with "o" indicate the light-receiving pixels P that are the target of the readout operation.
  • the imaging device 1 targets one of the ten light receiving pixels PGr in pixel block 100Gr for the readout operation, and calculates the pixel value VGr1 at the position of this light receiving pixel PGr.
  • FIG. 25 shows an example of a read operation, where (A) shows the waveform of the control signal SSEL, (B) shows the waveform of the control signal SRST, (C) shows the waveform of the control signal STRG supplied to the light receiving pixel PGr to be read, (D) shows the waveform of the control signal AZ, (E) shows the waveform of the reference signal RAMP, (F) shows the waveform of the signal SIG, and (G) shows the waveform of the signal CP.
  • This read operation is the read operation in the imaging modes MA and MB (FIG. 16) with the operations at timings t21 to t26 omitted.
  • the read unit 20 supplies the image signal Spic0 including the count values CNTP and CNTD1 to the signal processing unit 15.
  • the signal processing unit 15 generates the pixel value VGr1, for example, based on the count values CNTP and CNTD1 included in the image signal Spic0, using the principle of correlated double sampling. Specifically, the signal processing unit 15 generates the pixel value VGr1, for example, by subtracting the count value CNTP from the count value CNTD1.
  • the imaging device 1 targets one of the eight light-receiving pixels PR in pixel block 100R for the readout operation, and calculates the pixel value VR1 at the position of this light-receiving pixel PR.
  • the imaging device 1 targets one of the eight light-receiving pixels PB in pixel block 100B for the readout operation, and calculates the pixel value VB1 at the position of this light-receiving pixel PB.
  • the imaging device 1 targets one of the ten light-receiving pixels PGb in pixel block 100Gb for the readout operation, and calculates the pixel value VGb1 of this light-receiving pixel PGb.
  • the imaging device 1 performs the operations shown in (B) to (L) of FIG. 24. In this way, the imaging device 1 generates image data DT1 (FIG. 23) including pixel values VGr1, VR1, VB1, and VGb1.
  • FIG. 26 shows an example of image processing by the signal processing unit 15 in the imaging mode MC.
  • the image data generating unit 16 of the signal processing unit 15 performs a predetermined image processing based on the image data DT1 to generate image data DP (FIG. 14(C)) representing the captured image.
  • This predetermined image processing includes a re-mosaic process that modifies the pixel values V and rearranges the pixel values V.
  • Figure 27 shows an example of re-mosaic processing in imaging mode MC, where (A) shows image data DT1, (B) shows the position of pixel value V before and after re-mosaic processing, and (C) shows image data DT4 generated by re-mosaic processing based on image data DT1.
  • Figure 27(B) “ ⁇ ” indicates the position of pixel value V in image data DT1
  • " ⁇ " indicates the position of pixel value V in image data DT4.
  • FIG. 28A shows the re-mosaic process for pixel block 100R
  • FIG. 28B shows the re-mosaic process for pixel blocks 100Gr and 100Gb
  • FIG. 28C shows the re-mosaic process for pixel block 100B.
  • (A) shows image data DT1
  • (B) shows image data DT4 generated by the re-mosaic process.
  • image data DT4 In image data DT4, four pixel values VGr4, VR4, VB4, and VGb4 are arranged in a Bayer array.
  • the image data generator 16 generates this image data DT4 by modifying the pixel values V in image data DT1 and rearranging the pixel values V.
  • the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VR1 in the image data DT1, for example, by performing an interpolation process, and generates a pixel value VR4 based on the pixel value V for the one surface.
  • the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VGr1, VGb1 in the image data DT1, for example, by performing an interpolation process, and generates pixel values VGr4, VGb4 based on the pixel value V for the one surface.
  • FIG. 28A the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VR1 in the image data DT1, for example, by performing an interpolation process, and generates pixel values VGr4, VGb4 based on the pixel value V for the one surface.
  • the image data generating unit 16 calculates a pixel value V for one surface based on a plurality of pixel values VB1 in the image data DT1, for example, by performing an interpolation process, and generates a pixel value VB4 based on the pixel value V for the one surface.
  • the image data generating unit 16 generates the image data DT4 shown in FIG. 27(C) based on the image data DT1 shown in FIG. 27(A). Then, the image data generating unit 16 performs a predetermined image processing based on this image data DT4 to generate image data DP (FIG. 14(C)) that represents the captured image.
  • the phase difference data generating unit 17 of the signal processing unit 15 generates phase difference data DF indicating the image plane phase difference by performing a predetermined image processing based on the image data DT1 as shown in FIG. 26. That is, the image data DT1 includes image data (image data DT11) having a pixel value V at the light receiving pixel P located on the left of the multiple pixel pairs 90, and image data (image data DT12) having a pixel value V at the light receiving pixel P located on the right of the multiple pixel pairs 90. Therefore, the phase difference data generating unit 17 can generate the phase difference data DF based on this image data DT1 (image data DT11, DT12).
  • the imaging device 1 is provided with a plurality of pixel blocks 100 each having a plurality of light receiving pixels P including color filters of the same color. These plurality of light receiving pixels P are divided into a plurality of pixel pairs 90 each including two light receiving pixels P. A plurality of lenses 101 are provided at positions corresponding to these plurality of pixel pairs 90.
  • This allows the imaging device 1 to generate phase difference data DF with high resolution across the entire surface of the pixel array 11. Therefore, for example, a camera equipped with such an imaging device 1 can achieve highly accurate autofocus at various zoom magnifications. As a result, the imaging device 1 can improve image quality.
  • the number of light receiving pixels in a certain pixel block 100 is made greater than the number of light receiving pixels in another certain pixel block 100.
  • the number of light receiving pixels PGr in pixel block 100Gr and the number of light receiving pixels PGb in pixel block 100Gb are made greater than the number of light receiving pixels PR in pixel block 100R and the number of light receiving pixels PB in pixel block 100B. This makes it possible to increase, for example, the green light receiving sensitivity, thereby improving the image quality of the captured image.
  • the imaging device 1 also has three imaging modes MA to MC, and performs re-mosaic processing in imaging modes MB and MC. As a result, the imaging device 1 adjusts the number of effective pixels in imaging mode MB, particularly through re-mosaic processing in imaging mode MB, and can reduce changes in the number of effective pixels when the zoom magnification is changed, thereby suppressing changes in the image quality of the captured image.
  • pixel blocks 100R and 100B each having a red or blue color filter 131 and each consisting of four pixel pairs 90, with two light receiving pixels P adjacent in the X-axis direction as a pixel pair 90
  • pixel blocks 100Gr and 100Gb each having a green color filter 131 and each consisting of five pixel pairs 90, with two light receiving pixels P adjacent in the X-axis direction as a pixel pair 90
  • pixel blocks 100Gr and 100Gb each having a green color filter 131 and each consisting of five pixel pairs 90, with two light receiving pixels P adjacent in the X-axis direction as a pixel pair 90
  • the pixel blocks 100R and 100Gr, and the pixel blocks 100B and 100Gb adjacent in the X-axis direction each have convex portions XR, XB, XGr, and XBb and concave portions YR, YB, YGr, and YGb that fit together in a plan view, respectively.
  • a lens 101A with high light-collecting power is arranged in the pixel pair 90 including the light-receiving pixel P arranged in the convex portions XR, XB, XGr, and XBb, and a lens 101B with high light-collecting power is arranged in the pixel pair 90 including the light-receiving pixel P arranged in the concave portions YR, YB, YGr, and YGb.
  • Figure 29 shows the relationship between the input image (A) and the output image (C) for an imaging device (B) with a so-called 1x1 OCL structure, in which one lens 101C is arranged for one pixel.
  • an imaging device with a 1x1 OCL structure when signals with a large difference in brightness level are input to adjacent pixels, the light L incident on the lens 101C is focused on the light receiving part 112 of the pixel arranged below it. Therefore, the output image has the same brightness level difference as the input image.
  • Figures 30 and 31 each show the relationship between an input image (A) and an output image (C) for an imaging device (B) having a so-called 2x1 OCL structure, in which one lens 101A or lens 101B is arranged for two adjacent pixels.
  • the light L incident on the lens 101A is focused on the boundary between two adjacent pixels on the back surface 111S2 of the semiconductor substrate 111 as shown in FIG. 30, refracted by the separator 113 provided at the boundary position, and approximately evenly incident on the two adjacent pixels, and photoelectrically converted in each light-receiving unit 112. Therefore, the output image is different from the input image and has approximately the same brightness level due to color mixing.
  • the light L incident on the lens 101A is focused toward the boundary between two adjacent pixels inside the semiconductor substrate 111 as shown in FIG. 31, so that it is incident on the pixel corresponding to the incident position without being refracted by the separator 113, and is photoelectrically converted in the light-receiving unit 112.
  • the output image maintains roughly the same brightness level difference as the input image.
  • FIG. 32 shows an example of the operation of the imaging device 1 to detect a direction centered on, for example, pixel block 100R and pixel block 100G.
  • the direction is detected from the difference with the adjacent light-receiving pixel P in which the color filter 131 of the same color is arranged. Therefore, if the reliability of the sensitivity of the light-receiving pixel P decreases due to color mixing, the direction cannot be detected.
  • a lens 101B with low light-gathering power is arranged in a pixel pair 90 including a light-receiving pixel P that is embedded in an adjacent pixel block 100, i.e., a pixel pair 90 including a light-receiving pixel P arranged on convex portions XR, XB, XGr, and XBb.
  • the imaging device 1 of this embodiment can suppress image distortion caused by color mixing while ensuring the separation ratio in phase difference detection.
  • Fig. 34 illustrates an example of a schematic cross-sectional structure of an imaging device 1A according to Modification 1 of the present disclosure. Note that Fig. 34 corresponds to a cross section corresponding to line II' illustrated in Fig. 3, similar to Fig. 4.
  • the lens surfaces of the lenses 101A and 101B with different curvatures have approximately the same height, but this is not limited to this.
  • the lenses 101A and 101B with different curvatures may have lens surfaces with different heights, as shown in FIG. 34, and even in this case, the same effect as in the above embodiment can be obtained.
  • [2-2. Modification 2] 35 to 42 are schematic diagrams illustrating an example of the layout of light receiving lenses (lenses 101) in pixel array 11 of an imaging device (imaging devices 1B to 1I) according to Modification 2 of this disclosure.
  • pixel blocks 100R and 100Gr, and pixel blocks 100Gb and 100B adjacent to each other in the X-axis direction have lenses 101A and 101B with different light-gathering powers, but this is not limited to the above.
  • a lens 101D having a light-gathering power between the lenses 101A and 101B may be used.
  • the lenses 101A and 101B may be separately manufactured only for the pixel blocks 100Gr and 100Gb, which have many light-receiving pixels P and are likely to become complementary materials, and the lens 101D may be arranged in the pixel blocks 100R and 100B.
  • the lens 101D may be arranged in the pixel blocks 100Gr and 100Gb with a priority given to the separation ratio, and the lenses 101A and 101B may be separately manufactured only for the pixel blocks 100R and 100B. Also, as in the imaging device 1D shown in FIG. 37, for example, some of the lenses 101B provided in the pixel blocks 100Gr and 100Gb may be replaced with the lens 101D.
  • lens 101D which has a light-gathering power between lens 101A and lens 101B, it is possible to adjust the separation ratio in phase difference detection and the suppression of image distortion due to color mixing to a desired balance.
  • a single lens 101E having a 1 ⁇ 1 OCL structure may be arranged in the light receiving pixels P of the respective convex portions XR, XB, XGr, and XBb of the pixel blocks 100R and 100Gr, and the pixel blocks 100Gb and 100B adjacent in the X-axis direction, and a lens 101A may be arranged for the other two adjacent light receiving pixels P as a pixel pair 90.
  • a single lens 101E having a 1 ⁇ 1 OCL structure may be arranged in the light receiving pixels P of the respective convex portions XR, XB, XGr, and XBb of the pixel blocks 100R and 100Gr, and the pixel blocks 100Gb and 100B adjacent in the X-axis direction, and a lens 101A may be arranged for the other two adjacent light receiving pixels P as a pixel pair 90.
  • a single lens 101E having a 1 ⁇ 1 OCL structure may be selectively arranged only in the light receiving pixels P of one of the convex portions XR, XB, XGr, and XBb of the pixel blocks 100R and 100Gr, and the pixel blocks 100Gb and 100B adjacent in the X-axis direction.
  • the same effect as the above embodiment can be obtained by combining the 2 ⁇ 1 OCL structure and the 1 ⁇ 1 OCL structure.
  • a lens 101A may be arranged corresponding to two light receiving pixels PGr, PGb of the convex portions XGr, XGb adjacent in the Y-axis direction among the pixel blocks 100R, 100Gr, 100B, 100Gb.
  • a single lens 101E having a 1 ⁇ 1 OCL structure may be arranged in the light receiving pixel P of the convex portions XR, XB of the pixel blocks 100R, 100B. In this way, the same effect as the above embodiment can be obtained by changing the sharing direction of the lens 101A.
  • Modification 3 43 to 45 are schematic diagrams illustrating an example of the layout of light receiving lenses (lenses 101) in a pixel array 11 of an imaging device (imaging devices 2A to 2C) according to Modification 3 of this disclosure.
  • pixel blocks 100R, 100B and pixel blocks 100Gr, 100Gb are composed of different numbers of light receiving pixels P, but this is not limited to this.
  • This technology can also be applied to imaging devices 2A to 2C in which pixel blocks 100R, 100Gr, 100B, 100Gb are composed of the same number of light receiving pixels P.
  • the lenses 101A and 101B may be arranged alternately in the X-axis direction and the Y-axis direction for four light receiving pixels P, as in the imaging device 2A shown in FIG. 43.
  • the lenses 101A and 101B may be arranged alternately in the X-axis direction and the Y-axis direction for two light receiving pixels P adjacent to each other in the X-axis direction, as in the imaging device 2B shown in FIG. 44.
  • the lenses 101A may be arranged in the light receiving pixels P adjacent to color filters 131 of different colors in the X-axis direction so as to correspond to two light receiving pixels P adjacent to each other in the Y-axis direction, and the lenses 101A may be arranged in the other light receiving pixels P so as to correspond to two light receiving pixels P adjacent to each other in the X-axis direction.
  • all pixel blocks 100R, 100Gr, 100B, 100Gb which have no convex or concave portions, are composed of the same number of light-receiving pixels P, and even in an imaging device having, for example, a rectangular arrangement pattern, it is possible to suppress image distortion due to color mixing while ensuring the separation ratio in phase difference detection.
  • FIG. 46 is a schematic diagram illustrating an example of the layout of light receiving lenses (lenses 101) in a pixel array 11 of an imaging device (imaging device 3) according to Modification 4 of this disclosure.
  • Lenses 101 with different light-collecting power may be formed as lenses 101-1 and 101-2 using materials with different refractive indices, and these may be arranged in each pixel pair 90 including light-receiving pixels P arranged in the convex portions XR, XB, XGr, and XBb and the concave portions YR, YB, YGr, and YGb of each pixel block 100R, 100Gr, 100B, and 100Gb.
  • Fig. 47 shows an example of a vertical cross-sectional configuration of an imaging device (imaging device 4) according to Modification 5 of the present disclosure.
  • Fig. 48 shows an example of a schematic configuration of the imaging device 4 shown in Fig. 47.
  • the imaging device 4 is an imaging device having a three-dimensional structure in which a first substrate 210 having light receiving pixels P that perform photoelectric conversion on a semiconductor substrate 211 and a second substrate 220 having a readout circuit 42 that outputs an image signal based on the charge output from the light receiving pixels P are stacked on a semiconductor substrate 221.
  • the imaging device 4 is made up of three substrates (a first substrate 210, a second substrate 220, and a third substrate 230) stacked in this order.
  • the first substrate 210 has a plurality of light receiving pixels P that perform photoelectric conversion on the semiconductor substrate 211.
  • the plurality of light receiving pixels P are arranged in a matrix in the pixel array 31 on the first substrate 210.
  • the second substrate 220 has a readout circuit 42 that outputs a pixel signal based on the charge output from the light receiving pixel P, one for every four light receiving pixels P, on the semiconductor substrate 221.
  • the second substrate 220 has a plurality of pixel driving lines 43 extending in the row direction and a plurality of vertical signal lines 44 extending in the column direction.
  • the third substrate 230 has a logic circuit 52 that processes pixel signals on the semiconductor substrate 231.
  • the logic circuit 32 has, for example, a vertical driving circuit 53, a column signal processing circuit 54, a horizontal driving circuit 55, and a system control circuit 56.
  • the logic circuit 52 (specifically, the horizontal driving circuit 55) outputs an output voltage Vout for each light receiving pixel P to the outside.
  • a low-resistance region made of silicide such as CoSi2 or NiSi formed by a salicide (Self Aligned Silicide) process may be formed on the surface of the impurity diffusion region in contact with the source electrode and the drain electrode.
  • the vertical drive circuit 53 sequentially selects a plurality of light-receiving pixels P on a row-by-row basis.
  • the column signal processing circuit 54 for example, performs correlated double sampling (CDS) processing on the pixel signals output from each light-receiving pixel P of the row selected by the vertical drive circuit 53.
  • the column signal processing circuit 54 for example, performs CDS processing to extract the signal level of the pixel signal and holds pixel data according to the amount of light received by each light-receiving pixel P.
  • the horizontal drive circuit 55 for example, sequentially outputs the pixel data held in the column signal processing circuit 54 to the outside.
  • the system control circuit 56 for example, controls the driving of each block (the vertical drive circuit 53, the column signal processing circuit 54, and the horizontal drive circuit 55) in the logic circuit 52.
  • the imaging device 4 has a configuration in which the first substrate 210, the second substrate 220, and the third substrate 230 are stacked in this order, and further includes a color filter 240 and a light receiving lens 250 on the back surface (light incident surface) side of the first substrate 210.
  • a color filter 240 and one light receiving lens 250 are each provided for each light receiving pixel P.
  • the imaging device 4 is a back-illuminated imaging device.
  • the first substrate 210 is formed by laminating an insulating layer 46 on the surface (surface 211S1) of the semiconductor substrate 211.
  • the first substrate 210 has an insulating layer 246 as a part of an interlayer insulating film 251.
  • the insulating layer 246 is provided between the semiconductor substrate 211 and a semiconductor substrate 221 described later.
  • the semiconductor substrate 211 is formed of a silicon substrate.
  • the semiconductor substrate 211 has a p-well 242, for example, in a part of the surface and in its vicinity, and has a PD 241 of a different conductivity type from the p-well 242 in the other region (region deeper than the p-well 242).
  • the p-well 242 is formed of a p-type semiconductor region.
  • the PD 241 is formed of a semiconductor region of a different conductivity type (specifically, n-type) from the p-well 242.
  • the semiconductor substrate 211 has a floating diffusion layer (FD) in the p-well 242 as a semiconductor region of a different conductivity type (specifically, n-type) from the p-well 242.
  • FD floating diffusion layer
  • the first substrate 210 has a photodiode, a transfer transistor TR, and a floating diffusion layer for each light receiving pixel P.
  • the first substrate 210 is configured such that the transfer transistor TR and the floating diffusion layer are provided in a part of the surface 211S1 side (the side opposite to the light incident surface side, the second substrate 220 side) of the semiconductor substrate 211.
  • the first substrate 210 has an element isolation section 243 that isolates each light receiving pixel P.
  • the element isolation section 243 is formed extending in the normal direction of the semiconductor substrate 211 (the direction perpendicular to the surface of the semiconductor substrate 211).
  • the element isolation section 243 is provided between two light receiving pixels P adjacent to each other.
  • the element isolation section 243 electrically isolates the light receiving pixels P adjacent to each other.
  • the element isolation section 243 is made of, for example, silicon oxide.
  • the element isolation section 243 penetrates, for example, the semiconductor substrate 211.
  • the first substrate 210 further includes, for example, a p-well layer 244 that is a side surface of the element isolation portion 243 and is in contact with the surface on the photodiode side.
  • the p-well layer 244 is composed of a semiconductor region of a different conductivity type (specifically, p-type) from the photodiode.
  • the first substrate 210 further includes, for example, a fixed charge film 245 that is in contact with the back surface (surface 211S2) of the semiconductor substrate 211.
  • the fixed charge film 245 is negatively charged in order to suppress the generation of dark current caused by the interface state on the light-receiving surface side of the semiconductor substrate 211.
  • the fixed charge film 245 is formed, for example, by an insulating film having a negative fixed charge. Examples of materials for such an insulating film include hafnium oxide, zirconium oxide, aluminum oxide, titanium oxide, and tantalum oxide.
  • a hole accumulation layer is formed at the interface on the light-receiving surface side of the semiconductor substrate 211 by an electric field induced by the fixed charge film 245. The hole accumulation layer suppresses the generation of electrons from the interface.
  • the color filter 240 is provided on the back surface side of the semiconductor substrate 211.
  • the color filter 240 is provided, for example, in contact with the fixed charge film 245, and is provided at a position facing the light receiving pixel P via the fixed charge film 245.
  • the light receiving lens 250 is provided, for example, in contact with the color filter 240, and is provided at a position facing the light receiving pixel P via the color filter 240 and the fixed charge film 245.
  • the second substrate 220 is formed by laminating an insulating layer 252 on the semiconductor substrate 221.
  • the second substrate 220 has the insulating layer 252 as part of the interlayer insulating film 251.
  • the insulating layer 252 is provided between the semiconductor substrate 221 and the semiconductor substrate 231.
  • the semiconductor substrate 221 is formed of a silicon substrate.
  • the second substrate 220 has one readout circuit 222 for each of four light receiving pixels P.
  • the second substrate 220 is configured such that the readout circuit 222 is provided on a part of the surface side (surface 221S1 facing the third substrate 230) of the semiconductor substrate 221.
  • the second substrate 220 is bonded to the first substrate 210 with the back surface (surface 21S2) of the semiconductor substrate 221 facing the surface (surface 211S1) of the semiconductor substrate 211. In other words, the second substrate 220 is bonded to the first substrate 210 face-to-back.
  • the second substrate 220 further includes an insulating layer 253 that penetrates the semiconductor substrate 221 in the same layer as the semiconductor substrate 221.
  • the second substrate 220 includes the insulating layer 253 as part of the interlayer insulating film 251.
  • the insulating layer 253 is provided so as to cover the side of the through wiring 254 described below.
  • the laminate consisting of the first substrate 210 and the second substrate 220 has an interlayer insulating film 251 and a through-wire 254 provided in the interlayer insulating film 251.
  • the laminate has one through-wire 254 for each light-receiving pixel P.
  • the through-wire 254 extends in the normal direction of the semiconductor substrate 221 and is provided by penetrating a portion of the interlayer insulating film 251 that includes the insulating layer 253.
  • the first substrate 210 and the second substrate 220 are electrically connected to each other by the through-wire 254. Specifically, the through-wire 254 is electrically connected to the floating diffusion layer and the connection wiring 255 described later.
  • the through-wire 254 preferably has a metal layer containing, for example, a metal having an oxygen storage effect between the surrounding insulating layers 246, 252, and 253. This makes it possible to prevent oxygen from entering through the opening formed by forming the through-wire 254.
  • the laminate consisting of the first substrate 210 and the second substrate 220 is further provided in the interlayer insulating film 251 and has through-wiring (not shown) electrically connected to, for example, the p-well 242 of the semiconductor substrate 211 and the wiring in the second substrate 220, the transfer gate TG, and the pixel drive line 43.
  • the second substrate 220 has, for example, a plurality of connection parts 259 electrically connected to the readout circuit 42 and the semiconductor substrate 221 in the insulating layer 252.
  • the second substrate 220 further has, for example, a wiring layer 256 on the insulating layer 252.
  • the wiring layer 256 has, for example, an insulating layer 257, and a plurality of pixel drive lines 43 and a plurality of vertical signal lines 424 provided in the insulating layer 257.
  • the wiring layer 256 further has, for example, a plurality of connection wirings 255 in the insulating layer 257, one for each of the four light receiving pixels P.
  • the connection wirings 255 electrically connect each of the through wirings 254 electrically connected to the floating diffusion layers included in the four light receiving pixels P that share the readout circuit 42 to each other.
  • the wiring layer 256 further has, for example, a plurality of pad electrodes 258 in the insulating layer 257.
  • Each pad electrode 258 is formed of a metal such as Cu (copper) or Al (aluminum). Each pad electrode 258 is exposed on the surface of the wiring layer 256.
  • Each pad electrode 258 is used for electrical connection between the second substrate 220 and the third substrate 230 and for bonding the second substrate 220 and the third substrate 230 together.
  • the plurality of pad electrodes 258 are provided, for example, one for each pixel drive line 223 and vertical signal line 224.
  • the third substrate 230 is formed, for example, by laminating an interlayer insulating film 261 on a semiconductor substrate 231. As described later, the third substrate 230 is bonded to the second substrate 220 with the surfaces of the front sides facing each other. Therefore, when describing the internal configuration of the third substrate 230, the description of the top and bottom is reversed from the top and bottom direction in the drawings.
  • the semiconductor substrate 231 is formed of a silicon substrate.
  • the third substrate 230 is configured such that a logic circuit 52 is provided on a portion of the front surface (surface 231S1) side of the semiconductor substrate 231.
  • the third substrate 230 further has, for example, a wiring layer 262 on the interlayer insulating film 261.
  • the wiring layer 262 has, for example, an insulating layer 263 and a plurality of pad electrodes 264 provided in the insulating layer 263.
  • the plurality of pad electrodes 264 are electrically connected to the logic circuit 52.
  • Each pad electrode 264 is formed, for example, of Cu (copper).
  • Each pad electrode 264 is exposed on the surface of the wiring layer 262.
  • Each pad electrode 264 is used for electrical connection between the second substrate 220 and the third substrate 230 and for bonding the second substrate 220 and the third substrate 230.
  • the number of pad electrodes 264 does not necessarily need to be multiple, and even one pad electrode 264 can be electrically connected to the logic circuit 52.
  • the second substrate 220 and the third substrate 230 are electrically connected to each other by bonding the pad electrodes 258 and 264 to each other. That is, the gate (transfer gate TG) of the transfer transistor TR is electrically connected to the logic circuit 52 via the through-wire 254 and the pad electrodes 258 and 264.
  • the third substrate 230 is bonded to the second substrate 220 with the surface (surface 231S1) of the semiconductor substrate 231 facing the surface (surface 221S1) of the semiconductor substrate 221. That is, the third substrate 230 is bonded to the second substrate 220 face-to-face.
  • the photodiode and pixel transistor are provided on different substrates.
  • the area of the pixel transistor can also be increased. For example, if the gate length of the transistor AMP is increased, it is possible to reduce random telegraph noise (RTS). If the gate length of the transistors SEL and RST is increased, it is possible to reduce variations in transistor characteristics such as threshold voltage (Vth) and cutoff.
  • RTS random telegraph noise
  • imaging device 49 shows an example of use of the imaging device 1 according to the above embodiment.
  • the imaging device 1 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays, for example, as described below.
  • - Devices for taking images for viewing such as digital cameras and mobile devices with camera functions.
  • - Devices for traffic purposes such as in-vehicle sensors that take pictures of the front, rear, surroundings, and interior of a car for safe driving such as automatic stopping and for recognizing the driver's state, surveillance cameras that monitor moving vehicles and roads, and distance measuring sensors that measure distances between vehicles.
  • - Devices for home appliances such as televisions, refrigerators, and air conditioners that take pictures of users' gestures and operate the equipment according to those gestures.
  • - Devices for medical and healthcare purposes such as endoscopes and devices that take blood vessel images by receiving infrared light.
  • - Devices for security purposes such as surveillance cameras for crime prevention and cameras for person authentication.
  • - Devices for beauty purposes such as skin measuring devices that take pictures of the skin and microscopes that take pictures of the scalp.
  • - Devices for sports such as action cameras and wearable cameras for sports purposes.
  • - Devices for agriculture such as cameras for monitoring the condition of fields and crops.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
  • FIG. 50 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
  • the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle, and receives the captured images.
  • the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface, based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate the control target values of the driving force generating device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output a control command to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including avoiding or mitigating vehicle collisions, following the vehicle based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 can also perform cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on the driver's operation, by controlling the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040.
  • the microcomputer 12051 can also output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the outside-vehicle information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside-vehicle information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
  • the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 51 shows an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the top of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
  • the images of the front acquired by the imaging units 12101 and 12105 are mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 51 shows an example of the imaging ranges of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
  • an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
  • the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by forcibly decelerating or steering to avoid a collision via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the captured image of the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
  • the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
  • the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the above describes an example of a vehicle control system to which the technology disclosed herein can be applied.
  • the technology disclosed herein can be applied to the imaging unit 12031 of the configuration described above.
  • the imaging device mounted on the vehicle can improve the image quality of the captured image.
  • the vehicle control system 12000 can achieve highly accurate vehicle collision avoidance or collision mitigation functions, following driving functions based on the distance between vehicles, vehicle speed maintenance driving functions, vehicle collision warning functions, vehicle lane departure warning functions, and the like.
  • the arrangement of pixel blocks in a pixel array and the arrangement of light-receiving pixels P in a pixel block are not limited to those described in the above embodiments, and various arrangements are possible.
  • the present technology can be configured as follows: According to the present technology configured as follows, it is possible to suppress image disturbance caused by color mixing while ensuring a separation ratio in phase difference detection.
  • a first pixel block including a first color filter and a plurality of first pixel pairs each including two light receiving pixels adjacent to each other in a first direction, the first pixel pairs being arranged in a first arrangement pattern having a convex portion in the first direction in a plan view;
  • a first lens having a first light collecting power and provided at the light receiving pixel arranged on the convex portion;
  • a second lens having a second light
  • the first lens is provided at a position corresponding to the first pixel pair including the light receiving pixel arranged on the convex portion,
  • the imaging device described in (3) wherein in the first pixel block, the second lens is arranged to form a first pixel pair consisting of one light receiving pixel that constitutes the first pixel pair together with the light receiving pixel arranged on the convex portion, and the light receiving pixel adjacent to the one light receiving pixel in the opposite direction to the convex portion side.
  • the first lens is disposed at a position corresponding to two of the light receiving pixels adjacent to each other in a second direction intersecting the first direction.
  • the number of the light receiving pixels included in the first pixel block is smaller than the number of the light receiving pixels included in the second pixel block; one of the two first pixel blocks arranged diagonally has a red filter as the first color filter, and the other has a blue filter as the first color filter;
  • (11) The imaging device according to any one of (1) to (10), wherein the first pixel block is composed of eight of the light receiving pixels, and the second pixel block is composed of ten of the light receiving pixels.
  • the number of the light receiving pixels included in the first pixel block is greater than the number of the light receiving pixels included in the second pixel block; two first pixel blocks arranged diagonally opposite each other have a green filter as the second color filter;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本開示の一実施形態の撮像装置は、第１のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第１の画素ペアからなると共に、複数の第１の画素ペアが、平面視において、第１の方向に凸部を有する第１の配置パターンで配置された第１の画素ブロックと、第１のカラーフィルタとは異なる色の第２のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第２の画素ペアからなると共に、平面視において、複数の第２の画素ペアが凸部と嵌合する凹部を有する第２の配置パターンで配置された第２の画素ブロックと、凸部に配置された受光画素に設けられた、第１の集光力を有する第１のレンズと、凸部に配置された受光画素を含む第１の画素ペアを除く第１の画素ペアおよび第２の画素ペアのそれぞれに対応する位置に設けられた、第１の集光力よりも大きな第２の集光力を有する第２のレンズとを備える。

Description

撮像装置
　本開示は、被写体を撮像する撮像装置に関する。
　撮像装置には、例えばオートフォーカスを実現するために像面位相差を得るものがある。例えば、特許文献１には、２つの受光画素を含む画素ペアに対応する位置に１つのレンズが設けられた撮像装置が開示されている。
国際公開第２０２２／１３０８８８号
　像面位相差を取得する撮像装置では、位相差検出画素間における混色による画像の乱れを防止する技術が求められている。
　位相差検出における分離比を確保しつつ混色による画像の乱れを抑制することが可能な撮像装置を提供することが望ましい。
　本開示の一実施の形態における撮像装置は、第１のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第１の画素ペアからなると共に、複数の第１の画素ペアが、平面視において、第１の方向に凸部を有する第１の配置パターンで配置された第１の画素ブロックと、第１のカラーフィルタとは異なる色の第２のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第２の画素ペアからなると共に、平面視において、複数の第２の画素ペアが凸部と嵌合する凹部を有する第２の配置パターンで配置された第２の画素ブロックと、凸部に配置された受光画素に設けられた、第１の集光力を有する第１のレンズと、凸部に配置された受光画素を含む第１の画素ペアを除く第１の画素ペアおよび第２の画素ペアのそれぞれに対応する位置に設けられた、第１の集光力よりも大きな第２の集光力を有する第２のレンズとを備えたものである。
　本開示の一実施の形態における撮像装置では、第１のカラーフィルタを有する第１の画素ブロックと、第２のカラーフィルタを有する第２の画素ブロックとを有する。第１の画素ブロックは、それぞれが第１の方向に隣り合う２つの受光画素を含む第１の画素ペアを複数含み、平面視において、複数の第１の画素ペアが、第１の方向に凸部を有する第１の配置パターンで配置されている。第２の画素ブロックは、それぞれが第１の方向に隣り合う２つの受光画素を含む第２の画素ペアを複数含み、平面視において、複数の第２の画素ペアが第１の画素ブロックの凸部と嵌合する凹部を有する第２の配置パターンで配置されている。この凸部に配置された受光画素には第１の集光力を有する第１のレンズが配置されており、凸部に配置された受光画素を含む第１の画素ペアを除く第１の画素ペアおよび第２の画素ペアには、第１の集光力よりも大きな第２の集光力を有する第２のレンズが配置されている。これにより、補完情報が少なくなる、カラーフィルタの境目に配置された受光画素を含む第１の画素ペアにおける分離比を低下させ、混色を低減する。
図１は、本開示の一実施の形態に係る撮像装置の一構成例を表すブロック図である。 図２は、図１に示した画素アレイの一構成例を表す説明図である。 図３は、図２に示した画素アレイの構成における受光レンズのレイアウトの一例を表す模式図である。 図４は、図２に示した受光画素の断面構成の一例を表す模式図である。 図５Ａは、図３に示した領域Ａの受光画素に対する入力画像を表す図である。 図５Ｂは、図３に示した領域Ａの受光画素から得られる出力画像を表す図である。 図６は、図３および図４に示した受光レンズを加工するためのレジスト膜のレイアウト例を表す模式図である。 図７Ａは、図３および図４に示した受光レンズの製造工程の一例を説明する断面模式図である。 図７Ｂは、図７Ａに続く工程を表す断面模式図である。 図７Ｃは、図７Ｂに続く工程を表す断面模式図である。 図８は、図２に示した画素ブロックの一構成例を表す回路図である。 図９は、図２に示した他の画素ブロックの一構成例を表す回路図である。 図１０は、図２に示した複数の画素ブロックの接続例を表す説明図である。 図１１は、図１に示した読出部の一構成例を表すブロック図である。 図１２は、図１に示した画像信号の一構成例を表す説明図である。 図１３は、図１に示した撮像装置における有効画素数の一例を表す説明図である。 図１４は、図１に示した撮像装置における複数の撮像モードの一動作例を表す説明図である。 図１５は、図１に示した撮像装置の一動作例を表す説明図である。 図１６は、図１に示した撮像装置における読出動作の一例を表すタイミング波形図である。 図１７は、図１に示した撮像装置の一動作例を表す他の説明図である。 図１８は、図１に示した撮像装置の一動作例を表す他の説明図である。 図１９は、図１に示した撮像装置の一動作例を表す他の説明図である。 図２０は、図１に示した撮像装置の一動作例を表す他の説明図である。 図２１は、図１に示した撮像装置におけるリモザイク処理の一例を表す説明図である。 図２２Ａは、図２１に示したリモザイク処理の一例を表す説明図である。 図２２Ｂは、図２１に示したリモザイク処理の一例を表す他の説明図である。 図２２Ｃは、図２１に示したリモザイク処理の一例を表す他の説明図である。 図２３は、図１に示した撮像装置の一動作例を表す他の説明図である。 図２４は、図１に示した撮像装置の一動作例を表す他の説明図である。 図２５は、図１に示した撮像装置における他の読出動作の一例を表すタイミング波形図である。 図２６は、図１に示した撮像装置の一動作例を表す他の説明図である。 図２７は、図１に示した撮像装置における他のリモザイク処理の一例を表す説明図である。 図２８Ａは、図２７に示したリモザイク処理の一例を表す説明図である。 図２８Ｂは、図２７に示したリモザイク処理の一例を表す他の説明図である。 図２８Ｃは、図２７に示したリモザイク処理の一例を表す他の説明図である。 図２９は、１画素に対して１つの受光レンズが配置された撮像装置に対する入力画像と出力画像との関係を説明する図である。 図３０は、２つの画素に対して１つの高屈曲率レンズが配置された撮像装置に対する入力画像と出力画像との関係を説明する図である。 図３１は、２つの画素に対して１つの低屈曲率レンズが配置された撮像装置に対する入力画像と出力画像との関係を説明する図である。 図３２は、図１に示した撮像装置の方向検出の動作例を表す図である。 図３３は、入力画像に対する受光レンズの曲率の違いによる出力画像を説明する図である。 図３４は、本開示の変形例１に係る撮像装置における受光画素の断面構成の一例を表す模式図である。 図３５は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの一例を表す模式図である。 図３６は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図３７は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図３８は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図３９は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４０は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４１は、本開示の変形例２に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４２は、本開示の変形例３に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４３は、本開示の変形例３に係る撮像装置における受光レンズのレイアウトの一例を表す模式図である。 図４４は、本開示の変形例３に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４５は、本開示の変形例３に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４６は、本開示の変形例４に係る撮像装置における受光レンズのレイアウトの他の例を表す模式図である。 図４７は、本開示の変形例５に係る撮像装置の垂直方向の断面構成の一例を表す模式図である。 図４８は、図４７に示した撮像装置の概略構成の一例を表す図である。 図４９は、撮像装置の使用例を表す説明図である。 図５０は、車両制御システムの概略的な構成の一例を示すブロック図である。 図５１は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．実施の形態（複数の画素を含み、同色のカラーフィルタを有する画素ブロックにおいて、画素ブロック内の位置に応じて集光力が異なる受光レンズを配置した撮像装置の例）
　２．変形例
　　２－１．変形例１（撮像装置の構成の他の例）
　　２－２．変形例２（撮像装置の構成の他の例）
　　２－３．変形例３（撮像装置の構成の他の例）
　　２－４．変形例４（撮像装置の構成の他の例）
　　２－５．変形例５（撮像装置の構成の他の例）
　３．撮像装置の使用例
　４．移動体への応用例
＜１．実施の形態＞
［構成例］
　図１は、本開示の一実施の形態に係る撮像装置（撮像装置１）の一構成例を表したものである。撮像装置１は、画素アレイ１１と、駆動部１２と、参照信号生成部１３と、読出部２０と、信号処理部１５と、撮像制御部１８とを備えている。
　画素アレイ１１は、マトリクス状に配置された複数の受光画素Ｐを有している。受光画素Ｐは、受光量に応じた画素電圧Ｖpixを含む信号ＳＩＧを生成するように構成される。
　図２は、画素アレイ１１における受光画素Ｐの配置の一例を表したものである。図３は、画素アレイ１１における受光レンズ（レンズ１０１）のレイアウトの一例を表す模式図である。図４は、画素アレイ１１の概略断面構造の一例を表したものである。なお、図４は、図３に示したＩ－Ｉ’線に対応する断面を表している。画素アレイ１１は、複数の画素ブロック１００と、複数のレンズ１０１とを有している。
　複数の画素ブロック１００は、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｇｂ，１００Ｂを含んでいる。画素アレイ１１では、複数の受光画素Ｐは、４つの画素ブロック１００（画素ブロック１００Ｒ，１００Ｇｒ，１００Ｇｂ，１００Ｂ）を最小繰り返し単位（ユニットＵ）として配置される。
　画素ブロック１００Ｒは、例えば赤色（Ｒ）のカラーフィルタ１３１を含む、例えば８個の受光画素Ｐ（受光画素ＰＲ）を有する。画素ブロック１００Ｇｒは、例えば緑色（Ｇ）のカラーフィルタ（赤色フィルタ１３１Ｒ）を含む、例えば１０個の受光画素Ｐ（受光画素ＰＧｒ）を有する。画素ブロック１００Ｇｂは、例えば緑色（Ｇ）のカラーフィルタ（緑色フィルタ１３１Ｇ）を含む、例えば１０個の受光画素Ｐ（受光画素ＰＧｂ）を有する。画素ブロック１００Ｂは、例えば青色（Ｂ）のカラーフィルタ（青色フィルタ１３１Ｂ）を含む、例えば８個の受光画素Ｐ（受光画素ＰＢ）を有する。図２では、カラーフィルタの色の違いを、網掛けを用いて表現している。画素ブロック１００Ｒにおける受光画素ＰＲの配置パターンおよび画素ブロック１００Ｂにおける受光画素ＰＢの配置パターンは、互いに同じであり、画素ブロック１００Ｇｒにおける受光画素ＰＧｒの配置パターンおよび画素ブロック１００Ｇｂにおける受光画素ＰＧｂの配置パターンは、互いに同じである。
　ユニットＵにおいて、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｇｂ，１００Ｂは、例えば２行×２列で配置される。具体的には、互いに同じ配置パターンを有する画素ブロック１００Ｒおよび画素ブロック１００Ｂと、画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂとは、互いに交差する対角線上に配置される。一例として、画素ブロック１００Ｇｒは左上に配置され、画素ブロック１００Ｒは右上に配置され、画素ブロック１００Ｂは左下に配置され、画素ブロック１００Ｇｂは右下に配置される。このように、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｇｂ，１００Ｂは、画素ブロック１００を単位として、いわゆるベイヤー配列により配列される。
　ここで、受光画素Ｐは、本開示の実施の形態における「受光画素」の一具体例に相当する。画素ブロック１００は、本開示の実施の形態における「画素ブロック」の一具体例に相当する。例えば、画素ブロック１００Ｒおよび画素ブロック１００Ｂが、本開示における「第１の画素ブロック」の一具体例に相当する場合には、画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂが本開示の実施の形態における「第２の画素ブロック」の一具体例に相当する。画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂが、本開示の実施の形態における「第１の画素ブロック」の一具体例に相当する場合には、画素ブロック１００Ｒおよび画素ブロック１００Ｂは、本開示における「第２の画素ブロック」の一具体例に相当する。
　図４に示したように、画素アレイ１１は、例えば、半導体基板１１１と、受光部１１２と、分離部１１３と、多層配線層１２１と、カラーフィルタ１３１と、遮光膜１３２とを備えている。
　半導体基板１１１は、撮像装置１が形成される支持基板である。半導体基板１１１は、対向する一対の面（表面１１１Ｓ１および裏面１１１Ｓ２）を有する、例えばＰ型の半導体基板である。受光部１１２は、半導体基板１１１の基板内における、複数の受光画素Ｐのそれぞれに対応する位置に埋め込み形成された半導体領域であり、例えばＮ型の不純物がドーピングされることによりフォトダイオード（ＰＤ）が形成される。分離部１１３は、半導体基板１１１の基板内における、ＸＹ平面において隣り合う複数の受光画素Ｐの境界に設けられ、例えば、酸化膜等の絶縁材料を用いて構成されるＤＴＩ（Deep Trench Isolation）である。
　多層配線層１２１は、画素アレイ１１の光入射側Ｓとは反対の面である半導体基板１１１の表面１１１Ｓ１の上に設けられる。多層配線層１２１は、例えば、複数の配線層１２２～１２７および層間絶縁層１２８を含んでいる。複数の配線層１２２～１２７は、半導体基板１１１の裏面１１１Ｓ２側から順に設けられる。複数の配線層１２２～１２７には、例えば、半導体基板１１１の表面１１１Ｓ１に設けられる複数のトランジスタと、駆動部１２および読出部２０とを接続する、例えば後述する制御線ＴＲＧＬ等の複数の配線が設けられる。
　カラーフィルタ１３１は、画素アレイ１１の光入射側Ｓである半導体基板１１１の裏面１１１Ｓ２の上に設けられる。遮光膜１３２は、半導体基板１１１の裏面１１１Ｓ２において、Ｘ軸方向に隣り合う２つの受光画素Ｐ（以下、画素ペア９０とも呼ぶ）を囲むように設けられる。
　複数のレンズ１０１は、いわゆるオンチップレンズであり、画素アレイ１１の光入射側Ｓにおけるカラーフィルタ１３１の上に設けられる。レンズ１０１は、Ｘ軸方向に隣り合う２つの受光画素Ｐ（画素ペア９０）の上部に設けられる。画素ブロック１００Ｒの８個の受光画素Ｐの上部には４つのレンズ１０１が設けられる。画素ブロック１００Ｇｒの１０個の受光画素Ｐの上部には５つのレンズ１０１が設けられる。画素ブロック１００Ｇｂの１０個の受光画素Ｐの上部には５つのレンズ１０１が設けられる。画素ブロック１００Ｂの８個の受光画素Ｐの上部には４つのレンズ１０１が設けられる。レンズ１０１は、Ｘ軸方向およびＹ軸方向において並設される。Ｙ軸方向に並ぶレンズ１０１は、Ｘ軸方向において、１つの受光画素Ｐの分だけずれて配置される。換言すると、Ｙ軸方向に並ぶ画素ペア９０は、Ｘ軸方向において、１つの受光画素Ｐの分だけずれて配置される。
　この構成により、１つのレンズ１０１に対応する画素ペア９０における２つの受光画素Ｐでは、像が互いにずれる。撮像装置１は、複数の画素ペア９０により検出されたいわゆる像面位相差に基づいて位相差データＤＦを生成する。例えば、撮像装置１を搭載したカメラでは、この位相差データＤＦに基づいてデフォーカス量を決定し、このデフォーカス量に基づいて、撮影レンズの位置を移動させる。このようにして、カメラでは、オートフォーカスを実現することができるようになっている。
　本実施の形態では、複数のレンズ１０１は、それぞれが、同色のカラーフィルタが設けられた複数の受光画素Ｐからなる画素ブロック１００Ｒ，１００Ｇｒ，１００Ｇｂ，１００Ｂ内において、それぞれ、互いに集光力が異なる複数種類のレンズ（例えば、レンズ１０１Ａ，１０１Ｂの２種類）が配置されている。レンズ１０１Ａは、レンズ１０１Ｂよりも集光力の大きなレンズであり、例えば、レンズ１０１Ｂよりも大きな曲率を有する。レンズ１０１Ｂは、レンズ１０１Ａよりも集光力が小さなレンズであり、例えば、レンズ１０１Ａよりも小さな曲率を有する。
　ここで、レンズ１０１Ａは、本開示の実施の形態における「第２のレンズ」に相当する。レンズ１０１Ｂは、本開示の実施の形態における「第１のレンズ」に相当する。
　ユニットＵでは、上記のように、互いに同じ配置パターンを有する画素ブロック１００Ｒおよび画素ブロック１００Ｂと、画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂとは、互いに交差する対角線上に配置される。画素ブロック１００Ｒおよび画素ブロック１００Ｂの配置パターンは、それぞれ、例えば、Ｘ軸方向に凸部を有する。画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂの配置パターンは、それぞれ、画素ブロック１００Ｒおよび画素ブロック１００Ｂの配置パターンそれぞれの凸部と嵌合する凹部を有する。
　具体的には、画素ブロック１００Ｒおよび画素ブロック１００Ｂを構成する８個の受光画素ＰＲ，ＰＢは、それぞれ、例えば図２および図３に示したように、Ｘ軸方向に並列する２個、４個、２個の受光画素ＰＲ，ＰＢがＹ軸方向に順に並列された十字状のパターンで配置されている。このＸ軸方向に４個の受光画素ＰＲ，ＰＢが並列された部位が、画素ブロック１００Ｒおよび画素ブロック１００Ｂにおける「凸部」に相当する（凸部ＸＲ，ＸＢ）。画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂを構成する１０個の受光画素ＰＧｒ、ＰＧｂは、それぞれ、例えば図２および図３に示したように、Ｘ軸方向に並列する４個、２個、４個の受光画素ＰＧｒ、ＰＧｂがＹ軸方向に順に並列されたＨ状のパターンで配置されている。このＸ軸方向に２個の受光画素ＰＧｒ、ＰＧｂが並列された部位が、画素ブロック１００Ｒおよび画素ブロック１００Ｂの凸部ＸＲ，ＸＢとそれぞれ嵌合する画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂにおける「凹部」に相当する（凹部ＹＧｒ，ＹＧｂ）。
　また、上述した画素ブロック１００Ｒ，１００Ｇｒ，１００Ｇｂ，１００Ｂでは、画素ブロック１００Ｇｒおよび画素ブロック１００ＧｂのＸ軸方向に４個の受光画素ＰＧｒ、ＰＧｂが並列された２つの部位を、画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂにおける「凸部」と見做すことができる（凸部ＸＧｒ，ＸＢｂ）。画素ブロック１００Ｒおよび画素ブロック１００ＢのＸ軸方向に２個の受光画素ＰＲ，ＰＢが並列された部位が、画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂの凸部ＸＧｒ，ＸＢｂとそれぞれ嵌合する画素ブロック１００Ｒおよび画素ブロック１００Ｂにおける「凹部」と見做すことができる（凹部ＹＲ，ＹＢ）。
　高い集光力を有するレンズ１０１Ａは、上述した凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂに配置される。レンズ１０１Ａと比較して集光力の低いレンズ１０１Ｂは、上述した凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂに配置される。集光力の違いは、レンズ１０１Ａ，１０１Ｂに入射した光の半導体基板１１１の厚み方向（Ｚ軸方向）に対する集光位置の差に繋がる。
　具体的には、レンズ１０１Ａに入射した光Ｌは、図４に示したように、半導体基板１１１の裏面１１１Ｓ２の、画素ペア９０を構成する隣り合う２つの受光画素ＰＧｒの境界に集光される。集光された光Ｌは、隣り合う２つの受光画素ＰＧｒの境界に設けられた分離部１１３において屈折され、隣り合う２つの受光画素ＰＧｒに略均等に入射し、それぞれの受光部１１２において光電変換される。一方、レンズ１０１Ｂに入射した光Ｌは、図４に示したように、半導体基板１１１の内部の、画素ペア９０を構成する隣り合う２つの受光画素ＰＲの境界に向かって集光される。そのため、集光された光Ｌは、隣り合う２つの受光画素ＰＲの境界に設けられた分離部１１３においてほぼ屈折されることなく、入射位置に対応する受光画素ＰＲに入射し、受光部１１２において光電変換される。
　図５Ａは、図３に示した領域Ａに配置された受光画素Ｐに対する入力画像を表したものである。図５Ｂは、図３に示した領域Ａの受光画素Ｐから得られる出力画像を表したものである。図中の数値は、対応する受光画素Ｐに入力または、対応する受光画素Ｐから出力される明暗のレベル差を表している。
　詳細は後述するが、上記凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂに配置された受光画素Ｐは、凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂに配置された受光画素Ｐと比較して、異なる色のカラーフィルタ１３１と接する面が多い。このように異なる色のカラーフィルタ１３１と接する面が多い受光画素Ｐを含む画素ペア９０において明暗の周波数が高い画像を撮影すると、画素ペア９０内における混色により誤つなぎ（例えば、図３３（Ｂ）参照）が発生しやすくなる。
　これに対して本実施の形態では、異なる色のカラーフィルタ１３１と接する面が多い凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂに配置された受光画素Ｐを含む画素ペア９０には、集光力が低いレンズ１０１Ｂを配置し、異なる色のカラーフィルタ１３１と接する面が少ない凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂに配置された受光画素Ｐを含む画素ペア９０には、集光力が高いレンズ１０１Ａを配置した。これにより、異なる色のカラーフィルタ１３１と接する面が多い受光画素Ｐを含む画素ペア９０に明暗のレベル差の大きな信号が入力されても、画素ペア９０内における混色が低減され、明暗のレベル差を維持した出力が可能となる。また、異なる色のカラーフィルタ１３１と接する面が少ない凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂに対応する画素ペア９０には、集光力が高いレンズ１０１Ａが配置されているため、位相差検出における分離比が確保される。
　図４に示した曲率の異なるレンズ１０１Ａ，１０１Ｂは、以下のようにして製造することができる。図６は、レンズ１０１Ａ，１０１Ｂの加工に用いるレジスト膜６１のレイアウト例を表したものである。
　まず、図７Ａに示したように、カラーフィルタ１３１上にレンズ層１０１Ｘを所定の厚みで形成する。次に、図７Ｂに示したように、レンズ層１０１Ｘ上に、図６に示したレイアウトを有するレジスト膜６１を形成する。続いて、フォトリソグラフィおよびエッチングを行うことにより、図７に示したように、曲率の異なるレンズ１０１Ａ，１０１Ｂが完成する。
　図８は、画素ブロック１００Ｇｒの一構成例を表したものである。図９は、画素ブロック１００Ｒの一構成例を表したものである。
　画素アレイ１１は、複数の制御線ＴＲＧＬと、複数の制御線ＲＳＴＬと、複数の制御線ＳＥＬＬと、複数の信号線ＶＳＬとを有している。制御線ＴＲＧＬは、例えばＸ軸方向に延伸し、一端が駆動部１２に接続される。この制御線ＴＲＧＬには、駆動部１２により制御信号ＳＴＲＧが供給される。制御線ＲＳＴＬは、例えばＸ軸方向に延伸し、一端が駆動部１２に接続される。この制御線ＲＳＴＬには、駆動部１２により制御信号ＳＲＳＴが供給される。制御線ＳＥＬＬは、例えばＸ軸方向に延伸し、一端が駆動部１２に接続される。この制御線ＳＥＬＬには、駆動部１２により制御信号ＳＳＥＬが供給される。信号線ＶＳＬは、例えばＹ軸方向に延伸し、一端が読出部２０に接続される。この信号線ＶＳＬは、受光画素Ｐが生成した信号ＳＩＧを読出部２０に伝える。
　画素ブロック１００Ｇｒ（図８）は、例えば、１０個のフォトダイオードと、１０個のトランジスタＴＲＧと、浮遊拡散層（ＦＤ）と、画素トランジスタとしてトランジスタＲＳＴ，ＡＭＰ，ＳＥＬとを有している。１０個のフォトダイオードおよび１０個のトランジスタＴＲＧは、画素ブロック１００Ｇｒに含まれる１０個の受光画素ＰＧｒにそれぞれ対応する。トランジスタＴＲＧ，ＲＳＴ，ＡＭＰ，ＳＥＬは、この例ではＮ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタである。浮遊拡散層およびトランジスタＴＲＧ，ＲＳＴ，ＡＭＰ，ＳＥＬは、それぞれ、半導体基板１１１の表面１１１Ｓ１に設けられる。
　フォトダイオードは、受光量に応じた量の電荷を生成し、生成した電荷を内部に蓄積する光電変換素子である。フォトダイオードのアノードは接地され、カソードはトランジスタＴＲＧのソースに接続される。
　トランジスタＴＲＧは、フォトダイオードで生成された電荷を浮遊拡散層に転送する。トランジスタＴＲＧのゲートは制御線ＴＲＧＬに接続され、ソースはフォトダイオードのカソードに接続され、ドレインは浮遊拡散層に接続される。１０個のトランジスタＴＲＧのゲートは、１０本の制御線ＴＲＧＬ（この例では、制御線ＴＲＧＬ１～ＴＲＧＬ６，ＴＲＧＬ９～ＴＲＧＬ１２）のうちの互いに異なる制御線ＴＲＧＬに接続される。
　浮遊拡散層は、フォトダイオードからトランジスタＴＲＧを介して転送された電荷を蓄積するように構成される。浮遊拡散層は、例えば、半導体基板の表面に形成された拡散層を用いて構成される。
　トランジスタＲＳＴのゲートは制御線ＲＳＴＬに接続され、ドレインには電源電圧ＶＤＤが供給され、ソースは浮遊拡散層に接続される。
　トランジスタＡＭＰのゲートは浮遊拡散層に接続され、ドレインには電源電圧ＶＤＤが供給され、ソースはトランジスタＳＥＬのドレインに接続される。
　トランジスタＳＥＬのゲートは制御線ＳＥＬＬに接続され、ドレインはトランジスタＡＭＰのソースに接続され、ソースは信号線ＶＳＬに接続される。
　この構成により、受光画素Ｐでは、例えば制御信号ＳＴＲＧ，ＳＲＳＴに基づいてトランジスタＴＲＧ，ＲＳＴがオン状態になることにより、フォトダイオードに蓄積された電荷が排出される。そして、これらのトランジスタＴＲＧ，ＲＳＴがオフ状態になることにより、露光期間Ｔが開始され、フォトダイオードに、受光量に応じた量の電荷が蓄積される。そして、露光期間Ｔが終了した後に、受光画素Ｐは、リセット電圧Ｖresetおよび画素電圧Ｖpixを含む信号ＳＩＧを、信号線ＶＳＬに出力する。具体的には、まず、制御信号ＳＳＥＬに基づいてトランジスタＳＥＬがオン状態になることにより、受光画素Ｐが信号線ＶＳＬと電気的に接続される。これにより、トランジスタＡＭＰは、読出部２０の定電流源２１（後述）に接続され、いわゆるソースフォロワとして動作する。そして、受光画素Ｐは、後述するように、トランジスタＲＳＴがオン状態になることにより浮遊拡散層の電圧がリセットされた後のＰ相（Pre-charge相）期間ＴＰにおいて、その時の浮遊拡散層の電圧に応じた電圧をリセット電圧Ｖresetとして出力する。また、受光画素Ｐは、トランジスタＴＲＧがオン状態になることによりフォトダイオードから浮遊拡散層へ電荷が転送された後のＤ相（Ｄａｔａ相）期間ＴＤにおいて、その時の浮遊拡散層の電圧に応じた電圧を画素電圧Ｖpixとして出力する。画素電圧Ｖpixとリセット電圧Ｖresetとの差電圧は、露光期間Ｔにおける受光画素Ｐの受光量に対応する。このようにして、受光画素Ｐは、これらのリセット電圧Ｖresetおよび画素電圧Ｖpixを含む信号ＳＩＧを、信号線ＶＳＬに出力するようになっている。
　画素ブロック１００Ｒ（図９）は、８個のフォトダイオードと、８個のトランジスタＴＲＧと、浮遊拡散層と、画素トランジスタとしてトランジスタＲＳＴ，ＡＭＰ，ＳＥＬとを有している。８個のフォトダイオードおよび８個のトランジスタＴＲＧは、画素ブロック１００Ｒに含まれる８個の受光画素ＰＲにそれぞれ対応している。８個のトランジスタＴＲＧのゲートは、８本の制御線ＴＲＧＬ（この例では、制御線ＴＲＧＬ１，ＴＲＧＬ２，ＴＲＧＬ５～ＴＲＧＬ１０）のうちの互いに異なる制御線ＴＲＧＬに接続される。浮遊拡散層およびトランジスタＴＲＧ，ＲＳＴ，ＡＭＰ，ＳＥＬは、それぞれ、半導体基板１１１の表面１１１Ｓ１に設けられる。
　画素ブロック１００Ｂは、画素ブロック１００Ｒ（図９）と同様に、８個のフォトダイオードと、８個のトランジスタＴＲＧと、浮遊拡散層と、画素トランジスタとしてトランジスタＲＳＴ，ＡＭＰ，ＳＥＬとを有している。８個のフォトダイオードおよび８個のトランジスタＴＲＧは、画素ブロック１００Ｂに含まれる８個の受光画素ＰＢにそれぞれ対応している。８個のトランジスタＴＲＧのゲートは、８本の制御線ＴＲＧＬのうちの互いに異なる制御線ＴＲＧＬに接続される。浮遊拡散層およびトランジスタＴＲＧ，ＲＳＴ，ＡＭＰ，ＳＥＬは、それぞれ、半導体基板１１１の表面１１１Ｓ１に設けられる。
　画素ブロック１００Ｇｂは、画素ブロック１００Ｇｒ（図８）と同様に、１０個のフォトダイオードと、１０個のトランジスタＴＲＧと、浮遊拡散層と、画素トランジスタとしてトランジスタＲＳＴ，ＡＭＰ，ＳＥＬとを有している。１０個のフォトダイオードおよび１０個のトランジスタＴＲＧは、画素ブロック１００Ｇｂに含まれる１０個の受光画素ＰＧｂにそれぞれ対応している。１０個のトランジスタＴＲＧのゲートは、１０本の制御線ＴＲＧＬのうちの互いに異なる制御線ＴＲＧＬに接続される。浮遊拡散層およびトランジスタＴＲＧ，ＲＳＴ，ＡＭＰ，ＳＥＬは、それぞれ、半導体基板１１１の表面１１１Ｓ１に設けられる。
　図１０に示したように、Ｘ方向に並ぶ、同じ行に属する画素ブロック１００Ｂ，１００Ｇｂは、同じ１２本の制御線ＴＲＧＬのうちの複数の制御線ＴＲＧＬに接続される。また、図示していないが、Ｘ方向に並ぶ、同じ行に属する画素ブロック１００Ｂ，１００Ｇｂは、１つの制御線ＲＳＴＬ、および１つの制御線ＳＥＬＬに接続される。また、図１０に示したように、Ｙ方向に並ぶ、同じ列に属する画素ブロック１００Ｂは、１つの信号線ＶＳＬに接続される。同様に、Ｙ方向に並ぶ、同じ列に属する画素ブロック１００Ｇｂは、１つの信号線ＶＳＬに接続される。
　駆動部１２（図１）は、撮像制御部１８からの指示に基づいて、画素アレイ１１における複数の受光画素Ｐを駆動するように構成される。具体的には、駆動部１２は、画素アレイ１１における複数の制御線ＴＲＧＬに複数の制御信号ＳＴＲＧをそれぞれ供給し、複数の制御線ＲＳＴＬに複数の制御信号ＳＲＳＴをそれぞれ供給し、複数の制御線ＳＥＬＬに複数の制御信号ＳＳＥＬをそれぞれ供給することにより、画素アレイ１１における複数の受光画素Ｐを駆動するようになっている。
　参照信号生成部１３は、撮像制御部１８からの指示に基づいて、参照信号ＲＡＭＰを生成するように構成される。参照信号ＲＡＭＰは、読出部２０がＡＤ変換を行う期間（Ｐ相期間ＴＰおよびＤ相期間ＴＤ）において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。参照信号生成部１３は、このような参照信号ＲＡＭＰを読出部２０に供給するようになっている。
　読出部２０は、撮像制御部１８からの指示に基づいて、画素アレイ１１から信号線ＶＳＬを介して供給された信号ＳＩＧに基づいてＡＤ変換を行うことにより、画像信号Ｓpic0を生成するように構成される。
　図１１は、読出部２０の一構成例を表すものである。なお、図１０には、読出部２０に加え、参照信号生成部１３、信号処理部１５、および撮像制御部１８をも描いている。読出部２０は、複数の定電流源２１と、複数のＡＤ（Analog to Digital）変換部ＡＤＣと、転送制御部２７とを有している。複数の定電流源２１および複数のＡＤ変換部ＡＤＣは、複数の信号線ＶＳＬに対応してそれぞれ設けられる。以下に、ある１つの信号線ＶＳＬに対応する定電流源２１およびＡＤ変換部ＡＤＣについて説明する。
　定電流源２１は、対応する信号線ＶＳＬに所定の電流を流すように構成される。定電流源２１の一端は、対応する信号線ＶＳＬに接続され、他端は接地される。
　ＡＤ変換部ＡＤＣは、対応する信号線ＶＳＬにおける信号ＳＩＧに基づいてＡＤ変換を行うように構成される。ＡＤ変換部ＡＤＣは、容量素子２２，２３と、比較回路２４と、カウンタ２５と、ラッチ２６とを有している。
　容量素子２２の一端は信号線ＶＳＬに接続されるとともに信号ＳＩＧが供給され、他端は比較回路２４に接続される。容量素子２３の一端には参照信号生成部１３から供給された参照信号ＲＡＭＰが供給され、他端は比較回路２４に接続される。
　比較回路２４は、受光画素Ｐから信号線ＶＳＬおよび容量素子２２を介して供給された信号ＳＩＧ、および参照信号生成部１３から容量素子２３を介して供給された参照信号ＲＡＭＰに基づいて、比較動作を行うことにより信号ＣＰを生成するように構成される。比較回路２４は、撮像制御部１８から供給された制御信号ＡＺに基づいて、容量素子２２，２３の電圧を設定することにより動作点を設定する。そしてその後に、比較回路２４は、Ｐ相期間ＴＰにおいて、信号ＳＩＧに含まれるリセット電圧Ｖresetと、参照信号ＲＡＭＰの電圧とを比較する比較動作を行い、Ｄ相期間ＴＤにおいて、信号ＳＩＧに含まれる画素電圧Ｖpixと、参照信号ＲＡＭＰの電圧とを比較する比較動作を行うようになっている。
　カウンタ２５は、比較回路２４から供給された信号ＣＰに基づいて、撮像制御部１８から供給されたクロック信号ＣＬＫのパルスをカウントするカウント動作を行うように構成される。具体的には、カウンタ２５は、Ｐ相期間ＴＰにおいて、信号ＣＰが遷移するまでクロック信号ＣＬＫのパルスをカウントすることによりカウント値ＣＮＴＰを生成し、このカウント値ＣＮＴＰを、複数のビットを有するデジタルコードとして出力する。また、カウンタ２５は、Ｄ相期間ＴＤにおいて、信号ＣＰが遷移するまでクロック信号ＣＬＫのパルスをカウントすることによりカウント値ＣＮＴＤを生成し、このカウント値ＣＮＴＤを、複数のビットを有するデジタルコードとして出力するようになっている。
　ラッチ２６は、カウンタ２５から供給されたデジタルコードを一時的に保持するとともに、転送制御部２７からの指示に基づいて、そのデジタルコードをバス配線ＢＵＳに出力するように構成される。
　転送制御部２７は、撮像制御部１８から供給された制御信号ＣＴＬに基づいて、複数のＡＤ変換部ＡＤＣのラッチ２６が、デジタルコードをバス配線ＢＵＳに順次出力させるように制御するように構成される。読出部２０は、このバス配線ＢＵＳを用いて、複数のＡＤ変換部ＡＤＣから供給された複数のデジタルコードを、画像信号Ｓpic0として、信号処理部１５に順次転送するようになっている。
　信号処理部１５（図１）は、画像信号Ｓpic0および撮像制御部１８からの指示に基づいて、所定の信号処理を行うことにより画像信号Ｓpicを生成するように構成される。信号処理部１５は、画像データ生成部１６と、位相差データ生成部１７とを有している。画像データ生成部１６は、画像信号Ｓpic0に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰを生成するように構成される。位相差データ生成部１７は、画像信号Ｓpic0に基づいて、所定の画像処理を行うことにより、像面位相差を示す位相差データＤＦを生成するように構成される。信号処理部１５は、画像データ生成部１６により生成された画像データＤＰ、および位相差データ生成部１７により生成された位相差データＤＦを含む画像信号Ｓpicを生成する。
　図１２は、画像信号Ｓpicの一例を表すものである。信号処理部１５は、例えば、複数行分の受光画素Ｐに係る画像データＤＰと、複数行分の受光画素Ｐに係る位相差データＤＦを交互に配置することにより、画像信号Ｓpicを生成する。そして、信号処理部１５は、
このような画像信号Ｓpicを出力するようになっている。
　撮像制御部１８は、駆動部１２、参照信号生成部１３、読出部２０、および信号処理部１５に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置１の動作を制御するように構成される。撮像制御部１８には、外部から制御信号Ｓctlが供給される。この制御信号Ｓctlは、例えば、いわゆる電子ズームのズーム倍率についての情報を含む。撮像制御部１８は、制御信号Ｓctlに基づいて、撮像装置１の動作を制御するようになっている。
［動作］
　続いて、本実施の形態の撮像装置１の動作について説明する。
（全体動作概要）
　まず、図１，１１を参照して、撮像装置１の全体動作概要を説明する。駆動部１２は、撮像制御部１８からの指示に基づいて、画素アレイ１１における複数の受光画素Ｐを順次駆動する。参照信号生成部１３は、撮像制御部１８からの指示に基づいて、参照信号ＲＡＭＰを生成する。受光画素Ｐは、Ｐ相期間ＴＰにおいて、リセット電圧Ｖresetを信号ＳＩＧとして出力し、Ｄ相期間ＴＤにおいて、受光量に応じた画素電圧Ｖpixを信号ＳＩＧとして出力する。読出部２０は、画素アレイ１１から信号線ＶＳＬを介して供給された信号ＳＩＧ、および撮像制御部１８からの指示に基づいて、画像信号Ｓpic0を生成する。信号処理部１５において、画像データ生成部１６は、画像信号Ｓpic0に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰを生成し、位相差データ生成部１７は、画像信号Ｓpic0に基づいて、所定の画像処理を行うことにより、像面位相差を示す位相差データＤＦを生成する。そして、信号処理部１５は、画像データＤＰおよび位相差データＤＦを含む画像信号Ｓpicを生成する。撮像制御部１８は、駆動部１２、参照信号生成部１３、読出部２０、および信号処理部１５に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置１の動作を制御する。
（詳細動作）
　撮像制御部１８は、電子ズームのズーム倍率についての情報を含む制御信号Ｓctlに基づいて、撮像装置１の動作を制御する。以下に、撮像装置１におけるズーム動作について説明する。
　図１３は、ズーム倍率を１倍から１０倍まで変化させた場合における、撮像画像に係る受光画素Ｐの数（有効画素数）の一例を表すものである。図１３において、実線は、撮像装置１の有効画素数を示している。図１４は、撮像装置１におけるズーム動作の一例を表すものであり、（Ａ）はズーム倍率が１倍である場合における動作を示し、（Ｂ）はズーム倍率が２倍である場合における動作を示し、（Ｃ）はズーム倍率が３倍である場合における動作を示す。
　撮像装置１は、３つの撮像モードＭ（撮像モードＭＡ，ＭＢ，ＭＣ）を有している。撮像制御部１８は、制御信号Ｓctlに含まれるズーム倍率についての情報に基づいて、３つの撮像モードＭＡ～ＭＣのうちの１つを選択する。具体的には、撮像制御部１８は、図１３において示したように、ズーム倍率が２未満である場合には撮像モードＭＡを選択し、ズーム倍率が２以上３未満である場合には撮像モードＭＢを選択し、ズーム倍率が３以上である場合には撮像モードＭＣを選択する。
　撮像モードＭＡでは、図１４（Ａ）に示したように、撮像装置１は、複数の単位ユニットＵのそれぞれにおいて、４つの画素値Ｖ（画素値ＶＲ，ＶＧｒ，ＶＧｂ，ＶＢ）を得る。具体的な動作については、後述する。このように、撮像装置１は、３６個の受光画素Ｐに対して４個の割合で、画素値Ｖを生成することにより、画像データＤＰを生成する。画素アレイ１１における受光画素Ｐの数が１０８［Ｍpix］である場合には、１２［Ｍpix］分の画素値Ｖが算出される。これにより、図１３に示したように、有効画素数は、１２［Ｍpix］となる。
　図１３に示したように、この撮像モードＭＡにおいて、ズーム倍率を１から増やすと、倍率に応じて、有効画素数が低下していく。そして、ズーム倍率が２になると、撮像モードＭは撮像モードＭＢになる。
　撮像モードＭＢでは、図１４（Ｂ）に示したように、撮像装置１は、複数の単位ユニットＵのそれぞれにおいて、１６個の画素値Ｖを得る。具体的な動作については、後述する。このように、撮像装置１は、３６個の受光画素Ｐに対して１６個の割合で、画素値Ｖを生成することにより、画像データＤＰを生成する。画素アレイ１１における受光画素Ｐの数が１０８［Ｍpix］である場合には、４８［Ｍpix］分の画素値Ｖが算出される。実際には、ズーム倍率が２倍であるので、図１４（Ｂ）に示したように撮像範囲が１／４に狭くなるため、有効画素数は１２［Ｍpix］（＝４８［Ｍpix］／４）となる。
　図１３に示したように、この撮像モードＭＢにおいて、ズーム倍率を２から増やすと、倍率に応じて、有効画素数が低下していく。そして、ズーム倍率が３になると、撮像モードＭは撮像モードＭＣになる。
　撮像モードＭＣでは、図１４（Ｃ）に示したように、撮像装置１は、複数の単位ユニットＵのそれぞれにおいて、３６個の画素値Ｖを得る。具体的な動作については、後述する。このように、撮像装置１は、３６個の受光画素Ｐに対して３６個の割合で、画素値Ｖを生成することにより、画像データＤＰを生成する。画素アレイ１１における受光画素Ｐの数が１０８［Ｍpix］である場合には、１０８［Ｍpix］の撮像画像を得ることができる。実際には、ズーム倍率が３倍であるので、図１４（Ｃ）に示したように撮像範囲が１／９に狭くなるため、有効画素数は１２［Ｍpix］（＝１０８［Ｍpix］／９）となる。
　このように、撮像装置１では、３つの撮像モードＭを設けるようにしたので、ズーム倍率を変更した場合における、撮像画像の画質の変化を低減することができる。すなわち、例えば、撮像モードＭＢを省いて２つの撮像モードＭＡ，ＭＣを設け、ズーム倍率が２倍未満である場合に撮像モードＭＡを選択するとともに、ズーム倍率が２倍以上である場合に撮像モードＭＣを選択した場合には、図１３において破線で示したように、有効画素数が大きく変化する。すなわち、この例では、ズーム倍率が２倍である場合には、撮像モードＭＣが選択され、有効画素数は２７［Ｍpix］（＝１０８［Ｍpix］／４）である。よって、ズーム倍率が例えば１．９倍である場合における有効画素数と、ズーム倍率が２倍である場合における有効画素数に大きな差が生じるので、ズーム倍率が２倍前後において、撮像画像の画質が大きく変化する可能性がある。一方、撮像装置１では、３つの撮像モードＭを設けるようにしたので、ズーム倍率を変更した場合における、有効画素数の変化を低減することができるので、撮像画像の画質の変化を抑えることができる。
（撮像モードＭＡ）
　図１５は、撮像モードＭＡにおける撮像装置１の一動作例を表すものである。図１５において、“〇”で示した受光画素Ｐは、読出動作の対象となる受光画素Ｐを示す。
　まず、撮像装置１は、図１５（Ａ）に示したように、複数の画素ブロック１００のそれぞれにおいて、レンズ１０１が設けられた画素ペア９０における左の受光画素Ｐの受光量に応じた画素値Ｖを算出することにより、画像データＤＴ１を生成する。具体的には、撮像装置１は、画素ブロック１００Ｇｒの１０個の受光画素ＰＧｒのうちの、５つの画素ペア９０における左に配置された５つの受光画素ＰＧｒを読出動作の対象とすることにより、この５つの受光画素ＰＧｒの重心位置における画素値ＶＧｒ１を算出する。また、撮像装置１は、画素ブロック１００Ｒの８個の受光画素ＰＲのうちの、４つの画素ペア９０における左に配置された４つの受光画素ＰＲを読出動作の対象とすることにより、この４つの受光画素ＰＲの重心位置における画素値ＶＲ１を算出する。撮像装置１は、画素ブロック１００Ｂの８個の受光画素ＰＢのうちの、４つの画素ペア９０における左に配置された４つの受光画素ＰＢを読出動作の対象とすることにより、この４つの受光画素ＰＢの重心位置における画素値ＶＢ１を算出する。撮像装置１は、画素ブロック１００Ｇｂの１０個の受光画素ＰＧｂのうちの、５つの画素ペア９０における左に配置された５つの受光画素ＰＧｂを読出動作の対象とすることにより、この５つの受光画素ＰＧｂの重心位置における画素値ＶＧｂ１を算出する。このようにして、撮像装置１は、画素値ＶＧｒ１，ＶＲ１，ＶＢ１，ＶＧｂ１を含む画像データＤＴ１（図１５（Ａ））を生成する。
　次に、撮像装置１は、図１５（Ｂ）に示したように、複数の画素ブロック１００のそれぞれにおいて、全ての受光画素Ｐの受光量に応じた画素値Ｖを算出することにより、画像データＤＴ２を生成する。具体的には、撮像装置１は、画素ブロック１００Ｇｒの１０個の受光画素ＰＧｒを読出動作の対象とすることにより、この１０個の受光画素ＰＧｒの重心位置における画素値ＶＧｒ２を算出する。また、撮像装置１は、画素ブロック１００Ｒの８個の受光画素ＰＲを読出動作の対象とすることにより、この８個の受光画素ＰＲの重心位置における画素値ＶＲ２を算出する。撮像装置１は、画素ブロック１００Ｂの８個の受光画素ＰＢを読出動作の対象とすることにより、この８個の受光画素ＰＢの重心位置における画素値ＶＢ２を算出する。撮像装置１は、画素ブロック１００Ｇｂの１０個の受光画素ＰＧｂを読出動作の対象とすることにより、この１０個の受光画素ＰＧｂの重心位置における画素値ＶＧｂ２を算出する。このようにして、撮像装置１は、画素値ＶＧｒ２，ＶＲ２，ＶＢ２，ＶＧｂ２を含む画像データＤＴ２（図１５（Ｂ））を生成する。
　以下に、ある画素ブロック１００Ｇｒに着目して、この画素ブロック１００Ｇｒにおける１０個の受光画素ＰＧｒに対する読出動作について説明する。
　図１６は、読出動作の一例を表すものであり、（Ａ）は制御信号ＳＳＥＬの波形を示し、（Ｂ）は制御信号ＳＲＳＴの波形を示し、（Ｃ）は画素ペア９０における左に配置された受光画素ＰＧｒに供給される制御信号ＳＴＲＧ（制御信号ＳＴＲＧＬ）の波形を示し、（Ｄ）は画素ペア９０における右に配置された受光画素ＰＧｒに供給される制御信号ＳＴＲＧ（制御信号ＳＴＲＧＲ）の波形を示し、（Ｅ）は制御信号ＡＺの波形を示し、（Ｆ）は参照信号ＲＡＭＰの波形を示し、（Ｇ）は信号ＳＩＧの波形を示し、（Ｈ）は信号ＣＰの波形を示す。図１６（Ｆ），（Ｇ）では、参照信号ＲＡＭＰおよび信号ＳＩＧの波形を、同じ電圧軸を用いて示している。また、この説明では、図１６（Ｆ）に示した参照信号ＲＡＭＰの波形は、容量素子２３を介して比較回路２４の入力端子に供給された電圧の波形であり、図１６（Ｇ）に示した信号ＳＩＧの波形は、容量素子２２を介して比較回路２４の入力端子に供給された電圧の波形である。
　まず、タイミングｔ１１において、水平期間Ｈが開始する。これにより、駆動部１２は、制御信号ＳＳＥＬの電圧を低レベルから高レベルに変化させる（図１６（Ａ））。これにより、画素ブロック１００Ｇｒでは、トランジスタＳＥＬがオン状態になり、画素ブロック１００Ｇｒが信号線ＶＳＬと電気的に接続される。また、このタイミングｔ１１において、駆動部１２は、制御信号ＳＲＳＴの電圧を低レベルから高レベルに変化させる（図１６（Ｂ））。これにより、画素ブロック１００Ｇｒでは、トランジスタＲＳＴがオン状態になり、フローティングディフュージョンＦＤの電圧が電源電圧ＶＤＤに設定される（リセット動作）。そして、画素ブロック１００Ｇｒは、このときのフローティングディフュージョンＦＤの電圧に対応する電圧を出力する。また、このタイミングｔ１１において、撮像制御部１８は、制御信号ＡＺの電圧を低レベルから高レベルに変化させる（図１６（Ｅ））。これにより、ＡＤ変換部ＡＤＣの比較回路２４は、容量素子２２，２３の電圧を設定することにより動作点を設定する。このようにして、信号ＳＩＧの電圧がリセット電圧Ｖresetに設定され、参照信号ＲＡＭＰの電圧が、信号ＳＩＧの電圧（リセット電圧
Ｖreset）と同じ電圧に設定される（図１６（Ｆ），（Ｇ））。
　そして、タイミングｔ１１から所定の時間が経過したタイミングにおいて、駆動部１２は、制御信号ＳＲＳＴの電圧を高レベルから低レベルに変化させる（図１６（Ｂ））。これにより、画素ブロック１００Ｇｒにおいて、トランジスタＲＳＴはオフ状態になり、リセット動作は終了する。
　次に、タイミングｔ１２において、撮像制御部１８は、制御信号ＡＺの電圧を高レベルから低レベルに変化させる（図１６（Ｅ））。これにより、比較回路２４は、動作点の設定を終了する。
　また、このタイミングｔ１２において、参照信号生成部１３は、参照信号ＲＡＭＰの電圧を電圧Ｖ１にする（図１６（Ｆ））。これにより、参照信号ＲＡＭＰの電圧が信号ＳＩＧの電圧より高くなるので、比較回路２４は、信号ＣＰの電圧を低レベルから高レベルに変化させる（図１６（Ｈ））。
　そして、タイミングｔ１３～ｔ１５の期間（Ｐ相期間ＴＰ）において、ＡＤ変換部ＡＤＣは、信号ＳＩＧに基づいてＡＤ変換を行う。具体的には、まず、タイミングｔ１３において、参照信号生成部１３は、参照信号ＲＡＭＰの電圧を電圧Ｖ１から所定の変化度合いで低下させ始める（図１６（Ｆ））。また、このタイミングｔ１３において、撮像制御部１８は、クロック信号ＣＬＫの生成を開始する。ＡＤ変換部ＡＤＣのカウンタ２５は、カウント動作を行うことにより、このクロック信号ＣＬＫのパルスをカウントする。
　そして、タイミングｔ１４において、参照信号ＲＡＭＰの電圧が信号ＳＩＧの電圧（リセット電圧Ｖreset）を下回る（図１６（Ｆ），（Ｇ））。これにより、ＡＤ変換部ＡＤ
Ｃの比較回路２４は、信号ＣＰの電圧を高レベルから低レベルに変化させる（図１６（Ｈ））。ＡＤ変換部ＡＤＣのカウンタ２５は、この信号ＣＰの遷移に基づいて、カウント動作を停止する。このときのカウンタ２５のカウント値（カウント値ＣＮＴＰ）は、リセット電圧Ｖresetに応じた値である。ラッチ２６は、このカウント値ＣＮＴＰを保持する。
そして、カウンタ２５は、カウント値をリセットする。
　次に、タイミングｔ１５において、撮像制御部１８は、Ｐ相期間ＴＰの終了に伴い、クロック信号ＣＬＫの生成を停止する。また、参照信号生成部１３は、このタイミングｔ１５において、参照信号ＲＡＭＰの電圧の変化を停止させる（図１６（Ｆ））。そして、このタイミングｔ１５以降の期間において、読出部２０は、ラッチ２６に保持されたカウント値ＣＮＴＰを、画像信号Ｓpic0として、信号処理部１５に供給する。
　次に、タイミングｔ１６において、撮像制御部１８は、参照信号ＲＡＭＰの電圧を電圧Ｖ１に設定する（図１６（Ｆ））。これにより、参照信号ＲＡＭＰの電圧が信号ＳＩＧの電圧（リセット電圧Ｖreset）より高くなるので、比較回路２４は、信号ＣＰの電圧を低レベルから高レベルに変化させる（図１６（Ｈ））。
　次に、タイミングｔ１７において、駆動部１２は、制御信号ＳＴＲＧＬの電圧を低レベルから高レベルに変化させる（図１６（Ｃ））。これにより、画素ペア９０における左に配置された５つの受光画素ＰＧｒでは、トランジスタＴＲＧがオン状態になり、フォトダイオードＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される（電荷転送動作）。そして、画素ブロック１００Ｇｒは、このときのフローティングディフュージョンＦＤの電圧に対応する電圧を出力する。このようにして、信号ＳＩＧの電圧が画素電圧Ｖpix1になる（図１６（Ｇ））。
　そして、このタイミングｔ１７から所定の時間が経過したタイミングにおいて、駆動部１２は、制御信号ＳＴＲＧＬの電圧を高レベルから低レベルに変化させる（図１６（Ｃ））。これにより、画素ペア９０の左に配置された５つの受光画素ＰＧｒにおいて、トランジスタＴＲＧはオフ状態になり、電荷転送動作は終了する。
　そして、タイミングｔ１８～ｔ２０の期間（Ｄ相期間ＴＤ１）において、ＡＤ変換部ＡＤＣは、信号ＳＩＧに基づいてＡＤ変換を行う。具体的には、まず、タイミングｔ１８において、参照信号生成部１３は、参照信号ＲＡＭＰの電圧を電圧Ｖ１から所定の変化度合いで低下させ始める（図１６（Ｆ））。また、このタイミングｔ１８において、撮像制御部１８は、クロック信号ＣＬＫの生成を開始する。ＡＤ変換部ＡＤＣのカウンタ２５は、カウント動作を行うことにより、このクロック信号ＣＬＫのパルスをカウントする。
　そして、タイミングｔ１９において、参照信号ＲＡＭＰの電圧が信号ＳＩＧの電圧（画素電圧Ｖpix1）を下回る（図１６（Ｆ），（Ｇ））。これにより、ＡＤ変換部ＡＤＣの比較回路２４は、信号ＣＰの電圧を高レベルから低レベルに変化させる（図１６（Ｈ））。ＡＤ変換部ＡＤＣのカウンタ２５は、この信号ＣＰの遷移に基づいて、カウント動作を停止する。このときのカウンタ２５のカウント値（カウント値ＣＮＴＤ１）は、画素電圧Ｖpix1に応じた値である。ラッチ２６は、このカウント値ＣＮＴＤ１を保持する。そして、カウンタ２５は、カウント値をリセットする。
　次に、タイミングｔ２０において、撮像制御部１８は、Ｄ相期間ＴＤ１の終了に伴い、クロック信号ＣＬＫの生成を停止する。また、参照信号生成部１３は、このタイミングｔ２０において、参照信号ＲＡＭＰの電圧の変化を停止させる（図１６（Ｆ））。そして、このタイミングｔ２０以降の期間において、読出部２０は、ラッチ２６に保持されたカウント値ＣＮＴＤ１を、画像信号Ｓpic0として、信号処理部１５に供給する。
　次に、タイミングｔ２１において、撮像制御部１８は、参照信号ＲＡＭＰの電圧を電圧Ｖ１に設定する（図１６（Ｆ））。これにより、参照信号ＲＡＭＰの電圧が信号ＳＩＧの電圧（画素電圧Ｖpix1）より高くなるので、比較回路２４は、信号ＣＰの電圧を低レベルから高レベルに変化させる（図１６（Ｈ））。
　次に、タイミングｔ２２において、駆動部１２は、制御信号ＳＴＲＧＬ，ＳＴＲＧＲの電圧を低レベルから高レベルにそれぞれ変化させる（図１６（Ｃ），（Ｄ））。これにより、画素ブロック１００Ｇｒにおける１０個の受光画素ＰＧｒでは、トランジスタＴＲＧがオン状態になり、フォトダイオードＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される（電荷転送動作）。そして、画素ブロック１００Ｇｒは、このときのフローティングディフュージョンＦＤの電圧に対応する電圧を出力する。このようにし
て、信号ＳＩＧの電圧が画素電圧Ｖpix2になる（図１６（Ｇ））。
　そして、このタイミングｔ２２から所定の時間が経過したタイミングにおいて、駆動部１２は、制御信号ＳＴＲＧＬ，ＳＴＲＧＲの電圧を高レベルから低レベルにそれぞれ変化させる（図１６（Ｃ），（Ｄ））。これにより、１０個の受光画素ＰＧｒにおいて、トランジスタＴＲＧはオフ状態になり、電荷転送動作は終了する。
　そして、タイミングｔ２３～ｔ２５の期間（Ｄ相期間ＴＤ２）において、ＡＤ変換部ＡＤＣは、信号ＳＩＧに基づいてＡＤ変換を行う。具体的には、まず、タイミングｔ２３において、参照信号生成部１３は、参照信号ＲＡＭＰの電圧を電圧Ｖ１から所定の変化度合いで低下させ始める（図１６（Ｆ））。また、このタイミングｔ２３において、撮像制御部１８は、クロック信号ＣＬＫの生成を開始する。ＡＤ変換部ＡＤＣのカウンタ２５は、カウント動作を行うことにより、このクロック信号ＣＬＫのパルスをカウントする。
　そして、タイミングｔ２４において、参照信号ＲＡＭＰの電圧が信号ＳＩＧの電圧（画素電圧Ｖpix2）を下回る（図１６（Ｆ），（Ｇ））。これにより、ＡＤ変換部ＡＤＣの比較回路２４は、信号ＣＰの電圧を高レベルから低レベルに変化させる（図１６（Ｈ））。ＡＤ変換部ＡＤＣのカウンタ２５は、この信号ＣＰの遷移に基づいて、カウント動作を停止する。このときのカウンタ２５のカウント値（カウント値ＣＮＴＤ２）は、画素電圧Ｖpix2に応じた値である。ラッチ２６は、このカウント値ＣＮＴＤ２を保持する。そして、カウンタ２５は、カウント値をリセットする。
　次に、タイミングｔ２５において、撮像制御部１８は、Ｄ相期間ＴＤ２の終了に伴い、クロック信号ＣＬＫの生成を停止する。また、参照信号生成部１３は、このタイミングｔ２５において、参照信号ＲＡＭＰの電圧の変化を停止させる（図１６（Ｆ））。そして、このタイミングｔ２５以降の期間において、読出部２０は、ラッチ２６に保持されたカウント値ＣＮＴＤ２を、画像信号Ｓpic0として、信号処理部１５に供給する。
　次に、タイミングｔ２６において、駆動部１２は、制御信号ＳＳＥＬの電圧を高レベルから低レベルに変化させる（図１６（Ａ））。これにより、画素ブロック１００Ｇｒでは、トランジスタＳＥＬがオフ状態になり、画素ブロック１００Ｇｒが信号線ＶＳＬから電気的に切り離される。
　このようにして、読出部２０は、カウント値ＣＮＴＰ，ＣＮＴＤ１，ＣＮＴＤ２を含む画像信号Ｓpic0を信号処理部１５に供給する。信号処理部１５は、例えば画像信号Ｓpic0に含まれるカウント値ＣＮＴＰ，ＣＮＴＤ１，ＣＮＴＤ２に基づいて、相関２重サンプリングの原理を利用して、図１５（Ａ）に示した画素値ＶＧｒ１、および図１５（Ｂ）に示した画素値ＶＧｒ２を生成する。具体的には、信号処理部１５は、例えば、カウント値ＣＮＴＤ１からカウント値ＣＮＴＰを減算することにより、画素値ＶＧｒ１を生成する。カウント値ＣＮＴＤ１は、画素ブロック１００Ｇｒの５つの画素ペア９０における左に配置された５つの受光画素ＰＧｒでの受光量の和に応じた値であるので、信号処理部１５は、このカウント値ＣＮＴＤ１に基づいて、図１５（Ａ）に示した画素値ＶＧｒ１を生成することができる。同様に、信号処理部１５は、例えば、カウント値ＣＮＴＤ２からカウント値ＣＮＴＰを減算することにより、画素値ＶＧｒ２を生成する。カウント値ＣＮＴＤ２は、画素ブロック１００Ｇｒの１０個の受光画素ＰＧｒでの受光量の和に応じた値であるので、信号処理部１５は、このカウント値ＣＮＴＤ２に基づいて、図１５（Ｂ）に示した画素値ＶＧｒ２を生成することができる。
　以上、画素ブロック１００Ｇｒについて説明したが、画素ブロック１００Ｒ，１００Ｇｂ，１００Ｂについても同様である。このようにして、信号処理部１５は、図１５に示したように、画素値ＶＲ１，ＶＧｒ１，ＶＧｂ１，ＶＢ１を含む画像データＤＴ１、および画素値ＶＲ２，ＶＧｒ２，ＶＧｂ２，ＶＢ２を含む画像データＤＴ２を生成する。
　図１７は、撮像モードＭＡにおける、信号処理部１５の画像処理の一例を表すものである。
　まず、信号処理部１５は、画像データＤＴ１，ＤＴ２に基づいて、減算処理を行うことにより、画像データＤＴ３を生成する。
　具体的には、信号処理部１５は、画像データＤＴ２における画素値ＶＧｒ２から、画像データＤＴ１における画素値ＶＧｒ１を減算することにより、画素値ＶＧｒ３を算出する。この画素値ＶＧｒ３は、画素ブロック１００Ｇｒの５つの画素ペア９０における右に配置された５つの受光画素ＰＧｒでの受光量の和に応じた値である。すなわち、画素値ＶＧｒ１は、画素ブロック１００Ｇｒの５つの画素ペア９０における左に配置された５つの受光画素ＰＧｒでの受光量の和に応じた値であり、画素値ＶＧｒ２は、この画素ブロック１００Ｇｒの１０個の受光画素ＰＧｒでの受光量の和に応じた値である。よって、画素値ＶＧｒ２から画素値ＶＧｒ１を減算することにより、画素ブロック１００Ｇｒの５つの画素ペア９０における右に配置された５つの受光画素ＰＧｒでの受光量の和に応じた値が得られる。このように、画素値ＶＧｒ３は、５つの画素ペア９０における右に配置された５つの受光画素ＰＧｒでの受光量の和に応じた値であるので、図１７に示したように、画素値ＶＧｒ３は、これらの５つの受光画素ＰＧｒの重心位置に配置される。
　同様に、信号処理部１５は、画像データＤＴ２における画素値ＶＲ２から、画像データＤＴ１における画素値ＶＲ１を減算することにより、画素値ＶＲ３を算出する。この画素値ＶＲ３は、画素ブロック１００Ｒの４つの画素ペア９０における右に配置された４つの受光画素ＰＲでの受光量の和に応じた値である。画素値ＶＲ３は、画素ブロック１００Ｒの４つの画素ペア９０における右に配置された４つの受光画素ＰＲの重心位置に配置される。
　信号処理部１５は、画像データＤＴ２における画素値ＶＢ２から、画像データＤＴ１における画素値ＶＢ１を減算することにより、画素値ＶＢ３を算出する。この画素値ＶＢ３は、画素ブロック１００Ｂの４つの画素ペア９０における右に配置された４つの受光画素ＰＢでの受光量の和に応じた値である。画素値ＶＢ３は、画素ブロック１００Ｂの４つの画素ペア９０における右に配置された４つの受光画素ＰＢの重心位置に配置される。
　信号処理部１５は、画像データＤＴ２における画素値ＶＧｂ２から、画像データＤＴ１における画素値ＶＧｂ１を減算することにより、画素値ＶＧｂ３を算出する。この画素値ＶＧｂ３は、画素ブロック１００Ｇｂの５つの画素ペア９０における右に配置された５つの受光画素ＰＧｂでの受光量の和に応じた値である。画素値ＶＧｂ３は、画素ブロック１００Ｇｂの５つの画素ペア９０における右に配置された５つの受光画素ＰＧｂの重心位置に配置される。
　そして、信号処理部１５の画像データ生成部１６は、画像データＤＴ２に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰ（図１４（Ａ））を生成する。
　また、信号処理部１５の位相差データ生成部１７は、画像データＤＴ１，ＤＴ３に基づいて、所定の画像処理を行うことにより、像面位相差を示す位相差データＤＦを生成する。すなわち、画像データＤＴ１は、複数の画素ペア９０における左に配置された受光画素Ｐでの画素値Ｖを有し、画像データＤＴ３は、複数の画素ペア９０における右に配置された受光画素Ｐでの画素値Ｖを有する。よって、位相差データ生成部１７は、画像データＤＴ１，ＤＴ３に基づいて、位相差データＤＦを生成することができる。
　撮像装置１では、図２に示したように、画素アレイ１１において、レンズ１０１がＸ方向およびＹ方向に並設されているので、画素アレイ１１の全面にわたり、高い解像度で位相差データＤＦを生成することができる。よって、例えば、このような撮像装置１が搭載されたカメラでは、精度が高いオートフォーカスを実現することができ、その結果、画質を高めることができる。
（撮像モードＭＢ）
　図１８は、撮像モードＭＢにおける撮像装置１の一動作例を表すものである。図１９は、図１８に示した動作をより具体的に表すものである。図１８，１９において、“〇”で示した受光画素Ｐは、読出動作の対象となる受光画素Ｐを示す。
　画素ブロック１００Ｇｒでは、図１９（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｇｒの５つの画素ペア９０のうちの１つの画素ペア９０における左に配置された受光画素ＰＧｒを読出動作の対象とし、この受光画素ＰＧｒの位置における画素値ＶＧｒ１を算出する。そして、次に、図１９（Ｂ）に示したように、撮像装置１は、その画素ペア９０における２つの受光画素ＰＧｒを読出動作の対象とし、この２つの受光画素ＰＧｒの重心位置における画素値ＶＧｒ２を算出する。
　同様に、画素ブロック１００Ｒでは、図１９（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｒの４つの画素ペア９０のうちの１つの画素ペア９０における左に配置された受光画素ＰＲを読出動作の対象とし、この受光画素ＰＲの位置における画素値ＶＲ１を算出する。そして、次に、図１９（Ｂ）に示したように、撮像装置１は、その画素ペア９０における２つの受光画素ＰＲを読出動作の対象とし、この２つの受光画素ＰＲの重心位置における画素値ＶＲ２を算出する。
　同様に、画素ブロック１００Ｂでは、図１９（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｂの４つの画素ペア９０のうちの１つの画素ペア９０における左に配置された受光画素ＰＢを読出動作の対象とし、この受光画素ＰＢの位置における画素値ＶＢ１を算出する。そして、次に、図１９（Ｂ）に示したように、撮像装置１は、その画素ペア９０における２つの受光画素ＰＢを読出動作の対象とし、この２つの受光画素ＰＢの重心位置における画素値ＶＢ２を算出する。
　同様に、画素ブロック１００Ｇｂでは、図１９（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｇｂの５つの画素ペア９０のうちの１つの画素ペア９０における左に配置された受光画素ＰＧｂを読出動作の対象とし、この受光画素ＰＧｂの位置における画素値ＶＧｂ１を算出する。そして、次に、図１９（Ｂ）に示したように、撮像装置１は、その画素ペア９０における２つの受光画素ＰＧｂを読出動作の対象とし、この２つの受光画素ＰＧｂの重心位置における画素値ＶＧｂ２を算出する。
　この図１９（Ａ），（Ｂ）における読出動作は、上述した撮像モードＭＡにおける読出動作（図１６）と同様の動作である。撮像装置１は、その後、図１９（Ｃ），（Ｄ）の動
作、図１９（Ｅ），（Ｆ）の動作、図１９（Ｇ），（Ｈ）の動作、図１９（Ｉ），（Ｊ）の動作、図１９（Ｋ），（Ｌ）の動作を行う。このようにして、撮像装置１は、画素値ＶＧｒ１，ＶＲ１，ＶＢ１，ＶＧｂ１を含む画像データＤＴ１（図１８（Ａ））、および画素値ＶＧｒ２，ＶＲ２，ＶＢ２，ＶＧｂ２を含む画像データＤＴ２（図１８（Ｂ））を生成する。
　図２０は、撮像モードＭＢにおける、信号処理部１５の画像処理の一例を表すものである。
　まず、信号処理部１５は、画像データＤＴ１，ＤＴ２に基づいて、減算処理を行うことにより、画像データＤＴ３を生成する。
　具体的には、信号処理部１５は、画像データＤＴ２における５つの画素値ＶＧｒ２から、画像データＤＴ１における５つの画素値ＶＧｒ１をそれぞれ減算することにより、５つの画素値ＶＧｒ３を算出する。この画素値ＶＧｒ３は、画素ブロック１００Ｇｒの画素ペア９０における右に配置された受光画素ＰＧｒでの受光量に応じた値である。すなわち、画素値ＶＧｒ１は、画素ブロック１００Ｇｒの画素ペア９０における左に配置された受光画素ＰＧｒでの受光量に応じた値であり、画素値ＶＧｒ２は、この画素ペア９０における２つの受光画素ＰＧｒでの受光量の和に応じた値である。よって、画素値ＶＧｒ２から画素値ＶＧｒ１を減算することにより、画素ブロック１００Ｇｒの画素ペア９０における右に配置された受光画素ＰＧｒでの受光量に応じた値が得られる。このように、画素値ＶＧｒ３は、画素ペア９０における右に配置された受光画素ＰＧｒでの受光量に応じた値であるので、図２０に示したように、画素値ＶＧｒ３は、画素ペア９０における右に配置された受光画素ＰＧｒの位置に配置される。
　同様に、信号処理部１５は、画像データＤＴ２における４つの画素値ＶＲ２から、画像データＤＴ１における４つの画素値ＶＲ１をそれぞれ減算することにより、４つの画素値ＶＲ３を算出する。この画素値ＶＲ３は、画素ブロック１００Ｒの画素ペア９０における右に配置された受光画素ＰＲでの受光量に応じた値である。この画素値ＶＲ３は、この画素ペア９０における右に配置された受光画素ＰＲの位置に配置される。
　信号処理部１５は、画像データＤＴ２における４つの画素値ＶＢ２から、画像データＤＴ１における４つの画素値ＶＢ１をそれぞれ減算することにより、４つの画素値ＶＢ３を算出する。この画素値ＶＢ３は、画素ブロック１００Ｂの画素ペア９０における右に配置された受光画素ＰＢでの受光量に応じた値である。この画素値ＶＢ３は、この画素ペア９０における右に配置された４つの受光画素ＰＢの位置に配置される。
　信号処理部１５は、画像データＤＴ２における５つの画素値ＶＧｂ２から、画像データＤＴ１における５つの画素値ＶＧｂ１をそれぞれ減算することにより、５つの画素値ＶＧｂ３を算出する。この画素値ＶＧｂ３は、画素ブロック１００Ｇｂの画素ペア９０における右に配置された受光画素ＰＧｂでの受光量に応じた値である。この画素値ＶＧｂ３は、この画素ペア９０における右に配置された受光画素ＰＧｂの位置に配置される。
　そして、信号処理部１５の画像データ生成部１６は、図２０に示したように、画像データＤＴ２に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰ（図１４（Ｂ））を生成する。この所定の画像処理は、画素値Ｖの修正を行うとともに画素値Ｖの再配置を行うリモザイク処理を含む。
　図２１は、撮像モードＭ２におけるリモザイク処理の一例を表すものであり、（Ａ）は画像データＤＴ２を示し、（Ｂ）はリモザイク処理の前後の画素値Ｖの位置を示し、（Ｃ）は画像データＤＴ２に基づいてリモザイク処理により生成された画像データＤＴ４を示す。図２１（Ｂ）において、“〇”は、画像データＤＴ２における画素値Ｖの位置を示し、“□”は、画像データＤＴ４における画素値Ｖの位置を示している。
　図２２Ａは、画素ブロック１００Ｒについてのリモザイク処理を表すものであり、図２２Ｂは、画素ブロック１００Ｇｒ，１００Ｇｂについてのリモザイク処理を表すものであり、図２２Ｃは、画素ブロック１００Ｂについてもリモザイク処理を表すものである。図２２Ａ～１８Ｃにおいて、（Ａ）は画像データＤＴ２を示し、（Ｂ）はリモザイク処理により生成された画像データＤＴ４を示す。
　画像データＤＴ２では、図２１（Ａ）に示したように、３６個の受光画素Ｐに対して１８個の割合で画素値Ｖを含む。例えば、画素アレイ１１における受光画素Ｐの数が１０８［Ｍpix］である場合には、画像データＤＴ２は、５４［Ｍpix］分の画素値Ｖを含む。一方、画像データＤＴ４では、図２１（Ｃ）に示したように、３６個の受光画素Ｐに対して１６個の割合で画素値Ｖを含む。例えば、画素アレイ１１における受光画素Ｐの数が１０８［Ｍpix］である場合には、画像データＤＴ４は、４８［Ｍpix］分の画素値Ｖを含む。また、画像データＤＴ４では、４つの画素値ＶＧｒ４，ＶＲ４，ＶＢ４，ＶＧｂ４がベイヤー配列により配列される。画像データ生成部１６は、画像データＤＴ２における画素値Ｖの修正を行うとともに画素値Ｖの再配置を行うことにより、このような画像データＤＴ４を生成する。
　具体的には、画像データ生成部１６は、図２２Ａに示したように、画像データＤＴ２における複数の画素値ＶＲ２に基づいて、例えば、補完処理を行うことにより、一面にわたる画素値Ｖを算出し、その一面にわたる画素値Ｖに基づいて、画素値ＶＲ４を生成する。同様に、画像データ生成部１６は、図２２Ｂに示したように、画像データＤＴ２における複数の画素値ＶＧｒ２，ＶＧｂ２に基づいて、例えば、補完処理を行うことにより、一面にわたる画素値Ｖを算出し、その一面にわたる画素値Ｖに基づいて、画素値ＶＧｒ４，ＶＧｂ４を生成する。画像データ生成部１６は、図２２Ｃに示したように、画像データＤＴ２における複数の画素値ＶＢ２に基づいて、例えば、補完処理を行うことにより、一面にわたる画素値Ｖを算出し、その一面にわたる画素値Ｖに基づいて、画素値ＶＢ４を生成する。
　このようにして、画像データ生成部１６は、図２１（Ａ）に示した画像データＤＴ２に基づいて、図２１（Ｃ）に示した画像データＤＴ４を生成する。そして、画像データ生成部１６は、この画像データＤＴ４に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰ（図１４（Ｂ））を生成する。
　また、信号処理部１５の位相差データ生成部１７は、図２０に示したように、画像データＤＴ１，ＤＴ３に基づいて、所定の画像処理を行うことにより、像面位相差を示す位相差データＤＦを生成する。すなわち、画像データＤＴ１は、複数の画素ペア９０における左に配置された受光画素Ｐでの画素値Ｖを有し、画像データＤＴ３は、複数の画素ペア９０における右に配置された受光画素Ｐでの画素値Ｖを有する。よって、位相差データ生成部１７は、画像データＤＴ１，ＤＴ３に基づいて、位相差データＤＦを生成することができる。
　位相差データ生成部１７は、画像データ生成部１６と同様に、画像データＤＴ１，ＤＴ３に基づいて、画素値Ｖの再配置を行うことにより、位相差データＤＦを生成する。すなわち、画像データＤＴ１，ＤＴ３では、３６個の受光画素Ｐに対して１８個の割合で、画素ペア９０に係る左右の画素値Ｖを含む。よって、位相差データ生成部１７は、３６個の受光画素Ｐに対して１６個の割合で、画素ペア９０に係る左右の画素値Ｖを含むように、画素値Ｖの再配置を行う。これにより、位相差データ生成部１７は、画像データ生成部１６が生成した画像データＤＰに対応した位相差データＤＦを生成することができる。
（撮像モードＭＣ）
　図２３は、撮像モードＭＣにおける撮像装置１の一動作例を表すものである。図２４は、図２３に示した動作をより具体的に表すものである。図２３，２４において、“〇”で示した受光画素Ｐは、読出動作の対象となる受光画素Ｐを示す。
　画素ブロック１００Ｇｒでは、図２４（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｇｒの１０個の受光画素ＰＧｒのうちの１つの受光画素ＰＧｒを読出動作の対象とし、この受光画素ＰＧｒの位置における画素値ＶＧｒ１を算出する。
　図２５は、読出動作の一例を表すものであり、（Ａ）は制御信号ＳＳＥＬの波形を示し、（Ｂ）は制御信号ＳＲＳＴの波形を示し、（Ｃ）は読出対象である受光画素ＰＧｒに供給される制御信号ＳＴＲＧの波形を示し、（Ｄ）は制御信号ＡＺの波形を示し、（Ｅ）は参照信号ＲＡＭＰの波形を示し、（Ｆ）は信号ＳＩＧの波形を示し、（Ｇ）は信号ＣＰの波形を示す。この読出動作は、撮像モードＭＡ，ＭＢにおける読出動作（図１６）において、タイミングｔ２１～ｔ２６の動作を省いたものである。このようにして、読出部２０は、カウント値ＣＮＴＰ，ＣＮＴＤ１を含む画像信号Ｓpic0を信号処理部１５に供給する。信号処理部１５は、例えば画像信号Ｓpic0に含まれるカウント値ＣＮＴＰ，ＣＮＴＤ１に基づいて、相関２重サンプリングの原理を利用して、画素値ＶＧｒ１を生成する。具体的には、信号処理部１５は、例えば、カウント値ＣＮＴＤ１からカウント値ＣＮＴＰを減算することにより、画素値ＶＧｒ１を生成する。
　同様に、画素ブロック１００Ｒでは、図２４（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｒの８個の受光画素ＰＲのうちの１つの受光画素ＰＲを読出動作の対象とし、この受光画素ＰＲの位置における画素値ＶＲ１を算出する。
　同様に、画素ブロック１００Ｂでは、図２４（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｂの８個の受光画素ＰＢのうちの１つの受光画素ＰＢを読出動作の対象とし、この受光画素ＰＢの位置における画素値ＶＢ１を算出する。
　同様に、画素ブロック１００Ｇｂでは、図２４（Ａ）に示したように、撮像装置１は、画素ブロック１００Ｇｂの１０個の受光画素ＰＧｂのうちの１つの受光画素ＰＧｂを読出動作の対象とし、この受光画素ＰＧｂにおける画素値ＶＧｂ１を算出する。
　撮像装置１は、その後、図２４（Ｂ）～（Ｌ）の動作を行う。このようにして、撮像装置１は、画素値ＶＧｒ１，ＶＲ１，ＶＢ１，ＶＧｂ１を含む画像データＤＴ１（図２３）を生成する。
　図２６は、撮像モードＭＣにおける、信号処理部１５の画像処理の一例を表すものである。
　信号処理部１５の画像データ生成部１６は、画像データＤＴ１に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰ（図１４（Ｃ））を生成する。この所定の画像処理は、画素値Ｖの修正を行うとともに画素値Ｖの再配置を行うリモザイク処理を含む。
　図２７は、撮像モードＭＣにおけるリモザイク処理の一例を表すものであり、（Ａ）は画像データＤＴ１を示し、（Ｂ）はリモザイク処理の前後の画素値Ｖの位置を示し、（Ｃ）は画像データＤＴ１に基づいてリモザイク処理により生成された画像データＤＴ４を示す。図２７（Ｂ）において、“〇”は、画像データＤＴ１における画素値Ｖの位置を示し、“□”は、画像データＤＴ４における画素値Ｖの位置を示している。
　図２８Ａは、画素ブロック１００Ｒについてのリモザイク処理を表すものであり、図２８Ｂは、画素ブロック１００Ｇｒ，１００Ｇｂについてのリモザイク処理を表すものであり、図２８Ｃは、画素ブロック１００Ｂについてもリモザイク処理を表すものである。図２８Ａ～２８Ｃにおいて、（Ａ）は画像データＤＴ１を示し、（Ｂ）はリモザイク処理により生成された画像データＤＴ４を示す。
　画像データＤＴ４では、４つの画素値ＶＧｒ４，ＶＲ４，ＶＢ４，ＶＧｂ４がベイヤー配列により配列される。画像データ生成部１６は、画像データＤＴ１における画素値Ｖの修正を行うとともに画素値Ｖの再配置を行うことにより、このような画像データＤＴ４を生成する。
　具体的には、画像データ生成部１６は、図２８Ａに示したように、画像データＤＴ１における複数の画素値ＶＲ１に基づいて、例えば、補完処理を行うことにより、一面にわたる画素値Ｖを算出し、その一面にわたる画素値Ｖに基づいて、画素値ＶＲ４を生成する。同様に、画像データ生成部１６は、図２８Ｂに示したように、画像データＤＴ１における複数の画素値ＶＧｒ１，ＶＧｂ１に基づいて、例えば、補完処理を行うことにより、一面にわたる画素値Ｖを算出し、その一面にわたる画素値Ｖに基づいて、画素値ＶＧｒ４，ＶＧｂ４を生成する。画像データ生成部１６は、図２８Ｃに示したように、画像データＤＴ１における複数の画素値ＶＢ１に基づいて、例えば、補完処理を行うことにより、一面にわたる画素値Ｖを算出し、その一面にわたる画素値Ｖに基づいて、画素値ＶＢ４を生成する。
　このようにして、画像データ生成部１６は、図２７（Ａ）に示した画像データＤＴ１に基づいて、図２７（Ｃ）に示した画像データＤＴ４を生成する。そして、画像データ生成部１６は、この画像データＤＴ４に基づいて、所定の画像処理を行うことにより、撮像画像を示す画像データＤＰ（図１４（Ｃ））を生成する。
　また、信号処理部１５の位相差データ生成部１７は、図２６に示したように、画像データＤＴ１に基づいて、所定の画像処理を行うことにより、像面位相差を示す位相差データＤＦを生成する。すなわち、画像データＤＴ１は、複数の画素ペア９０における左に配置された受光画素Ｐでの画素値Ｖを有する画像データ（画像データＤＴ１１）と、複数の画素ペア９０における右に配置された受光画素Ｐでの画素値Ｖを有する画像データ（画像データＤＴ１２）とを含む。よって、位相差データ生成部１７は、この画像データＤＴ１（画像データＤＴ１１，ＤＴ１２）に基づいて、位相差データＤＦを生成することができる。
　このように、撮像装置１では、それぞれが、互いに同じ色のカラーフィルタを含む複数の受光画素Ｐを有する複数の画素ブロック１００を設けるようにした。これらの複数の受光画素Ｐは、それぞれが２つの受光画素Ｐを含む複数の画素ペア９０に区分されるようにした。そして、これらの複数の画素ペア９０に対応する位置に複数のレンズ１０１をそれぞれ設けるようにした。これにより、撮像装置１では、画素アレイ１１の全面にわたり、高い解像度で位相差データＤＦを生成することができる。よって、例えば、このような撮像装置１が搭載されたカメラでは、例えば様々なズーム倍率において、精度が高いオートフォーカスを実現することができる。その結果、撮像装置１では、画質を高めることができる。
　また、撮像装置１では、ある画素ブロック１００における複数の受光画素の数が、他のある画素ブロック１００における複数の受光画素の数よりも多くした。具体的には、この例では、画素ブロック１００Ｇｒにおける受光画素ＰＧｒの数、および画素ブロック１００Ｇｂにおける受光画素ＰＧｂの数を、画素ブロック１００Ｒにおける受光画素ＰＲの数、および画素ブロック１００Ｂにおける受光画素ＰＢの数よりも多くした。これにより、例えば、緑色の受光感度を高めることができ、撮像画像の画質を高めることができる。
　また、撮像装置１では、３つの撮像モードＭＡ～ＭＣを設け、撮像モードＭＢ，ＭＣにおいてリモザイク処理を行うようにした。これにより、撮像装置１では、特に撮像モードＭＢにおけるリモザイク処理により、撮像モードＭＢにおける有効画素数が調整され、ズーム倍率を変更した場合における有効画素数の変化を低減することができるので、撮像画像の画質の変化を抑えることができる。
［作用・効果］
　本実施の形態の撮像装置１では、赤色または青色のカラーフィルタ１３１を有し、Ｘ軸方向に隣り合う２つ受光画素Ｐを画素ペア９０として、４個の画素ペア９０からなる画素ブロック１００Ｒ，１００Ｂと、緑色のカラーフィルタ１３１を有し、Ｘ軸方向に隣り合う２つ受光画素Ｐを画素ペア９０として、５個の画素ペア９０からなる画素ブロック１００Ｇｒ，１００Ｇｂとが互いに交差する対角線上に配置されている。Ｘ軸方向に隣り合う画素ブロック１００Ｒと画素ブロック１００Ｇｒおよび画素ブロック１００Ｂと画素ブロック１００Ｇｂは、それぞれ、平面視において互いに嵌合する凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂおよび凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂを有する。そして、これら凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂに配置された受光画素Ｐを含む画素ペア９０には集光力の高いレンズ１０１Ａと、凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂに配置された受光画素Ｐを含む画素ペア９０には、集光力の高いレンズ１０１Ｂを配置するようにした。これにより、補完情報が少なくなる、異なる色のカラーフィルタ１３１との境目に配置された受光画素Ｐを含む画素ペア９０における分離比を低下させ、混色を低減する。以下、これについて説明する。
　図２９は、１つの画素に対して１つのレンズ１０１Ｃが配置された、所謂１×１ＯＣＬ構造を有する撮像装置（Ｂ）に対する入力画像（Ａ）と出力画像（Ｃ）との関係を表したものである。１×１ＯＣＬ構造の撮像装置では、隣り合う画素に明暗のレベル差の大きな信号が入力された場合、レンズ１０１Ｃに入射した光Ｌは、その下方に配置された画素の受光部１１２に集光される。そのため、出力される画像は、入力画像と同じ明暗のレベル差を有する画像となる。
　図３０および図３１は、それぞれ、隣り合う２つの画素に対して１つのレンズ１０１Ａまたはレンズ１０１Ｂが配置された、所謂２×１ＯＣＬ構造を有する撮像装置（Ｂ）に対する入力画像（Ａ）と出力画像（Ｃ）との関係を表したものである。
　集光力が高い、高曲率なレンズ１０１Ａを共有する隣り合う画素に明暗のレベル差の大きな信号が入力された場合、レンズ１０１Ａに入射した光Ｌは、図３０に示したように、半導体基板１１１の裏面１１１Ｓ２の隣り合う２つの画素の境界に集光され、その境界位置に設けられた分離部１１３において屈折され、隣り合う２つの画素に略均等に入射し、それぞれの受光部１１２において光電変換される。そのため、出力される画像は、入力画像とは異なり、混色によって略同じ明暗レベルの画像となる。一方、集光力が低い、低曲率なレンズ１０１Ｂを共有する隣り合う画素に明暗のレベル差の大きな信号が入力された場合、レンズ１０１Ａに入射した光Ｌは、図３１に示したように、半導体基板１１１の内部の隣り合う２つの画素の境界に向かって集光されるため、分離部１１３よってほぼ屈折されることなく、入射位置に対応する画素に入射し、受光部１１２において光電変換される。そのため、出力される画像は、入力画像とほぼ同じ明暗のレベル差を維持した画像となる。
　図３２は、撮像装置１の、例えば、画素ブロック１００Ｒおよび画素ブロック１００Ｇを中心とした方向検出の動作例を表したものである。撮像装置１では、図３２に示したように、隣接する同じ色のカラーフィルタ１３１が配置された受光画素Ｐとの差分から方向を検出する。そのため、混色によって受光画素Ｐの感度に対する信頼性が低下すると方向の検出ができなくなる。特に、異なる色のカラーフィルタ１３１を有する隣接する画素ブロック１００に受光画素Ｐの一部が入り込むような撮像装置１において、この隣接する画素ブロック１００に入り込んだ受光画素Ｐを含む画素ペア９０に集光力が高いレンズ１０１Ａが配置された場合、混色により偽信号が生じても、補完情報が少ないため補正されずに出力される。このように、偽信号を含む画像信号に基づいて出力された画像は、図３３の（Ａ）に示した入力画像に対して（Ｂ）に示した誤つなぎが発生した画像となる。
　これに対して本実施の形態では、隣接する画素ブロック１００に入り込んだ受光画素Ｐを含む画素ペア９０、即ち、凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂに配置された受光画素Ｐを含む画素ペア９０に集光力が低いレンズ１０１Ｂを配置するようにした。これにより、異なる色のカラーフィルタ１３１と接する面が多い受光画素Ｐを含む画素ペア９０に明暗のレベル差の大きな信号が入力されても、画素ペア９０内における混色が低減されるため、図３３（Ｃ）に示したような、明暗のレベル差を維持した誤つなぎのない出力画像が得られるようになる。
　以上により、本実施の形態の撮像装置１では、位相差検出における分離比を確保しつつ混色による画像の乱れを抑制することが可能となる。
　次に、本開示の変形例１～５について説明する。なお、上記実施の形態における撮像装置１の構成要素と同様の構成要素については同一の符号を付し、適宜説明を省略する。
＜２．変形例＞
［２－１．変形例１］
　図３４は、本開示の変形例１に係る撮像装置１Ａの概略断面構造の一例を表したものである。なお、図３４は、図４と同様に、図３に示したＩ－Ｉ’線に対応する断面に対応している。
　上記実施の形態では、曲率が異なるレンズ１０１Ａ，１０１Ｂのレンズ面が略同じ高さを有している例を示したが、これに限定されるものではない。曲率が異なるレンズ１０１Ａ，１０１Ｂは、図３４に示したように、互いに高さの異なるレンズ面を有していてもよく、その場合においても、上記実施の形態と同様の効果を得ることができる。
［２－２．変形例２］
　図３５～図４２は、本開示の変形例２に係る撮像装置（撮像装置１Ｂ～１Ｉ）の画素アレイ１１における受光レンズ（レンズ１０１）のレイアウトの一例を表す模式図である。
　上記実施の形態では、Ｘ軸方向に隣り合う画素ブロック１００Ｒと画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂと画素ブロック１００Ｂそれぞれが、互いに集光力が異なるレンズ１０１Ａ，１０１Ｂを有する例を示したが、これに限定されるものではない。
　例えば、複数のレンズ１０１として、レンズ１０１Ａ，１０１Ｂの他に、レンズ１０１Ａとレンズ１０１Ｂとの間の集光力を有するレンズ１０１Ｄを用いるようにしてもよい。具体的には、例えば図３５に示した撮像装置１Ｂのように、受光画素Ｐが多く、補完材料になりやすい画素ブロック１００Ｇｒ，１００Ｇｂにのみレンズ１０１Ａ，１０１Ｂを作り分け、画素ブロック１００Ｒ，１００Ｂにはレンズ１０１Ｄを配置するようにしてもよい。例えば図３６に示した撮像装置１Ｃのように、分離比を優先して画素ブロック１００Ｇｒ，１００Ｇｂにはレンズ１０１Ｄを配置し、画素ブロック１００Ｒ，１００Ｂにのみレンズ１０１Ａ，１０１Ｂを作り分けるようにしてもよい。また、例えば図３７に示した撮像装置１Ｄように、例えば画素ブロック１００Ｇｒ，１００Ｇｂに設けられたレンズ１０１Ｂの一部をレンズ１０１Ｄに置き換えてもよい。
　このように、レンズ１０１Ａとレンズ１０１Ｂとの間の集光力を有するレンズ１０１Ｄをさらに組み合わせることにより、位相差検出における分離比と混色による画像の乱れの抑制とを所望のバランスに調整することができる。
　また、上記実施の形態では、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｂ，１００Ｇｂを構成する全ての受光画素Ｐに対して、隣り合う２つの受光画素Ｐに対応するレンズ１０１を配置し、そのレンズ１０１の曲率を変えることで上記効果を得る例を示したが、これに限定されるものではない。
　例えば図３８に示した撮像装置１Ｅのように、Ｘ軸方向に隣り合う画素ブロック１００Ｒと画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂと画素ブロック１００Ｂの、それぞれの凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂの受光画素Ｐには１×１ＯＣＬ構造となる１つのレンズ１０１Ｅを配置し、その他の隣り合う２つの受光画素Ｐを画素ペア９０としてレンズ１０１Ａを配置するようにしてもよい。例えば図３９および図４０に示した撮像装置１Ｆ，１Ｇのように、Ｘ軸方向に隣り合う画素ブロック１００Ｒと画素ブロック１００Ｇｒおよび画素ブロック１００Ｇｂと画素ブロック１００Ｂの一方の凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂの受光画素Ｐにのみ、選択的に１×１ＯＣＬ構造となる１つのレンズ１０１Ｅを配置するようにしてもよい。このように、２×１ＯＣＬ構造と１×１ＯＣＬ構造とを組み合わせることでも、上記実施の形態と同様の効果を得ることができる。
　例えば図４１に示した撮像装置１Ｈのように、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｂ，１００Ｇｂのうち、Ｙ軸方向に隣り合う凸部ＸＧｒ，ＸＧｂの２つの受光画素ＰＧｒ、ＰＧｂに対応してレンズ１０１Ａを配置するようにしてもよい。更に、図４２に示した撮像装置１Ｉのように、画素ブロック１００Ｒ，１００Ｂの凸部ＸＲ，ＸＢの受光画素Ｐには１×１ＯＣＬ構造となる１つのレンズ１０１Ｅを配置するようにしてもよい。このように、レンズ１０１Ａの共有方向を変えることでも、上記実施の形態と同様の効果を得ることができる。
［２－３．変形例３］
　図４３～図４５は、本開示の変形例３に係る撮像装置（撮像装置２Ａ～２Ｃ）の画素アレイ１１における受光レンズ（レンズ１０１）のレイアウトの一例を表す模式図である。
　上記実施の形態では、画素ブロック１００Ｒ，１００Ｂと、画素ブロック１００Ｇｒ，１００Ｇｂとが互いに異なる数の受光画素Ｐからなる例を示したが、これに限定されるものではない。本技術は、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｂ，１００Ｇｂが同数の受光画素Ｐからなる撮像装置２Ａ～２Ｃにも適用することできる。
　例えば、画素ブロック１００Ｒ，１００Ｇｒ，１００Ｂ，１００Ｇｂが、それぞれ、１６個の受光画素Ｐからなる撮像装置では、例えば図４３に示した撮像装置２Ａのように、４つの受光画素Ｐに対してレンズ１０１Ａ，１０１Ｂを、Ｘ軸方向およびＹ軸方向に交互に配置するようにしてもよい。例えば図４４に示した撮像装置２Ｂのように、Ｘ軸方向に隣り合う２つの受光画素Ｐに対してレンズ１０１Ａ，１０１Ｂを、Ｘ軸方向およびＹ軸方向に交互に配置するようにしてもよい。あるいは、図４５に示した撮像装置２Ｃのように、Ｘ軸方向に異なる色のカラーフィルタ１３１と隣接する受光画素Ｐには、Ｙ軸方向に隣り合う２つの受光画素Ｐに対応してレンズ１０１Ａを配置し、それ以外の受光画素ＰにはＸ軸方向に隣り合う２つの受光画素Ｐに対応してレンズ１０１Ａを配置するようにしてもよい。
　このように、凸部や凹部のない、全ての画素ブロック１００Ｒ，１００Ｇｒ，１００Ｂ，１００Ｇｂが同数の受光画素Ｐからなり、例えば矩形状の配置パターンを有する撮像装置においても、位相差検出における分離比を確保しつつ混色による画像の乱れを抑制することが可能となる。
［２－４．変形例４］
　図４６は、本開示の変形例４に係る撮像装置（撮像装置３）の画素アレイ１１における受光レンズ（レンズ１０１）のレイアウトの一例を表す模式図である。
　上記実施の形態等では、集光力の異なるレンズとして、高曲率なレンズ１０１Ａおよび低曲率なレンズ１０１Ｂや１×１ＯＣＬ構造となるレンズ１０１Ｅを用いたり、レンズ１０１の共有方向を変えた例を示したが、これに限定されるものではない。集光力が異なるレンズ１０１は、屈折率が互い異なる材料を用いたレンズ１０１－１，１０１－２を形成し、これを各画素ブロック１００Ｒ，１００Ｇｒ，１００Ｂ，１００Ｇｂの凸部ＸＲ，ＸＢ，ＸＧｒ，ＸＢｂおよび凹部ＹＲ，ＹＢ，ＹＧｒ，ＹＧｂに配置された受光画素Ｐを含む各画素ペア９０に、それぞれ配置するようにしてもよい。
［２－５．変形例５］
　図４７は、本開示の変形例５に係る撮像装置（撮像装置４）の垂直方向の断面構成の一例を表したものである。図４８は、図４７に示した撮像装置４の概略構成の一例を表したものである。撮像装置４は、半導体基板２１１に、光電変換を行う受光画素Ｐを有する第１基板２１０と、半導体基板２２１に、受光画素Ｐから出力された電荷に基づく画像信号を出力する読み出し回路４２を有する第２基板２２０とが積層された３次元構造を有する撮像装置である。
　撮像装置４は、３つの基板（第１基板２１０、第２基板２２０および第３基板２３０）がこの順に積層されたものである。
　第１基板２１０は、上記のように、半導体基板２１１に、光電変換を行う複数の受光画素Ｐを有している。複数の受光画素Ｐは、第１基板２１０における画素アレイ３１内に行列状に設けられている。第２基板２２０は、半導体基板２２１に、受光画素Ｐから出力された電荷に基づく画素信号を出力する読み出し回路４２を４つの受光画素Ｐ毎に１つずつ有している。第２基板２２０は、行方向に延在する複数の画素駆動線４３と、列方向に延在する複数の垂直信号線４４とを有している。第３基板２３０は、半導体基板２３１に、画素信号を処理するロジック回路５２を有している。ロジック回路３２は、例えば、垂直駆動回路５３、カラム信号処理回路５４、水平駆動回路５５およびシステム制御回路５６を有している。ロジック回路５２（具体的には水平駆動回路５５）は、受光画素Ｐ毎の出力電圧Ｖｏｕｔを外部に出力する。ロジック回路５２では、例えば、ソース電極およびドレイン電極と接する不純物拡散領域の表面に、ＣｏＳｉ２やＮｉＳｉ等のサリサイド (Self Aligned Silicide)プロセスを用いて形成されたシリサイドからなる低抵抗領域が形成されていてもよい。
　垂直駆動回路５３は、例えば、複数の受光画素Ｐを行単位で順に選択する。カラム信号処理回路５４は、例えば、垂直駆動回路５３によって選択された行の各受光画素Ｐから出力される画素信号に対して、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）処理を施す。カラム信号処理回路５４は、例えば、ＣＤＳ処理を施すことにより、画素信号の信号レベルを抽出し、各受光画素Ｐの受光量に応じた画素データを保持する。水平駆動回路５５は、例えば、カラム信号処理回路５４に保持されている画素データを順次、外部に出力する。システム制御回路５６は、例えば、ロジック回路５２内の各ブロック（垂直駆動回路５３、カラム信号処理回路５４および水平駆動回路５５）の駆動を制御する。
　撮像装置４は、上記のように、第１基板２１０、第２基板２２０および第３基板２３０がこの順に積層された構成を有し、さらに、第１基板２１０の裏面（光入射面）側に、カラーフィルタ２４０および受光レンズ２５０を備えている。カラーフィルタ２４０および受光レンズ２５０は、それぞれ、例えば、受光画素Ｐ毎に１つずつ設けられている。つまり、撮像装置４は、裏面照射型の撮像装置である。
　第１基板２１０は、半導体基板２１１の表面（面２１１Ｓ１）上に絶縁層４６を積層して構成されている。第１基板２１０は、層間絶縁膜２５１の一部として、絶縁層２４６を有している。絶縁層２４６は、半導体基板２１１と、後述の半導体基板２２１との間に設けられている。半導体基板２１１は、シリコン基板で構成されている。半導体基板２１１は、例えば、表面の一部およびその近傍に、ｐウェル２４２を有しており、それ以外の領域（ｐウェル２４２よりも深い領域）に、ｐウェル２４２とは異なる導電型のＰＤ２４１を有している。ｐウェル２４２は、ｐ型の半導体領域で構成されている。ＰＤ２４１は、ｐウェル２４２とは異なる導電型（具体的にはｎ型）の半導体領域で構成されている。半導体基板２１１は、ｐウェル２４２内に、ｐウェル２４２とは異なる導電型（具体的にはｎ型）の半導体領域として、浮遊拡散層（ＦＤ）を有している。
　第１基板２１０は、フォトダイオード、転送トランジスタＴＲおよび浮遊拡散層を受光画素Ｐ毎に有している。第１基板２１０は、半導体基板２１１の面２１１Ｓ１側（光入射面側とは反対側、第２基板２２０側）の一部に、転送トランジスタＴＲおよび浮遊拡散層が設けられた構成となっている。第１基板２１０は、各受光画素Ｐを分離する素子分離部２４３を有している。素子分離部２４３は、半導体基板２１１の法線方向（半導体基板２１１の表面に対して垂直な方向）に延在して形成されている。素子分離部２４３は、互いに隣接する２つの受光画素Ｐの間に設けられている。素子分離部２４３は、互いに隣接する受光画素Ｐ同士を電気的に分離する。素子分離部２４３は、例えば、酸化シリコンによって構成されている。素子分離部２４３は、例えば、半導体基板２１１を貫通している。第１基板２１０は、例えば、さらに、素子分離部２４３の側面であって、且つ、フォトダイオード側の面に接するｐウェル層２４４を有している。ｐウェル層２４４は、フォトダイオードとは異なる導電型（具体的にはｐ型）の半導体領域で構成されている。第１基板２１０は、例えば、さらに、半導体基板２１１の裏面（面２１１Ｓ２）に接する固定電荷膜２４５を有している。固定電荷膜２４５は、半導体基板２１１の受光面側の界面準位に起因する暗電流の発生を抑制するため、負に帯電している。固定電荷膜２４５は、例えば、負の固定電荷を有する絶縁膜によって形成されている。そのような絶縁膜の材料としては、例えば、酸化ハフニウム、酸化ジルコン、酸化アルミニウム、酸化チタンまたは酸化タンタルが挙げられる。固定電荷膜２４５が誘起する電界により、半導体基板２１１の受光面側の界面にホール蓄積層が形成される。このホール蓄積層によって、界面からの電子の発生が抑制される。カラーフィルタ２４０は、半導体基板２１１の裏面側に設けられている。カラーフィルタ２４０は、例えば、固定電荷膜２４５に接して設けられており、固定電荷膜２４５を介して受光画素Ｐと対向する位置に設けられている。受光レンズ２５０は、例えば、カラーフィルタ２４０に接して設けられており、カラーフィルタ２４０および固定電荷膜２４５を介して受光画素Ｐと対向する位置に設けられている。
　第２基板２２０は、半導体基板２２１上に絶縁層２５２を積層して構成されている。絶縁層２５２は、第２基板２２０は、層間絶縁膜２５１の一部として、絶縁層２５２を有している。絶縁層２５２は、半導体基板２２１と、半導体基板２３１との間に設けられている。半導体基板２２１は、シリコン基板で構成されている。第２基板２２０は、４つの受光画素Ｐ毎に、１つの読み出し回路２２２を有している。第２基板２２０は、半導体基板２２１の表面（第３基板２３０と対向する面２２１Ｓ１）側の一部に読み出し回路２２２が設けられた構成となっている。第２基板２２０は、半導体基板２１１の表面（面２１１Ｓ１）に対して半導体基板２２１の裏面（面２１Ｓ２）を向けて第１基板２１０に貼り合わされている。つまり、第２基板２２０は、第１基板２１０に、フェイストゥーバックで貼り合わされている。第２基板２２０は、さらに、半導体基板２２１と同一の層内に、半導体基板２２１を貫通する絶縁層２５３を有している。第２基板２２０は、層間絶縁膜２５１の一部として、絶縁層２５３を有している。絶縁層２５３は、後述の貫通配線２５４の側面を覆うように設けられている。
　第１基板２１０および第２基板２２０からなる積層体は、層間絶縁膜２５１と、層間絶縁膜２５１内に設けられた貫通配線２５４を有している。上記積層体は、受光画素Ｐ毎に、１つの貫通配線２５４を有している。貫通配線２５４は、半導体基板２２１の法線方向に延びており、層間絶縁膜２５１のうち、絶縁層２５３を含む箇所を貫通して設けられている。第１基板２１０および第２基板２２０は、貫通配線２５４によって互いに電気的に接続されている。具体的には、貫通配線２５４は、浮遊拡散層および後述の接続配線２５５に電気的に接続されている。なお、貫通配線２５４は、周囲の絶縁層２４６，２５２，２５３との間に、例えば、酸素吸蔵効果を有する金属を含む金属層を有することが好ましい。これにより、貫通配線２５４を形成することによって形成された開口を介した酸素の侵入を防ぐことが可能となる。
　第１基板２１０および第２基板２２０からなる積層体は、さらに、層間絶縁膜２５１内に設けられると共に、例えば、半導体基板２１１のｐウェル２４２および第２基板２２０内の配線や、転送ゲートＴＧおよび画素駆動線４３に電気的に接続される貫通配線（図示せず）を有している。
　第２基板２２０は、例えば、絶縁層２５２内に、読み出し回路４２や半導体基板２２１と電気的に接続された複数の接続部２５９を有している。第２基板２２０は、さらに、例えば、絶縁層２５２上に配線層２５６を有している。配線層２５６は、例えば、絶縁層２５７と、絶縁層２５７内に設けられた複数の画素駆動線４３および複数の垂直信号線４２４を有している。配線層２５６は、さらに、例えば、絶縁層２５７内に複数の接続配線２５５を４つの受光画素Ｐ毎に１つずつ有している。接続配線２５５は、読み出し回路４２を共有する４つの受光画素Ｐに含まれる浮遊拡散層に電気的に接続された各貫通配線２５４を互いに電気的に接続している。
　配線層２５６は、さらに、例えば、絶縁層２５７内に複数のパッド電極２５８を有している。各パッド電極２５８は、例えば、Ｃｕ（銅）、Ａｌ（アルミニウム）等の金属で形成されている。各パッド電極２５８は、配線層２５６の表面に露出している。各パッド電極２５８は、第２基板２２０と第３基板２３０との電気的な接続と、第２基板２２０と第３基板２３０との貼り合わせに用いられる。複数のパッド電極２５８は、例えば、画素駆動線２２３および垂直信号線２２４毎に１つずつ設けられている。
　第３基板２３０は、例えば、半導体基板２３１上に層間絶縁膜２６１を積層して構成されている。なお、第３基板２３０は、後述するように、第２基板２２０に、表面側の面同士で貼り合わされていることから、第３基板２３０内の構成について説明する際には、上下の説明が、図面での上下方向とは逆となっている。半導体基板２３１は、シリコン基板で構成されている。第３基板２３０は、半導体基板２３１の表面（面２３１Ｓ１）側の一部にロジック回路５２が設けられた構成となっている。第３基板２３０は、さらに、例えば、層間絶縁膜２６１上に配線層２６２を有している。配線層２６２は、例えば、絶縁層２６３と、絶縁層２６３内に設けられた複数のパッド電極２６４を有している。複数のパッド電極２６４は、ロジック回路５２と電気的に接続されている。各パッド電極２６４は、例えば、Ｃｕ（銅）で形成されている。各パッド電極２６４は、配線層２６２の表面に露出している。各パッド電極２６４は、第２基板２２０と第３基板２３０との電気的な接続と、第２基板２２０と第３基板２３０との貼り合わせに用いられる。また、パッド電極２６４は、必ずしも複数でなくてもよく、１つでもロジック回路５２と電気的に接続が可能である。第２基板２２０および第３基板２３０は、パッド電極２５８，２６４同士の接合によって、互いに電気的に接続されている。つまり、転送トランジスタＴＲのゲート（転送ゲートＴＧ）は、貫通配線２５４と、パッド電極２５８，２６４とを介して、ロジック回路５２に電気的に接続されている。第３基板２３０は、半導体基板２２１の表面（面２２１Ｓ１）側に半導体基板２３１の表面（面２３１Ｓ１）を向けて第２基板２２０に貼り合わされている。つまり、第３基板２３０は、第２基板２２０に、フェイストゥーフェイスで貼り合わされている。
　このように、本変形例では、フォトダイオードと画素トランジスタ（読み出し回路４２）とを異なる基板に設けるようにした。これにより、上記実施の形態の効果に加えて、フォトダイオードの面積を拡大することができ、感度や飽和容量を増加させることが可能となる。また、画素トランジスタの面積も拡大することができる。例えば、トランジスタＡＭＰのゲート長を拡大した場合には、例えばランダムテレグラフノイズ（ＲＴＳ）を低減することが可能となる。トランジスタＳＥＬ、ＲＳＴのゲート長を拡大した場合には、閾値電圧（Ｖｔｈ）やカットオフ等のトランジスタ特性のばらつきを低減することが可能となる。
［その他の変形例］
　また、これらの変形例は互いに組み合わせてもよい。
＜３．撮像装置の使用例＞
　図４９は、上記実施の形態に係る撮像装置１の使用例を表すものである。上述した撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜４．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図５０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図５１は、撮像部１２０３１の設置位置の例を示す図である。
　図５１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図５１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。車両に搭載される撮像装置では、撮像画像の画質を高めることができる。その結果、車両制御システム１２０００では、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等を、高い精度で実現できる。
　以上、実施の形態および変形例１～５、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
　例えば、画素アレイにおける画素ブロックの配置、および画素ブロックにおける受光画素Ｐの配置は、上記実施の形態などに記載された配置に限定されるものではなく、様々な配置が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、位相差検出における分離比を確保しつつ混色による画像の乱れを抑制することが可能となる。
（１）
　第１のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第１の画素ペアからなると共に、前記複数の第１の画素ペアが、平面視において、前記第１の方向に凸部を有する第１の配置パターンで配置された第１の画素ブロックと、
　前記第１のカラーフィルタとは異なる色の第２のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第２の画素ペアからなると共に、平面視において、前記複数の第２の画素ペアが前記凸部と嵌合する凹部を有する第２の配置パターンで配置された第２の画素ブロックと、
　前記凸部に配置された前記受光画素に設けられた、第１の集光力を有する第１のレンズと、
　前記凸部に配置された前記受光画素を含む第１の画素ペアを除く第１の画素ペアおよび第２の画素ペアのそれぞれに対応する位置に設けられた、前記第１の集光力よりも大きな第２の集光力を有する第２のレンズと
　を備えた撮像装置。
（２）
　前記第１のレンズは、前記凸部に配置された前記受光画素を含む前記第１の画素ペアに対応する位置に設けられ、
　前記第１のレンズの曲率は、前記第２のレンズの曲率よりも小さい、前記（１）に記載の撮像装置。
（３）
　前記第１のレンズは、前記凸部に配置された１つの前記受光画素と１対１で配置されている、前記（１）に記載の撮像装置。
（４）
　前記第１の画素ブロックでは、前記凸部に配置された前記受光画素と共に前記第１の画素ペアを構成する一の受光画素と、前記一の受光画素と前記凸部側とは反対方向に隣り合う前記受光画素とを第１の画素ペアとして前記第２のレンズが配置される、前記（３）に記載の撮像装置。
（５）
　前記第１のレンズは、前記第１の方向と交差する第２の方向に隣り合う２つの前記受光画素に対応する位置に配置されている、前記（１）に記載の撮像装置。
（６）
　前記第１の集光力よりも大きく且つ前記第２の集光力よりも小さな第３の集光力を有する第３のレンズをさらに有する、前記（１）乃至（５）のうちのいずれか１つに記載の撮像装置。
（７）
　前記第３のレンズは、前記複数の第２の画素ペアのそれぞれに対応する位置に設けられている、前記（６）に記載の撮像装置。
（８）
　最小繰り返し単位として、２つの前記第１の画素ブロックと２つの前記第２の画素ブロックとが互いに交差する対角線上に配置されている、前記（１）乃至（７）のうちのいずれか１つに記載の撮像装置。
（９）
　前記第１の画素ブロックと前記第２の画素ブロックとは、含まれる前記受光画素の数が異なる、前記（１）乃至（８）のうちのいずれか１つに記載の撮像装置。
（１０）
　前記第１の画素ブロックに含まれる前記受光画素の数は、前記第２の画素ブロックに含まれる前記受光画素の数よりも少なく、
　対角線上に配置された２つの前記第１の画素ブロックは、一方が前記第１のカラーフィルタとして赤色フィルタを有し、他方が前記第１のカラーフィルタとして青色フィルタを有し、
　対角線上に配置された２つの前記第２の画素ブロックは、前記第２のカラーフィルタとして緑色フィルタを有する、前記（８）または（９）に記載の撮像装置。
（１１）
　前記第１の画素ブロックは８個の前記受光画素からなり、前記第２の画素ブロックは１０個の前記受光画素からなる、前記（１）乃至（１０）のうちのいずれか１つに記載の撮像装置。
（１２）
　前記第１の画素ブロックに含まれる前記受光画素の数は、前記第２の画素ブロックに含まれる前記受光画素の数よりも多く、
　対角線上に配置された２つの前記第１の画素ブロックは、前記第２のカラーフィルタとして緑色フィルタを有し、
　対角線上に配置された２つの前記第２の画素ブロックは、一方が前記第１のカラーフィルタとして赤色フィルタを有し、他方が前記第１のカラーフィルタとして青色フィルタを有する、前記（８）乃至（１１）のうちのいずれか１つに記載の撮像装置。
（１３）
　前記第１の画素ブロックは１０個の前記受光画素からなり、前記第２の画素ブロックは８個の前記受光画素からなる、前記（１）乃至（１２）のうちのいずれか１つに記載の撮像装置。
　本出願は、日本国特許庁において２０２３年３月２０日に出願された日本特許出願番号２０２３－０４４１５６号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。 

Claims (13)

  1. 　第１のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第１の画素ペアからなると共に、前記複数の第１の画素ペアが、平面視において、前記第１の方向に凸部を有する第１の配置パターンで配置された第１の画素ブロックと、
    　前記第１のカラーフィルタとは異なる色の第２のカラーフィルタを有し、第１の方向に隣り合う２つの受光画素を含む複数の第２の画素ペアからなると共に、平面視において、前記複数の第２の画素ペアが前記凸部と嵌合する凹部を有する第２の配置パターンで配置された第２の画素ブロックと、
    　前記凸部に配置された前記受光画素に設けられた、第１の集光力を有する第１のレンズと、
    　前記凸部に配置された前記受光画素を含む第１の画素ペアを除く第１の画素ペアおよび第２の画素ペアのそれぞれに対応する位置に設けられた、前記第１の集光力よりも大きな第２の集光力を有する第２のレンズと
    　を備えた撮像装置。
  2. 　前記第１のレンズは、前記凸部に配置された前記受光画素を含む前記第１の画素ペアに対応する位置に設けられ、
    　前記第１のレンズの曲率は、前記第２のレンズの曲率よりも小さい、請求項１に記載の撮像装置。
  3. 　前記第１のレンズは、前記凸部に配置された１つの前記受光画素と１対１で配置されている、請求項１に記載の撮像装置。
  4. 　前記第１の画素ブロックでは、前記凸部に配置された前記受光画素と共に前記第１の画素ペアを構成する一の受光画素と、前記一の受光画素と前記凸部側とは反対方向に隣り合う前記受光画素とを第１の画素ペアとして前記第２のレンズが配置される、請求項３に記載の撮像装置。
  5. 　前記第１のレンズは、前記第１の方向と交差する第２の方向に隣り合う２つの前記受光画素に対応する位置に配置されている、請求項１に記載の撮像装置。
  6. 　前記第１の集光力よりも大きく且つ前記第２の集光力よりも小さな第３の集光力を有する第３のレンズをさらに有する、請求項１に記載の撮像装置。
  7. 　前記第３のレンズは、前記複数の第２の画素ペアのそれぞれに対応する位置に設けられている、請求項６に記載の撮像装置。
  8. 　最小繰り返し単位として、２つの前記第１の画素ブロックと２つの前記第２の画素ブロックとが互いに交差する対角線上に配置されている、請求項１に記載の撮像装置。
  9. 　前記第１の画素ブロックと前記第２の画素ブロックとは、含まれる前記受光画素の数が異なる、請求項１に記載の撮像装置。
  10. 　前記第１の画素ブロックに含まれる前記受光画素の数は、前記第２の画素ブロックに含まれる前記受光画素の数よりも少なく、
    　対角線上に配置された２つの前記第１の画素ブロックは、一方が前記第１のカラーフィルタとして赤色フィルタを有し、他方が前記第１のカラーフィルタとして青色フィルタを有し、
    　対角線上に配置された２つの前記第２の画素ブロックは、前記第２のカラーフィルタとして緑色フィルタを有する、請求項８に記載の撮像装置。
  11. 　前記第１の画素ブロックは８個の前記受光画素からなり、前記第２の画素ブロックは１０個の前記受光画素からなる、請求項１に記載の撮像装置。
  12. 　前記第１の画素ブロックに含まれる前記受光画素の数は、前記第２の画素ブロックに含まれる前記受光画素の数よりも多く、
    　対角線上に配置された２つの前記第１の画素ブロックは、前記第２のカラーフィルタとして緑色フィルタを有し、
    　対角線上に配置された２つの前記第２の画素ブロックは、一方が前記第１のカラーフィルタとして赤色フィルタを有し、他方が前記第１のカラーフィルタとして青色フィルタを有する、請求項８に記載の撮像装置。
  13. 　前記第１の画素ブロックは１０個の前記受光画素からなり、前記第２の画素ブロックは８個の前記受光画素からなる、請求項１に記載の撮像装置。
PCT/JP2024/005027 2023-03-20 2024-02-14 撮像装置 Ceased WO2024195367A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-044156 2023-03-20
JP2023044156 2023-03-20

Publications (1)

Publication Number Publication Date
WO2024195367A1 true WO2024195367A1 (ja) 2024-09-26

Family

ID=92841285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/005027 Ceased WO2024195367A1 (ja) 2023-03-20 2024-02-14 撮像装置

Country Status (2)

Country Link
TW (1) TW202439611A (ja)
WO (1) WO2024195367A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056182A (ja) * 2012-09-13 2014-03-27 Nippon Hoso Kyokai <Nhk> 撮像素子および撮像装置
JP2016015430A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
JP2016111184A (ja) * 2014-12-05 2016-06-20 凸版印刷株式会社 カラー固体撮像素子、その製造方法、及びフォトマスク
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
US20170347042A1 (en) * 2016-05-24 2017-11-30 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
WO2019188536A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
WO2022130888A1 (ja) * 2020-12-16 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056182A (ja) * 2012-09-13 2014-03-27 Nippon Hoso Kyokai <Nhk> 撮像素子および撮像装置
JP2016015430A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
JP2016111184A (ja) * 2014-12-05 2016-06-20 凸版印刷株式会社 カラー固体撮像素子、その製造方法、及びフォトマスク
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
US20170347042A1 (en) * 2016-05-24 2017-11-30 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
WO2019188536A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
WO2022130888A1 (ja) * 2020-12-16 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
TW202439611A (zh) 2024-10-01

Similar Documents

Publication Publication Date Title
US11336860B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and electronic apparatus
JP7592818B2 (ja) 固体撮像装置、及び電子機器
JP7756636B2 (ja) 撮像装置
US12255260B2 (en) Photodetector
US20230239460A1 (en) Imaging device
US20250006751A1 (en) Imaging device and electronic apparatus
WO2024195367A1 (ja) 撮像装置
EP4425559A1 (en) Imaging device
EP4398592A1 (en) Imaging device
TWI917478B (zh) 攝像裝置及光偵測裝置
US20250063254A1 (en) Imaging element and electronic apparatus
WO2023243222A1 (ja) 撮像装置
WO2025192032A1 (ja) 撮像装置および撮像方法
JP2023027618A (ja) 撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24774513

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 24774513

Country of ref document: EP

Kind code of ref document: A1