WO2018003501A1 - 固体撮像装置、電子機器、レンズ制御方法および車両 - Google Patents

固体撮像装置、電子機器、レンズ制御方法および車両 Download PDF

Info

Publication number
WO2018003501A1
WO2018003501A1 PCT/JP2017/021947 JP2017021947W WO2018003501A1 WO 2018003501 A1 WO2018003501 A1 WO 2018003501A1 JP 2017021947 W JP2017021947 W JP 2017021947W WO 2018003501 A1 WO2018003501 A1 WO 2018003501A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
difference detection
sub
pixel
pixels
Prior art date
Application number
PCT/JP2017/021947
Other languages
English (en)
French (fr)
Inventor
和実 陰山
藤井　真一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018525032A priority Critical patent/JP6981410B2/ja
Priority to US16/310,876 priority patent/US10999543B2/en
Publication of WO2018003501A1 publication Critical patent/WO2018003501A1/ja
Priority to US17/236,090 priority patent/US20210306581A1/en
Priority to JP2021188225A priority patent/JP7310869B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present technology relates to a solid-state imaging device, an electronic device, a lens control method, and a vehicle, and more particularly, to a solid-state imaging device, an electronic device, a lens control method, and a vehicle that can suppress deterioration in quality of a captured image.
  • imaging devices such as digital still cameras and digital video cameras that capture subjects such as humans and animals using image sensors such as CMOS (Complementary Metal-Oxide Semiconductor) sensors and record the resulting image data have become widespread. is doing.
  • CMOS Complementary Metal-Oxide Semiconductor
  • a phase difference detection pixel is arranged in the upper right pixel.
  • a phase difference detection pixel is arranged in the upper left pixel.
  • phase difference detection pixel for example, a light shielding part is provided in the right half or the left half of the pixel, and the opposite side of the light shielding part is a light transmitting part.
  • the phase difference is detected from the difference between the outputs of the phase difference detection pixels whose pair of light shielding portions is on the opposite side, and the defocus amount is calculated based on the detected phase difference.
  • the focus state is controlled based on the calculated defocus amount.
  • a normal imaging pixel for imaging a subject is adjacent to the phase difference detection pixel. It is necessary to perform correction for reducing the influence from the phase difference detection pixel on the output of the imaging pixel adjacent to the phase difference detection pixel. If the position where the phase difference detection pixel is arranged among the four pixels is different for each block, the correction method in the adjacent block is different for each block. As a result, the correction calculation becomes complicated, and if the correction calculation is simplified, it is difficult to suppress deterioration in the quality of the captured image.
  • the present technology has been made in view of such a situation, and is capable of suppressing deterioration in quality of a captured image.
  • a sub-block is configured by a plurality of pixels of the same color
  • a block is configured by the plurality of sub-blocks including different colors
  • the sub-block may be composed of 2 ⁇ 2 pixels adjacent to each other.
  • the block can be composed of four sub-blocks arranged in a Bayer array.
  • the number of the phase difference detection pixels arranged in the block may be 2 or more and 4 or less.
  • the number of the phase difference detection pixels arranged in the sub-block may be one or two.
  • the sub block in which the phase difference detection pixels are arranged may be the red or blue sub block.
  • the phase difference detection pixel can detect a phase difference in the horizontal direction or the vertical direction, or a phase difference in the upper left direction or the upper right direction.
  • One of the pair of phase difference detection pixels is arranged in the two pixels of the first sub-block, and the two of the second sub-blocks of the same color as the first sub-block In the pixel, the other of the pair of phase difference detection pixels may be arranged.
  • One of the phase difference detection pixels in the other direction which is a pair for detecting the phase difference in the direction is arranged, and the two sub pixels in the fourth sub block having the same color as the third sub block are arranged in the two sub pixels.
  • the other of the phase difference detection pixels in the other direction as a pair can be arranged.
  • One of the phase difference detection pixels is arranged in each of the first color sub-block, the second color sub-block, and the third color sub-block constituting the second block. Can be arranged such that the other of the phase difference detection pixels forming a pair for detecting the phase difference is disposed at a corresponding position.
  • the light can be incident on the phase difference detection pixel through a color filter.
  • the phase difference detection pixel can be detected separately for each color of the color filter.
  • the phase difference detection pixel for detecting a phase difference in the horizontal direction or the vertical direction is arranged at substantially the center of the imaging region, and the diagonal direction of the imaging region has a phase difference in the upper left diagonal direction or the upper right diagonal phase.
  • the phase difference detection pixels for detecting the phase difference can be arranged.
  • the position in the sub-block where the phase difference detection pixel is arranged corresponds in the sub-block of the first color and in the sub-block of the second color different from the first color. In the first color sub-block and in the second color sub-block.
  • a detection unit for detecting a phase difference based on the output of the phase difference detection pixel can be further provided.
  • One aspect of the present technology provides an image sensor in which pixels that photoelectrically convert light from a subject are arranged in a plane, and a phase difference detected by a phase difference detection pixel that drives a lens that enters the image sensor.
  • An electronic device including a control unit that controls the sub-block according to the image sensor, wherein a plurality of the pixels of the same color form a sub-block, and two or more of the plurality of sub-blocks constituting the block When the phase difference detection pixels are arranged in the sub-block, the phase difference detection pixels are arranged in positions corresponding to each other in the two or more sub-blocks.
  • One aspect of the present technology is a lens control method for an electronic apparatus including an imaging device, in which the pixels that photoelectrically convert light from a subject are arranged in a plane, and the plurality of pixels having the same color
  • a sub-block is configured by the plurality of sub-blocks including different colors, and among the plurality of sub-blocks forming the block, phase difference detection pixels are arranged in two or more sub-blocks.
  • the phase difference detection pixels are arranged at positions corresponding to each other in the two or more sub-blocks, and the driving of the lens that enters the image sensor is detected by the phase difference detection pixels.
  • This is a lens control method for controlling based on the phase difference.
  • One aspect of the present technology provides an image sensor in which pixels that photoelectrically convert light from a subject are arranged in a plane, and a phase difference detected by a phase difference detection pixel that drives a lens that enters the image sensor.
  • a control unit that performs control based on the image sensor, wherein in the imaging device, a plurality of pixels of the same color form a sub-block, and a plurality of sub-blocks that include different colors form a block.
  • the phase difference detection pixels are arranged in two or more sub-blocks among the plurality of sub-blocks constituting the same, the phase difference detection pixels are located at positions corresponding to each other in the two or more sub-blocks. It is a vehicle to be arranged.
  • a sub-block is configured by a plurality of pixels of the same color
  • a block is configured by a plurality of sub-blocks including different colors
  • two or more sub-blocks among the plurality of sub-blocks that configure the block are arranged at positions corresponding to each other in two or more sub-blocks.
  • FIG. 14 is a flowchart for describing imaging processing of an electronic device to which the present technology is applied. It is a figure showing an example of a plane composition of one embodiment of an image sensor to which this art is applied. It is a figure showing an example of a plane composition of one embodiment of an image sensor to which this art is applied. It is a figure showing an example of a plane composition of one embodiment of an image sensor to which this art is applied. It is a figure showing an example of a plane composition of one embodiment of an image sensor to which this art is applied. It is a figure showing an example of a plane composition of one embodiment of an image sensor to which this art is applied.
  • First Embodiment (1) Pixel arrangement (FIGS. 1 to 4) (2) First configuration example (1/4 pixel, B and R pixels are provided with horizontal and vertical phase difference detection pixels) (FIGS. 5 to 7) (3) Principle of phase difference detection (Figs. 8 to 10) (4) Configuration example of electronic device (FIGS. 11 and 12) (5) Phase difference autofocus processing (FIGS. 13 and 14) (6) Imaging processing (FIG. 15) 2. Second configuration example (vertical and horizontal phase difference detection pixels are arranged in 1/4 pixel, B pixel and R pixel) (FIG. 16) 3.
  • Third configuration example (1/4 pixel, B pixel and R pixel are mixed with phase difference detection pixels in the vertical and horizontal directions) (FIG. 17) 4).
  • Fifth configuration example (1/4 pixel, B pixel and R pixel are arranged with diagonally upper right and upper left diagonal phase difference detection pixels) (FIG. 19) 6).
  • Sixth configuration example (1/4 pixel, B pixel and R pixel are mixed with diagonally upper left and diagonally upper right phase difference detection pixels) (FIG. 20) 7).
  • Seventh configuration example (horizontal and vertical phase difference detection pixels are arranged in the G pixel in the 1/4 pixel and B pixel rows and the G pixel in the R pixel row) (FIG. 21) 8).
  • Eighth configuration example (vertical and horizontal phase difference detection pixels are arranged in the G pixel in the 1/4 pixel and B pixel rows and the G pixel in the R pixel row) (FIG. 22) 9.
  • Ninth configuration example (1/4 pixel, G pixel in the row of B pixels and G pixel in the row of R pixels are mixedly arranged in the horizontal and vertical phase difference detection pixels) (FIG. 23) 10.
  • FIG. 33 Nineteenth configuration example (a pair of horizontal and vertical phase difference detection pixels are arranged in 2/4 pixel, B pixel and R pixel) (FIG. 33) 20. Twenty configuration example (2/4 pixel, B pixel and R pixel are arranged with a pair of diagonally upper left and upper right diagonal phase difference detection pixels) (FIG. 34) 21. Twenty-first configuration example (horizontal phase difference detection pixels are arranged for 1/4 pixel, B pixel, G pixel, and R pixel) (FIGS. 35 and 36) 22. Twenty-second configuration example (horizontal phase difference detection pixels are arranged in 1/4 pixels, B pixels, 2 G pixels, and R pixels) (FIG. 37) 23. Arrangement of pixels for phase difference detection (FIG. 38) 24. Modified example (FIG. 39) 25. Application examples (FIGS. 40 and 41) 26. Other
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image sensor to which the present technology is applied.
  • a timing control unit 42 includes a timing control unit 42, a vertical scanning circuit 43, a pixel array unit 44, a constant current source circuit unit 45, a reference signal generation unit 46, and a column AD (Analog analog) on a semiconductor substrate (not shown).
  • Digital) conversion unit 47 is provided. Further, a horizontal scanning circuit 48, a horizontal output line 49, and an output circuit 50 are provided.
  • the timing control unit 42 supplies a clock signal and a timing signal necessary for a predetermined operation to the vertical scanning circuit 43 and the horizontal scanning circuit 48 based on a master clock having a predetermined frequency. For example, the timing control unit 42 supplies timing signals for the shutter operation and readout operation of the pixel 51 to the vertical scanning circuit 43 and the horizontal scanning circuit 48. Although not shown, the timing control unit 42 also supplies a clock signal and timing signal necessary for a predetermined operation to the reference signal generation unit 46, the column AD conversion unit 47, and the like.
  • the vertical scanning circuit 43 sequentially supplies a signal for controlling the output of the pixel signal to each pixel 51 arranged in the vertical direction of the pixel array unit 44 at a predetermined timing.
  • a plurality of pixels 51 are arranged in a two-dimensional array (matrix) in the pixel array unit 44. That is, M ⁇ N pixels 51 are arranged in a plane.
  • the values of M and N are arbitrary integers.
  • the plurality of pixels 51 arranged in a two-dimensional array are connected to the vertical scanning circuit 43 in units of rows by horizontal signal lines 52.
  • the plurality of pixels 51 arranged in the same row in the pixel array unit 44 are connected to the vertical scanning circuit 43 by the same single horizontal signal line 52.
  • the horizontal signal line 52 is shown as one wiring, but the number is not limited to one.
  • the plurality of pixels 51 arranged in a two-dimensional array are connected to the horizontal scanning circuit 48 in units of columns by vertical signal lines 53.
  • the plurality of pixels 51 arranged in the same column in the pixel array unit 44 are connected to the horizontal scanning circuit 48 by the same single vertical signal line 53.
  • Each pixel 51 in the pixel array unit 44 outputs, to the vertical signal line 53, a pixel signal corresponding to the charge accumulated therein in accordance with a signal supplied from the vertical scanning circuit 43 via the horizontal signal line 52.
  • the pixel 51 functions as an imaging pixel (hereinafter referred to as an imaging pixel) or a phase difference detection pixel (hereinafter referred to as a phase difference detection pixel) that outputs a pixel signal of an object image.
  • an imaging pixel hereinafter referred to as an imaging pixel
  • a phase difference detection pixel hereinafter referred to as a phase difference detection pixel
  • the constant current source circuit unit 45 has a plurality of load MOS (Metal-Oxide Semiconductor) 54, and one load MOS 54 is connected to one vertical signal line 53.
  • the load MOS 54 has a gate applied with a bias voltage and a source grounded, and forms a source follower circuit with a transistor in the pixel 51 connected via the vertical signal line 53.
  • the reference signal generation unit 46 includes a DAC (Digital-to-Analog-Converter) 46a, generates a ramp (RAMP) waveform reference signal in accordance with the clock signal from the timing control unit 42, and generates a column signal. This is supplied to the AD conversion unit 47.
  • DAC Digital-to-Analog-Converter
  • the column AD conversion unit 47 has a plurality of ADCs (Analog-to-Digital Converters) 55, one for each column of the pixel array unit 44. Therefore, a plurality of pixels 51, one load MOS 54 and ADC 55 are connected to one vertical signal line 53.
  • ADCs Analog-to-Digital Converters
  • the ADC 55 performs a CDS (Correlated Double Sampling) process on the pixel signal supplied from the pixel 51 in the same column via the vertical signal line 53, and further performs an AD conversion process.
  • CDS Correlated Double Sampling
  • Each ADC 55 temporarily stores the pixel data after AD conversion and outputs it to the horizontal output line 49 according to the control of the horizontal scanning circuit 48.
  • the horizontal scanning circuit 48 sequentially outputs the pixel data stored in the plurality of ADCs 55 to the horizontal output line 49 at a predetermined timing.
  • the horizontal output line 49 is connected to an output circuit (amplifier circuit) 50, and pixel data after AD conversion output from each ADC 55 is output from the output circuit 50 to the outside of the image sensor 41 via the horizontal output line 49. Is output.
  • the output circuit 50 signal processing unit
  • the imaging device 41 configured as described above is a CMOS image sensor called a column AD system in which ADCs 55 that perform CDS processing and AD conversion processing are arranged for each vertical column.
  • FIG. 2 shows an equivalent circuit of the pixel 51.
  • the pixel 51 includes a photodiode 61 as a photoelectric conversion element, a transfer transistor 62, an FD (Floating Diffusion: floating diffusion region) 63, a reset transistor 64, an amplification transistor 65, and a selection transistor 66.
  • the photodiode 61 is a photoelectric conversion unit that generates and accumulates charges (signal charges) corresponding to the amount of received light.
  • the photodiode 61 has an anode terminal grounded and a cathode terminal connected to the FD 63 via the transfer transistor 62.
  • the transfer transistor 62 When the transfer transistor 62 is turned on by the transfer signal TX, the charge generated by the photodiode 61 is read and transferred to the FD 63.
  • the FD 63 holds the electric charge read from the photodiode 61.
  • the reset transistor 64 is turned on by the reset signal RST, the charge stored in the FD 63 is discharged to the constant voltage source VDD, thereby resetting the potential of the FD 63.
  • the amplification transistor 65 outputs a pixel signal corresponding to the potential of the FD 63. That is, the amplification transistor 65 constitutes a load MOS 54 as a constant current source and a source follower circuit, and a pixel signal indicating a level corresponding to the charge accumulated in the FD 63 is sent from the amplification transistor 65 to the ADC 55 via the selection transistor 66. Is output.
  • the selection transistor 66 is turned on when the pixel 51 is selected by the selection signal SEL, and outputs the pixel signal of the pixel 51 to the ADC 55 via the vertical signal line 53.
  • the transfer signal TX, the reset signal RST, and the selection signal SEL are supplied from the vertical scanning circuit 43 via the horizontal signal line 52 (FIG. 1).
  • FIG. 3 is a diagram illustrating a planar configuration example of an embodiment of an image sensor to which the present technology is applied. Specifically, FIG. 3 shows an arrangement of the pixels 51. That is, in the present embodiment, the pixel array unit 44 captures an image of a subject using the imaging region 101.
  • the imaging area 101 is composed of a plurality of blocks 102 arranged in an M / 4 ⁇ N / 4 matrix.
  • This block 102 constitutes a unit of an image to be captured. That is, the subject is imaged as a set of units of a predetermined color (a color synthesized by the colors of red (R), green (G), and blue (B)) for each block 102 and displayed (that is, the eyes of the human). Recognized).
  • a predetermined color a color synthesized by the colors of red (R), green (G), and blue (B)
  • the block 102 is configured by arranging the sub-blocks 103 in a Bayer array. That is, the block 102 includes four sub-blocks 103 including one red (R) sub-block 103, two green (G) sub-blocks 103, and one blue (B) sub-block 103. They are arranged in a 2 ⁇ 2 matrix.
  • a green (G) sub-block 103 is arranged at the upper left and lower right of the block 102, a red (R) sub-block 103 is arranged at the lower left, and a blue (B) sub-block 103 is arranged at the upper right.
  • the arrangement pattern of the sub-blocks 103 is the same.
  • red (R), green (G), and blue (B) sub-blocks 103 will be referred to as R sub-block 103, G sub-block 103, and B sub-block 103, respectively, as necessary. To do.
  • each region corresponding to a plurality of blocks 102 arranged in a matrix of M / 4 ⁇ N / 4 is defined as RNij (i, j are the row and column positions of the block 102. Express).
  • the color of the subject is captured and expressed as a color Cij for each region RNij.
  • the synthesized color Cij is imaged as the color of the region RNij of the subject.
  • the sub-block 103 is composed of 2 ⁇ 2 matrix-like pixels 111 of the same color that are adjacent to each other.
  • the pixel 111 corresponds to the pixel 51 in FIGS. 1 and 2.
  • the red (R), green (G), and blue (B) pixels 111 are referred to as an R pixel 111, a G pixel 111, or a B pixel 111, respectively, as necessary.
  • the R sub-block 103 includes 2 ⁇ 2 matrix R pixels 111.
  • the G sub-block 103 is composed of 2 ⁇ 2 matrix G pixels 111.
  • the B sub-block 103 is composed of 2 ⁇ 2 matrix B pixels 111.
  • the 2 ⁇ 2 pixels 111 of the same color constituting one sub-block 103 can be read out independently of each other, but can also be read out collectively as one sub-block 103.
  • FIG. 4 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied. That is, when the imaging region 101 in FIG. 3 is expressed by the pixels 111, it is as shown in FIG.
  • One sub-block 103 is composed of 2 ⁇ 2 pixels 111 of the same color. Specifically, one R sub-block 103 is configured by 2 ⁇ 2 R pixels 111. Similarly, one G sub-block 103 is composed of 2 ⁇ 2 G pixels 111, and one B sub-block 103 is composed of 2 ⁇ 2 B pixels 111.
  • 2 ⁇ 2 sub-blocks 103 (one R sub-block 103, two G sub-blocks 103, and one B sub-block 103) constitute one block 102.
  • the sub-block 103 is configured by a plurality of pixels 111 of the same color, and the block 102 is configured by a plurality of sub-blocks 103 including different colors. Then, as a combined color of the block 102 in which different colors of the plurality of sub-blocks 103 are combined, a person recognizes it as the color of the imaging point of the subject at the position corresponding to the block 102.
  • FIG. 5 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • m ⁇ n pixels 111 are regularly arranged in the imaging region 101 of the imaging device 41.
  • the G pixels are arranged in the first row and the second row, the fifth row and the sixth row, the ninth row and the tenth row, the thirteenth row and the fourteenth row.
  • the pixel 111 is the intersection of each row, the first column and the second column, the fifth column and the sixth column, the ninth column and the tenth column, and the thirteenth column and the fourteenth column. These constitute the upper left G sub-block 103 in the block 102.
  • the G pixel includes the third and fourth rows, the seventh and eighth rows, the eleventh and twelfth rows, the fifteenth and sixteenth rows, the third and fourth columns, and the seventh column. It is also arranged at the intersection of each of the column and the eighth column, the eleventh column and the twelfth column, the fifteenth column and the sixteenth column. These constitute the lower right G sub-block 103 in the block 102.
  • the B pixels are arranged in the first and second rows, the fifth and sixth rows, the ninth and tenth rows, the thirteenth and fourteenth rows, the third column and the second row. This is the pixel 111 at the intersection of the four columns, the seventh column and the eighth column, the eleventh column and the twelfth column, and the fifteenth column and the sixteenth column. These constitute the upper right B sub-block 103 in the block 102.
  • the R pixels are arranged in the third and fourth rows, the seventh and eighth rows, the eleventh and twelfth rows, the fifteenth and sixteenth rows, the first column and the first row. This is the pixel 111 at the intersection of each of the second column, the fifth column and the sixth column, the ninth column and the tenth column, and the thirteenth column and the fourteenth column. These constitute the lower left R sub-block 103 in the block 102.
  • the arrangement of the R, G, and B pixels 111 is the same in the other configuration examples shown in FIG. 16 and later, and the description thereof is omitted.
  • the m ⁇ n pixels 111 are basically R, G, and B imaging pixels, but some of them are for phase difference detection in the sub-block 103 in which the phase difference detection pixels 131 are arranged.
  • the pixel 131 is replaced. Thereby, the phase difference detection pixels 131 are regularly arranged in a specific pattern as a whole.
  • a plurality of phase difference detections in which half of the pixels are shown as black rectangles and the other half are shown as white rectangles Pixels 131 are scattered and arranged.
  • the upper left pixel 111 at the relatively same position (corresponding position) among the 2 ⁇ 2 pixels 111 is the phase difference.
  • a phase difference detection pixel 131 that detects a phase difference in the horizontal direction (horizontal direction) is arranged in the upper left pixel 111.
  • the third and eleventh columns of pixels 111 are provided with a phase difference detection pixel 131A that constitutes one of the pair of phase difference detection pixels 131A and 131B that detect a phase difference in the horizontal direction. ing. In the pixels 111 in the seventh column and the fifteenth column, a phase difference detection pixel 131B that constitutes the other of the pair for detecting the phase difference in the horizontal direction is arranged.
  • FIG. 6 is a diagram illustrating the configuration of the aperture of an embodiment of an image sensor to which the present technology is applied.
  • the left side of FIG. 6 shows a phase difference detection pixel 131A out of a pair of phase difference detection pixels 131A and 131B that detect a phase difference in the horizontal direction.
  • a light shielding portion 133A is formed on the right side thereof, and a light transmitting portion 132A is formed on the left side thereof.
  • the light shielding portion 133A that shields light from the subject toward the photodiode 61 is formed of a metal film such as copper, for example.
  • the light transmitting part 132A that transmits light from the subject toward the photodiode 61 is formed by opening a part of the metal film that forms the light shielding part 133A.
  • the opening can be formed by not forming the light shielding portion 133A.
  • a light shielding portion 133B is formed on the left side thereof, and a light transmitting portion 132B is formed on the right side thereof.
  • the light shielding portion 133B that shields light from the subject toward the photodiode 61 is formed of a metal film such as copper, and the light transmitting portion 132B that transmits light from the subject toward the photodiode 61 is shielded. It is formed by opening a part of the metal film forming the part 133B. Of course, it is also possible to form an opening by not forming the light shielding portion 133B.
  • a phase difference detection pixel 131 that detects a phase difference in the vertical direction is arranged in the upper left pixel 111 among the 2 ⁇ 2 pixels 111.
  • the phase difference detection pixel 131C constituting one of the pair is arranged in the pixels 111 in the third row and the eleventh row.
  • a phase difference detection pixel 131D that constitutes the other of the pair that detects the phase difference in the vertical direction is arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • FIG. 7 is a diagram illustrating a configuration of an aperture according to an embodiment of an image sensor to which the present technology is applied.
  • the phase difference detection pixel 131C of the pair of phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction is shown.
  • a light shielding portion 133C is formed on the lower side
  • a light transmitting portion 132C is formed on the upper side.
  • the light shielding portion 133C that shields light from the subject toward the photodiode 61 is formed of a metal film such as copper, and the light transmitting portion 132C that transmits light from the subject toward the photodiode 61 is shielded. It is formed by opening a part of the metal film forming the portion 133D. Of course, the opening can be formed by not forming the light shielding portion 133C.
  • a light shielding portion 133D is formed on the upper side, and a light transmitting portion 132D is formed on the lower side.
  • the light shielding portion 133D that shields light from the subject toward the photodiode 61 is formed of a metal film such as copper, and the light transmitting portion 132D that transmits light from the subject toward the photodiode 61 is the light shielding portion. It is formed by opening a part of the metal film forming 133D. Of course, the opening can be formed by not forming the light shielding portion 133D.
  • the detection of the phase difference in the horizontal direction can be performed only by the output of the phase difference detection pixel 131 of the B pixel 111, and the detection of the phase difference in the vertical direction can be performed by the R pixel. This is possible only by the output of the 111 phase difference detection pixels 131. Therefore, signal processing becomes easy. Detection of the phase difference in the horizontal direction can be performed by reading out the phase difference detection pixels 131 of at least one row, but detection of the phase difference in the vertical direction can be performed by reading out the phase difference detection pixels 131 of at least two rows. It becomes possible. One of the phase difference detection pixels 131 of the R pixel 111 and the B pixel 111 may be omitted, and only one of the horizontal phase difference and the vertical phase difference may be detected.
  • FIG. 8 is a cross-sectional view illustrating a configuration example of an imaging pixel according to an embodiment of an imaging device to which the present technology is applied.
  • FIG. 8 illustrates a cross-sectional configuration of two imaging pixels 114 out of the pixels 111.
  • a photodiode 222 (corresponding to the photodiode 61 in FIG. 2) as a photoelectric conversion unit is formed on a Si (silicon) semiconductor substrate 221, for example.
  • An R, G, or B color filter 224 is formed on the upper layer of the semiconductor substrate 221, and an on-chip lens 225 is formed on the upper layer.
  • the light from the subject is collected by the on-chip lens 225, passes through the R, G, or B color filter 224, and the light of the color corresponding to the color filter 224 is incident on the photodiode 222. As a result, a color signal (pixel signal) of a light component of a color corresponding to the color filter 224 is output from the photodiode 222.
  • FIG. 9 is a cross-sectional view illustrating a configuration example of a phase difference detection pixel according to an embodiment of an imaging device to which the present technology is applied.
  • FIG. 9 shows the cross-sectional configurations of two phase difference detection pixels 131A and 131B side by side for convenience.
  • the configuration of the phase difference detection pixel 131 is basically the same as that of the imaging pixel 114 shown in FIG. 8, but instead of the color filter 224 of FIG. 133B and translucent parts 132A and 132B are arranged.
  • the configurations of the light shielding parts 133A and 133B and the light transmitting parts 132A and 132B are as described with reference to FIGS.
  • phase difference detection pixel 131A a part of the light condensed by the on-chip lens 225 passes through the light transmitting portion 132A and enters the photodiode 222.
  • a part of the light collected by the on-chip lens 225 is shielded by the light shielding part 133A disposed on the right side of the light transmitting part 132A in FIG. 9 and does not enter the photodiode 222.
  • phase difference detection pixel 131B part of the light collected by the on-chip lens 225 passes through the light transmitting part 132B and enters the photodiode 222. However, a part of the light condensed by the on-chip lens 225 is shielded by the light shielding part 133B arranged on the left side of the light transmitting part 132B in FIG. 9 and does not enter the photodiode 222.
  • FIG. 10 is a diagram for explaining the phase difference characteristics of the phase difference detection pixel according to the embodiment of the imaging device to which the present technology is applied.
  • the principle of phase difference detection will be described with reference to FIGS.
  • the graph of FIG. 10 shows pixel signal outputs of the phase difference detection pixels 131A and 131B at that time.
  • the horizontal axis indicates the incident angle of the incident light
  • the vertical axis indicates the pixel signal output of the phase difference detection pixels 131A and 131B.
  • a solid line 141B indicates the pixel signal output of the phase difference detection pixel 131B
  • a broken line 141A indicates the pixel output of the phase difference detection pixel 131A.
  • the left-side light-shielded phase difference detection pixel 131B has a larger output when the incident light is angled to the left side (minus side), and the right-side light-shielded phase difference detection pixel 131A Increasing the incident light angle on the right side (plus side) increases the output. That is, when the angle component in the minus direction is large in the incident light as in the incident light L1, the output of the phase difference detection pixel 131B is larger than the output of the phase difference detection pixel 131A. When the angle component in the positive direction is large in the incident light as in the incident light L5, the pixel signal output of the phase difference detection pixel 131A is larger than the pixel signal output of the phase difference detection pixel 131B.
  • the defocus amount is detected by using the phase difference characteristics of the pixel signal output of each of the phase difference detection pixels 131 with respect to the incident angle of the incident light.
  • FIG. 11 is a diagram illustrating a configuration example of an electronic device to which the present technology is applied.
  • An electronic device 300 shown in FIG. 11 is a device that captures an image of a subject by performing phase difference detection AF (phase difference AF) and outputs the image of the subject as an electrical signal.
  • the electronic device 300 is configured as, for example, a compact digital camera, a digital single-lens reflex camera, a video camera, a mobile terminal such as a smartphone (multifunctional mobile phone) having an imaging function, an endoscope, or the like.
  • the imaging control unit 301 includes an imaging element 41, an AD conversion unit 321, a clamp unit 322, a correction parameter calculation unit 323, a memory 324, a phase difference correction unit 325, a phase difference detection unit 326, a lens control unit 327, a defect correction unit 328, A demosaic unit 329 is included. Further, the imaging control unit 301 includes a linear matrix (LM) / white balance (WB) / gamma correction unit 330, a luminance chroma signal generation unit 331, and an interface (I / F) unit 332. In this example, the display unit 313 and the recording unit 314 are provided outside the imaging control unit 301, but may be provided inside.
  • LM linear matrix
  • WB white balance
  • I / F interface
  • the lens 311 adjusts the focal length of the subject light incident on the image sensor 41.
  • a stop (not shown) that adjusts the amount of subject light incident on the image sensor 41 is provided at the subsequent stage of the lens 311.
  • the specific configuration of the lens 311 is arbitrary.
  • the lens 311 may be configured by a plurality of lenses.
  • the subject light transmitted through the lens 311 is incident on the image sensor 41 via an optical filter 312 configured as an IR cut filter that cuts infrared light and transmits light other than infrared light, for example.
  • an optical filter 312 configured as an IR cut filter that cuts infrared light and transmits light other than infrared light, for example.
  • the imaging element 41 includes a plurality of pixels 111 (imaging pixels 114 and phase difference detection pixels 131) having photoelectric conversion elements such as photodiodes that photoelectrically convert subject light. Each pixel 111 converts subject light into an electrical signal, and supplies the electrical signal to the AD conversion unit 321.
  • the image sensor 41 constitutes an individual imaging device of the present technology together with a signal processing circuit that realizes the AD conversion unit 321, the clamp unit 322, the phase difference correction unit 325, and the phase difference detection unit 326.
  • This solid-state imaging device may be configured as a single-chip module, or the imaging element 41 and the signal processing circuit may be configured as separate chips.
  • the signal processing circuit may include a correction parameter calculation unit 323, a memory 324, or a lens control unit 327.
  • the imaging device 41 of the present technology is, for example, a CCD image sensor that performs transfer using a circuit element called a charge-coupled device (CCD (Charge-Coupled Device)) in order to read out the electric charge generated by the photoelectric conversion device based on subject light.
  • CCD Charge-Coupled Device
  • CMOS image sensor using an amplifier for each unit cell using a CMOS (Complementary Metal Metal Oxide Semiconductor) may be used.
  • the AD conversion unit 321 converts the RGB electrical signal (analog signal) supplied from the image sensor 41 into digital data (image data).
  • the AD conversion unit 321 supplies the image data (RAW data) of the digital data to the clamp unit 322.
  • the clamp unit 322 subtracts a black level, which is a level determined to be black, from the image data.
  • the clamp unit 322 supplies data output from the monitor pixel to the correction parameter calculation unit 323 among the image data (pixel value) obtained by subtracting the black level.
  • the monitor pixel is a phase difference detection pixel 131 in the non-image output region.
  • FIG. 12 is a diagram illustrating an image output area and a non-image output area to which the present technology is applied.
  • the pixel array section 44 is provided with an image output area 351 substantially at the center thereof, and a non-image output area 352 is provided around the image output area 351.
  • the output of the pixel 111 in the image output area 351 is used as image data, but the output of the pixel 111 in the non-image output area 352 is not used as image data.
  • the phase difference detection pixel 131 in the non-image output area 352 is a monitor pixel.
  • the clamp unit 322 supplies the image data (pixel value) output from the phase difference detection pixel 131 among the image data (pixel value) obtained by subtracting the black level to the phase difference detection unit 326 and subtracts the black level. All pixels of the processed image data are supplied to the defect correction unit 328.
  • the output of the phase difference detection pixel 131 is used for the phase difference detection itself, but the output of the imaging pixel 114 as well as the output of the phase difference detection pixel 131 is used for generating an image.
  • the phase difference detection pixel 131 when half of the photoelectric conversion unit is shielded by the light shielding unit 133 (133A to 133D) as shown in FIGS. Since the output of the pixel 131 is smaller than the output of the imaging pixel 114, defect correction is performed as described later.
  • the correction parameter calculation unit 323 calculates correction parameters using phase difference characteristic data obtained in a test process after manufacturing the image sensor 41, a test process after mounting the lens 311 on the image sensor 41, and the like. This correction parameter is used to correct the phase difference detected by the phase difference detector 326.
  • the memory 324 stores the correction parameter calculated by the correction parameter calculation unit 323.
  • the phase difference detection unit 326 performs phase difference detection processing based on the image data (pixel value) from the clamp unit 322, thereby determining whether or not the object to be focused (focused object) is in focus. To determine. When the object in the focus area is in focus, the phase difference detection unit 326 supplies information indicating that the object is in focus to the lens control unit 327 as a focus determination result. The phase difference detection unit 326 calculates an amount of defocus (a defocus amount) when the in-focus object is not focused, and uses information indicating the calculated defocus amount as a focus determination result. To the lens control unit 327.
  • the phase difference correction unit 325 corrects the phase difference detected by the phase difference detection unit 326 using the correction parameter stored in the memory 324.
  • the phase difference detection unit 326 supplies a focus determination result corresponding to the corrected phase difference to the lens control unit 327.
  • the lens control unit 327 controls the driving of the lens 311. Specifically, the lens control unit 327 calculates the driving amount of the lens 311 based on the focus determination result supplied from the phase difference detection unit 326, and moves the lens 311 according to the calculated driving amount. .
  • the lens control unit 327 maintains the current position of the lens 311 when in focus.
  • the lens control unit 327 calculates a drive amount based on the focus determination result indicating the defocus amount and the position of the lens 311, and moves the lens 311 according to the drive amount. Move.
  • the defect correction unit 328 corrects the pixel value of the defective pixel (for example, the phase difference detection pixel 131) for which a correct pixel value cannot be obtained based on the image data from the clamp unit 322, that is, defect correction.
  • the defect correction unit 328 supplies image data on which defective pixels have been corrected to the demosaic unit 329.
  • the demosaic unit 329 performs demosaic processing on the RAW data from the defect correction unit 328, performs color information complementation, etc., and converts the data into RGB data.
  • the demosaic unit 329 supplies the demodulated image data (RGB data) to the LM / WB / gamma correction unit 330.
  • the LM / WB / gamma correction unit 330 performs color characteristic correction on the RGB data from the demosaic unit 329. Specifically, the LM / WB / gamma correction unit 330 uses the matrix coefficient to fill the image data in order to fill the difference between the chromaticity point of the primary color (RGB) defined in the standard and the chromaticity point of the actual camera. Each color signal is corrected to change the color reproducibility.
  • the LM / WB / gamma correction unit 330 adjusts the white balance by setting a gain for white for each channel value of RGB data.
  • the LM / WB / gamma correction unit 330 adjusts the relative relationship between the color of the image data and the output device characteristics to perform gamma correction for obtaining a display closer to the original.
  • the LM / WB / gamma correction unit 330 supplies the corrected image data (RGB data) to the luminance chroma signal generation unit 331.
  • the luminance chroma signal generation unit 331 generates a luminance signal (Y) and a color difference signal (Cr, Cb) from the RGB data supplied from the LM / WB / gamma correction unit 330.
  • the luminance chroma signal generation unit 331 generates the luminance chroma signal (Y, Cr, Cb)
  • the luminance chroma signal and the color difference signal are supplied to the I / F unit 332.
  • the I / F unit 332 supplies the supplied image data (luminance chroma signal) to a recording unit 314 such as a recording device that records the image data, and records the image data or displays an image of the image data.
  • the data is output to the display unit 313 and displayed.
  • FIG. 13 is a flowchart for describing phase difference autofocus processing of an electronic device to which the present technology is applied.
  • the phase difference autofocus process is executed by the electronic device 300 before or in parallel with the imaging process when the subject is imaged.
  • step S ⁇ b> 11 the image sensor 41 photoelectrically converts incident light of each pixel 111, reads each pixel signal, and supplies it to the AD conversion unit 321.
  • the phase difference detection pixel 131 may be read at a timing different from that of the imaging pixel 114.
  • step S ⁇ b> 12 the AD conversion unit 321 AD-converts each pixel signal from the image sensor 41 and supplies it to the clamp unit 322.
  • step S13 the clamp unit 322 subtracts the black level detected in the OPB (Optical Black) region provided outside the effective pixel region from each pixel signal (pixel value) from the AD conversion unit 321.
  • the clamp unit 322 supplies the image data (pixel value) output from the phase difference detection pixel 131 among the image data obtained by subtracting the black level to the phase difference detection unit 326.
  • step S ⁇ b> 14 the phase difference correction unit 325 reads a correction parameter calculated in advance and stored in the memory 324.
  • step S15 the phase difference detection unit 326 performs phase difference detection based on the image data (pixel value) from the clamp unit 322. That is, the output of the phase difference detection pixel 131 that detects the phase difference between the vertical direction (vertical direction) and the horizontal direction (horizontal direction) is read out.
  • step S16 the phase difference correction unit 325 corrects the phase difference detected by the phase difference detection unit 326 using the correction parameter read in the process of step S14. That is, the correction parameter is supplied to the phase difference detection unit 326, and the detected phase difference is corrected.
  • step S17 the phase difference detection unit 326 connects the outputs of the phase difference detection pixels 131 in the focus area. That is, the outputs of the phase difference detection pixels 131 in the focus area are connected according to the pixel position, and an AF pixel signal is generated.
  • step S18 the phase difference detection unit 326 performs shading correction (peripheral screen light amount drop correction), two image distortion restoration correction by vignetting, and the like on the AF pixel signal generated in step S17 for correlation calculation. A pair of image signals is generated.
  • FIG. 14 is a diagram illustrating a configuration of a phase difference detection pixel according to an embodiment of an imaging device to which the present technology is applied.
  • the image sensor 41 of the present embodiment includes a phase difference detection pixel 131A for detecting a phase difference in the horizontal direction and a phase difference in the horizontal direction paired therewith. And a phase difference detection pixel 131B for detection.
  • the image sensor 41 detects the phase difference detection pixel 131C for detecting the phase difference in the vertical direction and the phase difference in the vertical direction paired therewith.
  • Phase difference detection pixel 131D Phase difference detection pixel 131D. Then, the phase difference detection pixels 131A and 131B and the phase difference detection pixels 131C and 131D are arranged in an evenly distributed manner as shown in FIG.
  • the signals of the phase difference detection pixels 131 are grouped. As shown in FIG. 5, the phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction are arranged along a straight line in the direction indicated by the arrow A1 (that is, in the horizontal direction), for example, in the first direction. Groups are made every 1st, 5th, 9th and 13th rows. Similarly, the phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction are arranged along the straight line in the direction indicated by the arrow A2 in FIG. Grouped every 5th, 9th and 13th columns.
  • an image signal SIGh (A) for phase difference detection obtained by connecting pixel signals obtained by the phase difference detection pixels 131A included in the focus area Rh for the phase difference detection in the horizontal direction in the horizontal direction is obtained.
  • an image signal SIGh (B) for phase difference detection is generated by connecting pixel signals obtained by the phase difference detection pixels 131B included in the focus area Rh in the horizontal direction.
  • an image signal SIGv (C) for phase difference detection is generated by vertically connecting pixel signals obtained by the phase difference detection pixels 131C included in the focus area Rv for phase difference detection in the vertical direction.
  • an image signal SIGv (D) for phase difference detection is generated by connecting pixel signals obtained by the phase difference detection pixels 131D included in the focus area Rv in the vertical direction.
  • step S19 the phase difference detection unit 326 calculates the correlation of the image signal pair for phase difference detection. That is, the correlation of the phase difference between the image signal SIGh (A) and the image signal SIGh (B) is calculated. Further, the correlation of the phase difference between the image signal SIGv (C) and the image signal SIGv (D) is calculated.
  • step S20 the phase difference detector 326 determines the reliability of the correlation. That is, the reliability of the correlation calculation result calculated in step S19 is determined.
  • the reliability refers to the degree of coincidence of image signal pairs (similarity between waveforms). When the degree of coincidence is good, the reliability of focus detection results is generally high.
  • the defocus amount in the horizontal direction can be obtained.
  • the amount of defocus in the vertical direction can be obtained by calculating the phase difference between the image signal SIGv (C) and the image signal SIGv (D) in the focus area Rv by correlation calculation.
  • step S21 the phase difference detection unit 326 calculates a defocus amount. That is, the final defocus amount is calculated based on the phase difference obtained from the image signal pair determined to have high reliability in step S20.
  • step S22 the lens control unit 327 controls the driving of the lens 311 based on the focus determination result from the phase difference detection unit 326.
  • the lens control unit 327 may control driving of the lens 311 by performing contrast autofocus in addition to the phase difference autofocus as described above. For example, when information indicating a focus shift amount (defocus amount) is supplied as a focus determination result from the phase difference detection unit 326, the lens control unit 327 receives a focus shift direction (front pin or rear pin). Or contrast AF may be performed in that direction.
  • FIG. 15 is a flowchart for describing imaging processing of an electronic device to which the present technology is applied.
  • step S 41 the image sensor 41 photoelectrically converts the incident light of each pixel 111, reads out the pixel signal, and supplies it to the AD conversion unit 321.
  • step S ⁇ b> 42 the AD conversion unit 321 AD-converts each pixel signal from the image sensor 41 and supplies it to the clamp unit 322.
  • step S43 the clamp unit 322 subtracts the black level detected in the OPB (Optical Black) region provided outside the effective pixel region from each pixel signal (pixel value) from the AD conversion unit 321.
  • the clamp unit 322 supplies image data (pixel values) for all the pixels from which the black level has been subtracted to the defect correction unit 328.
  • steps S41 to S43 are basically the same as the processes in steps S11 to S13 in the flowchart of FIG.
  • step S ⁇ b> 44 the defect correction unit 328 performs pixel value correction (defect correction) on a defective pixel for which a correct pixel value cannot be obtained, for example, the phase difference detection pixel 131 based on the image data from the clamp unit 322. Do. In the present technology, since the imaging pixel 114 exists in the sub-block 103 in which the phase difference detection pixel 131 exists (that is, in the vicinity thereof), this correction processing is facilitated. Image data on which defective pixels have been corrected is supplied to the demosaic unit 329.
  • step S45 the demosaic unit 329 performs demosaic processing, converts the RAW data into RGB data, and supplies the RGB data to the LM / WB / gamma correction unit 330.
  • step S46 the LM / WB / gamma correction unit 330 performs color correction, white balance adjustment, and gamma correction on the RGB data from the demosaic unit 329, and supplies the result to the luminance chroma signal generation unit 331.
  • step S47 the luminance chroma signal generation unit 331 generates a luminance signal and a color difference signal (that is, YCrCb data) from the RGB data.
  • step S48 the I / F unit 332 outputs the luminance signal and the color difference signal generated by the luminance chroma signal generation unit 331 to the recording unit 314 and the display unit 313.
  • step S49 the display unit 313 displays an image of the subject based on the signal supplied from the I / F unit 332. Further, the recording unit 314 records the signal supplied from the I / F unit 332 based on an instruction from the user.
  • FIG. 16 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. Has been.
  • a phase difference detection pixel 131 for detecting a phase difference in the vertical direction is arranged in the upper left pixel 111.
  • the phase difference detection pixels 131C constituting one of the pair of the phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction are arranged.
  • a phase difference detection pixel 131D that constitutes the other of the pair that detects the phase difference in the vertical direction is arranged.
  • a phase difference detection pixel 131 that detects a phase difference in the horizontal direction is arranged in the upper left pixel 111 of the 2 ⁇ 2 pixels 111.
  • the pixel 111 in the first and ninth columns is provided with a phase difference detection pixel 131A that constitutes one of the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction.
  • a phase difference detection pixel 131B that constitutes the other of the pair that detects the phase difference in the horizontal direction is arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • the horizontal phase difference can be detected only by the output of the phase difference detection pixel 131 of the R pixel 111, and the vertical phase difference can be detected by the B pixel.
  • This is possible only by the output of the 111 phase difference detection pixels 131. Therefore, signal processing becomes easy.
  • Detection of the phase difference in the horizontal direction can be performed by reading out the phase difference detection pixels 131 of at least one row, but detection of the phase difference in the vertical direction can be performed by reading out the phase difference detection pixels 131 of at least two rows. It becomes possible.
  • One of the phase difference detection pixels 131 of the R pixel 111 and the B pixel 111 may be omitted, and only one of the horizontal phase difference and the vertical phase difference may be detected.
  • FIG. 17 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left pixel 111 among the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. .
  • a phase difference detection pixel 131 that detects a phase difference in the horizontal direction or the vertical direction is arranged in the upper left pixel 111. Specifically, in the third column and the eleventh column of the first row and the fifth row, one phase difference detection pixel 131A for detecting a phase difference in the horizontal direction is arranged, and the seventh column In the fifteenth column, the other phase difference detection pixel 131B of the pair for detecting the phase difference in the horizontal direction is arranged.
  • one phase difference detection pixel 131C for detecting the phase difference in the vertical direction is arranged.
  • the other phase difference detection pixel for detecting the phase difference in the vertical direction is arranged.
  • Pixel 131D is arranged.
  • a phase difference detection pixel 131 for detecting a vertical or horizontal phase difference is disposed in the upper left pixel 111.
  • the pixel 111 in the third row is provided with one phase difference detection pixel 131C that detects the phase difference in the vertical direction, and the pixel 111 in the seventh row has the phase difference in the vertical direction.
  • the other pair of phase difference detection pixels 131 ⁇ / b> D for detecting the above is disposed.
  • phase difference detection pixels 131A and 131B for detecting a phase difference in the horizontal direction are arranged.
  • one phase difference detection pixel 131A of the pair of phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction is provided.
  • phase difference detection pixels 131B for detecting the phase difference in the other horizontal direction of the pair are arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction in units of rows and the phase difference in the vertical direction are detected.
  • the phase difference detection pixels 131C and 131D to be mixed are mixed.
  • phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction and phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction are mixed.
  • each row a row in which the phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction are arranged, and a phase difference detection pixel 131C or a phase difference detection pixel 131D in which the phase difference in the vertical direction is detected are arranged.
  • a row in which the phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction are arranged, and a phase difference detection pixel 131C or a phase difference detection pixel 131D in which the phase difference in the vertical direction is detected are arranged.
  • both horizontal phase difference detection pixels 131A and 131B and vertical phase difference detection pixels 131C and 131D are arranged. Yes.
  • both horizontal phase difference detection pixels 131A and 131B and vertical phase difference detection pixels 131C and 131D are arranged. Therefore, phase difference detection can be performed even if the phase difference detection pixel 131 is provided only in one of the B sub block 103 and the R sub block 103.
  • FIG. 18 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the pixel 111 is divided along a 45 degree diagonal line that rises to the right (lower left) or a 45 degree diagonal line that rises to the left (lower right).
  • the phase difference detection pixel 131 the light shielding portion 133 is formed in one of the half triangular regions, and the light transmitting portion 132 is formed in the remaining half triangular region.
  • the light-shielding portion 133 is indicated by a black triangle
  • the light transmitting portion 132 is indicated by a white triangle.
  • the upper left triangle is the translucent part 132E
  • the lower right triangle is the light shielding part 133E
  • the phase difference detection pixel 131E the upper left triangle is the light shielding part 133F
  • the lower right triangle is the transparent part.
  • the phase difference detection pixels 131E and 131F detect the phase difference (upward left diagonal phase difference) in the direction (in the direction of the straight line of 45 degrees leftward) shown in FIG. .
  • the upper right triangle is the translucent part 132G
  • the lower left triangle is the light shielding part 133G
  • the phase difference detection pixel 131G the upper right triangle is the light shielding part 133H
  • the lower left triangle is the translucent part.
  • a phase difference detection pixel 131H which is 132H, is paired.
  • the phase difference detection pixels 131G and 131H detect the phase difference (upwardly inclined phase difference) in the direction (in the direction of a straight line of 45 degrees to the right) shown by the arrow A4 that is inclined to the right (downward to the left) in FIG. .
  • the upper left pixel 111 among the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131.
  • a phase difference detection pixel 131 for detecting an upward left oblique phase difference is arranged in the upper left pixel 111.
  • the phase difference detection pixel 131E that constitutes one of the pair is arranged in the pixels 111 in the third and eleventh columns.
  • the pixels 111F in the seventh and fifteenth columns are provided with phase difference detection pixels 131F that constitute the other of the pair that detects a left-upward oblique phase difference.
  • a phase difference detection pixel 131 that detects a right-upward oblique phase difference is arranged in the upper left pixel 111 of the 2 ⁇ 2 pixels 111. That is, one pair of phase difference detection pixels 131 ⁇ / b> G that detect a right-up diagonal phase difference is arranged in the pixels 111 in the first and ninth columns.
  • the pixels 111H in the fifth and thirteenth columns are provided with phase difference detection pixels 131H that constitute the other of the pair that detects a right-upward oblique phase difference.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • the fourth configuration example in FIG. 18 is arranged at the upper left, lower left, upper right, or lower right of the imaging region 101 to reduce the effect of astigmatism on phase difference detection. can do. Further, the detection of the left-up diagonal phase difference can be performed only by the output of the phase difference detection pixel 131 of the B pixel 111, and the detection of the right-up diagonal phase difference can be performed only by the output of the phase difference detection pixel 131 of the R pixel 111. Is possible. Therefore, signal processing becomes easy. Detection of the left-up diagonal phase difference and detection of the right-up diagonal phase difference can be performed by reading out at least one row of the phase difference detection pixels 131, respectively. It is also possible to omit the phase difference detection pixel 131 of the R pixel 111 or the B pixel 111 and detect only one of the left-up diagonal phase difference and the right-up diagonal phase difference.
  • FIG. 19 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the upper left pixel 111 among the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. .
  • a phase difference detection pixel 131 for detecting a right-up diagonal phase difference is arranged in the upper left pixel 111. That is, among the pair of phase difference detection pixels 131G and 131H that detect a right-up diagonal phase difference, the phase difference detection pixel 131G that constitutes one of the pair is arranged in the pixels 111 in the third column and the eleventh column. ing. The pixels 111H in the seventh column and the fifteenth column are arranged with a phase difference detection pixel 131H that constitutes the other of the pair that detects a right-up diagonal phase difference.
  • a phase difference detection pixel 131 that detects a left-up diagonal phase difference is arranged in the upper left pixel 111 of the 2 ⁇ 2 pixels 111. That is, one pair of phase difference detection pixels 131 ⁇ / b> E for detecting a left-up diagonal phase difference is arranged in the pixels 111 in the first and ninth columns.
  • the pixels 111F in the fifth and thirteenth columns are provided with phase difference detection pixels 131F that constitute the other of the pair that detects a left-upward oblique phase difference.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • the influence of astigmatism on phase difference detection is reduced by arranging the imaging region 101 at the upper left, lower left, upper right, or lower right. can do. Further, the detection of the left-up diagonal phase difference can be performed only by the output of the phase difference detection pixel 131 of the R pixel 111, and the detection of the right-up diagonal phase difference can be performed only by the output of the phase difference detection pixel 131 of the B pixel 111. Is possible. Therefore, signal processing becomes easy. Detection of the left-up diagonal phase difference and detection of the right-up diagonal phase difference can be performed by reading out at least one row of the phase difference detection pixels 131, respectively. It is also possible to omit the phase difference detection pixel 131 of the R pixel 111 or the B pixel 111 and detect only one of the left-up diagonal phase difference and the right-up diagonal phase difference.
  • FIG. 20 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the upper left pixel 111 among the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. .
  • a phase difference detection pixel 131 that detects a left-upward diagonal phase difference or a right-up diagonal phase difference is arranged in the upper left pixel 111. That is, in the pixels 111 in the first row and the fifth row, one of a pair of phase difference detection pixels 131E and 131F for detecting a left-up diagonal phase difference is arranged. In the third and eleventh columns, one pair of phase difference detection pixels 131E for detecting a left-up diagonal phase difference is arranged, and in the seventh and fifteenth columns, a left-up diagonal phase difference is shown. The other phase difference detection pixel 131F of the pair to be detected is arranged.
  • one of a pair of phase difference detection pixels 131G and 131H for detecting a right-up diagonal phase difference is arranged. That is, in the third and eleventh columns, one pair of phase difference detection pixels 131G for detecting a right-upward oblique phase difference is arranged, and in the seventh and fifteenth columns, a right-upward oblique phase difference is detected.
  • the other pair of phase difference detection pixels 131H is arranged.
  • a phase difference detection pixel 131 that detects a left-up diagonal phase difference or a right-up diagonal phase difference is disposed in the upper left pixel 111. That is, in the pixels 111 in the third row and the seventh row, one of a pair of phase difference detection pixels 131G and 131H for detecting a right-up diagonal phase difference is arranged. In the first and ninth columns, one pair of phase difference detection pixels 131G that detect a right-up diagonal phase difference is arranged, and in the fifth and thirteenth rows, a right-up diagonal phase difference is displayed. The other phase difference detection pixel 131H of the pair to be detected is arranged.
  • one of a pair of phase difference detection pixels 131E and 131F for detecting a left-up diagonal phase difference is arranged. That is, in the first and ninth columns, one pair of phase difference detection pixels 131E that detect a left-upward oblique phase difference is arranged, and in the fifth and thirteenth rows, a left-upward oblique phase difference is detected.
  • the other pair of phase difference detection pixels 131F is arranged. In the case where the phase difference detection pixels 131 are arranged, the number thereof is one in one sub-block 103 and two in one block 102.
  • phase difference detection pixels 131E and 131F that detect the left-up diagonal phase difference and the phase difference that detects the right-up diagonal phase difference are detected.
  • the detection pixels 131G and 131H are mixed.
  • phase difference detection pixels 131E and 131F for detecting the left-up diagonal phase difference and phase difference detection pixels 131G and 131H for detecting the right-up diagonal phase difference are mixed.
  • the influence of astigmatism on phase difference detection is reduced by arranging the imaging region 101 at the upper left, lower left, upper right, or lower right. can do. Further, in both the B pixel 111 and the R pixel 111, switching is regularly performed to the left rising oblique phase difference detection or the right rising oblique phase difference detection every two blocks 102. Therefore, the processing can be regularly repeated.
  • the phase difference detection pixel 131 is disposed in the R pixel 111 and the B pixel 111, and the phase difference detection pixel 131 is not disposed in the G pixel 111. .
  • the G pixel 111 that requires a larger amount of light than the B pixel 111 and the R pixel 111 to capture a high-quality image is not reduced, and a high-quality captured image with high visibility is obtained. It becomes possible.
  • the R pixel 111 tends to be more sensitive than the B pixel 111, but there is no need to consider the relationship with the G pixel 111, so that the R pixel 111 adjusts the balance with the B pixel 111. Becomes easy.
  • FIG. 21 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. Has been.
  • the phase difference detection for detecting the phase difference in the horizontal direction at the upper left pixel 111 out of the 2 ⁇ 2 pixels 111 is arranged. That is, among the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction, the phase difference detection pixel 131A that constitutes one of the pair is arranged in the pixels 111 in the first and ninth columns. ing. In the pixels 111 in the fifth and thirteenth columns, a phase difference detection pixel 131B that constitutes the other of the pair that detects the phase difference in the horizontal direction is arranged.
  • a phase difference detection pixel 131 for detecting a vertical phase difference is arranged in the upper left pixel 111. That is, among the pair of phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction, the phase difference detection pixel 131C constituting one of the pair is arranged in the pixels 111 in the third row and the eleventh row. ing. In the pixels 111 in the seventh row and the fifteenth row, a phase difference detection pixel 131D that constitutes the other of the pair that detects the phase difference in the vertical direction is arranged. In the case where the phase difference detection pixels 131 are arranged, the number thereof is one in one sub-block 103 and two in one block 102.
  • the phase difference in the horizontal direction can be detected only by the output of the phase difference detection pixel 131 of the upper left G pixel 111, and the detection of the phase difference in the vertical direction can be performed. This is possible only by the output of the phase difference detection pixel 131 of the lower right G pixel 111. Therefore, signal processing becomes easy.
  • the detection of the phase difference in the horizontal direction can be performed only by the output of the phase difference detection pixel 131 of the upper left G pixel 111 for one row, and the detection of the phase difference in the vertical direction can be performed by the lower right G for two rows. This is possible with the output of the pixel 131 for phase difference detection of the pixel 111.
  • the positions of the horizontal phase difference detection pixels 131 and the vertical phase difference detection pixels 131 may be reversed. That is, the horizontal phase difference detection pixel 131 may be arranged in the lower right G pixel 111, and the vertical phase difference detection pixel 131 may be arranged in the upper left G pixel 111. Further, one of the phase difference detection pixels 131 of the upper left G pixel 111 and the lower right G pixel 111 may be omitted, and only one of the horizontal phase difference and the vertical phase difference may be detected.
  • FIG. 22 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. It is said that.
  • the phase difference detection for detecting the vertical phase difference at the upper left pixel 111 out of the 2 ⁇ 2 pixels 111 is arranged. That is, among the pair of phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction, the phase difference detection pixels 131C constituting one of the pair are arranged in the pixels 111 in the first row and the ninth row. ing. In the pixels 111 in the fifth row and the thirteenth row, a phase difference detection pixel 131D that constitutes the other of the pair that detects the phase difference in the vertical direction is arranged.
  • a phase difference detection pixel 131 for detecting a phase difference in the horizontal direction is arranged in the upper left pixel 111. That is, among the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction, the phase difference detection pixel 131A that constitutes one of the pair is arranged in the pixels 111 in the third column and the eleventh column. ing. In the pixels 111 in the seventh column and the fifteenth column, a phase difference detection pixel 131B that constitutes the other of the pair for detecting the phase difference in the horizontal direction is arranged. In the case where the phase difference detection pixels 131 are arranged, the number thereof is one in one sub-block 103 and two in one block 102.
  • the detection of the phase difference in the vertical direction can be performed only by the output of the phase difference detection pixel 131 of the upper left G pixel 111, and the detection of the phase difference in the horizontal direction can be performed. This is possible only with the output of the phase difference detection pixel 131 of the lower right G pixel 111. Therefore, signal processing becomes easy.
  • Detection of the phase difference in the horizontal direction can be performed by reading out the phase difference detection pixels 131 of at least one row, but detection of the phase difference in the vertical direction can be performed by reading out the phase difference detection pixels 131 of at least two rows. It becomes possible.
  • One of the phase difference detection pixels 131 of the upper left G pixel 111 and the lower right G pixel 111 may be omitted, and only one of the horizontal phase difference and the vertical phase difference may be detected.
  • FIG. 23 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. It is said that.
  • phase difference detection pixel 131 is arranged in the first row and the fifth row. That is, in the first row and the fifth row, one of the pair of phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction is formed in the pixels 111 in the first column and the ninth column. A phase difference detection pixel 131A is arranged. In the pixels 111 in the fifth and thirteenth columns, a phase difference detection pixel 131B that constitutes the other of the pair that detects the phase difference in the horizontal direction is arranged.
  • the phase difference detection pixel 131C constituting one of the pair is arranged.
  • a phase difference detection pixel 131D constituting the other of the pair is arranged.
  • a phase difference detection pixel 131 that detects the phase difference between the vertical direction and the horizontal direction is arranged in the upper left pixel 111. Yes. That is, among the pair of phase difference detection pixels 131C and 131D that detect the phase difference in the vertical direction, the phase difference detection pixel 131C that constitutes one of the pair is disposed in the pixel 111 in the third row. In the pixel 111 in the seventh row, a phase difference detection pixel 131D that constitutes the other of the pair that detects the phase difference in the vertical direction is arranged.
  • one of the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the lateral direction is detected in the pixels 111 in the third and eleventh columns.
  • the pixel 131C for phase difference detection which comprises is arrange
  • a phase difference detection pixel 131B that constitutes the other of the pair that detects the phase difference in the horizontal direction is arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • both the horizontal phase difference detection pixels 131A and 131B and the vertical phase difference detection pixels 131C and 131D are arranged in the upper left G sub-block 103.
  • both the horizontal phase difference detection pixels 131A and 131B and the vertical phase difference detection pixels 131C and 131D are also arranged in the lower right G sub-block 103. Therefore, even if the phase difference detection pixel 131 is provided only in one of the upper left G sub-block 103 and the lower right G sub block 103, phase difference detection in both directions is possible.
  • the horizontal phase difference detection or the vertical phase difference detection is regularly performed for each row of the two blocks 102. Switching is done. Therefore, the processing can be regularly repeated.
  • FIG. 24 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. Has been.
  • phase difference detection pixels 131 are arranged. That is, in the pixels 111 in the first column and the ninth column, among the pair of phase difference detection pixels 131E and 131F that detect the phase difference in the diagonally upward left direction, the phase difference detection pixel 131E that constitutes one of the pair is included. Has been placed. The pixels 111F in the fifth and thirteenth columns are provided with phase difference detection pixels 131F that constitute the other of the pair that detects the phase difference in the diagonally upward left direction.
  • a phase difference detection pixel 131 for detecting a phase difference in the upward and diagonal direction is arranged in the upper left pixel 111.
  • the third and eleventh columns of pixels 111 include a phase difference detection pixel 131G that constitutes one of the pair of the pair of phase difference detection pixels 131G and 131H that detect the phase difference in the diagonally upward direction.
  • a phase difference detection pixel 131H that constitutes the other of the pair that detects the phase difference in the diagonally upward direction is arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • the tenth configuration example in FIG. 24 is arranged at the upper left, lower left, upper right, or lower right of the imaging region 101 to reduce the influence of astigmatism on phase difference detection, as will be described later with reference to FIG. can do. Further, the detection of the left-up diagonal phase difference can be performed only by the output of the phase difference detection pixel 131 of the upper-left G pixel 111, and the detection of the right-up diagonal phase difference can be performed for the phase difference detection of the lower right G pixel 111. This is possible only with the output of the pixel 131. Therefore, signal processing becomes easy. Detection of the left-up diagonal phase difference and detection of the right-up diagonal phase difference can be performed by reading out at least one row of the phase difference detection pixels 131, respectively. It is also possible to omit the phase difference detection pixel 131 of the upper left G pixel 111 or the lower right G pixel 111 and detect only one of the left-up diagonal phase difference and the right-up diagonal phase difference.
  • FIG. 25 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is the phase difference detection pixel 131. Has been.
  • phase difference detection pixels 131 are arranged. That is, among the pair of phase difference detection pixels 131 ⁇ / b> G and 131 ⁇ / b> H that detect the phase difference in the diagonally upward direction, the phase difference detection pixel 131 ⁇ / b> G that constitutes one of the pair is included in the pixels 111 in the first and ninth columns. Has been placed. In the pixels 111 in the fifth and thirteenth columns, a phase difference detection pixel 131H that constitutes the other of the pair that detects a phase difference in a diagonally upward direction is arranged.
  • a phase difference detection pixel 131 for detecting a phase difference in the diagonally upward left direction is arranged in the upper left pixel 111.
  • the third and eleventh columns of pixels 111 include a phase difference detection pixel 131E that constitutes one of the pair of the pair of phase difference detection pixels 131E and 131F that detect the phase difference in the diagonally upward left direction.
  • a phase difference detection pixel 131F that constitutes the other of the pair that detects the phase difference in the diagonally upward left direction is arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • the eleventh configuration example in FIG. 25 is arranged at the upper left, lower left, upper right, or lower right of the imaging region 101 to reduce the effect of astigmatism on phase difference detection, as will be described later with reference to FIG. can do. Further, detection of an upward left oblique phase difference can be performed only by the output of the phase difference detection pixel 131 of the lower right G pixel 111, and detection of an upward right oblique phase difference can be performed by the phase difference detection of the upper left G pixel 111. This is possible only by the output of the pixel 131 for use. Therefore, signal processing becomes easy.
  • Detection of the left-up diagonal phase difference and detection of the right-up diagonal phase difference can be performed by reading out at least one row of the phase difference detection pixels 131, respectively. It is also possible to omit the phase difference detection pixel 131 of the upper left G pixel 111 or the lower right G pixel 111 and detect only one of the left-up diagonal phase difference and the right-up diagonal phase difference.
  • FIG. 26 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left pixel 111 is the phase difference detection pixel 131. Has been.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is shifted to the upper left diagonal direction or the upper right diagonal direction.
  • a phase difference detection pixel 131 for detecting the phase difference is arranged. That is, in the first row and the fifth row, one of the pair of phase difference detection pixels 131E and 131F for detecting the phase difference in the diagonally upward left direction is applied to the pixel 111 in the first column and the ninth column.
  • the constituting phase difference detection pixel 131E is arranged.
  • the pixels 111F in the fifth and thirteenth columns are provided with phase difference detection pixels 131F that constitute the other of the pair that detects the phase difference in the diagonally upward left direction.
  • one of the pair of phase difference detection pixels 131G and 131H that detect the phase difference in the diagonally right upward direction is formed in the pixels 111 in the first and ninth columns.
  • a phase difference detection pixel 131G is arranged.
  • a phase difference detection pixel 131H that constitutes the other of the pair that detects a phase difference in a diagonally upward direction is arranged.
  • phase difference detection pixel 131 for detecting the above is disposed. That is, in the third row and the seventh row, one of the pair of the phase difference detection pixels 131G and 131H that detect the phase difference in the upward and diagonal direction is applied to the pixel 111 in the third column and the eleventh column.
  • the constituent phase difference detection pixels 131G are arranged.
  • a phase difference detection pixel 131H that constitutes the other of the pair that detects the phase difference in the diagonally upward direction is arranged.
  • one of the pair of phase difference detection pixels 131E and 131F that detect the phase difference in the diagonally upward left direction is formed in the pixels 111 in the third and eleventh columns.
  • a phase difference detection pixel 131E is arranged.
  • a phase difference detection pixel 131F that constitutes the other of the pair that detects the phase difference in the diagonally upward left direction is arranged.
  • the number thereof is one in one sub-block 103 and two in one block 102.
  • the influence of astigmatism on phase difference detection is reduced by arranging the imaging region 101 at the upper left, lower left, upper right, or lower right. can do. Further, in both the upper left G pixel 111 and the lower right G pixel 111, switching is regularly performed to left-up diagonal phase difference detection or right-up diagonal phase difference detection every two blocks 102. Therefore, the processing can be regularly repeated.
  • the phase difference detection pixel 131 is arranged in the G pixel 111.
  • the influence on the G pixel 111 that requires a larger amount of light than the B pixel 111 and the R pixel 111 can be reduced by correction.
  • FIG. 27 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the two pixels 111 at the upper left and the lower right among the 2 ⁇ 2 pixels 111 are the phase difference detection pixels 131. .
  • the upper left B pixel 111 in the third column and the lower right B pixel 111 in the fourth column include a pair of phase difference detection pixels 131A that detect a phase difference in the horizontal direction.
  • a phase difference detection pixel 131A constituting one of the pair is disposed.
  • a phase difference detection pixel 131A that constitutes one of a pair for detecting a horizontal phase difference is arranged. Yes.
  • the upper left B pixel 111 in the seventh column and the lower right B pixel 111 in the eighth column constitute the other of the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction.
  • a phase difference detection pixel 131B is arranged.
  • the B pixel 111 at the upper left of the 15th column and the B pixel 111 at the lower right of the 16th column are arranged with a phase difference detection pixel 131B that constitutes the other of the pair detecting the phase difference in the horizontal direction.
  • the number of the phase difference detection pixels 131 when arranged is two in one sub-block 103 and two in one block 102.
  • the phase difference detection pixel 131A for detecting the phase difference in the horizontal direction and the pair of phase difference detection pixels 131B in the same row for detecting the pair of horizontal phase differences are sub-block 103.
  • two pixels at the upper left and lower right of the four B pixels 111 are the same phase difference detection pixel 131A or the same phase difference detection pixel 131B.
  • the upper left phase difference detection pixel 131 and the lower right (down one row) phase difference detection pixel 131 are adjacent to and adjacent to each other on the diagonal line. Therefore, since the characteristics of both are approximated, the phase difference can be detected by block matching (line matching) using the upper and lower phase difference sequences.
  • an averaging process is performed, the resistance to noise can be improved, and the detection accuracy can be improved.
  • phase difference detection pixels 131 ⁇ / b> A and 131 ⁇ / b> B that detect the phase difference in the horizontal direction may be arranged in the upper left and lower right pixels 111 in the R sub-block 103. Further, instead of the phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction, phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction may be arranged.
  • FIG. 28 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the two pixels 111 at the upper left and the lower right among the 2 ⁇ 2 pixels 111 are the phase difference detection pixels 131. .
  • phase difference detection pixels 131 for detecting the same lateral phase difference are arranged in the same B sub-block 103. That is, two phase difference detection pixels 131A or two phase difference detection pixels 131B are arranged.
  • phase difference detection pixels 131 that detect a pair of horizontal phase differences are arranged at the upper left and lower right in the same B sub-block 103. That is, the phase difference detection pixel 131A and the phase difference detection pixel 131B are arranged.
  • the upper left B pixel 111 in the third column and the lower right B pixel 111 in the fourth column have one phase difference detection pixel for detecting a phase difference in the horizontal direction.
  • 131A and the other phase difference detection pixel 131B are arranged.
  • a pair of phase difference detection pixels 131 ⁇ / b> A for detecting a phase difference in the horizontal direction and the other phase difference detection pixel are also applied to the upper left B pixel 111 in the seventh column and the lower right B pixel 111 in the eighth column.
  • 131B is arranged.
  • a pair of phase difference detection pixels 131A for detecting a phase difference in the horizontal direction and the other phase difference detection pixel are also used for the upper left B pixel 111 in the eleventh column and the lower right B pixel 111 in the twelfth column.
  • 131B is arranged.
  • 131B is arranged.
  • phase difference detection pixel 131A for detecting a phase difference in the horizontal direction is arranged in the upper left B pixel 111 in the first row, the fifth row, the ninth row, and the thirteenth row.
  • the other phase difference detection pixel 131B of the pair that detects the phase difference in the horizontal direction is arranged in the lower right B pixel 111 in the second row, the sixth row, the tenth row, and the fourteenth row.
  • the number of the phase difference detection pixels 131 when arranged is two in one sub-block 103 and two in one block 102.
  • the phase difference detection pixel 131A that detects the phase difference in the horizontal direction is shifted by one row, but the pair of phase difference detection pixels 131B that detect the pair of horizontal phase differences is When counted in the sub-block 103, they are not separated (separated by 0). Then, there are two phase difference detection pixels 131A for detecting the phase difference in the horizontal direction and two phase difference detection pixels 131A for detecting the next horizontal phase difference of the same phase in the same row as counted in the sub-block 103. Minutes apart (0-2B).
  • phase difference detection pixels 131 ⁇ / b> A and 131 ⁇ / b> B that detect the phase difference in the horizontal direction may be arranged in the upper left and lower right pixels 111 of the R sub-block 103. Further, instead of the phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction, phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction may be arranged.
  • FIG. 29 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the two pixels 111 at the upper left and lower right among the 2 ⁇ 2 pixels 111 are the phase difference detection pixels 131. .
  • the upper left B pixel 111 in the third column and the upper left B pixel 111 in the eleventh column include a pair of phase difference detection pixels 131 ⁇ / b> A and 131 ⁇ / b> B that detect a phase difference in the horizontal direction.
  • a phase difference detection pixel 131A constituting one of the pair is disposed.
  • the upper left B pixel 111 in the seventh column and the upper left B pixel 111 in the fifteenth column are the positions constituting the other of the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction.
  • a phase difference detection pixel 131B is arranged.
  • the lower right B pixel 111 in the second row and the lower right B pixel 111 in the tenth row constitute one of the pair of phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction.
  • a phase difference detection pixel 131C is arranged.
  • the lower right B pixel 111 in the sixth row and the lower right B pixel 111 in the fourteenth row constitute the other of the pair of phase difference detection pixels 131C and 131D that detect the phase difference in the vertical direction.
  • a phase difference detection pixel 131D is disposed.
  • the number of the phase difference detection pixels 131 when arranged is two in one sub-block 103 and two in one block 102.
  • Pixels 131C or 131D are arranged in a mixed manner.
  • phase difference detection pixel 131A that detects the phase difference in the horizontal direction
  • the pair of phase difference detection pixels 131B that detect the paired horizontal phase difference in the same row
  • they are separated by two.
  • the phase difference detection pixel 131C for detecting the vertical phase difference and the pair of phase difference detection pixels 131D for detecting the paired vertical phase difference in the same column are When counted in block 103, they are separated by two. Then, four phase difference detection pixels 131C for detecting the phase difference in the vertical direction and four phase difference detection pixels 131C for detecting the next vertical phase difference of the same phase in the same column are counted in the sub-block 103. Minutes apart (2-4B).
  • phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction may be replaced with the phase difference detection pixels 131C and 131D that detect the phase difference in the vertical direction.
  • the phase difference detection pixels 131A to 131D for detecting the phase difference between the horizontal direction and the vertical direction may be arranged in the upper left and lower right pixels 111 of the R sub-block 103.
  • FIG. 30 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the two pixels 111 at the upper left and the lower right among the 2 ⁇ 2 pixels 111 are the phase difference detection pixels 131. .
  • the upper left B pixel 111 in the third column and the upper left B pixel 111 in the eleventh column include a pair of phase difference detection pixels 131 ⁇ / b> E and 131 ⁇ / b> F that detect a left-up diagonal phase difference.
  • a phase difference detection pixel 131E constituting one of the pair is disposed.
  • the upper left B pixel 111 in the seventh column and the upper left B pixel 111 in the fifteenth column are the positions constituting the other of the pair of the pair of phase difference detection pixels 131E and 131F that detect the left-up diagonal phase difference.
  • Phase difference detection pixels 131F are arranged.
  • the lower right B pixel 111 in the fourth column and the lower right B pixel 111 in the twelfth column constitute one of the pair of phase difference detection pixels 131G and 131H that detect a right-up diagonal phase difference.
  • a phase difference detection pixel 131G is arranged.
  • the lower right B pixel 111 in the eighth column and the lower right B pixel 111 in the sixteenth column constitute the other of the pair of phase difference detection pixels 131G and 131H that detect a right-up diagonal phase difference.
  • a phase difference detection pixel 131H is arranged.
  • the number of the phase difference detection pixels 131 when arranged is two in one sub-block 103 and two in one block 102.
  • a pair of phase difference detection pixels 131E for detecting a left-upward oblique phase difference and a pair of phase difference detection pixels for detecting a right-upward oblique phase difference 131G are arranged in a mixed manner.
  • a pair of phase difference detection pixels 131F that detect a left-up diagonal phase difference and a pair of phase difference detection pixels 131H that detect a right-up diagonal phase difference are mixedly arranged.
  • the phase difference detection pixels 131E and 131F and the phase difference detection pixels 131G and 131H are mixedly arranged.
  • phase difference detection pixel 131E that detects a left-upward oblique phase difference and a pair of phase difference detection pixels 131F that detect a pair of left-upward oblique phase differences in the same row
  • phase difference detection pixels 131E there are four phase difference detection pixels 131E for detecting the left-up diagonal phase difference and four phase difference detection pixels 131E for detecting the next left-up diagonal phase difference of the same phase in the same row as counted in the sub-block 103. Minutes apart (2-4B).
  • a phase difference detection pixel 131G for detecting a right-upward oblique phase difference and a pair of phase difference detection pixels 131H in the same row for detecting a right-upward diagonal phase difference are When counted in block 103, they are separated by two. Then, there are four phase difference detection pixels 131G for detecting the right-up diagonal phase difference and four phase difference detection pixels 131G for detecting the next right-up diagonal phase difference of the same phase in the same row. Minutes apart (2-4B).
  • phase difference detection pixels 131E and 131F for detecting the left-upward oblique phase difference and the phase difference detection pixels 131G and 131H for detecting the right-upward oblique phase difference are respectively connected to the upper left and lower right pixels 111 of the R sub-block 103. It may be arranged.
  • phase difference detection pixels 131 are arranged in the B sub-block 103.
  • the B pixel 111 is less visible than the R pixel 111 or the G pixel 111. Therefore, compared with the case where the phase difference detection pixel 131 is arranged in the R pixel 111 or the G pixel 111, the deterioration of the image is suppressed.
  • phase difference detection pixels 131 can also be arranged in the two G sub-blocks 103, respectively.
  • FIG. 31 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the two pixels 111 on the upper left and lower right of the 2 ⁇ 2 pixels 111 are the phase difference detection pixels. 131.
  • a pair of phase difference detections that detect a phase difference in the horizontal direction at the upper left of the third column, the lower right of the fourth column, and the upper left of the eleventh column and the lower right of the twelfth column 111.
  • a phase difference detection pixel 131A that constitutes one of the pair is disposed.
  • Phase difference detection pixels constituting the other of the pair detecting the phase difference in the horizontal direction are provided in the upper left pixel of the seventh column and the lower right pixel of the eighth column and the upper left pixel of the fifteenth column and the lower right pixel of the sixteenth column.
  • 131B is arranged.
  • a pair of phase difference detections that detect the phase difference in the vertical direction at the pixel 111 at the upper left of the third row and the lower right of the fourth row and at the upper left of the eleventh row and the lower right of the twelfth row.
  • the phase difference detection pixel 131C constituting one of the pair is disposed.
  • the upper left pixel of the seventh row and the lower right pixel of the eighth row and the upper left pixel of the fifteenth row and the lower right pixel of the sixteenth row include a pair of phase difference detection pixels 131C and 131D that detect the phase difference in the vertical direction.
  • a phase difference detection pixel 131D constituting the other of the pair is arranged.
  • the seventeenth configuration example in FIG. 31 is a configuration example in which phase difference detection pixels 131C and 131D for detecting a phase difference in the vertical direction are added to the R pixel 111 in the thirteenth configuration example in FIG.
  • the upper left and lower right two pixels 111 are the same phase difference detection pixel 131A or the same phase difference detection pixel. This is the pixel 131B.
  • the upper left phase difference detection pixel 131 and the lower right (down one row) phase difference detection pixel 131 are adjacent to and adjacent to each other on the diagonal line. Therefore, the phase difference can be detected by block matching (line matching) using the upper and lower phase difference sequences. By adding the pixel value or the value after phase difference detection, an averaging process is performed, and resistance to noise can be improved and accuracy can be improved.
  • the upper left and lower right two of the four R pixels 111 of one R sub-block 103 are the same phase difference detection pixels 131C or the same phase difference. This is a detection pixel 131D.
  • the upper left phase difference detection pixel 131 and the lower right (down one row) phase difference detection pixel 131 are adjacent to and adjacent to each other on the diagonal line. Therefore, the phase difference can also be detected by block matching (line matching) using the left and right phase difference sequences.
  • phase difference detection pixel 131A for detecting a horizontal phase difference and a pair of phase difference detection pixels for detecting a pair of horizontal phase differences in the same row.
  • 131B is separated by two when counted in sub-block 103. Then, there are four phase difference detection pixels 131 ⁇ / b> A for detecting the phase difference in the horizontal direction and four phase difference detection pixels 131 ⁇ / b> A for detecting the next horizontal phase difference of the same phase in the same row as counted in the sub-block 103. Minutes apart (2-4B).
  • a phase difference detection pixel 131C that detects a phase difference in the vertical direction and a pair of phase difference detection pixels 131D that detect a pair of vertical phase differences in the same column When counted in block 103, they are separated by two. Then, four phase difference detection pixels 131C for detecting the phase difference in the vertical direction and four phase difference detection pixels 131C for detecting the next vertical phase difference of the same phase in the same column are counted in the sub-block 103. Minutes apart (2-4R).
  • a pair of phase difference detection pixels 131A and 131B that detect a phase difference in the horizontal direction are arranged in the B pixel 111, and a pair of phase difference detections that detect the phase difference in the vertical direction are arranged in the R pixel 111.
  • Pixels 131C and 131D are arranged.
  • a pair of phase difference detection pixels 131C and 131D for detecting the vertical phase difference are arranged in the B pixel 111
  • a pair of phase difference detection pixels 131A and 131 for detecting the horizontal phase difference are arranged in the R pixel 111.
  • 131B may be arranged.
  • FIG. 32 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the upper left and lower right two pixels 111 are phase difference detection pixels. 131.
  • a pair of phase differences for detecting a horizontal phase difference is included in the upper-left pixel of the first column and the lower-right pixel of the second column and the upper-left pixel of the ninth column and the lower-right pixel of the tenth column.
  • a phase difference detection pixel 131A that constitutes one of the pair is disposed.
  • the upper left pixel in the fifth column and the lower right pixel in the sixth column and the upper left pixel in the thirteenth column and the lower right pixel in the fourteenth column include a pair of phase difference detection pixels 131A and 131B that detect a phase difference in the horizontal direction.
  • the phase difference detection pixel 131B constituting the other of the pair is arranged.
  • a pair of phase difference detection is performed to detect a vertical phase difference in the upper left pixel in the first row, the lower right row in the second row, and the upper left pixel in the ninth row and the lower right pixel in the tenth row.
  • the phase difference detection pixel 131C constituting one of the pair is disposed.
  • the upper left pixel in the fifth row and the lower right pixel in the sixth row and the upper left pixel in the thirteenth row and the lower right pixel in the fourteenth row include a pair of phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction.
  • a phase difference detection pixel 131D constituting the other of the pair is arranged.
  • phase difference detection pixel 131A or the same phase difference detection pixel. 131B two pixels at the upper left and lower right of the four R pixels 111 of one R sub-block 103 are the same phase difference detection pixel 131A or the same phase difference detection pixel. 131B.
  • the upper left phase difference detection pixel 131 and the lower right (down one row) phase difference detection pixel 131 are adjacent to and adjacent to each other on the diagonal line. Therefore, the phase difference can also be detected by block matching (line matching) using the upper and lower phase difference sequences.
  • two pixels on the upper left and lower right of the four B pixels 111 of one B sub-block 103 are the same phase difference detection pixel 131C or the same phase difference detection pixel. This is a pixel 131D.
  • the upper left phase difference detection pixel 131 and the lower right (down one row) phase difference detection pixel 131 are adjacent to and adjacent to each other on the diagonal line. Therefore, the phase difference can be detected by block matching (line matching) using the left and right phase difference sequences.
  • 131B is separated by two when counted in sub-block 103. Then, there are four phase difference detection pixels 131 ⁇ / b> A for detecting the phase difference in the horizontal direction and four phase difference detection pixels 131 ⁇ / b> A for detecting the next horizontal phase difference of the same phase in the same row as counted in the sub-block 103. Minutes apart (2-4R).
  • the phase difference detection pixel 131C for detecting the vertical phase difference and the pair of phase difference detection pixels 131D for detecting the paired vertical phase difference in the same column are When counted in block 103, they are separated by two. Then, four phase difference detection pixels 131C for detecting the phase difference in the vertical direction and four phase difference detection pixels 131C for detecting the next vertical phase difference of the same phase in the same column are counted in the sub-block 103. Minutes apart (2-4B).
  • a pair of phase difference detection pixels 131A and 131B for detecting a phase difference in the horizontal direction are arranged in the R pixel 111, and a pair of phase difference detections for detecting the phase difference in the vertical direction are arranged in the B pixel 111.
  • Pixels 131C and 131D are arranged.
  • a pair of phase difference detection pixels 131C and 131D for detecting the phase difference in the vertical direction are arranged in the R pixel 111
  • a pair of phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction are arranged in the B pixel 111.
  • 131B may be arranged.
  • FIG. 33 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the two pixels 111 on the upper left and lower right of the 2 ⁇ 2 pixels 111 are the phase difference detection pixels. 131.
  • phase difference detection pixels 131 for detecting the same horizontal phase difference or vertical phase difference are arranged in the same sub-block 103. That is, in the B sub-block 103, two phase difference detection pixels 131A or two phase difference detection pixels 131B are arranged, or two phase difference detection pixels 131C, or phase difference detection. Two pixels 131D are arranged.
  • a phase difference detection pixel 131 for detecting a pair of horizontal or vertical phase differences is arranged in the same sub-block 103. That is, the phase difference detection pixel 131A and the phase difference detection pixel 131B are arranged, or the phase difference detection pixel 131C and the phase difference detection pixel 131D are arranged.
  • a phase difference detection pixel 131A constituting one of the pair is disposed.
  • the lower right pixel 111 in the second row, the sixth row, the tenth row, and the fourteenth row constitutes the other of the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction.
  • a phase difference detection pixel 131B is arranged.
  • the upper left pixel 111 in the third row, the seventh row, the eleventh row, and the fifteenth row includes a pair of phase difference detection pixels 131C and 131D for detecting a vertical phase difference.
  • a phase difference detection pixel 131C constituting one of the pair is disposed.
  • the lower right pixel 111 in the fourth, eighth, twelfth, and sixteenth rows constitutes the other of the pair of phase difference detection pixels 131C and 131D that detect the phase difference in the vertical direction.
  • a phase difference detection pixel 131D is arranged.
  • the number thereof is two in one sub-block 103 and four in one block 102.
  • the phase difference detection pixel 131A for detecting the phase difference in the horizontal direction and the pair of phase difference detection pixels 131B for detecting the pair of horizontal phase differences one row below are sub-blocks. When counted at 103, they are not separated (separated by 0). Then, there are two phase difference detection pixels 131A for detecting the phase difference in the horizontal direction and two phase difference detection pixels 131A for detecting the next horizontal phase difference of the same phase in the same row as counted in the sub-block 103. Minutes apart (0-2B).
  • a phase difference detection pixel 131C for detecting a phase difference in the vertical direction and a pair of phase difference detection pixels 131D for detecting a pair of vertical phase differences on the right of one column are: When counted in the sub-block 103, they are not separated (separated by 0). Then, there are two phase difference detection pixels 131C for detecting the phase difference in the vertical direction and two phase difference detection pixels 131C for detecting the phase difference in the next vertical direction of the same phase in the same column. Minutes apart (0-2R).
  • a pair of phase difference detection pixels 131A and 131B that detect a phase difference in the horizontal direction are arranged in the B pixel 111, and a pair of phase difference detections that detect the phase difference in the vertical direction are arranged in the R pixel 111.
  • Pixels 131C and 131D are arranged.
  • a pair of phase difference detection pixels 131C and 131D for detecting the vertical phase difference are arranged in the B pixel 111
  • a pair of phase difference detection pixels 131A and 131 for detecting the horizontal phase difference are arranged in the R pixel 111.
  • 131B may be arranged.
  • FIG. 34 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the phase difference detection pixels 131 are arranged at corresponding positions in the sub-blocks 103 of all colors.
  • the phase difference detection pixels 131 may be arranged at different positions in the sub-blocks 103 of the same color, but at different positions between the sub-blocks 103 of different colors.
  • FIG. 34 shows a configuration example in this case.
  • phase difference detection pixels 131 are arranged in the B sub-block 103 and the R sub-block 103.
  • the upper left and lower right pixels 111 among the 2 ⁇ 2 pixels 111 are the phase difference detection pixels 131.
  • the lower left and upper right pixels 111 are the phase difference detection pixels 131.
  • a phase difference detection pixel 131E constituting one of the pair is disposed.
  • the lower right pixel 111 in the second row, the sixth row, the tenth row, and the fourteenth row configures the other of the pair of phase difference detection pixels 131E and 131F that detect a left-up diagonal phase difference.
  • a phase difference detection pixel 131F is arranged.
  • a phase difference detection pixel 131G constituting one of the pair is disposed.
  • the lower left pixel 111 in the fourth row, the eighth row, the twelfth row, and the sixteenth row has a position constituting the other of the pair of phase difference detection pixels 131G and 131H for detecting a right-upward oblique phase difference.
  • a phase difference detection pixel 131H is arranged. When the phase difference detection pixels 131 are arranged, the number thereof is two in one sub-block 103 and four in one block 102.
  • the upper left and lower right pixels 111 among the 2 ⁇ 2 pixels 111 are the phase difference detection pixels 131.
  • the upper right and lower left pixels 111 are the phase difference detection pixels 131.
  • phase difference detection pixel 131E that detects a left-upward oblique phase difference and a pair of phase difference detection pixels 131F that detect a pair of left-upward diagonal phase difference, one row below, When counted in the sub-block 103, they are not separated (separated by 0). Then, there are two phase difference detection pixels 131E for detecting the left-up diagonal phase difference and two phase difference detection pixels 131E for detecting the next left-up diagonal phase difference of the same phase in the same row. Minutes apart (0-2B).
  • a phase difference detection pixel 131G that detects a right-upward oblique phase difference and a pair of phase difference detection pixels 131H that detect a pair of right-upward oblique phase differences on the left of one column are: When counted in the sub-block 103, they are not separated (separated by 0). Then, there are two phase difference detection pixels 131G for detecting the right-up diagonal phase difference and two phase difference detection pixels 131G for detecting the next right-up diagonal phase difference of the same phase in the same column. Minutes apart (0-2R).
  • a pair of phase difference detection pixels 131E and 131F that detect a left-up diagonal phase difference are arranged in the B pixel 111, and a pair of phase difference detections that detect a right-up diagonal phase difference are arranged in the R pixel 111.
  • Pixels 131G and 131H are arranged.
  • a pair of phase difference detection pixels 131G and 131H for detecting a right-upward oblique phase difference are arranged in the B pixel 111, and a pair of phase difference detection pixels 131E, which detect a left-upward and oblique phase difference are arranged in the R pixel 111.
  • 131F may be arranged.
  • phase difference detection pixels 131 can also be arranged in the two G sub-blocks 103, respectively.
  • FIG. 35 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the pixel 111 is a phase difference detection pixel 131.
  • one of the pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction is formed in the upper left pixel 111 of the first column and the upper left pixel 111 of the ninth column.
  • a phase difference detection pixel 131A is arranged.
  • the phase difference detection pixel 131B that constitutes the other of the pair is arranged.
  • one of the pair of phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction is formed in the upper left pixel 111 of the third column and the upper left pixel 111 of the eleventh column.
  • a phase difference detection pixel 131A is arranged.
  • the phase difference detection pixel 131B that constitutes the other of the pair is arranged.
  • the upper left pixel 111 in the third column and the upper left pixel 111 in the eleventh column include a pair of phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction.
  • a phase difference detection pixel 131 ⁇ / b> A constituting one side is arranged.
  • the phase difference detection pixel 131B that constitutes the other of the pair is arranged.
  • the number of the phase difference detection pixels 131 is one in one sub-block 103 and three in one block 102.
  • FIG. 36 is a cross-sectional view illustrating a configuration example of a phase difference detection pixel according to an embodiment of an imaging device to which the present technology is applied.
  • FIG. 36 shows the cross-sectional configurations of two phase difference detection pixels 131A and 131B side by side for convenience.
  • the configuration of the phase difference detection pixel 131 in FIG. 36 is basically the same as that of the phase difference detection pixel 131 shown in FIG. 9, but the translucent portions 132A and 132B formed by the openings in FIG. Instead of the opening, a color filter 224 is formed.
  • the color of the color filter 224 corresponds to the color of the sub block 103. That is, in the phase difference detection pixel 131 of the R sub-block 103, the color of the color filter 224 is red (R). Similarly, in the phase difference detection pixel 131 of the G sub-block 103, the color of the color filter 224 is green (G), and in the phase difference detection pixel 131 of the B sub-block 103, the color of the color filter 224 is blue ( B).
  • the other configuration is the same as that shown in FIG.
  • the configuration of the imaging pixel 114 is the same as that shown in FIG.
  • part of the light collected by the on-chip lens 225 passes through the light transmitting portion 132A and enters the photodiode 222. Since the color filter 224 is disposed in the light transmitting portion 132A, only light of the corresponding color component is incident on the photodiode 222. However, a part of the light collected by the on-chip lens 225 is shielded by the light shielding part 133A disposed on the right side of the light transmitting part 132A in FIG. 36 and does not enter the photodiode 222.
  • phase difference detection pixel 131B a part of the light condensed by the on-chip lens 225 passes through the light transmitting portion 132B and enters the photodiode 222. Also at this time, only the corresponding color component is extracted by the color filter 224 and is incident on the photodiode 222. However, part of the light collected by the on-chip lens 225 is shielded by the light shielding part 133B disposed on the left side of the light transmitting part 132B in FIG. 36 and does not enter the photodiode 222.
  • a phase difference detection process is separately performed for each of R, G, and B colors, and a defocus amount is calculated.
  • the light source dependency of the subject can be corrected. That is, focus control can be performed using color as a main element.
  • a color filter 224 is provided in the opening of the light shielding portion 133. That is, the color filter 224 is arranged in the same layer as the light shielding portion 133. However, the color filter 224 may be provided in an upper layer (a position closer to the on-chip lens 225 than the light shielding part 133) or a lower layer (a position closer to the photodiode 222 than the light shielding part 133) than the light shielding part 133. In this case, the position of the color filter 224 in the imaging pixel 114 can be the same as that of the phase difference detection pixel 131.
  • phase difference detection pixel 131 having a color filter 224 is used. Therefore, an imaging pixel signal is also obtained from the phase difference detection pixel 131.
  • the phase difference detection pixel 131 having the color filter 224 and the color filter 224 are provided. Any of the phase difference detection pixels 131 that are not used can be used.
  • phase difference detection pixels 131 that detect the phase difference in the horizontal direction are arranged.
  • the phase difference in the vertical direction, the left-up diagonal phase difference, or the right-up diagonal phase difference is detected.
  • a phase difference detection pixel 131 for detection can also be arranged.
  • FIG. 37 is a diagram illustrating a planar configuration example of an embodiment of an imaging element to which the present technology is applied.
  • the upper left pixel 111 of the 2 ⁇ 2 pixels 111 is used for phase difference detection.
  • the pixel 131 is used.
  • both the G sub-block 103 and the R sub-block 103 are similarly configured. That is, among the phase difference detection pixels 131A and 131B that detect the phase difference in the horizontal direction, the phase difference detection pixel 131A that constitutes one of the pair is arranged in the upper left pixel 111.
  • both the B sub-block 103 and the G sub-block 103 are similarly configured. That is, among the phase difference detection pixels 131A and 131B for detecting the phase difference in the horizontal direction, the phase difference detection pixel 131B constituting the other of the pair is arranged in the upper left pixel 111.
  • the number of the phase difference detection pixels 131 is one in one sub-block 103 and four in one block 102.
  • phase difference detection elements 131A and 131B for detecting a number of lateral phase differences in one row are arranged. As a result, the accuracy of phase difference detection is improved.
  • phase difference detection pixels 131 that detect the phase difference in the horizontal direction are arranged.
  • the phase difference in the vertical direction, the left-up diagonal phase difference, or the right-up diagonal phase difference is detected.
  • a phase difference detection pixel 131 for detection can also be arranged.
  • FIG. 38 is a diagram illustrating an arrangement example of the phase difference detection pixels according to the embodiment of the imaging device to which the present technology is applied.
  • the imaging area 101 of the pixel array unit 44 includes a substantially central area 441, an upper left area 442, an upper left area 442 and a lower right area 443 on a diagonal line, an upper right area 444, and an upper right area. 444 and a diagonally lower left region 445. Note that these areas 441 to 445 as the focus area are elliptical, but may be circular, rectangular, or other shapes.
  • the boundary between the central area 441 and the lower right area 443 can be set as follows. That is, when the distance LN1 from the center of the imaging area 101 (area 441) to the lower right corner of the imaging area 101 is 1, the distance LN2 from the center of the imaging area 101 (area 441) to the boundary is 0.4 to 0.4. It can be 0.6. The same applies to the boundaries between the other regions 442, 444, 445 and the central region 441.
  • phase difference detection pixel 131 having the configuration example shown in the center on the right side of FIG. This configuration example is the same as the configuration example of FIG.
  • phase difference detection pixels 131 for detecting the phase difference in the direction of the straight line indicated by the arrow A1 that is, the horizontal direction (horizontal line direction) are the first row, the fifth row, the ninth row. And in the thirteenth row. Further, phase difference detection pixels 131 for detecting the phase difference in the direction of the straight line indicated by the arrow A2, that is, the vertical direction (vertical direction) are arranged in the first column, the fifth column, the ninth column, and the thirteenth column. Has been.
  • phase difference detection pixel 131 of the configuration example shown in the upper left of FIG. 38 is arranged.
  • the phase difference detection pixels 131 having the configuration example shown in the lower right of FIG. 38 are arranged.
  • a phase difference detection pixel 131 that detects a straight line direction indicated by an arrow A4, that is, a right-upward diagonal phase difference is disposed.
  • a configuration example of the upper left region 442 and the lower right region 443 is as follows.
  • one of the pair of phase difference detection pixels 131G out of the phase difference detection pixels 131G and 131H for detecting the right-up diagonal phase difference is arranged in the first column and the ninth column.
  • the other pair of phase difference detection pixels 131H out of the phase difference detection pixels 131G and 131H that detect the diagonally rising right phase difference is arranged.
  • one of the pair of phase difference detection pixels 131G out of the phase difference detection pixels 131G and 131H for detecting the right-upward oblique phase difference is arranged in the third column and the eleventh column. Yes.
  • the other pair of phase difference detection pixels 131H out of the phase difference detection pixels 131G and 131H for detecting a right-upward oblique phase difference is arranged.
  • phase difference detection pixels 131 of the configuration example shown in the upper right of FIG. 38 are arranged.
  • the phase difference detection pixels 131 of the configuration example shown in the lower left of FIG. 38 are arranged.
  • phase difference detection pixels 131E and 131F that detect the left-up diagonal phase difference in the first column and the ninth column.
  • One phase difference detection pixel 131E of the pair is arranged.
  • the other pair of phase difference detection pixels 131F out of the phase difference detection pixels 131E and 131F for detecting the diagonally rising left phase difference is arranged.
  • one of the pair of phase difference detection pixels 131E out of the phase difference detection pixels 131E and 131F for detecting the left-up diagonal phase difference is arranged in the third column and the eleventh column. .
  • the other pair of phase difference detection pixels 131F among the phase difference detection pixels 131E and 131F for detecting the left-up diagonal phase difference is arranged.
  • phase difference detection pixels 131 By arranging the phase difference detection pixels 131 in this way, the phase difference between the horizontal direction and the vertical direction of the image can be detected in the central region 441.
  • the upper left region 442 and the lower right region 443 can detect a right-upward diagonal phase difference
  • the upper right region 444 and the lower left region 445 can detect a left-up diagonal phase difference.
  • the image may be affected by concentric astigmatism, but the effect on the detection of the phase difference can be reduced.
  • the number of phase difference detection pixels 131 arranged in one sub-block 103 is one or two.
  • the number of phase difference detection pixels 131 arranged in one block 102 is two, three, or four. Although it is possible to increase the number, the correction for the captured image becomes complicated. Although the number can be reduced, the accuracy of phase difference detection is reduced.
  • the phase difference detection pixel is added to the corresponding pixel 111 in the sub-block 103 and further to the corresponding pixel 111 in the corresponding sub-block 103 in the block 102.
  • 131 is arranged. That is, when the phase difference detection pixels 131 are arranged, the phase difference detection pixels 131 are arranged in the sub-block 103 corresponding to the block 102 and in the pixel 111 corresponding to the sub-block 103. Therefore, it is possible to regularly perform correction processing on the captured image during focus control, and it is possible to suppress deterioration of the quality of the captured image by the phase difference detection pixels 131.
  • the position means a relative position.
  • the sub-block 103 is composed of four pixels 111, and one or two of them are the phase difference detection pixels 131, the phase difference detection pixels 131 can be arranged at high density, and the phase difference detection is performed. Accuracy can be improved. Further, the remaining pixels 111 in the sub-block 103 can be used as they are as the image-capturing pixels 114, and an image-capturing signal in the sub-block 103 can also be acquired, so that deterioration of the quality of the captured image can be suppressed. .
  • FIG. 39 is a diagram illustrating a planar configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the block 102 includes one R sub-block 103, two G sub-blocks 103, and one B sub-block 103.
  • the block 102 includes one R sub-block 103, one G sub-block 103, one B sub-block 103, and one W (white) sub-block. 103.
  • the upper left one of the two G sub-blocks 103 in the example of FIG. 3 is replaced with the W sub-block 103.
  • the W sub-block 103 is composed of 2 ⁇ 2 W pixels 111. This is the same as the R sub-block 103, the G sub-block 103, and the B sub-block 103. Of the 2 ⁇ 2 W pixels 111, a predetermined pixel 111 similar to the R sub-block 103, the G sub-block 103, or the B sub-block 103 is replaced with a phase difference detection pixel 131 as necessary. .
  • the W sub-block 103 can be a sub-block 103 that senses infrared rays.
  • the optical filter 312 in FIG. 11 does not function as an IR cut filter (transmits infrared rays).
  • the W sub-block 103 and the sub-block 103 that senses infrared light are special, it is often unnecessary to sense white color or infrared light. Therefore, even if the phase difference detection pixels 131 are arranged in these sub-blocks 103, there is little possibility that the quality of the captured image is deteriorated. Of course, conversely, if the phase difference detection pixels 131 are arranged in the R sub-block 103, the G sub-block 103, or the B sub-block 103 other than these sub-blocks 103, it is possible to realize a function of detecting white or infrared rays. it can.
  • the color of the color filter 224 is not limited to R, G, and B, and other colors may be used.
  • the present technology can also be applied when a block is configured by yellow, green, cyan, and magenta.
  • phase difference detection pixel 131 instead of the phase difference detection pixel 131, a polarizing filter for detecting polarized light in the horizontal direction, the vertical direction, or the oblique direction can be arranged.
  • the sub-block 103 is composed of 2 ⁇ 2 pixels 111, but the present technology can also be applied to a case where the sub-block 103 is composed of 3 ⁇ 3 pixels or 4 ⁇ 4 pixels 111.
  • all the blocks 102 are configured in the same manner with respect to the phase difference detection pixel 131. That is, the phase difference detection pixels 131 are arranged at the same pixel 111 positions in all the blocks 102. However, it is also possible to provide the block 102 in which the phase difference detection pixels 131 are not arranged at an appropriate interval.
  • the phase difference detection pixel 131A is in the third column
  • the phase difference detection pixel 131B is in the seventh column
  • the phase difference detection pixel 131A is in the eleventh column
  • the phase difference detection pixel 131A is in the fifteenth column.
  • a phase difference detection pixel 131B is arranged.
  • the phase difference detection pixels 131 are not arranged in the seventh column and the fifteenth column (hereinafter the same), and the phase difference detection pixels 131 are arranged only in the third column and the eleventh column (hereinafter the same). You may do it.
  • the phase difference detection pixels 131B are arranged in the eleventh column. That is, the interval at which the phase difference detection pixels 131 are arranged is every one sub-block 103 (every two sub-blocks 103). The same applies to the column direction. The same applies to other configuration examples.
  • the commonality of the positions where the phase difference detection pixels 131 are arranged may be set for each color.
  • the phase difference detection pixel 131 is arranged in the upper left pixel 111 in the R sub block 103, but is arranged in the lower right pixel 111 in the B sub block 103, and is arranged in the upper right pixel 111 in the G sub block 103. Can be arranged.
  • the number of phase difference detection pixels 131 arranged in one sub-block 103 may be set for each color.
  • two phase difference detection pixels 131 may be arranged in the B sub-block 103, one in the R sub-block 103, and two in the G sub-block 103.
  • the upper left G sub-block 103 and the lower right G sub block 103 can be determined as different sub blocks 103.
  • phase difference detection pixels 131 The more the number of phase difference detection pixels 131, the more accurately and more types of phase differences can be detected. Increasing the number is suitable, for example, when controlling the running of the vehicle. Further, when the number of phase difference detection pixels 131 is large, the number of discontinuous points is reduced. Therefore, the influence on the imaging pixels 114 is regularized, and the correction process is facilitated.
  • the sub-block 103 By configuring the sub-block 103 with a plurality of pixels 111, even if the phase-difference detection pixel 131 is arranged there, an imaging pixel signal can be obtained from the sub-block 103, and the quality of the captured image is improved. Deterioration of is suppressed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as an apparatus mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle.
  • FIG. 40 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 2000 to which the technology according to the present disclosure can be applied.
  • the vehicle control system 2000 includes a plurality of electronic control units connected via a communication network 2010.
  • the vehicle control system 2000 includes a drive system control unit 2100, a body system control unit 2200, a battery control unit 2300, an out-of-vehicle information detection device 2400, an in-vehicle information detection device 2500, and an integrated control unit 2600.
  • the communication network 2010 connecting these control units is compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for performing communication with other control units via the communication network 2010, and wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • control unit 40 as a functional configuration of the integrated control unit 2600, a microcomputer 2610, a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, an audio image output unit 2670, An in-vehicle network I / F 2680 and a storage unit 2690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 2100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 2100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 2100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 2110 is connected to the drive system control unit 2100.
  • the vehicle state detection unit 2110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 2100 performs arithmetic processing using a signal input from the vehicle state detection unit 2110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 2200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 2200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 2200 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 2200 receives the input of these radio waves or signals, and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 2300 controls the secondary battery 2310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 2300 from a battery device including the secondary battery 2310. The battery control unit 2300 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery 2310 or the cooling device provided in the battery device.
  • the vehicle outside information detection device 2400 detects information outside the vehicle on which the vehicle control system 2000 is mounted.
  • the image pickup unit 2410 and the vehicle outside information detection unit 2420 is connected to the vehicle outside information detection device 2400.
  • the imaging unit 2410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 2420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle on which the vehicle control system 2000 is mounted. A surrounding information detection sensor is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 2410 and the outside information detection unit 2420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 41 shows an example of installation positions of the imaging unit 2410 and the vehicle outside information detection unit 2420.
  • the imaging units 2910, 2912, 2914, 2916, and 2918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 2900.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 2900.
  • the imaging units 2912 and 2914 provided in the side mirror mainly acquire an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 2900.
  • An imaging unit 2918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 41 shows an example of the shooting range of each of the imaging units 2910, 2912, 2914, and 2916.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging unit 2916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above is obtained.
  • the vehicle outside information detection units 2920, 2922, 2924, 2926, 2928, 2930 provided on the front, rear, side, corner, and upper windshield of the vehicle 2900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 2920, 2926, and 2930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 2900 may be, for example, LIDAR devices.
  • These vehicle outside information detection units 2920 to 2930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle outside information detection apparatus 2400 causes the imaging unit 2410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection device 2400 receives detection information from the vehicle exterior information detection unit 2420 connected thereto. When the vehicle exterior information detection unit 2420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection device 2400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the vehicle outside information detection apparatus 2400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle outside information detection apparatus 2400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection device 2400 may calculate a distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection device 2400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the outside information detection apparatus 2400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 2410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection apparatus 2400 may perform the viewpoint conversion process using image data captured by different imaging units 2410.
  • the in-vehicle information detection device 2500 detects in-vehicle information.
  • a driver state detection unit 2510 that detects a driver's state is connected to the in-vehicle information detection device 2500.
  • the driver state detection unit 2510 may include a camera that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection device 2500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 2510, and determines whether the driver is asleep. May be.
  • the in-vehicle information detection device 2500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 2600 controls the overall operation in the vehicle control system 2000 according to various programs.
  • An input unit 2800 is connected to the integrated control unit 2600.
  • the input unit 2800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 2800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 2000. May be.
  • the input unit 2800 may be, for example, a camera. In this case, the passenger can input information using a gesture.
  • the input unit 2800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 2800 and outputs the input signal to the integrated control unit 2600.
  • a passenger or the like operates the input unit 2800 to input various data or instruct a processing operation to the vehicle control system 2000.
  • the storage unit 2690 may include a RAM (Random Access Memory) that stores various programs executed by the microcomputer, and a ROM (Read Only Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 2690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 2620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 2750.
  • the general-purpose communication I / F 2620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, Long Term Term Evolution (LTE) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) may be implemented.
  • GSM Global System of Mobile communications
  • WiMAX Wireless Term Evolution
  • LTE Long Term Term Evolution
  • LTE-A LTE-Advanced
  • Wi-Fi wireless LAN
  • the general-purpose communication I / F 2620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be. Further, the general-purpose communication I / F 2620 is connected to a terminal (for example, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To To Peer) technology. May be.
  • a terminal for example, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To To Peer
  • the dedicated communication I / F 2630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F 2630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment) or DSRC (Dedicated Short Range Communication), which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609, for example.
  • the dedicated communication I / F 2630 is typically V2X, which is a concept including one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, and vehicle-to-pedestrian communication. Perform communication.
  • the positioning unit 2640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a Global Positioning System (GPS) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 2640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 2650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current position, traffic jams, closed roads, or required time. Note that the function of the beacon receiving unit 2650 may be included in the dedicated communication I / F 2630 described above.
  • the in-vehicle device I / F 2660 is a communication interface that mediates connections between the microcomputer 2610 and various devices existing in the vehicle.
  • the in-vehicle device I / F 2660 may establish a wireless connection by using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 2660 may establish a wired connection via a connection terminal (and a cable if necessary).
  • the in-vehicle device I / F 2660 exchanges a control signal or a data signal with, for example, a mobile device or wearable device that a passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle network I / F 2680 is an interface that mediates communication between the microcomputer 2610 and the communication network 2010.
  • the in-vehicle network I / F 2680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 2010.
  • the microcomputer 2610 of the integrated control unit 2600 is connected via at least one of a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, and an in-vehicle network I / F 2680.
  • the vehicle control system 2000 is controlled according to various programs.
  • the microcomputer 2610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 2100. Also good.
  • the microcomputer 2610 may perform cooperative control for the purpose of avoiding or reducing the collision of a vehicle, following traveling based on the inter-vehicle distance, traveling at a vehicle speed, automatic driving, and the like.
  • the microcomputer 2610 is information acquired via at least one of the general-purpose communication I / F 2620, the dedicated communication I / F 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device I / F 2660, and the in-vehicle network I / F 2680. Based on the above, local map information including peripheral information on the current position of the vehicle may be created. Further, the microcomputer 2610 may generate a warning signal by predicting a danger such as collision of a vehicle, approach of a pedestrian or the like or approach to a closed road based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 2670 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or outside the vehicle.
  • an audio speaker 2710, a display unit 2720, and an instrument panel 2730 are illustrated as output devices.
  • the display unit 2720 may include at least one of an on-board display and a head-up display, for example.
  • the display unit 2720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a projector, or a lamp other than these devices.
  • the display device can display the results obtained by various processes performed by the microcomputer 2610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 2010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 2000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units.
  • the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 2010. .
  • the electronic apparatus 300 can be applied to the integrated control unit 2600 of the application example illustrated in FIG.
  • the phase difference detection unit 326 of the electronic device 300 corresponds to the microcomputer 2610, the storage unit 2690, and the in-vehicle network I / F 2680 of the integrated control unit 2600.
  • the components of the electronic device 300 described with reference to FIG. 11 is realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 2600 illustrated in FIG. May be. Or the electronic device 300 demonstrated using FIG. 11 may be implement
  • a computer program for realizing each function of the electronic device 300 described with reference to FIG. 11 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • a sub-block is composed of a plurality of pixels of the same color, and a block is composed of a plurality of the sub-blocks including different colors,
  • phase difference detection pixels are arranged in two or more sub-blocks of the plurality of sub-blocks constituting the block, the phase difference detection pixels are located at positions corresponding to each other in the two or more sub-blocks.
  • a solid-state imaging device in which pixels are arranged.
  • the number of pixels for phase difference detection arranged in the block is 2 or more and 4 or less.
  • the number of pixels for phase difference detection arranged in the sub-block is one or two.
  • (6) The solid-state imaging device according to any one of (1) to (5), wherein the sub-block in which the phase difference detection pixel is arranged is the red or blue sub-block.
  • One of the pair of phase difference detection pixels is arranged in the two pixels of the first sub-block, and the two of the second sub-blocks of the same color as the first sub-block
  • the solid-state imaging device according to any one of (1) to (7), wherein the other of the paired phase difference detection pixels is disposed in a pixel.
  • One of the phase difference detection pixels in the other direction which is a pair for detecting the phase difference in the direction is arranged, and the two sub pixels in the fourth sub block having the same color as the third sub block are arranged in the two sub pixels.
  • the solid-state imaging device according to any one of (1) to (8), wherein the other of the pair of phase difference detection pixels in the other direction is disposed. (10) A pair for detecting a phase difference at a position corresponding to each of the sub-block of the first color, the sub-block of the second color, and the sub-block of the third color constituting the first block.
  • One of the phase difference detection pixels is arranged, The first color sub-block, the second color sub-block, and the third color sub-block constituting the second block have a pair for detecting a phase difference at a corresponding position.
  • the solid-state imaging device according to any one of (1) to (9), wherein the other one of the phase difference detection pixels is arranged.
  • the solid-state imaging device according to any one of (1) to (10), wherein light is incident on the phase difference detection pixel via a color filter.
  • the phase difference detection pixel for detecting a phase difference in the horizontal direction or the vertical direction is arranged at substantially the center of the imaging region, and the diagonal direction of the imaging region has a phase difference in the upper left diagonal direction or the upper right diagonal phase.
  • the solid-state imaging device according to any one of (1) to (12), wherein the phase difference detection pixels for detecting the phase difference are disposed.
  • the position in the sub-block where the phase difference detection pixel is arranged corresponds in the sub-block of the first color and in the sub-block of the second color different from the first color.
  • An image sensor in which pixels for photoelectrically converting light from a subject are arranged in a plane;
  • An electronic device comprising: a control unit that controls driving of a lens that makes light incident on the imaging device based on a phase difference detected by a phase difference detection pixel;
  • a sub-block is configured by a plurality of the pixels having the same color, and a block is configured by a plurality of the sub-blocks including different colors,
  • phase difference detection pixels are arranged in two or more sub-blocks of the plurality of sub-blocks constituting the block, the phase difference detection pixels are located at positions corresponding to each other in the two or more sub-blocks.
  • An electronic device in which pixels are arranged.
  • a method for controlling a lens of an electronic device including an image sensor, In the image sensor, Pixels that photoelectrically convert light from the subject are arranged in a plane, A sub-block is configured by a plurality of the pixels having the same color, and a block is configured by a plurality of the sub-blocks including different colors, When phase difference detection pixels are arranged in two or more sub-blocks of the plurality of sub-blocks constituting the block, the phase difference detection pixels are located at positions corresponding to each other in the two or more sub-blocks. The pixels are arranged, A lens control method for controlling driving of a lens for entering light to the image sensor based on a phase difference detected by the phase difference detection pixel.
  • An image sensor in which pixels for photoelectrically converting light from a subject are arranged in a plane; A control unit that controls driving of a lens that enters light to the image sensor based on a phase difference detected by a phase difference detection pixel;
  • a sub-block is composed of a plurality of pixels of the same color, and a block is composed of a plurality of the sub-blocks including different colors,
  • phase difference detection pixels are arranged in two or more sub-blocks of the plurality of sub-blocks constituting the block, the phase difference detection pixels are located at positions corresponding to each other in the two or more sub-blocks. The vehicle where the pixels are placed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Focusing (AREA)

Abstract

本技術は、撮像画像の質の劣化を抑制することができるようにする固体撮像装置、電子機器、レンズ制御方法および車両に関する。 同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数のサブブロックによりブロックが構成され、ブロックを構成する複数のサブブロックのうち、２以上のサブブロックに位相差検波用画素が配置される場合、２以上のサブブロック内において互いに対応する位置に、位相差検波用画素が配置される。本技術は、例えば、フォーカスのずれの量を算出し、その算出したデフォーカス量に基づいてフォーカス制御するカメラに適用することができる。

Description

固体撮像装置、電子機器、レンズ制御方法および車両
　本技術は固体撮像装置、電子機器、レンズ制御方法および車両に関し、特に撮像画像の質の劣化を抑制することができるようにした固体撮像装置、電子機器、レンズ制御方法および車両に関する。
　近年、CMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を用いて人物や動物等の被写体を撮像し、その結果得られる画像データを記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。
　このような撮像装置において、撮像素子に位相差検波機能を付与し、専用の自動焦点検出（ＡＦ）センサを用いずに位相差検波方式のオートフォーカス（ＡＦ）を実現する技術が知られている。例えば特許文献1には、同じ色の２×２（＝４）個の画素で１つのブロックを構成し、そのブロックの中の１つの画素を位相差検波用画素とすることが提案されている。
　特許文献１の例では、中央左側の２×２個の緑（Ｇ）の画素のブロックにおいて、右上の画素に位相差検波用画素が配置されている。それに対して、中央右側の２×２個の緑（Ｇ）の画素のブロックにおいては、左上の画素に位相差検波用画素が配置されている。
　位相差検波用画素においては、例えば画素の右側半分または左側半分に遮光部が設けられ、遮光部の反対側が透光部とされる。遮光部の位置が反対側の対となる位相差検波用画素の出力の差から位相差が検波され、それに基づきデフォーカス量が演算される。そしてその演算されたデフォーカス量に基づいてフォーカス状態が制御される。
特開２０１５－１３３４６９号公報
　位相差検波用画素には、被写体を撮像するための通常の撮像用画素が隣接する。位相差検波用画素が隣接する撮像用画素の出力に対しては、位相差検波用画素からの影響を軽減するための補正を行う必要がある。位相差検波用画素を４個の画素のうちのどこに配置するのか、その配置する位置が各ブロック毎に異なると、隣接するブロックにおける補正の方法が、各ブロック毎に異なってくる。その結果、補正演算が複雑になり、補正演算を簡単にすると、撮像画像の質の劣化を抑制することが困難になる。
　本技術はこのような状況に鑑みてなされたものであり、撮像画像の質の劣化を抑制することができるようにする。
　本技術の一側面は、同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される固体撮像装置である。
　前記サブブロックは、互いに隣り合う２×２個の前記画素で構成されることができる。
　前記ブロックは、ベイヤ配列された４つの前記サブブロックにより構成されることができる。
　前記ブロックに配置される前記位相差検波用画素の数は、２個以上４個以下であることができる。
　前記サブブロックに配置される前記位相差検波用画素の数は、１個または２個であることができる。
　前記位相差検波用画素が配置される前記サブブロックは、赤または青の前記サブブロックであることができる。
　前記位相差検波用画素は、横方向もしくは縦方向の位相差、または左斜め上方向もしくは右斜め上方向の位相差を検波することができる。
　第１の前記サブブロックの２つの前記画素に、対となる前記位相差検波用画素の一方が配置されており、前記第１のサブブロックと同じ色の第２の前記サブブロックの２つの前記画素に、対となる前記位相差検波用画素の他方が配置されていることができる。
　前記第１のサブブロックとは異なる色の第３の前記サブブロックの２つの前記画素に、前記第１のサブブロックの前記位相差検波用画素が検波する第１の方向とは異なる第２の方向の位相差を検波する対となる他の方向の前記位相差検波用画素の一方が配置されており、前記第３のサブブロックと同じ色の第４の前記サブブロックの２つの前記画素に、対となる前記他の方向の前記位相差検波用画素の他方が配置されていることができる。
　第１の前記ブロックを構成する第１の色の前記サブブロック、第２の色の前記サブブロックおよび第３の色の前記サブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の一方が配置されており、第２の前記ブロックを構成する前記第１の色のサブブロック、前記第２の色のサブブロックおよび前記第３の色のサブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の他方が配置されていることができる。
　前記位相差検波用画素にはカラーフィルタを介して光が入射することができる。
　前記位相差検波用画素は前記カラーフィルタの色毎に別々に検波されることができる。
　撮像領域のほぼ中央には、横方向または縦方向の位相差を検波する前記位相差検波用画素が配置され、前記撮像領域の対角線方向には、左斜め上方向または右斜め上方向の位相差を検波する前記位相差検波用画素が配置されていることができる。
　前記位相差検波用画素が配置される前記サブブロック内における位置は、第１の色の前記サブブロック内において対応しており、かつ前記第１の色と異なる第２の色の前記サブブロック内において対応しているが、前記第１の色のサブブロック内と前記第２の色のサブブロック内において異なっていることができる。
　前記位相差検波用画素の出力に基づいて、位相差を検波する検波部をさらに備えることができる。
　本技術の一側面は、被写体からの光を光電変換する画素が平面的に配置された撮像素子と、前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部とを備える電子機器であって、前記撮像素子においては、同じ色の複数の前記画素によりサブブロックが構成され、前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される電子機器である。
　本技術の一側面は、撮像素子を備える電子機器のレンズ制御方法であって、前記撮像素子においては、被写体からの光を光電変換する画素が平面的に配置され、同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置され、前記撮像素子に光を入射するレンズの駆動を前記位相差検波用画素により検波された位相差に基づき制御するレンズ制御方法である。
　本技術の一側面は、被写体からの光を光電変換する画素が平面的に配置された撮像素子と、前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部とを備える車両であって、前記撮像素子においては、同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される車両である。
　本技術の一側面においては、同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数のサブブロックによりブロックが構成され、ブロックを構成する複数のサブブロックのうち、２以上のサブブロックに位相差検波用画素が配置される場合、２以上のサブブロック内において互いに対応する位置に、位相差検波用画素が配置される。
　以上のように、本技術の一側面によれば、撮像画像の質の劣化を抑制することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。 画素の等価回路を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の開口の構成を示す図である。 本技術を適用した撮像素子の一実施の形態の開口の構成を示す図である。 本技術を適用した撮像素子の一実施の形態の撮像用画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。 本技術を適用した電子機器の構成例を示すブロック図である。 本技術を適用した画像出力領域と非画像出力領域を示す図である。 本技術を適用した電子機器の位相差オートフォーカス処理について説明するフローチャートである。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 本技術を適用した電子機器の撮像処理について説明するフローチャートである。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の配置例を示す図である。 本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　　　（１）画素の配置（図１～図４）
　　　（２）第１の構成例（１／４画素、Ｂ画素とＲ画素に横方向と縦方向の位相差検波用画素を配置）（図５～図７）
　　　（３）位相差検波の原理（図８～図１０）
　　　（４）電子機器の構成例（図１１、図１２）
　　　（５）位相差オートフォーカス処理（図１３、図１４）
　　　（６）撮像処理（図１５）
　２．第２の構成例（１／４画素、Ｂ画素とＲ画素に縦方向と横方向の位相差検波用画素を配置）（図１６）
　３．第３の構成例（１／４画素、Ｂ画素とＲ画素に縦方向と横方向の位相差検波用画素を混在して配置）（図１７）
　４．第４の構成例（１／４画素、Ｂ画素とＲ画素に左斜め上と右斜め上位相差検波用画素を配置）（図１８）
　５．第５の構成例（１／４画素、Ｂ画素とＲ画素に右斜め上と左斜め上位相差検波用画素を配置）（図１９）
　６．第６の構成例（１／４画素、Ｂ画素とＲ画素に左斜め上と右斜め上位相差検波用画素を混在して配置）（図２０）
　７．第７の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に横方向と縦方向の位相差検波用画素を配置）（図２１）
　８．第８の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に縦方向と横方向の位相差検波用画素を配置）（図２２）
　９．第９の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に横方向と縦方向の位相差検波用画素を混在して配置）（図２３）
　１０．第１０の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に左斜め上と右斜め上位相差検波用画素を配置）（図２４）
　１１．第１１の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に右斜め上と左斜め上位相差検波用画素を配置）（図２５）
　１２．第１２の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に左斜め上と右斜め上位相差検波用画素を混在して配置）（図２６）
　１３．第１３の構成例（２／４画素、Ｂ画素に同じ横方向の位相差検波用画素を配置）（図２７）
　１４．第１４の構成例（２／４画素、Ｂ画素に対の横方向の位相差検波用画素を配置）（図２８）
　１５．第１５の構成例（２／４画素、Ｂ画素に横方向と縦方向の位相差検波用画素を混在して配置）（図２９）
　１６．第１６の構成例（２／４画素、Ｂ画素に左斜め上と右斜め上の位相差検波用画素を混在して配置）（図３０）
　１７．第１７の構成例（２／４画素、Ｂ画素とＲ画素に同じ横方向と同じ縦方向の位相差検波用画素を配置）（図３１）
　１８．第１８の構成例（２／４画素、Ｂ画素とＲ画素に同じ縦方向と同じ横方向の位相差検波用画素を配置）（図３２）
　１９．第１９の構成例（２／４画素、Ｂ画素とＲ画素に対の横方向と対の縦方向の位相差検波用画素を配置）（図３３）
　２０．第２０の構成例（２／４画素、Ｂ画素とＲ画素に対の左斜め上と対の右斜め上の位相差検波用画素を配置）（図３４）
　２１．第２１の構成例（１／４画素、Ｂ画素、Ｇ画素、Ｒ画素に横方向の位相差検波用画素を配置）（図３５，図３６）
　２２．第２２の構成例（１／４画素、Ｂ画素、２つのＧ画素、Ｒ画素に横方向の位相差検波用画素を配置）（図３７）
　２３．位相差検波用画素の配置（図３８）
　２４．変形例（図３９）
　２５．応用例（図４０，図４１）
　２６．その他
　＜１．第１の実施の形態＞
（１）画素の配置
　図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
　図１の撮像素子４１は、図示せぬ半導体基板上に、タイミング制御部４２、垂直走査回路４３、画素アレイ部４４、定電流源回路部４５、参照信号生成部４６、およびカラムAD（Analog to Digital）変換部４７が設けられることにより構成される。さらに、水平走査回路４８、水平出力線４９、および出力回路５０が設けられている。
　タイミング制御部４２は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。例えば、タイミング制御部４２は、画素５１のシャッタ動作や読み出し動作のタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。また、図示は省略されているが、タイミング制御部４２は、所定の動作に必要なクロック信号やタイミング信号を、参照信号生成部４６、カラムAD変換部４７などにも供給する。
　垂直走査回路４３は、画素アレイ部４４の垂直方向に並ぶ各画素５１に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
　画素アレイ部４４には、複数の画素５１が２次元アレイ状（行列状）に配置されている。すなわち、Ｍ×Ｎ個の画素５１が平面的に配置されている。ＭとＮの値は任意の整数である。
　２次元アレイ状に配置されている複数の画素５１は、水平信号線５２により、行単位で垂直走査回路４３と接続されている。換言すれば、画素アレイ部４４内の同一行に配置されている複数の画素５１は、同じ１本の水平信号線５２で、垂直走査回路４３と接続されている。なお、図１では、水平信号線５２について１本の配線として示しているが、１本に限られるものではない。
　また、２次元アレイ状に配置されている複数の画素５１は、垂直信号線５３により、列単位で水平走査回路４８と接続されている。換言すれば、画素アレイ部４４内の同一列に配置されている複数の画素５１は、同じ１本の垂直信号線５３で、水平走査回路４８と接続されている。
　画素アレイ部４４内の各画素５１は、水平信号線５２を介して垂直走査回路４３から供給される信号に従って、内部に蓄積された電荷に応じた画素信号を、垂直信号線５３に出力する。画素５１は、被写体の画像の画素信号を出力する撮像用の画素（以下、撮像用画素という）または位相差検波用の画素（以下、位相差検波用画素という）として機能する。画素５１の詳細な構成については、図２等を参照して後述する。
　定電流源回路部４５は複数の負荷MOS（Metal-Oxide Semiconductor）５４を有し、１本の垂直信号線５３に１つの負荷MOS５４が接続されている。負荷MOS５４は、ゲートにバイアス電圧が印加され、ソースが接地されており、垂直信号線５３を介して接続される画素５１内のトランジスタとソースフォロワ回路を構成する。
　参照信号生成部４６は、DAC（Digital to Analog Converter）４６aを有して構成されており、タイミング制御部４２からのクロック信号に応じて、ランプ（RAMP）波形の基準信号を生成して、カラムAD変換部４７に供給する。
　カラムAD変換部４７には、画素アレイ部４４の列ごとに１つとなる複数のADC(Analog to Digital Converter)５５を有している。したがって、１本の垂直信号線５３には、複数の画素５１と、１個の負荷MOS５４及びADC５５が接続されている。
　ADC５５は、同列の画素５１から垂直信号線５３を介して供給される画素信号を、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。
　各ADC５５は、AD変換後の画素データを一時的に記憶し、水平走査回路４８の制御に従って、水平出力線４９に出力する。
　水平走査回路４８は、複数のADC５５に記憶されている画素データを、順次、所定のタイミングで水平出力線４９に出力させる。
　水平出力線４９は出力回路（増幅回路）５０と接続されており、各ADC５５から出力されたAD変換後の画素データは、水平出力線４９を介して出力回路５０から、撮像素子４１の外部へ出力される。出力回路５０（信号処理部）は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正などの各種のデジタル信号処理を行う場合もある。
　以上のように構成される撮像素子４１は、CDS処理とAD変換処理を行うADC５５が垂直列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
　図２は、画素５１の等価回路を示している。画素５１は、光電変換素子としてのフォトダイオード６１、転送トランジスタ６２、FD(Floating Diffusion:フローティング拡散領域)６３、リセットトランジスタ６４、増幅トランジスタ６５、及び選択トランジスタ６６を有する。
　フォトダイオード６１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する光電変換部である。フォトダイオード６１は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ６２を介して、FD６３に接続されている。
　転送トランジスタ６２は、転送信号TXによりオンされたとき、フォトダイオード６１で生成された電荷を読み出し、FD６３に転送する。
　FD６３は、フォトダイオード６１から読み出された電荷を保持する。リセットトランジスタ６４は、リセット信号RSTによりオンされたとき、FD６３に蓄積されている電荷が定電圧源VDDに排出されることで、FD６３の電位をリセットする。
　増幅トランジスタ６５は、FD６３の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ６５は定電流源としての負荷MOS５４とソースフォロワ回路を構成し、FD６３に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ６５から選択トランジスタ６６を介してADC５５に出力される。
　選択トランジスタ６６は、選択信号SELにより画素５１が選択されたときオンされ、画素５１の画素信号を、垂直信号線５３を介してADC５５に出力する。転送信号TX、リセット信号RST、および選択信号SELは、水平信号線５２（図１）を介して垂直走査回路４３から供給される。
　図３は本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。具体的には、図３は画素５１の配列を示している。すなわち、本実施の形態においては、画素アレイ部４４は、撮像領域１０１により被写体の画像を撮像する。撮像領域１０１は、Ｍ／４×Ｎ／４個の行列状に配置された複数のブロック１０２により構成されている。このブロック１０２は撮像される画像の単位を構成する。すなわち被写体は、ブロック１０２毎に所定の色（赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色により合成される色）の単位の集合として撮像され、表示（つまり人の目に認識）される。
　この実施の形態の場合、ブロック１０２は、サブブロック１０３をベイヤ（Bayer）配列することで構成されている。すなわち、ブロック１０２は、１個の赤（Ｒ）のサブブロック１０３、２個の緑（Ｇ）のサブブロック１０３、および１個の青（Ｂ）のサブブロック１０３からなる４つのサブブロック１０３が、２×２の行列状に配置されて構成されている。
　この例では、ブロック１０２の左上と右下に緑（Ｇ）のサブブロック１０３が、左下に赤（Ｒ）のサブブロック１０３が、そして右上に青（Ｂ）のサブブロック１０３が、それぞれ配置されている。全てのブロック１０２において、サブブロック１０３の配置パターンは同一である。なお、以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のサブブロック１０３を、それぞれＲサブブロック１０３、Ｇサブブロック１０３、またはＢサブブロック１０３と記載する。
　左下の１個のＲサブブロック１０３、左上と右下の２個のＧサブブロック１０３、および右上の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色により、対応する位置の被写体の画像の色が撮像され、画像として表現される。すなわち、図３に示されるように、Ｍ／４×Ｎ／４個に行列状に配置された複数のブロック１０２に対応する各領域をＲＮij（i，ｊはブロック１０２の行と列の位置を表す）とする。そして被写体の色は領域ＲＮij毎の色Ｃijとして撮像され、表現される。つまり、そのブロック１０２を構成する左下の１個のＲサブブロック１０３、左上と右下の２個のＧサブブロック１０３、および右上の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色Ｃijが、被写体のその領域ＲＮijの色として撮像される。
　さらにこの実施の形態においては、サブブロック１０３は、互いに隣り合う２×２個の行列状の同じ色の画素１１１により構成されている。画素１１１は、図１および図２の画素５１に対応する。以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素１１１を、それぞれＲ画素１１１、Ｇ画素１１１、またはＢ画素１１１と記載する。つまり、Ｒサブブロック１０３は、２×２個の行列状のＲ画素１１１により構成されている。Ｇサブブロック１０３は、２×２個の行列状のＧ画素１１１により構成されている。Ｂサブブロック１０３は、２×２個の行列状のＢ画素１１１により構成されている。１つのサブブロック１０３を構成する２×２個の同じ色の画素１１１は、それぞれ独立しても読み出すことができるが、１つのサブブロック１０３としてまとめて読み出すこともできる。
　図４は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。すなわち、図３の撮像領域１０１を画素１１１により表現すると、図４に示されるようになる。２×２個の同じ色の画素１１１により１個のサブブロック１０３が構成される。具体的には、２×２個のＲ画素１１１により１個のＲサブブロック１０３が構成される。同様に、２×２個のＧ画素１１１により１個のＧサブブロック１０３が構成され、２×２個のＢ画素１１１により１個のＢサブブロック１０３が構成される。
　そして、２×２個のサブブロック１０３（１個のＲサブブロック１０３、２個のＧサブブロック１０３、および１個のＢサブブロック１０３）により１個のブロック１０２が構成されている。
　すなわち、撮像領域１０１においては、同じ色の複数の画素１１１によりサブブロック１０３が構成され、異なる色を含む複数のサブブロック１０３によりブロック１０２が構成されている。そして、複数のサブブロック１０３の異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識される。
（２）第１の構成例（１／４画素、Ｂ画素とＲ画素に横方向と縦方向の位相差検波用画素を配置）
　図５は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。この第１の構成例においては、撮像素子４１の撮像領域１０１にｍ×ｎ個の画素１１１が規則的に配列されている。この例では、ｍ＝ｎ＝１６とされているが、ｍの値は１以上Ｍ以下の任意の整数であり、ｎの値は１以上Ｎ以下の任意の整数である。
　図５の構成例においては、Ｇ画素が配置されているのは、第１行と第２行、第５行と第６行、第９行と第１０行、第１３行と第１４行の各行と、第１列と第２列、第５列と第６列、第９列と第１０列、第１３列と第１４列の各列の交点の画素１１１である。これらがブロック１０２内の左上のＧサブブロック１０３を構成する。またＧ画素は、第３行と第４行、第７行と第８行、第１１行と第１２行、第１５行と第１６行の各行と、第３列と第４列、第７列と第８列、第１１列と第１２列、第１５列と第１６列の各列の交点にも配置されている。これらがブロック１０２内の右下のＧサブブロック１０３を構成する。
　Ｂ画素が配置されているのは、第１行と第２行、第５行と第６行、第９行と第１０行、第１３行と第１４行の各行と、第３列と第４列、第７列と第８列、第１１列と第１２列、第１５列と第１６列の各列の交点の画素１１１である。これらがブロック１０２内の右上のＢサブブロック１０３を構成する。
　Ｒ画素が配置されているのは、第３行と第４行、第７行と第８行、第１１行と第１２行、第１５行と第１６行の各行と、第１列と第２列、第５列と第６列、第９列と第１０列、第１３列と第１４列の各列の交点の画素１１１である。これらがブロック１０２内の左下のＲサブブロック１０３を構成する。
　Ｒ，Ｇ，Ｂの各画素１１１の配置は、図１６以降の他の構成例においても同様であり、その説明は省略する。
　ｍ×ｎ個の画素１１１は基本的にＲ，Ｇ，Ｂの撮像用画素であるが、位相差検波用画素１３１が配置されるサブブロック１０３内においては、そのうちの一部が位相差検波用画素１３１に置き換えられる。これにより、位相差検波用画素１３１は特定のパターンで全体に規則的に配置される。図５の構成例では、行列状に２次元配置される複数の画素１１１の中に、画素の半分が黒色の矩形で示され、残りの半分が白色の矩形で示される複数の位相差検波用画素１３１が散在して配置されている。
　図５の構成例では、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、相対的に同じ位置（対応する位置）である左上の画素１１１が位相差検波用画素１３１とされている。具体的には、Ｂサブブロック１０３においては、左上の画素１１１に、横方向（水平方向）の位相差を検波する位相差検波用画素１３１が配置されている。
　そして第３列および第１１列の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第７列および第１５列の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　図６は、本技術を適用した撮像素子の一実施の形態の開口の構成を示す図である。図６の左側には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうちの位相差検波用画素１３１Ａが示されている。位相差検波用画素１３１Ａにおいては、その右側に遮光部１３３Ａが、その左側に透光部１３２Ａが形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部１３３Ａは、例えば銅などの金属膜により形成される。そして、被写体からの光をフォトダイオード６１に向けて透光する透光部１３２Ａは、遮光部１３３Ａを形成する金属膜の一部を開口することで形成される。もちろん、遮光部１３３Ａを形成しないことで開口を形成することもできる。
　他方、位相差検波用画素１３１Ａと対をなす、図６の右側に示される位相差検波用画素１３１Ｂにおいては、その左側に遮光部１３３Ｂが、その右側に透光部１３２Ｂが形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部１３３Ｂは、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部１３２Ｂは、遮光部１３３Ｂを形成する金属膜の一部を開口することで形成される。もちろん、遮光部１３３Ｂを形成しないことで開口を形成することもできる。
　図５に示されるように、Ｒサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、縦方向（垂直方向）の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３行および第１１行の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第７行および第１５行の画素１１１には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｄが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　図７は、本技術を適用した撮像素子の一実施の形態の開口の構成を示す図である。図７の上側には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうちの位相差検波用画素１３１Ｃが示されている。位相差検波用画素１３１Ｃにおいては、その下側に遮光部１３３Ｃが、その上側に透光部１３２Ｃが形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部１３３Ｃは、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部１３２Ｃは、遮光部１３３Ｄを形成する金属膜の一部を開口することで形成される。もちろん、遮光部１３３Ｃを形成しないことで開口を形成することもできる。
　他方、位相差検波用画素１３１Ｃと対をなす、図７の下側に示される位相差検波用画素１３１Ｄにおいては、その上側に遮光部１３３Ｄが、その下側に透光部１３２Ｄが形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部１３３Ｄは、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部１３２Ｄは遮光部１３３Ｄを形成する金属膜の一部を開口することで形成される。もちろん、遮光部１３３Ｄを形成しないことで開口を形成することもできる。
　なお、図５の第１の構成例においては、横方向の位相差の検波は、Ｂ画素１１１の位相差検波用画素１３１の出力だけで可能であり、縦方向の位相差の検波はＲ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は最低限１行だけの位相差検波用画素１３１の読み出しで可能となるが、縦方向の位相差の検波は最低限２行の位相差検波用画素１３１の読み出しで可能となる。Ｒ画素１１１とＢ画素１１１の位相差検波用画素１３１の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
（３）位相差検波の原理
　図８は、本技術を適用した撮像素子の一実施の形態の撮像用画素の構成例を示す断面図である。図８は、画素１１１のうちの、２個の撮像用画素１１４の断面構成を表している。図８に示されるように、撮像用画素１１４は、例えばＳｉ（シリコン）の半導体基板２２１に光電変換部としてのフォトダイオード２２２（図２のフォトダイオード６１に対応する）が形成されている。半導体基板２２１の上層には、Ｒ，ＧまたはＢのカラーフィルタ２２４が形成されており、それらの上層には、オンチップレンズ２２５が形成されている。
　被写体からの光は、オンチップレンズ２２５により集光され、Ｒ，ＧまたはＢのカラーフィルタ２２４を透過し、カラーフィルタ２２４に対応する色の光がフォトダイオード２２２に入射される。これによりフォトダイオード２２２から、カラーフィルタ２２４に対応する色の光の成分の色信号（画素信号）が出力される。
　図９は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図９は便宜上、２個の位相差検波用画素１３１Ａ，１３１Ｂの断面構成を並べて示している。図９に示されるように、位相差検波用画素１３１の構成は、基本的に図８に示した撮像用画素１１４と同様であるが、図８のカラーフィルタ２２４に代えて、遮光部１３３Ａ，１３３Ｂと、透光部１３２Ａ，１３２Ｂが配置されている。遮光部１３３Ａ，１３３Ｂと、透光部１３２Ａ，１３２Ｂの構成は、図６と図７を参照して説明した通りである。
　これにより、例えば位相差検波用画素１３１Ａにおいては、オンチップレンズ２２５により集光された光の一部が透光部１３２Ａを透過して、フォトダイオード２２２に入射する。しかしオンチップレンズ２２５により集光された光の一部は、図９において透光部１３２Ａの右側に配置されている遮光部１３３Ａにより遮光され、フォトダイオード２２２に入射しない。
　また、位相差検波用画素１３１Ｂにおいては、オンチップレンズ２２５により集光された光の一部が透光部１３２Ｂを透過して、フォトダイオード２２２に入射する。しかしオンチップレンズ２２５により集光された光の一部は、図９において透光部１３２Ｂの左側に配置されている遮光部１３３Ｂにより遮光され、フォトダイオード２２２に入射しない。
　図１０は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。以下、図９と図１０を参照して、位相差検波の原理について説明する。
　図９に示されるように、位相差検波用画素１３１Ａ，１３１Ｂには、５つの方向からの入射光L1乃至L5が入射されるものとする。図１０のグラフには、そのときの位相差検波用画素１３１Ａ，１３１Ｂの画素信号出力が示されている。
　図１０のグラフにおいて、横軸は、入射光の入射角を示しており、縦軸は、位相差検波用画素１３１Ａ，１３１Ｂの画素信号出力を示している。なお、実線１４１Ｂは、位相差検波用画素１３１Ｂの画素信号出力を示し、破線１４１Ａは、位相差検波用画素１３１Ａの画素出力を示している。
　このグラフに示されるように、左側遮光の位相差検波用画素１３１Ｂは、左側（マイナス側）に入射光の角度をつけると、その出力が大きくなり、右側遮光の位相差検波用画素１３１Ａは、右側（プラス側）に入射光の角度をつけると、その出力が大きくなる。つまり、入射光L1のように、入射光においてマイナス方向の角度成分が大きい場合、位相差検波用画素１３１Ｂの出力は、位相差検波用画素１３１Ａの出力より大きくなる。そして入射光L5のように、入射光においてプラス方向の角度成分が大きい場合、位相差検波用画素１３１Ａの画素信号出力は、位相差検波用画素１３１Ｂの画素信号出力より大きくなる。
　このような、１対の位相差検波用画素１３１における、入射光の入射角に対する位相差検波用画素１３１それぞれの画素信号出力の位相差特性を利用して、デフォーカス量が検出される。
（４）電子機器の構成例
　図１１は、本技術を適用した電子機器の構成例を示す図である。図１１に示される電子機器３００は、位相差検波方式のAF（位相差AF）を行うことで、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。電子機器３００は、例えば、コンパクトデジタルカメラ、デジタル一眼レフカメラ、ビデオカメラ、撮像機能を備えたスマートフォン（多機能携帯電話機）等の携帯端末、内視鏡等として構成される。
　図１１に示される電子機器３００は、レンズ３１１、光学フィルタ３１２、撮像制御部３０１、表示部３１３、および記録部３１４を有する。撮像制御部３０１は、撮像素子４１、AD変換部３２１、クランプ部３２２、補正パラメータ算出部３２３、メモリ３２４、位相差補正部３２５、位相差検波部３２６、レンズ制御部３２７、欠陥補正部３２８、デモザイク部３２９を有する。さらに撮像制御部３０１は、リニアマトリクス（LM）/ホワイトバランス（WB）/ガンマ補正部３３０、輝度クロマ信号生成部３３１、およびインタフェース（I/F）部３３２を有する。この例では、表示部３１３および記録部３１４は、撮像制御部３０１の外部に設けられているが、内部に設けることもできる。
　レンズ３１１は、撮像素子４１に入射する被写体光の焦点距離の調整を行う。レンズ３１１の後段には、撮像素子４１に入射する被写体光の光量調整を行う絞り（図示せず）が設けられている。レンズ３１１の具体的な構成は任意であり、例えば、レンズ３１１は複数のレンズにより構成されていてもよい。
　レンズ３１１を透過した被写体光は、例えば、赤外光をカットし、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ３１２を介して撮像素子４１に入射する。
　撮像素子４１は、被写体光を光電変換するフォトダイオード等の光電変換素子を有する複数の画素１１１（撮像用画素１１４と位相差検波用画素１３１）を備える。各画素１１１は、被写体光を電気信号に変換し、その電気信号を、AD変換部３２１に供給する。
　なお、撮像素子４１は、AD変換部３２１、クランプ部３２２、位相差補正部３２５、および位相差検波部３２６を実現する信号処理回路とともに、本技術の個体撮像装置を構成する。この個体撮像装置は、１チップ化されたモジュールとして構成されてもよいし、撮像素子４１と信号処理回路とが別チップとして構成されてもよい。また、この信号処理回路に補正パラメータ算出部３２３、メモリ３２４、もしくはレンズ制御部３２７が含まれるようにしてもよい。
　本技術の撮像素子４１は、例えば、光電変換素子が被写体光に基づき発生した電荷を読み出すために電荷結合素子（CCD（Charge Coupled Device））と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよいし、CMOS（Complementary Metal Oxide Semiconductor）を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
　AD変換部３２１は、撮像素子４１から供給されるRGBの電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。AD変換部３２１は、そのデジタルデータの画像データ（RAWデータ）をクランプ部３２２に供給する。
　クランプ部３２２は、画像データから、黒色と判定されるレベルである黒レベルを減算する。クラクランプ部３２２は、黒レベルを減算した画像データ（画素値）のうち、モニタ画素から出力されたデータを補正パラメータ算出部３２３に供給する。モニタ画素とは、非画像出力領域の位相差検波用画素１３１である。
　ここで画像出力領域と非画像出力領域について図１２を参照して説明する。図１２は、本技術を適用した画像出力領域と非画像出力領域を示す図である。図１２に示されるように、画素アレイ部４４には、そのほぼ中央に、画像出力領域３５１が設けられており、その周囲に、非画像出力領域３５２が設けられている。画像出力領域３５１の画素１１１の出力は画像データとして利用されるが、非画像出力領域３５２の画素１１１の出力は画像データとして利用されない。画像出力領域３５１と非画像出力領域３５２に配置されている位相差検波用画素１３１のうち、非画像出力領域３５２の位相差検波用画素１３１がモニタ画素である。
　またクランプ部３２２は、黒レベルを減算した画像データ（画素値）のうち、位相差検波用画素１３１から出力された画像データ（画素値）を位相差検波部３２６に供給し、黒レベルを減算した画像データの全画素分を欠陥補正部３２８に供給する。
　すなわち、位相差検波そのものには、位相差検波用画素１３１の出力が用いられるが、画像の生成には、撮像用画素１１４の出力はもちろん、位相差検波用画素１３１の出力も用いられる。ここで、位相差検波用画素１３１が、図５乃至図７や図９に示されるように、光電変換部の半分が遮光部１３３（１３３Ａ乃至１３３Ｄ）により遮光されている場合、位相差検波用画素１３１の出力は、撮像用画素１１４の出力より小さくなるため、後述するように欠陥補正が行われる。
　補正パラメータ算出部３２３は、撮像素子４１の製造後のテスト工程や、撮像素子４１にレンズ３１１を装着した後のテスト工程等において得られた位相差特性のデータを用いて補正パラメータを算出する。この補正パラメータは、位相差検波部３２６によって検出される位相差を補正するのに用いられる。
　メモリ３２４には、補正パラメータ算出部３２３によって算出された補正パラメータが記憶される。
　位相差検波部３２６は、クランプ部３２２からの画像データ（画素値）に基づいて位相差検波処理行うことで、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否か判定する。位相差検波部３２６は、フォーカスエリアにおける物体にフォーカスが合っている場合、合焦していることを示す情報を合焦判定結果として、レンズ制御部３２７に供給する。また、位相差検波部３２６は、合焦対象物にフォーカスが合っていない場合、フォーカスのずれの量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報を合焦判定結果として、レンズ制御部３２７に供給する。
　位相差補正部３２５は、メモリ３２４に記憶されている補正パラメータを用いて、位相差検波部３２６によって検波された位相差を補正する。位相差検波部３２６は、補正された位相差に対応する合焦判定結果を、レンズ制御部３２７に供給する。
　レンズ制御部３２７は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３２７は、位相差検波部３２６から供給された合焦判定結果に基づいて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
　例えば、レンズ制御部３２７は、フォーカスが合っている場合には、レンズ３１１の現在の位置を維持させる。また、レンズ制御部３２７は、フォーカスが合っていない場合には、デフォーカス量を示す合焦判定結果とレンズ３１１の位置とに基づいて駆動量を算出し、その駆動量に応じてレンズ３１１を移動させる。
　欠陥補正部３２８は、クランプ部３２２からの画像データに基づいて、正しい画素値が得られない欠陥画素（例えば位相差検波用画素１３１）について、その画素値の補正、すなわち欠陥補正を行う。欠陥補正部３２８は、欠陥画素の補正を行った画像データをデモザイク部３２９に供給する。
　デモザイク部３２９は、欠陥補正部３２８からのRAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部３２９は、デモザイク処理後の画像データ（RGBデータ）をLM/WB/ガンマ補正部３３０に供給する。
　LM/WB/ガンマ補正部３３０は、デモザイク部３２９からのRGBデータに対して、色特性の補正を行う。具体的には、LM/WB/ガンマ補正部３３０は、規格で定められた原色（RGB）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部３３０は、RGBデータの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部３３０は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部３３０は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部３３１に供給する。
　輝度クロマ信号生成部３３１は、LM/WB/ガンマ補正部３３０から供給されたRGBデータから輝度信号（Ｙ）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号生成部３３１は、輝度クロマ信号（Y,Cr,Cb）を生成すると、その輝度信号と色差信号をI/F部３３２に供給する。
　I/F部３３２は、供給された画像データ（輝度クロマ信号）を、画像データを記録する記録デバイス等の記録部３１４に供給し、記録させたり、画像データの画像を表示する表示デバイス等の表示部３１３に出力し、表示させる。
（５）位相差オートフォーカス処理
　図１３は、本技術を適用した電子機器の位相差オートフォーカス処理について説明するフローチャートである。以下、図１３を参照して、電子機器３００による位相差オートフォーカス処理について説明する。位相差オートフォーカス処理は、被写体を撮像する際に電子機器３００によって撮像処理の前または並行して実行される。
　まず、ステップＳ１１において、撮像素子４１は、各画素１１１の入射光を光電変換し、各画素信号を読み出し、AD変換部３２１に供給する。なお、位相差検波用画素１３１は、撮像用画素１１４とは異なるタイミングで読み出すようにすることもできる。
　ステップＳ１２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
　ステップＳ１３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルを減算した画像データのうち、位相差検波用画素１３１から出力された画像データ（画素値）を位相差検波部３２６に供給する。
　ステップＳ１４において位相差補正部３２５は、予め算出され、メモリ３２４に記憶されている補正パラメータを読み出す。
　ステップＳ１５において位相差検波部３２６は、クランプ部３２２からの画像データ（画素値）に基づいて位相差検波を行う。すなわち、縦方向（垂直方向）と横方向（水平方向）の位相差を検波する位相差検波用画素１３１の出力がそれぞれ読み出される。
　ステップＳ１６において位相差補正部３２５は、ステップＳ１４の処理で読み出された補正パラメータを用いて、位相差検波部３２６により検波された位相差を補正する。つまり、補正パラメータが位相差検波部３２６に供給され、検波された位相差が補正される。
　ステップＳ１７で位相差検波部３２６は、フォーカスエリア内の位相差検波用画素１３１の出力を連結する。すなわちフォーカスエリア内の位相差検波用画素１３１の出力が画素位置に応じて連結され、ＡＦ画素信号が生成される。ステップＳ１８で位相差検波部３２６は、ステップＳ１７で生成されたＡＦ画素信号に、シェーディング補正（周辺画面の光量落ち補正）や、ビネッティングによる２像の歪みの復元補正等を施し、相関演算用の１対の像信号を生成する。
　図１４は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。図１４のＡに示されているように、本実施の形態の撮像素子４１は、横方向の位相差を検波するための位相差検波用画素１３１Ａと、それと対になる横方向の位相差を検波するための位相差検波用画素１３１Ｂとを有する。また、図１４のＢに示されているように、撮像素子４１は、縦方向の位相差を検波するための位相差検波用画素１３１Ｃと、それと対になる縦方向の位相差を検波するための位相差検波用画素１３１Ｄを有する。そして、位相差検波用画素１３１Ａ，１３１Ｂと位相差検波用画素１３１Ｃ，１３１Ｄは、図５に示されるように、均等な密度で全体に分散して配置されている。
　位相差検波用画素１３１の信号はグループ化処理される。図５に示されるように、横方向の位相差を検波するための位相差検波用画素１３１Ａ，１３１Ｂは、図中矢印Ａ１で示される方向の直線に沿って（つまり横方向に）、例えば第１行、第５行、第９行および第１３行毎にグループ化される。同様に、縦方向の位相差を検波するための位相差検波用画素１３１Ｃ，１３１Ｄは、図中の矢印Ａ２で示される方向の直線に沿って（つまり縦方向に）、例えば第１列、第５列、第９列および第１３列毎にグループ化される。
　具体的には、横方向の位相差検波のためのフォーカスエリアＲhに含まれる位相差検波用画素１３１Ａで得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(A)が生成される。また、同様に、フォーカスエリアＲhに含まれる位相差検波用画素１３１Ｂで得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(B)が生成される。
　さらに、縦方向の位相差検波のためのフォーカスエリアＲvに含まれる位相差検波用画素１３１Ｃで得られた画素信号を縦方向に連結した位相差検波用の像信号ＳＩＧv(C)が生成される。同様に、フォーカスエリアＲvに含まれる位相差検波用画素１３１Ｄで得られた画素信号を縦方向に連結した位相差検波用の像信号ＳＩＧv(D)が生成される。
　ステップＳ１９において位相差検波部３２６は位相差検波用の像信号対の相関を演算する。すなわち、像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差の相関が演算される。また、像信号ＳＩＧv(C)と像信号ＳＩＧv(D)の位相差の相関が演算される。
　ステップＳ２０において位相差検波部３２６は、相関の信頼性を判定する。すなわち、ステップＳ１９で演算された相関の演算結果の信頼性が判定される。ここで信頼性とは、像信号対の一致度（波形の類似度）を指し、一致度が良い場合は一般的に焦点検出結果の信頼性が高い。
　例えば、フォーカスエリアＲhにおける像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差を公知の相関演算によって計算することで、横方向における焦点ずれ量（デフォーカス量）を求めることができる。同様に、フォーカスエリアＲvにおける像信号ＳＩＧv(C)と像信号ＳＩＧv(D)の位相差を相関演算によって計算することで、縦方向における焦点ずれ量（デフォーカス量）を求めることができる。
　ステップＳ２１において位相差検波部３２６は、焦点ずれ量を算出する。すなわち、ステップＳ２０において信頼性が高いと判定された像信号対から求められた位相差に基づいて、最終的な焦点ずれ量が算出される。
　ステップＳ２２において、レンズ制御部３２７は、位相差検波部３２６からの合焦判定結果に基づいて、レンズ３１１の駆動を制御する。
　以上のようにしてフォーカス制御が行われる。この処理は必要に応じて繰り返し実行される。
　なお、レンズ制御部３２７は、上述したような位相差オートフォーカスに加え、コントラストオートフォーカスを行うことで、レンズ３１１の駆動を制御するようにしてもよい。例えば、レンズ制御部３２７は、位相差検波部３２６から、合焦判定結果としてフォーカスのずれの量（デフォーカス量）を示す情報が供給された場合、フォーカスのずれの方向（前ピンか後ピンか）を判別し、その方向に対してコントラストAFを行うようにしてもよい。
（６）撮像処理
　次に、図１５のフローチャートを参照して、電子機器３００による撮像処理について説明する。図１５は、本技術を適用した電子機器の撮像処理について説明するフローチャートである。
　まず、ステップＳ４１において、撮像素子４１は、各画素１１１の入射光を光電変換し、その画素信号を読み出し、AD変換部３２１に供給する。
　ステップＳ４２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
　ステップＳ４３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルが減算された全画素分の画像データ(画素値）を欠陥補正部３２８に供給する。
　以上のステップＳ４１乃至Ｓ４３の処理は、図１３のフローチャートのステップＳ１１乃至Ｓ１３の処理と基本的に同様の処理である。
　ステップＳ４４において、欠陥補正部３２８は、クランプ部３２２からの画像データに基づいて、正しい画素値が得られない欠陥画素、例えば位相差検波用画素１３１について、その画素値の補正（欠陥補正）を行う。本技術においては、位相差検波用画素１３１が存在するサブブロック１０３内に（すなわちその近傍に）撮像用画素１１４が存在するので、この補正処理が容易となる。欠陥画素の補正が行われた画像データはデモザイク部３２９に供給される。
　ステップＳ４５において、デモザイク部３２９は、デモザイク処理を行い、RAWデータをRGBデータに変換し、LM/WB/ガンマ補正部３３０に供給する。
　ステップＳ４６において、LM/WB/ガンマ補正部３３０は、デモザイク部３２９からのRGBデータに対して、色補正、ホワイトバランスの調整、およびガンマ補正を行い、輝度クロマ信号生成部３３１に供給する。
　ステップＳ４７において、輝度クロマ信号生成部３３１は、RGBデータから輝度信号および色差信号（すなわちYCrCbデータ）を生成する。
　そして、ステップＳ４８において、I/F部３３２は、輝度クロマ信号生成部３３１によって生成された輝度信号および色差信号を記録部３１４や表示部３１３に出力する。
　ステップＳ４９において、表示部３１３はI/F部３３２から供給された信号に基づいて被写体の画像を表示する。また、記録部３１４は、ユーザからの指示に基づいて、I/F部３３２から供給された信号を記録する。
　以上のようにして、図５に示されるように、位相差検波用画素１３１をブロック１０２内の所定のサブブロック１０３の所定の位置に配置した場合でも、図３に示されるように、各領域ＲＮijの色Ｃijを高精細に撮像し、表現することができる。
　以上の処理によれば、AFの精度を向上させて、画質の劣化を抑制することが可能となる。
　＜２．第２の構成例（１／４画素、Ｂ画素とＲ画素に縦方向と横方向の位相差検波用画素を配置）＞
　次に、撮像素子４１の撮像領域１０１の他の構成例について説明する。
　図１６は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。この図１６に示される第２の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、Ｂサブブロック１０３においては、左上の画素１１１に、縦方向の位相差を検波する位相差検波用画素１３１が配置されている。そして第１行および第９行の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第５行および第１３行の画素１１１には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｄが配置されている。
　図１６に示されるように、Ｒサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、横方向の位相差を検波する位相差検波用画素１３１が配置されている。そして第１列および第９列の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第５列および第１３列の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　なお、図１６の第２の構成例においては、横方向の位相差の検波は、Ｒ画素１１１の位相差検波用画素１３１の出力だけで可能であり、縦方向の位相差の検波はＢ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は最低限１行だけの位相差検波用画素１３１の読み出しで可能となるが、縦方向の位相差の検波は最低限２行の位相差検波用画素１３１の読み出しで可能となる。Ｒ画素１１１とＢ画素１１１の位相差検波用画素１３１の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
　＜３．第３の構成例（１／４画素、Ｂ画素とＲ画素に縦方向と横方向の位相差検波用画素を混在して配置）＞
　次に、図１７を参照して、撮像素子４１の撮像領域１０１の第３の構成例について説明する。
　図１７は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図１７の第３の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　Ｂサブブロック１０３においては、左上の画素１１１に、横方向または縦方向の位相差を検波する位相差検波用画素１３１が配置されている。具体的には、第１行および第５行のうちの第３列と第１１列には、横方向の位相差を検波する対の一方の位相差検波用画素１３１Ａが配置され、第７列と第１５列には、横方向の位相差を検波する対の他方の位相差検波用画素１３１Ｂが配置されている。
　第９行には、縦方向の位相差を検波する対の一方の位相差検波用画素１３１Ｃが配置され、第１３行には、縦方向の位相差を検波する対の他方の位相差検波用画素１３１Ｄが配置されている。
　次に、Ｒサブブロック１０３においては、左上の画素１１１に、縦方向または横方向の位相差を検波する位相差検波用画素１３１が配置されている。具体的には、第３行の画素１１１には、縦方向の位相差を検波する対の一方の位相差検波用画素１３１Ｃが配置され、第７行の画素１１１には、縦方向の位相差を検波する対の他方の位相差検波用画素１３１Ｄが配置されている。
　第１１行と第１５行には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂが配置されている。第１１行と第１５行のうちの第１列と第９列には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうちの一方の位相差検波用画素１３１Ａが配置され、第５列と第１３列には、対の他方の横方向の位相差を検波する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　第３の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、行単位で横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂと、縦方向の位相差を検波する位相差検波用画素１３１Ｃ，１３１Ｄが、混在している。列単位でも、横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂと、縦方向の位相差を検波する位相差検波用画素１３１Ｃ，１３１Ｄが、混在している。行単位では横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂが配置された行と、縦方向の位相差を検波する位相差検波用画素１３１Ｃまたは位相差検波用画素１３１Ｄが配置された行が存在する。
　なお、この構成例においては、Ｂサブブロック１０３の全体を見てみると、横方向の位相差検波用画素１３１Ａ，１３１Ｂと、縦方向の位相差検波用画素１３１Ｃ，１３１Ｄの両方が配置されている。同様に、Ｒサブブロック１０３の全体を見てみると、横方向の位相差検波用画素１３１Ａ，１３１Ｂと、縦方向の位相差検波用画素１３１Ｃ，１３１Ｄの両方が配置されている。そこで、Ｂサブブロック１０３とＲサブブロック１０３の一方にのみ位相差検波用画素１３１を設けるようにしても位相差検波が可能である。
　また、図１７の第３の構成例においては、Ｂ画素１１１およびＲ画素１１１のいずれにおいても、行に着目すると、２ブロック１０２毎に横方向と縦方向の位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
　＜４．第４の構成例（１／４画素、Ｂ画素とＲ画素に左斜め上と右斜め上位相差検波用画素を配置）＞
　次に、図１８を参照して、撮像素子４１の撮像領域１０１の第４の構成例について説明する。
　図１８は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図１８の第４の構成例においては、右上がり（左下がり）の４５度の対角線または左上がり（右下がり）の４５度の対角線に沿って画素１１１が区分され、位相差検波用画素１３１とされている。すなわち位相差検波用画素１３１においては、１／２の３角形の領域の一方に遮光部１３３が形成され、残りの１／２の３角形の領域に透光部１３２が形成されている。図１８において、遮光部１３３は黒の３角形で示され、透光部１３２は白の３角形で示されている。
　左上の３角形が透光部１３２Ｅとされ、右下の３角形が遮光部１３３Ｅとされた位相差検波用画素１３１Ｅと、左上の３角形が遮光部１３３Ｆとされ、右下の３角形が透光部１３２Ｆとされた位相差検波用画素１３１Ｆが対となっている。この位相差検波用画素１３１Ｅ，１３１Ｆは、図１８において左上がり（右下がり）斜めの矢印Ａ３で示す方向（左上がり４５度の直線の方向）の位相差（左上がり斜め位相差）を検出する。
　右上の３角形が透光部１３２Ｇとされ、左下の３角形が遮光部１３３Ｇとされた位相差検波用画素１３１Ｇと、右上の３角形が遮光部１３３Ｈとされ、左下の３角形が透光部１３２Ｈとされた位相差検波用画素１３１Ｈが対となっている。この位相差検波用画素１３１Ｇ，１３１Ｈは、図１８において右上がり（左下がり）斜めの矢印Ａ４で示す方向（右上がり４５度の直線の方向）の位相差（右上がり斜め位相差）を検出する。
　図１８の例では、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、Ｂサブブロック１０３においては、左上の画素１１１に、左上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。そのうちの第３列および第１１列の画素１１１には、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第７列および第１５列の画素１１１には、左上がり斜め位相差を検波する対の他方を構成する位相差検波用画素１３１Ｆが配置されている。
　次に、Ｒサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、右上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１列および第９列の画素１１１には、右上がり斜め位相差を検波する対の一方の位相差検波用画素１３１Ｇが配置されている。第５列および第１３列の画素１１１には、右上がり斜め位相差を検波する対の他方を構成する位相差検波用画素１３１Ｈが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　図１８の第４の構成例は、図３８を参照して後述するように、撮像領域１０１の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、Ｂ画素１１１の位相差検波用画素１３１の出力だけで可能であり、右上がり斜め位相差の検波はＲ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限１行の位相差検波用画素１３１の読み出しで可能となる。Ｒ画素１１１またはＢ画素１１１の位相差検波用画素１３１を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
　＜５．第５の構成例（１／４画素、Ｂ画素とＲ画素に右斜め上と左斜め上位相差検波用画素を配置）＞
　次に、図１９を参照して、撮像素子４１の撮像領域１０１の第５の構成例について説明する。
　図１９は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図１９の第５の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、Ｂサブブロック１０３においては、左上の画素１１１に、右上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３列および第１１列の画素１１１には、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第７列および第１５列の画素１１１には、右上がり斜め位相差を検波する対の他方を構成する位相差検波用画素１３１Ｈが配置されている。
　次に、Ｒサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、左上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１列および第９列の画素１１１には、左上がり斜め位相差を検波する対の一方の位相差検波用画素１３１Ｅが配置されている。第５列および第１３列の画素１１１には、左上がり斜め位相差を検波する対の他方を構成する位相差検波用画素１３１Ｆが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　図１９の第５の構成例は、図３８を参照して後述するように、撮像領域１０１の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、Ｒ画素１１１の位相差検波用画素１３１の出力だけで可能であり、右上がり斜め位相差の検波はＢ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限１行の位相差検波用画素１３１の読み出しで可能となる。Ｒ画素１１１またはＢ画素１１１の位相差検波用画素１３１を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
　＜６．第６の構成例（１／４画素、Ｂ画素とＲ画素に左斜め上と右斜め上位相差検波用画素を混在して配置）＞
　以下、図２０を参照して、撮像素子４１の撮像領域１０１の第６の構成例について説明する。
　図２０は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２０の第６の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、Ｂサブブロック１０３においては、左上の画素１１１に、左上がり斜め位相差または右上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１行および第５行の画素１１１には、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうちの一方が配置されている。そのうちの第３列と第１１列には、左上がり斜め位相差を検波する対の一方の位相差検波用画素１３１Ｅが配置され、第７列と第１５列には、左上がり斜め位相差を検波する対の他方の位相差検波用画素１３１Ｆが配置されている。
　第９行および第１３行の画素１１１には、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうちの一方が配置されている。すなわち第３列と第１１列には、右上がり斜め位相差を検波する対の一方の位相差検波用画素１３１Ｇが配置され、第７列と第１５列には、右上がり斜め位相差を検波する対の他方の位相差検波用画素１３１Ｈが配置されている。
　次に、Ｒサブブロック１０３においては、左上の画素１１１に、左上がり斜め位相差または右上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３行および第７行の画素１１１には、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうちの一方が配置されている。そのうちの第１列と第９列には、右上がり斜め位相差を検波する対の一方の位相差検波用画素１３１Ｇが配置され、第５列と第１３列には、右上がり斜め位相差を検波する対の他方の位相差検波用画素１３１Ｈが配置されている。
　第１１行および第１５行の画素１１１には、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうちの一方が配置されている。すなわち第１列と第９列には、左上がり斜め位相差を検波する対の一方の位相差検波用画素１３１Ｅが配置され、第５列と第１３列には、左上がり斜め位相差を検波する対の他方の位相差検波用画素１３１Ｆが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　第６の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆと、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈが、混在している。列単位でも、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆと、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈが、混在している。行単位では、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆが配置されている行と、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈが配置されている行がある。
　図２０の第６の構成例は、図３８を参照して後述するように、撮像領域１０１の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、Ｂ画素１１１およびＲ画素１１１のいずれにおいても、２ブロック１０２毎に左上がり斜め位相差検波または右上がり斜め位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
　以上の第１の構成例乃至第６の構成例においては、Ｒ画素１１１とＢ画素１１１に位相差検波用画素１３１が配置され、Ｇ画素１１１には位相差検波用画素１３１が配置されていない。その結果、良質な画像を撮像するのにＢ画素１１１およびＲ画素１１１に比べてより多くの光量を必要とするＧ画素１１１を減らすことがないので、視認性が高い高品質の撮像画像を得ることが可能になる。
　また、構造上、Ｒ画素１１１はＢ画素１１１に較べて感度が高くなる傾向があるが、Ｇ画素１１１との関係を考慮する必要が無いので、Ｒ画素１１１はＢ画素１１１とのバランスの調整が容易となる。
　＜７．第７の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に横方向と縦方向の位相差検波用画素を配置）＞
　次に、図２１を参照して、撮像素子４１の撮像領域１０１の第７の構成例について説明する。
　図２１は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２１の第７の構成例において、ブロック１０２内の左上と右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、左上の（Ｂサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、横方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１列および第９列の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第５列および第１３列の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　右下の（Ｒサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、左上の画素１１１に、縦方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３行および第１１行の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第７行および第１５行の画素１１１には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｄが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　なお、図２１の第７の構成例においては、横方向の位相差の検波は、左上のＧ画素１１１の位相差検波用画素１３１の出力だけで可能であり、縦方向の位相差の検波は、右下のＧ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は、１行分の左上のＧ画素１１１の位相差検波用画素１３１の出力だけで可能であり、縦方向の位相差の検波は、２行分の右下のＧ画素１１１の位相差検波用画素１３１の出力で可能である。
　横方向の位相差検波用画素１３１と縦方向の位相差検波用画素１３１の位置は、逆にしてもよい。つまり、横方向の位相差検波用画素１３１を右下のＧ画素１１１に配置し、縦方向の位相差検波用画素１３１を左上のＧ画素１１１に配置してもよい。また左上のＧ画素１１１と右下のＧ画素１１１の位相差検波用画素１３１の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
　＜８．第８の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に縦方向と横方向の位相差検波用画素を配置）＞
　次に、図２２を参照して、撮像素子４１の撮像領域１０１の第８の構成例について説明する。
　図２２は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２２の第８の構成例においては、ブロック１０２内の左上と右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、左上の（Ｂサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、縦方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１行および第９行の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第５行および第１３行の画素１１１には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｄが配置されている。
　右下の（Ｒサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、左上の画素１１１に、横方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３列および第１１列の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第７列および第１５列の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　なお、図２２の第８の構成例においては、縦方向の位相差の検波は、左上のＧ画素１１１の位相差検波用画素１３１の出力だけで可能であり、横方向の位相差の検波は右下のＧ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は最低限１行だけの位相差検波用画素１３１の読み出しで可能となるが、縦方向の位相差の検波は最低限２行の位相差検波用画素１３１の読み出しで可能となる。左上のＧ画素１１１と右下のＧ画素１１１の位相差検波用画素１３１の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
　＜９．第９の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に横方向と縦方向の位相差検波用画素を混在して配置）＞
　次に、図２３を参照して、撮像素子４１の撮像領域１０１の第９の構成例について説明する。
　図２３は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２３の第９の構成例においては、ブロック１０２内の左上と右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、左上の（Ｂサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、横方向と縦方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１行および第５行においては、第１列および第９列の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第５列および第１３列の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　第９行には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第１３行には、対の他方を構成する位相差検波用画素１３１Ｄが配置されている。
　次に、右下の（Ｒサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、左上の画素１１１に、縦方向と横方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち、第３行の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第７行の画素１１１には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｄが配置されている。
　さらに、第１１行と第１５行においては、そのうちの第３列と第１１列の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第７列と第１５列の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　なお、この構成例においては、左上のＧサブブロック１０３に横方向の位相差検波用画素１３１Ａ，１３１Ｂと、縦方向の位相差検波用画素１３１Ｃ，１３１Ｄの両方が配置されている。同様に、右下のＧサブブロック１０３にも横方向の位相差検波用画素１３１Ａ，１３１Ｂと、縦方向の位相差検波用画素１３１Ｃ，１３１Ｄの両方が配置されている。そこで、左上のＧサブブロック１０３と右下のＧサブブロック１０３の一方にのみ位相差検波用画素１３１を設けるようにしても両方向の位相差検波が可能である。
　また、図２３の第９の構成例においては、左上のＧ画素１１１および右下のＧ画素１１１のいずれにおいても、２ブロック１０２の行毎に横位相差検波または縦位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
　＜１０．第１０の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に左斜め上と右斜め上位相差検波用画素を配置）＞
　次に、図２４を参照して、撮像素子４１の撮像領域１０１の第１０の構成例について説明する。
　図２４は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２４の第１０の構成例において、ブロック１０２内の左上と右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、左上の（Ｂサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、左上がり斜め方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１列および第９列の画素１１１には、左上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第５列および第１３列の画素１１１には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｆが配置されている。
　次に、右下の（Ｒサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、左上の画素１１１に、右上がり斜め方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３列および第１１列の画素１１１には、右上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第７列および第１５列の画素１１１には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｈが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　図２４の第１０の構成例は、図３８を参照して後述するように、撮像領域１０１の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、左上のＧ画素１１１の位相差検波用画素１３１の出力だけで可能であり、右上がり斜め位相差の検波は右下のＧ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限１行の位相差検波用画素１３１の読み出しで可能となる。左上のＧ画素１１１または右下のＧ画素１１１の位相差検波用画素１３１を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
　＜１１．第１１の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に右斜め上と左斜め上位相差検波用画素を配置）＞
　次に、図２５を参照して、撮像素子４１の撮像領域１０１の第１１の構成例について説明する。
　図２５は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２５の第１１の構成例において、ブロック１０２内の左上と右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、左上の（Ｂサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、右上がり斜め方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１列および第９列の画素１１１には、右上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第５列および第１３列の画素１１１には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｈが配置されている。
　次に、右下の（Ｒサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、左上の画素１１１に、左上がり斜め方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３列および第１１列の画素１１１には、左上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第７列および第１５列の画素１１１には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｆが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　図２５の第１１の構成例は、図３８を参照して後述するように、撮像領域１０１の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、右下のＧ画素１１１の位相差検波用画素１３１の出力だけで可能であり、右上がり斜め位相差の検波は、左上のＧ画素１１１の位相差検波用画素１３１の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限１行の位相差検波用画素１３１の読み出しで可能となる。左上のＧ画素１１１または右下のＧ画素１１１の位相差検波用画素１３１を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
　＜１２．第１２の構成例（１／４画素、Ｂ画素の行のＧ画素とＲ画素の行のＧ画素に左斜め上と右斜め上位相差検波用画素を混在して配置）＞
　次に、図２６を参照して、撮像素子４１の撮像領域１０１の第１２の構成例について説明する。
　図２６は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２６の第１２の構成例において、ブロック１０２内の左上と右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　具体的には、左上の（Ｂサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、左上がり斜め方向または右上がり斜め方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第１行および第５行においては、第１列および第９列の画素１１１に、左上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第５列および第１３列の画素１１１には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｆが配置されている。
　第９行および第１３行においては、第１列および第９列の画素１１１に、右上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第５列および第１３列の画素１１１には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｈが配置されている。
　次に、右下の（Ｒサブブロック１０３と同じ行の）Ｇサブブロック１０３においては、２×２個の画素１１１のうち左上の画素１１１に、右上がり斜め方向または左上がり斜め方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち第３行および第７行においては、第３列および第１１列の画素１１１に、右上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第７列および第１５列の画素１１１には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｈが配置されている。
　第１１行および第１５行においては、第３列および第１１列の画素１１１に、左上がり斜め方向の位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第７列および第１５列の画素１１１には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｆが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては２個とされている。
　図２６の第１２の構成例は、図３８を参照して後述するように、撮像領域１０１の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上のＧ画素１１１および右下のＧ画素１１１のいずれにおいても、２ブロック１０２毎に左上がり斜め位相差検波または右上がり斜め位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
　以上の図２１の構成例乃至図２６の構成例においては、Ｇ画素１１１に位相差検波用画素１３１が配置されている。その結果、１つのブロック１０２内に１つのサブブロック１０３しかないＢサブブロック１０３やＲサブブロック１０３における光量の減少を防止することができる。なお、Ｂ画素１１１およびＲ画素１１１に比べてより多くの光量を必要とするＧ画素１１１への影響は補正により軽減することができる。
　＜１３．第１３の構成例（２／４画素、Ｂ画素に同じ横方向の位相差検波用画素を配置）＞
　次に、図２７を参照して、撮像素子４１の撮像領域１０１の第１３の構成例について説明する。
　図２７は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２７の第１３の構成例において、Ｂサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　２×２個の画素１１１のうち、第３列の左上のＢ画素１１１と第４列の右下のＢ画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。同様に、第１１列の左上のＢ画素１１１と第１２列の右下のＢ画素１１１には、横方向の位相差を検波する対の一方を構成する位相差検波用画素１３１Ａが配置されている。
　第７列の左上のＢ画素１１１と第８列の右下のＢ画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。同様に、第１５列の左上のＢ画素１１１と第１６列の右下のＢ画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては２個とされている。
　Ｂサブブロック１０３に関し、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素１３１Ｂは、サブブロック１０３で数えると２個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素１３１Ａは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　この構成例においては、４個のＢ画素１１１のうちの左上と右下の２個の画素が同じ位相差検波用画素１３１Ａであるか、または同じ位相差検波用画素１３１Ｂである。左上の位相差検波用画素１３１とその右下（１行下）の位相差検波用画素１３１は対角線上に隣接し、近接している。そこで両者の特性が近似するので、上下の位相差列でブロックマッチング（ラインマッチング）することにより位相差を検波することができる。画素値または位相差検波後の値を加算処理することで、平均化処理が行われ、ノイズに対する耐性を向上させ、検波の精度を向上させることができる。
　なお、この構成例において、横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂを、Ｒサブブロック１０３内の左上と右下の画素１１１に配置するようにしてもよい。また、横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂに代えて、縦方向の位相差を検波する位相差検波用画素１３１Ｃ，１３１Ｄを配置するようにしてもよい。
　＜１４．第１４の構成例（２／４画素、Ｂ画素に対の横方向の位相差検波用画素を配置）＞
　次に、図２８を参照して、撮像素子４１の撮像領域１０１の第１４の構成例について説明する。
　図２８は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２８の第１４の構成例において、Ｂサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　図２７の構成例においては、同じＢサブブロック１０３内に、同じ横方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち、位相差検波用画素１３１Ａが２個、または位相差検波用画素１３１Ｂが２個配置されている。それに対して図２８の構成例においては、同じＢサブブロック１０３内の左上と右下に、対となる横方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち、位相差検波用画素１３１Ａと位相差検波用画素１３１Ｂが配置されている。
　２×２個の画素１１１のうち、第３列の左上のＢ画素１１１と第４列の右下のＢ画素１１１には、横方向の位相差を検波する対の一方の位相差検波用画素１３１Ａと、他方の位相差検波用画素１３１Ｂが配置されている。第７列の左上のＢ画素１１１と第８列の右下のＢ画素１１１にも、横方向の位相差を検波する対の一方の位相差検波用画素１３１Ａと、他方の位相差検波用画素１３１Ｂが配置されている。第１１列の左上のＢ画素１１１と第１２列の右下のＢ画素１１１にも、横方向の位相差を検波する対の一方の位相差検波用画素１３１Ａと、他方の位相差検波用画素１３１Ｂが配置されている。第１５列の左上のＢ画素１１１と第１６列の右下のＢ画素１１１にも、横方向の位相差を検波する対の一方の位相差検波用画素１３１Ａと、他方の位相差検波用画素１３１Ｂが配置されている。
　すなわち、第１行、第５行、第９行並びに第１３行の左上のＢ画素１１１には、横方向の位相差を検波する対の一方の位相差検波用画素１３１Ａが配置されている。第２行、第６行、第１０行並びに第１４行の右下のＢ画素１１１には、横方向の位相差を検波する対の他方の位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては２個とされている。
　Ｂサブブロック１０３に関し、横方向の位相差を検波する位相差検波用画素１３１Ａと、１行ずれてはいるが、対になる横方向の位相差を検波する対の位相差検波用画素１３１Ｂは、サブブロック１０３で数えると離れていない（０個分だけ離れている）。そして、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素１３１Ａは、サブブロック１０３で数えて２個分だけ離れている（０－２Ｂ）。
　なお、この構成例において、横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂは、Ｒサブブロック１０３の左上と右下の画素１１１に配置するようにしてもよい。また、横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂに代えて、縦方向の位相差を検波する位相差検波用画素１３１Ｃ，１３１Ｄを配置するようにしてもよい。
　＜１５．第１５の構成例（２／４画素、Ｂ画素に横方向と縦方向の位相差検波用画素を混在して配置）＞
　次に、図２９を参照して、撮像素子４１の撮像領域１０１の第１５の構成例について説明する。
　図２９は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図２９の第１５の構成例において、Ｂサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　２×２個の画素１１１のうち、第３列の左上のＢ画素１１１と第１１列の左上のＢ画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第７列の左上のＢ画素１１１と第１５列の左上のＢ画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　第２行の右下のＢ画素１１１と第１０行の右下のＢ画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第６行の右下のＢ画素１１１と第１４行の右下のＢ画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の他方を構成する位相差検波用画素１３１Ｄが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては２個とされている。
　第１５の構成例においては、１つのＢサブブロック１０３内に、横方向の位相差を検波する対の位相差検波用画素１３１Ａまたは１３１Ｂと、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃまたは１３１Ｄが、混在して配置されている。
　また、Ｂサブブロック１０３に関し、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素１３１Ｂは、サブブロック１０３で数えると２個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素１３１Ａは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　さらに、Ｂサブブロック１０３に関し、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の、対になる縦方向の位相差を検波する対の位相差検波用画素１３１Ｄは、サブブロック１０３で数えると２個分だけ離れている。そして、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素１３１Ｃは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　なお、この構成例において、横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂは、縦方向の位相差を検波する位相差検波用画素１３１Ｃ，１３１Ｄと入れ替えて配置してもよい。また、横方向と縦方向の位相差を検波する位相差検波用画素１３１Ａ乃至１３１Ｄは、Ｒサブブロック１０３の左上と右下の画素１１１に配置するようにしてもよい。
　＜１６．第１６の構成例（２／４画素、Ｂ画素に左斜め上と右斜め上の位相差検波用画素を混在して配置）＞
　次に、図３０を参照して、撮像素子４１の撮像領域１０１の第１６の構成例について説明する。
　図３０は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３０の第１６の構成例において、Ｂサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　２×２個の画素１１１のうち、第３列の左上のＢ画素１１１と第１１列の左上のＢ画素１１１には、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第７列の左上のＢ画素１１１と第１５列の左上のＢ画素１１１には、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の他方を構成する位相差検波用画素１３１Ｆが配置されている。
　第４列の右下のＢ画素１１１と第１２列の右下のＢ画素１１１には、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第８列の右下のＢ画素１１１と第１６列の右下のＢ画素１１１には、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の他方を構成する位相差検波用画素１３１Ｈが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては２個とされている。
　すなわち第１６の構成例においては、１つのＢサブブロック１０３内に、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅと右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇが、混在して配置されている。また左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｆと右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｈが、混在して配置されている。Ｂサブブロック１０３の全体を見てみると、位相差検波用画素１３１Ｅ,１３１Ｆと位相差検波用画素１３１Ｇ，１３１Ｈが、混在して配置されている。
　さらに、Ｂサブブロック１０３に関し、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅと、同じ行の、対になる左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｆは、サブブロック１０３で数えると２個分だけ離れている。そして、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅと、同じ行の同じ相の次の左上がり斜め位相差を検波する位相差検波用画素１３１Ｅは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　また、Ｂサブブロック１０３に関し、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇと、同じ行の、対になる右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｈは、サブブロック１０３で数えると２個分だけ離れている。そして、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇと、同じ行の同じ相の次の右上がり斜め位相差を検波する位相差検波用画素１３１Ｇは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　なお、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆと右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈは、Ｒサブブロック１０３の左上と右下の画素１１１に配置するようにしてもよい。
　なお、以上の図２７の第１３の構成例乃至図３０の第１６の構成例では、２つの位相差検波用画素１３１がＢサブブロック１０３に配置されている。Ｂ画素１１１は、Ｒ画素１１１またはＧ画素１１１に較べて視認性が低い。従って、位相差検波用画素１３１をＲ画素１１１またはＧ画素１１１に配置する場合に較べて、画像が劣化することが抑制される。
　また、以上の図２７の第１３の構成例乃至図３０の第１６の構成例では、図２１の第７の構成例乃至図２６の第１２の構成例における場合のように、２種類の位相差検波用画素１３１を、２つのＧサブブロック１０３にそれぞれ配置することもできる。
　＜１７．第１７の構成例（２／４画素、Ｂ画素とＲ画素に同じ横方向と同じ縦方向の位相差検波用画素を配置）＞
　次に、図３１を参照して、撮像素子４１の撮像領域１０１の第１７の構成例について説明する。
　図３１は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３１の第１７の構成例において、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　Ｂサブブロック１０３においては、第３列の左上と第４列の右下および第１１列の左上と第１２列の右下の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第７列の左上と第８列の右下および第１５列の左上と第１６列の右下の画素１１１には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　Ｒサブブロック１０３においては、第３行の左上と第４行の右下および第１１行の左上と第１２行の右下の画素１１１に、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第７行の左上と第８行の右下および第１５行の左上と第１６行の右下の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の他方を構成する位相差検波用画素１３１Ｄが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては４個とされている。
　この図３１の第１７の構成例は、図２７の第１３の構成例のＲ画素１１１に、縦方向の位相差を検波する位相差検波用画素１３１Ｃ，１３１Ｄを付加した構成例である。
　この構成例においては、１つのＢサブブロック１０３の４個のＢ画素１１１のうちの左上と右下の２個の画素１１１が同じ位相差検波用画素１３１Ａであるか、または同じ位相差検波用画素１３１Ｂである。左上の位相差検波用画素１３１とその右下（１行下）の位相差検波用画素１３１は対角線上に隣接し、近接している。そこで上下の位相差列でブロックマッチング（ラインマッチング）することにより位相差を検波することができる。画素値または位相差検波後の値を加算処理することで、平均化処理が行われ、ノイズに対する耐性を向上させ、精度を向上させることができる。
　また、この構成例においては、１つのＲサブブロック１０３の４個のＲ画素１１１のうちの左上と右下の２個の画素１１１が同じ位相差検波用画素１３１Ｃであるか、または同じ位相差検波用画素１３１Ｄである。左上の位相差検波用画素１３１とその右下（１行下）の位相差検波用画素１３１は対角線上に隣接し、近接している。そこで左右の位相差列でブロックマッチング（ラインマッチング）することによっても位相差を検波することができる。
　この構成例においては、Ｂサブブロック１０３に関し、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素１３１Ｂは、サブブロック１０３で数えると２個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素１３１Ａは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　さらに、Ｒサブブロック１０３に関し、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の、対になる縦方向の位相差を検波する対の位相差検波用画素１３１Ｄは、サブブロック１０３で数えると２個分だけ離れている。そして、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素１３１Ｃは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｒ）。
　なおこの構成例では、Ｂ画素１１１に横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂが配置され、Ｒ画素１１１に縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄが配置されている。逆に、Ｂ画素１１１に縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄを配置し、Ｒ画素１１１に横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂを配置してもよい。
　＜１８．第１８の構成例（２／４画素、Ｂ画素とＲ画素に同じ縦方向と同じ横方向の位相差検波用画素を配置）＞
　次に、図３２を参照して、撮像素子４１の撮像領域１０１の第１８の構成例について説明する。
　図３２は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３２の第１８の構成例において、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　Ｒサブブロック１０３においては、第１列の左上と第２列の右下および第９列の左上と第１０列の右下の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第５列の左上と第６列の右下および第１３列の左上と第１４列の右下の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　Ｂサブブロック１０３においては、第１行の左上と第２行の右下および第９行の左上と第１０行の右下の画素１１１に、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第５行の左上と第６行の右下および第１３行の左上と第１４行の右下の画素１１１には、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の他方を構成する位相差検波用画素１３１Ｄが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては４個とされている。
　この構成例においては、１つのＲサブブロック１０３の４個のＲ画素１１１のうちの左上と右下の２個の画素が同じ位相差検波用画素１３１Ａであるか、または同じ位相差検波用画素１３１Ｂである。左上の位相差検波用画素１３１とその右下（１行下）の位相差検波用画素１３１は対角線上に隣接し、近接している。そこで上下の位相差列でブロックマッチング（ラインマッチング）することによっても位相差を検波することができる。画素値または位相差検波後の値を加算処理することで、平均化処理が行われ、ノイズに対する耐性を向上させ、精度を向上させることができる。
　またこの構成例においては、１つのＢサブブロック１０３の４個のＢ画素１１１のうちの左上と右下の２個の画素が同じ位相差検波用画素１３１Ｃであるか、または同じ位相差検波用画素１３１Ｄである。左上の位相差検波用画素１３１とその右下（１行下）の位相差検波用画素１３１は対角線上に隣接し、近接している。そこで左右の位相差列でブロックマッチング（ラインマッチング）することにより位相差を検波することができる。
　この構成例においては、Ｒサブブロック１０３に関し、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素１３１Ｂは、サブブロック１０３で数えると２個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素１３１Ａは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｒ）。
　さらに、Ｂサブブロック１０３に関し、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の、対になる縦方向の位相差を検波する対の位相差検波用画素１３１Ｄは、サブブロック１０３で数えると２個分だけ離れている。そして、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素１３１Ｃは、サブブロック１０３で数えて４個分だけ離れている（２－４Ｂ）。
　またこの構成例では、Ｒ画素１１１に横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂが配置され、Ｂ画素１１１に縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄが配置されている。逆に、Ｒ画素１１１に縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄを配置し、Ｂ画素１１１に横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂを配置してもよい。
　＜１９．第１９の構成例（２／４画素、Ｂ画素とＲ画素に対の横方向と対の縦方向の位相差検波用画素を配置）＞
　次に、図３３を参照して、撮像素子４１の撮像領域１０１の第１９の構成例について説明する。
　図３３は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３３の第１９の構成例において、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上と右下の２個の画素１１１が位相差検波用画素１３１とされている。
　図３１と図３２の構成例においては、同じサブブロック１０３内に、同じ横方向の位相差または縦方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち、Ｂサブブロック１０３内に、位相差検波用画素１３１Ａが２個、もしくは位相差検波用画素１３１Ｂが２個配置されているか、または、位相差検波用画素１３１Ｃが２個、もしくは位相差検波用画素１３１Ｄが２個配置されている。
　それに対して図３３の構成例においては、同じサブブロック１０３内に、対となる横方向または縦方向の位相差を検波する位相差検波用画素１３１が配置されている。すなわち、位相差検波用画素１３１Ａと位相差検波用画素１３１Ｂが配置されるか、または位相差検波用画素１３１Ｃと位相差検波用画素１３１Ｄが配置されている。
　Ｂサブブロック１０３においては、第１行、第５行、第９行および第１３行の左上の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第２行、第６行、第１０行および第１４行の右下の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　Ｒサブブロック１０３においては、第３行、第７行、第１１行および第１５行の左上の画素１１１に、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の一方を構成する位相差検波用画素１３１Ｃが配置されている。第４行、第８行、第１２行および第１６行の右下の画素１１１に、縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄのうち、対の他方を構成する位相差検波用画素１３１Ｄが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては４個とされている。
　Ｂサブブロック１０３に関し、横方向の位相差を検波する位相差検波用画素１３１Ａと、１行下の、対になる横方向の位相差を検波する対の位相差検波用画素１３１Ｂは、サブブロック１０３で数えると離れていない（０個分だけ離れている）。そして、横方向の位相差を検波する位相差検波用画素１３１Ａと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素１３１Ａは、サブブロック１０３で数えて２個分だけ離れている（０－２Ｂ）。
　さらに、Ｒサブブロック１０３に関し、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、１列右の、対になる縦方向の位相差を検波する対の位相差検波用画素１３１Ｄは、サブブロック１０３で数えると離れていない（０個分だけ離れている）。そして、縦方向の位相差を検波する位相差検波用画素１３１Ｃと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素１３１Ｃは、サブブロック１０３で数えて２個分だけ離れている（０－２Ｒ）。
　なおこの構成例では、Ｂ画素１１１に横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂが配置され、Ｒ画素１１１に縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄが配置されている。逆に、Ｂ画素１１１に縦方向の位相差を検波する対の位相差検波用画素１３１Ｃ，１３１Ｄを配置し、Ｒ画素１１１に横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂを配置してもよい。
　＜２０．第２０の構成例（２／４画素、Ｂ画素とＲ画素に対の左斜め上と対の右斜め上の位相差検波用画素を配置）＞
　次に、図３４を参照して、撮像素子４１の撮像領域１０１の第２０の構成例について説明する。
　図３４は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。これまでの構成例においては、全ての色のサブブロック１０３において位相差検波用画素１３１を対応する位置に配置した。しかし、同じ色のサブブロック１０３内においては対応する位置であるが、異なる色のサブブロック１０３の間では異なる位置に位相差検波用画素１３１を配置するようにしてもよい。図３４は、この場合の構成例を示している。
　図３４の第２０の構成例においては、Ｂサブブロック１０３とＲサブブロック１０３に位相差検波用画素１３１が配置されている。すなわち、Ｂサブブロック１０３においては、２×２個の画素１１１のうち、左上と右下の画素１１１が位相差検波用画素１３１とされている。一方、Ｒサブブロック１０３においては、２×２個の画素１１１のうち、左下と右上の画素１１１が位相差検波用画素１３１とされている。
　Ｂサブブロック１０３においては、第１行、第５行、第９行および第１３行の左上の画素１１１に、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の一方を構成する位相差検波用画素１３１Ｅが配置されている。第２行、第６行、第１０行および第１４行の右下の画素１１１に、左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆのうち、対の他方を構成する位相差検波用画素１３１Ｆが配置されている。
　Ｒサブブロック１０３においては、第３行、第７行、第１１行および第１５行の右上の画素１１１に、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の一方を構成する位相差検波用画素１３１Ｇが配置されている。第４行、第８行、第１２行および第１６行の左下の画素１１１に、右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈのうち、対の他方を構成する位相差検波用画素１３１Ｈが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては２個、１つのブロック１０２内においては４個とされている。
　全てのＢサブブロック１０３においては、２×２個の画素１１１のうち、左上と右下の画素１１１が位相差検波用画素１３１とされている。これに対して、Ｒサブブロック１０３においては、右上と左下の画素１１１が位相差検波用画素１３１とされている。
　また、Ｂサブブロック１０３に関し、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅと、１行下の、対になる左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｆは、サブブロック１０３で数えると離れていない（０個分だけ離れている）。そして、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅと、同じ行の同じ相の次の左上がり斜め位相差を検波する位相差検波用画素１３１Ｅは、サブブロック１０３で数えて２個分だけ離れている（０－２Ｂ）。
　さらに、Ｒサブブロック１０３に関し、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇと、１列左の、対になる右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｈは、サブブロック１０３で数えると離れていない（０個分だけ離れている）。そして、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇと、同じ列の同じ相の次の右上がり斜め位相差を検波する位相差検波用画素１３１Ｇは、サブブロック１０３で数えて２個分だけ離れている（０－２Ｒ）。
　なおこの構成例では、Ｂ画素１１１に左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆが配置され、Ｒ画素１１１に右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈが配置されている。逆に、Ｂ画素１１１に右上がり斜め位相差を検波する対の位相差検波用画素１３１Ｇ，１３１Ｈを配置し、Ｒ画素１１１に左上がり斜め位相差を検波する対の位相差検波用画素１３１Ｅ，１３１Ｆを配置してもよい。
　なお、以上の図３１の第１７の構成例乃至図３４の第２０の構成例では、図２１の第７の構成例乃至図２６の第１２の構成例における場合のように、２種類の位相差検波用画素１３１を、２つのＧサブブロック１０３にそれぞれ配置することもできる。
　＜２１．第２１の構成例（１／４画素、Ｂ画素、Ｇ画素、Ｒ画素に横方向の位相差検波用画素を配置）＞
　次に、図３５を参照して、撮像素子４１の撮像領域１０１の第２１の構成例について説明する。
　図３５は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３５の第２１の構成例において、１つのブロック１０２内のＢサブブロック１０３、Ｒサブブロック１０３および右下のＧサブブロック１０３のいずれにおいても、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　Ｒサブブロック１０３においては、第１列の左上および第９列の左上の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第５列の左上および第１３列の左上の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　Ｂサブブロック１０３においては、第３列の左上および第１１列の左上の画素１１１に、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第７列の左上および第１５列の左上の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。
　右下のＧサブブロック１０３においては、第３列の左上および第１１列の左上の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第７列の左上および第１５列の左上の画素１１１には、横方向の位相差を検波する対の位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては３個とされている。
　図３５の構成例においては、透光部１３２Ａ，１３２Ｂと遮光部１３３Ａ，１３３Ｂが、図３６に示されるように構成される。図３６は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図３６は便宜上、２個の位相差検波用画素１３１Ａ，１３１Ｂの断面構成を並べて示している。図３６の位相差検波用画素１３１の構成は、基本的に図９に示した位相差検波用画素１３１と同様であるが、図９の開口により形成されている透光部１３２Ａ，１３２Ｂが、開口に代えてカラーフィルタ２２４により形成されている。
　カラーフィルタ２２４の色は、サブブロック１０３の色に対応する。すなわち、Ｒサブブロック１０３の位相差検波用画素１３１では、カラーフィルタ２２４の色は赤（Ｒ）とされる。同様に、Ｇサブブロック１０３の位相差検波用画素１３１では、カラーフィルタ２２４の色は緑（Ｇ）とされ、Ｂサブブロック１０３の位相差検波用画素１３１では、カラーフィルタ２２４の色は青（Ｂ）とされる。その他の構成は、図９に示す場合と同様であるので、その説明は省略する。
　また、撮像用画素１１４の構成は図８に示した場合と同様である。
　この例では、例えば位相差検波用画素１３１Ａにおいては、オンチップレンズ２２５により集光された光の一部が透光部１３２Ａを透過して、フォトダイオード２２２に入射する。透光部１３２Ａには、カラーフィルタ２２４が配置されているので、対応する色の成分の光だけがフォトダイオード２２２に入射する。しかしオンチップレンズ２２５により集光された光の一部は、図３６において透光部１３２Ａの右側に配置されている遮光部１３３Ａにより遮光され、フォトダイオード２２２に入射しない。
　同様に、位相差検波用画素１３１Ｂにおいても、オンチップレンズ２２５により集光された光の一部が透光部１３２Ｂを透過して、フォトダイオード２２２に入射する。このときもカラーフィルタ２２４により対応する色の成分のみが抽出され、フォトダイオード２２２に入射する。しかしオンチップレンズ２２５により集光された光の一部は、図３６において透光部１３２Ｂの左側に配置されている遮光部１３３Ｂにより遮光され、フォトダイオード２２２に入射しない。
　図３５の構成例では、Ｒ，Ｇ，Ｂの各色毎に別々に位相差の検出処理が行われ、デフォーカス量が算出される。これにより、被写体の光源依存性を補正することができる。つまり、色を主たる要素としてフォーカス制御が可能になる。
　なお、図３６の例では、遮光部１３３の開口にカラーフィルタ２２４を設けた。すなわち、遮光部１３３と同じ層にカラーフィルタ２２４が配置されている。しかし、カラーフィルタ２２４は、遮光部１３３より上層（遮光部１３３よりオンチップレンズ２２５に近い位置）に設けたり、下層（遮光部１３３よりフォトダイオード２２２に近い位置）に設けることもできる。この場合、撮像用画素１１４においてもカラーフィルタ２２４の位置は位相差検波用画素１３１と同様とすることができる。
　図３５の第２１の構成例においては、カラーフィルタ２２４を有する位相差検波用画素１３１が使用される。従って、位相差検波用画素１３１からも撮像画素信号が得られる。しかし、その他の構成例（上述した第１の構成例乃至第２０の構成例、さらに後述する第２２の構成例）においては、カラーフィルタ２２４を有する位相差検波用画素１３１とカラーフィルタ２２４を有しない位相差検波用画素１３１のいずれもが使用可能である。
　図３５の第２１の構成例にいては、横方向の位相差を検波する位相差検波用画素１３１を配置したが、縦方向の位相差、または左上がり斜め位相差もしくは右上がり斜め位相差を検波する位相差検波用画素１３１を配置することもできる。
　＜２２．第２２の構成例（１／４画素、Ｂ画素、２つのＧ画素、Ｒ画素に横方向の位相差検波用画素を配置）＞
　次に、図３７を参照して、撮像素子４１の撮像領域１０１の第２２の構成例について説明する。
　図３７は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３７の第２２の構成例においては、Ｂサブブロック１０３、Ｒサブブロック１０３および２つのＧサブブロック１０３の全てにおいて、２×２個の画素１１１のうち、左上の画素１１１が位相差検波用画素１３１とされている。
　第１列、第５列、第９列および第１３列では、Ｇサブブロック１０３とＲサブブロック１０３のいずれでも、同様に構成されている。すなわち、左上の画素１１１に横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂのうち、対の一方を構成する位相差検波用画素１３１Ａが配置されている。第３列、第７列、第１１列および第１５列では、Ｂサブブロック１０３とＧサブブロック１０３のいずれでも、同様に構成されている。すなわち、左上の画素１１１に横方向の位相差を検波する位相差検波用画素１３１Ａ，１３１Ｂのうち、対の他方を構成する位相差検波用画素１３１Ｂが配置されている。位相差検波用画素１３１を配置する場合のその数は、１つのサブブロック１０３内においては１個、１つのブロック１０２内においては４個とされている。
　この図３７の第２２の構成例においては、１行により多くの横方向の位相差を検波する位相差検波が素１３１Ａ，１３１Ｂが配置されている。その結果、位相差検波精度が向上する。
　図３７の第２２の構成例にいては、横方向の位相差を検波する位相差検波用画素１３１を配置したが、縦方向の位相差、または左上がり斜め位相差もしくは右上がり斜め位相差を検波する位相差検波用画素１３１を配置することもできる。
　＜２３．位相差検波用画素の配置＞
　次に、位相差検波用画素１３１の配置について説明する。
　図３８は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の配置例を示す図である。この例においては、画素アレイ部４４の撮像領域１０１が、ほぼ中央の領域４４１、その左上の領域４４２、左上の領域４４２と対角線上の右下の領域４４３、右上の領域４４４、および右上の領域４４４と対角線上の左下の領域４４５とに区分されている。なお、フォーカスエリアとしてのこれらの領域４４１乃至４４５は、楕円形とされているが、円、矩形、その他の形状とすることもできる。
　中央の領域４４１と右下の領域４４３の境界は、次のように設定することができる。すなわち、撮像領域１０１（領域４４１）の中心から撮像領域１０１の右下の角までの距離ＬＮ１を１とするとき、撮像領域１０１（領域４４１）の中心から境界までの距離ＬＮ２を０．４乃至０．６とすることができる。その他の領域４４２，４４４，４４５と中央の領域４４１との境界についても同様である。
　中央の領域４４１には、図３８の右側中央に示された構成例の位相差検波用画素１３１が配置される。この構成例は、図５の構成例と同じである。
　すなわち、中央の領域４４１においては、矢印Ａ１で示される直線の方向、すなわち横方向（水平線方向）の位相差を検波する位相差検波用画素１３１が、第１行、第５行、第９行、および第１３行に配置されている。また、矢印Ａ２で示される直線の方向、すなわち縦方向（垂直方向）の位相差を検波する位相差検波用画素１３１が、第１列、第５列、第９列、および第１３列に配置されている。
　左上の領域４４２には、図３８の左上に示された構成例の位相差検波用画素１３１が配置される。右下の領域４４３においては、図３８の右下に示された構成例の位相差検波用画素１３１が配置される。この２つの構成例は同じである。この構成例においては、矢印Ａ４で示される直線の方向、すなわち右上がり斜め位相差を検波する位相差検波用画素１３１が配置されている。
　具体的には、左上の領域４４２と右下の領域４４３の構成例は次のようである。Ｒサブブロック１０３において、第１列と第９列に、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈのうちの、対の一方の位相差検波用画素１３１Ｇが配置されている。第５列と第１３列には、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈのうちの、対の他方の位相差検波用画素１３１Ｈが配置されている。
　Ｂサブブロック１０３においては、第３列と第１１列に、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈのうちの、対の一方の位相差検波用画素１３１Ｇが配置されている。第７列と第１５列には、右上がり斜め位相差を検波する位相差検波用画素１３１Ｇ，１３１Ｈのうちの、対の他方の位相差検波用画素１３１Ｈが配置されている。
　右上の領域４４４においては、図３８の右上に示された構成例の位相差検波用画素１３１が配置される。左下の領域４４５においては、図３８の左下に示された構成例の位相差検波用画素１３１が配置される。この２つの構成例は同じである。この構成例においては、矢印Ａ３で示される直線の方向、すなわち左上がり斜めの位相差を検波する位相差検波用画素１３１が配置されている。
　つまりこの右上の領域４４４と左下の領域４４５の構成例においては、Ｒサブブロック１０３において、第１列と第９列に、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆのうちの、対の一方の位相差検波用画素１３１Ｅが配置されている。第５列と第１３列には、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆのうちの、対の他方の位相差検波用画素１３１Ｆが配置されている。
　Ｂサブブロック１０３において、第３列と第１１列に、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆのうちの、対の一方の位相差検波用画素１３１Ｅが配置されている。第７列と第１５列には、左上がり斜め位相差を検波する位相差検波用画素１３１Ｅ，１３１Ｆのうちの、対の他方の位相差検波用画素１３１Ｆが配置されている。
　位相差検波用画素１３１をこのように配置することで、中央の領域４４１においては画像の横方向と縦方向の位相差を検波することができる。そして、左上の領域４４２と右下の領域４４３により、右上がり斜め位相差を検波することができ、右上の領域４４４と左下の領域４４５により左上がり斜め位相差を検波することができる。画像は同心円状の非点収差の影響を受けることがあるが、位相差の検出に対するその影響を軽減することができる。
　以上の構成例においては、１つのサブブロック１０３内に配置する位相差検波用画素１３１の数は、１個または２個とした。また１つのブロック１０２内に配置する位相差検波用画素１３１の数は、２個、３個または４個とした。その数をより多くすることは可能であるが、撮像画像に対する補正が複雑になる。また、その数を小さくすることも可能であるが、位相差検波の精度が低下する。
　以上のように、本技術によれば、サブブロック１０３内の対応する位置の画素１１１、さらにはブロック１０２内の対応する位置のサブブロック１０３内の対応する位置の画素１１１に位相差検波用画素１３１が配置されている。すなわち、位相差検波用画素１３１を配置する場合には、ブロック１０２の対応する位置のサブブロック１０３に、そしてサブブロック１０３の対応する位置の画素１１１に位相差検波用画素１３１が配置される。従って、フォーカス制御時における撮像画像に対する補正処理も規則的に行うことが可能となり、位相差検波用画素１３１による撮像画像の品質の劣化を抑制することができる。なお、ここで位置とは相対的位置を意味する。
　サブブロック１０３を４個の画素１１１で構成し、そのうちの１個または２個を位相差検波用画素１３１としたので、位相差検波用画素１３１を高密度に配置することができ、位相差検波の精度を向上することができる。さらにサブブロック１０３内の残りの画素１１１を、そのまま撮像用画素１１４として利用することができ、そのサブブロック１０３における撮像信号も取得できるので、撮像画像の品質が劣化することを抑制することができる。
　＜２４．変形例＞
　次に、サブブロック１０３の変形例について説明する。図３９は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図３の例においては、ブロック１０２が、１個のＲサブブロック１０３、２個のＧサブブロック１０３、および１個のＢサブブロック１０３により構成されている。これに対して図３９の例においては、ブロック１０２が、１個のＲサブブロック１０３、１個のＧサブブロック１０３、１個のＢサブブロック１０３、および１個のＷ（白）のサブブロック１０３により構成されている。すなわち、図３の例における２個のＧサブブロック１０３のうちの左上の１個が、Ｗサブブロック１０３に置き換えられた構成となっている。
　この場合においても、Ｗサブブロック１０３は、２×２個のＷ画素１１１により構成される。このことは、Ｒサブブロック１０３、Ｇサブブロック１０３、およびＢサブブロック１０３と同様である。そして２×２個のＷ画素１１１のうちの、Ｒサブブロック１０３、Ｇサブブロック１０３、またはＢサブブロック１０３と同様の所定の画素１１１が、必要に応じて位相差検波用画素１３１に置き換えられる。
　また、Ｗサブブロック１０３は、赤外線を感知するサブブロック１０３にすることもできる。この場合、図１１の光学フィルタ３１２は、IRカットフィルタとしては機能しない（赤外線を透過する）構成とされる。
　Ｗサブブロック１０３や赤外線を感知するサブブロック１０３は特殊なので、白色の色や赤外線を感知する必要が無いことも多い。従って、これらのサブブロック１０３に位相差検波用画素１３１を配置しても、撮像画像の質が低下するおそれは少なくて済む。もちろん逆に、これらのサブブロック１０３以外のＲサブブロック１０３、Ｇサブブロック１０３、またはＢサブブロック１０３に位相差検波用画素１３１を配置すれば、白色や赤外線を感知する機能を実現することができる。
　また、カラーフィルタ２２４の色は、Ｒ，Ｇ，Ｂに限られず、その他の色でもよい。例えば、イエロー、グリーン、シアン、およびマゼンダによりブロックが構成される場合にも、本技術は適用することができる。
　さらに位相差検波用画素１３１に代えて、横方向、縦方向または斜め方向の偏光を感知する偏光フィルタを配置することができる。
　以上においては、サブブロック１０３を２×２個の画素１１１で構成したが、３×３個、または４×４個の画素１１１で構成した場合にも、本技術は適用することができる。
　また、以上においては、位相差検波用画素１３１に関して、全てのブロック１０２を同じように構成した。すなわち、全てのブロック１０２内の同じ画素１１１の位置に位相差検波用画素１３１を配置した。しかし、適当な間隔で位相差検波用画素１３１を配置しないブロック１０２を設けることもできる。
　例えば、図５の第１の構成例において、第３列に位相差検波用画素１３１Ａ、第７列に位相差検波用画素１３１Ｂ、第１１列に位相差検波用画素１３１Ａ、第１５列に位相差検波用画素１３１Ｂを配置した。しかし、第７列と第１５列（以下、同様）には位相差検波用画素１３１を配置せず、第３列と第１１列（以下、同様）にだけ位相差検波用画素１３１を配置するようにしてもよい。この場合、第１１列に位相差検波用画素１３１Ｂが配置される。すなわち位相差検波用画素１３１を配置する間隔が、１サブブロック１０３置き（２サブブロック１０３毎）になる。列方向においても同様である。さらに他の構成例においても同様である。
　ただし、位相差検波用画素１３１を配置する位置の共通性は、色毎に設定するようにしてもよい。例えば位相差検波用画素１３１は、Ｒサブブロック１０３においては左上の画素１１１に配置するが、Ｂサブブロック１０３においては右下の画素１１１に配置し、Ｇサブブロック１０３においては右上の画素１１１に配置することができる。
　また、１個のサブブロック１０３内に位相差検波用画素１３１を配置する数も、色毎に設定するようにしてもよい。例えば、位相差検波用画素１３１を、Ｂサブブロック１０３には２個配置し、Ｒサブブロック１０３には１個配置し、Ｇサブブロック１０３には２個配置するようにしてもよい。このとき、位相差検波用画素１３１の数を数える限りにおいて、左上のＧサブブロック１０３と右下のＧサブブロック１０３は、異なるサブブロック１０３として判断することができる。
　位相差検波用画素１３１の数は多い程、より正確に、またより多くの種類の位相差を検波することが可能になる。数を多くすると、例えば車両の走行を制御する場合等に好適となる。また、位相差検波用画素１３１の数が多いと、不連続点が少なくなるので、撮像用画素１１４に与える影響が規則化され、補正処理も容易になる。そして、サブブロック１０３を複数個の画素１１１で構成することで、そこに位相差検波用画素１３１を配置したとしても、そのサブブロック１０３から撮像用画素信号を得ることができ、撮像画像の質の劣化が抑制される。
　＜２５．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
　図４０は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図４０に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出装置２４００、車内情報検出装置２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図４０では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも１つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出装置２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも１つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも１つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも１つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図４１は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも１つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４１には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
　車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図４０に戻って説明を続ける。車外情報検出装置２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出装置２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出装置２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出装置２５００は、車内の情報を検出する。車内情報検出装置２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random　Access　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read　Only　Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、又はＤＳＲＣ（Dedicated Short Range Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部２６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
　車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも１つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも１つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４０の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図４０に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが１つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム２０００において、図１１を用いて説明した本実施形態に係る電子機器３００は、図４０に示した応用例の統合制御ユニット２６００に適用することができる。例えば、電子機器３００の位相差検波部３２６は、統合制御ユニット２６００のマイクロコンピュータ２６１０、記憶部２６９０、車載ネットワークＩ／Ｆ２６８０に相当する。
　また、図１１を用いて説明した電子機器３００の少なくとも一部の構成要素は、図４０に示した統合制御ユニット２６００のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１１を用いて説明した電子機器３００が、図４０に示した車両制御システム２０００の複数の制御ユニットによって実現されてもよい。
　なお、図１１を用いて説明した電子機器３００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜２６．その他＞
　本技術は、以下のような構成もとることができる。
（１）
　同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
　固体撮像装置。
（２）
　前記サブブロックは、互いに隣り合う２×２個の前記画素で構成される
　前記（１）に記載の固体撮像装置。
（３）
　前記ブロックは、ベイヤ配列された４つの前記サブブロックにより構成される
　前記（１）または（２）に記載の固体撮像装置。
（４）
　前記ブロックに配置される前記位相差検波用画素の数は、２個以上４個以下である
　前記（１）、（２）または（３）に記載の固体撮像装置。
（５）
　前記サブブロックに配置される前記位相差検波用画素の数は、１個または２個である
　前記（１）乃至（４）のいずれかに記載の固体撮像装置。
（６）
　前記位相差検波用画素が配置される前記サブブロックは、赤または青の前記サブブロックである
　前記（１）乃至（５）のいずれかに記載の固体撮像装置。
（７）
　前記位相差検波用画素は、横方向もしくは縦方向の位相差、または左斜め上方向もしくは右斜め上方向の位相差を検波する
　前記（１）乃至（６）のいずれかに記載の固体撮像装置。
（８）
　第１の前記サブブロックの２つの前記画素に、対となる前記位相差検波用画素の一方が配置されており、前記第１のサブブロックと同じ色の第２の前記サブブロックの２つの前記画素に、対となる前記位相差検波用画素の他方が配置されている
　前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（９）
　前記第１のサブブロックとは異なる色の第３の前記サブブロックの２つの前記画素に、前記第１のサブブロックの前記位相差検波用画素が検波する第１の方向とは異なる第２の方向の位相差を検波する対となる他の方向の前記位相差検波用画素の一方が配置されており、前記第３のサブブロックと同じ色の第４の前記サブブロックの２つの前記画素に、対となる前記他の方向の前記位相差検波用画素の他方が配置されている
　前記（１）乃至（８）のいずれかに記載の固体撮像装置。
（１０）
　第１の前記ブロックを構成する第１の色の前記サブブロック、第２の色の前記サブブロックおよび第３の色の前記サブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の一方が配置されており、
　第２の前記ブロックを構成する前記第１の色のサブブロック、前記第２の色のサブブロックおよび前記第３の色のサブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の他方が配置されている
　前記（１）乃至（９）のいずれかに記載の固体撮像装置。
（１１）
　前記位相差検波用画素にはカラーフィルタを介して光が入射する
　前記（１）乃至（１０）のいずれかに記載の固体撮像装置。
（１２）
　前記位相差検波用画素は前記カラーフィルタの色毎に別々に検波される
　前記（１）乃至（１１）のいずれかに記載の固体撮像装置。
（１３）
　撮像領域のほぼ中央には、横方向または縦方向の位相差を検波する前記位相差検波用画素が配置され、前記撮像領域の対角線方向には、左斜め上方向または右斜め上方向の位相差を検波する前記位相差検波用画素が配置されている
　前記（１）乃至（１２）のいずれかに記載の固体撮像装置。
（１４）
　前記位相差検波用画素が配置される前記サブブロック内における位置は、第１の色の前記サブブロック内において対応しており、かつ前記第１の色と異なる第２の色の前記サブブロック内において対応しているが、前記第１の色のサブブロック内と前記第２の色のサブブロック内において異なっている
　前記（１）乃至（１３）のいずれかに記載の固体撮像装置。
（１５）
　前記位相差検波用画素の出力に基づいて、位相差を検波する検波部をさらに備える
　前記（１）乃至（１４）のいずれかに記載の固体撮像装置。
（１６）
　被写体からの光を光電変換する画素が平面的に配置された撮像素子と、
　前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部と
　を備える電子機器であって、
　前記撮像素子においては、
　　同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
　　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
　電子機器。
（１７）
　撮像素子を備える電子機器のレンズ制御方法であって、
　前記撮像素子においては、
　　被写体からの光を光電変換する画素が平面的に配置され、
　　同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
　　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置され、
　前記撮像素子に光を入射するレンズの駆動を前記位相差検波用画素により検波された位相差に基づき制御する
　レンズ制御方法。
（１８）
　被写体からの光を光電変換する画素が平面的に配置された撮像素子と、
　前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部と
　を備える車両であって、
　前記撮像素子においては、
　　同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
　　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
　車両。
　１０２　ブロック，　１０３　サブブロック，　１１１　画素，　１１４　撮像用画素，１３１　位相差検波用画素，　３１１　レンズ，３１２　光学フィルタ，　３２２　クランプ部，　３２６　位相差検波部，　３２７　レンズ制御部，　３２８　欠陥補正部，　３２９　デモザイク部，　３３１　輝度クロマ信号生成部，　３３２　インタフェース部

Claims (18)

  1. 　同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
    　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
    　固体撮像装置。
  2. 　前記サブブロックは、互いに隣り合う２×２個の前記画素で構成される
    　請求項１に記載の固体撮像装置。
  3. 　前記ブロックは、ベイヤ配列された４つの前記サブブロックにより構成される
    　請求項２に記載の固体撮像装置。
  4. 　前記ブロックに配置される前記位相差検波用画素の数は、２個以上４個以下である
    　請求項３に記載の固体撮像装置。
  5. 　前記サブブロックに配置される前記位相差検波用画素の数は、１個または２個である
    　請求項３に記載の固体撮像装置。
  6. 　前記位相差検波用画素が配置される前記サブブロックは、赤または青の前記サブブロックである
    　請求項３に記載の固体撮像装置。
  7. 　前記位相差検波用画素は、横方向もしくは縦方向の位相差、または左斜め上方向もしくは右斜め上方向の位相差を検波する
    　請求項３に記載の固体撮像装置。
  8. 　第１の前記サブブロックの２つの前記画素に、対となる前記位相差検波用画素の一方が配置されており、前記第１のサブブロックと同じ色の第２の前記サブブロックの２つの前記画素に、対となる前記位相差検波用画素の他方が配置されている
    　請求項７に記載の固体撮像装置。
  9. 　前記第１のサブブロックとは異なる色の第３の前記サブブロックの２つの前記画素に、前記第１のサブブロックの前記位相差検波用画素が検波する第１の方向とは異なる第２の方向の位相差を検波する対となる他の方向の前記位相差検波用画素の一方が配置されており、前記第３のサブブロックと同じ色の第４の前記サブブロックの２つの前記画素に、対となる前記他の方向の前記位相差検波用画素の他方が配置されている
    　請求項８に記載の固体撮像装置。
  10. 　第１の前記ブロックを構成する第１の色の前記サブブロック、第２の色の前記サブブロックおよび第３の色の前記サブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の一方が配置されており、
    　第２の前記ブロックを構成する前記第１の色のサブブロック、前記第２の色のサブブロックおよび前記第３の色のサブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の他方が配置されている
    　請求項１に記載の固体撮像装置。
  11. 　前記位相差検波用画素にはカラーフィルタを介して光が入射する
    　請求項１０に記載の固体撮像装置。
  12. 　前記位相差検波用画素は前記カラーフィルタの色毎に別々に検波される
    　請求項１１に記載の固体撮像装置。
  13. 　撮像領域のほぼ中央には、横方向または縦方向の位相差を検波する前記位相差検波用画素が配置され、前記撮像領域の対角線方向には、左斜め上方向または右斜め上方向の位相差を検波する前記位相差検波用画素が配置されている
    　請求項１に記載の固体撮像装置。
  14. 　前記位相差検波用画素が配置される前記サブブロック内における位置は、第１の色の前記サブブロック内において対応しており、かつ前記第１の色と異なる第２の色の前記サブブロック内において対応しているが、前記第１の色のサブブロック内と前記第２の色のサブブロック内において異なっている
    　請求項１に記載の固体撮像装置。
  15. 　前記位相差検波用画素の出力に基づいて、位相差を検波する検波部をさらに備える
    　請求項１に記載の固体撮像装置。
  16. 　被写体からの光を光電変換する画素が平面的に配置された撮像素子と、
    　前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部と
    　を備える電子機器であって、
    　前記撮像素子においては、
    　　同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
    　　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
    　電子機器。
  17. 　撮像素子を備える電子機器のレンズ制御方法であって、
    　前記撮像素子においては、
    　　被写体からの光を光電変換する画素が平面的に配置され、
    　　同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
    　　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置され、
    　前記撮像素子に光を入射するレンズの駆動を前記位相差検波用画素により検波された位相差に基づき制御する
    　レンズ制御方法。
  18. 　被写体からの光を光電変換する画素が平面的に配置された撮像素子と、
    　前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部と
    　を備える車両であって、
    　前記撮像素子においては、
    　　同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
    　　前記ブロックを構成する前記複数のサブブロックのうち、２以上の前記サブブロックに位相差検波用画素が配置される場合、前記２以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
    　車両。
PCT/JP2017/021947 2016-06-28 2017-06-14 固体撮像装置、電子機器、レンズ制御方法および車両 WO2018003501A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018525032A JP6981410B2 (ja) 2016-06-28 2017-06-14 固体撮像装置、電子機器、レンズ制御方法および車両
US16/310,876 US10999543B2 (en) 2016-06-28 2017-06-14 Solid-state imaging device, electronic apparatus, lens control method, and vehicle
US17/236,090 US20210306581A1 (en) 2016-06-28 2021-04-21 Solid-state imaging device, electronic apparatus, lens control method, and vehicle
JP2021188225A JP7310869B2 (ja) 2016-06-28 2021-11-18 固体撮像装置、および電子機器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-127685 2016-06-28
JP2016127685 2016-06-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/310,876 A-371-Of-International US10999543B2 (en) 2016-06-28 2017-06-14 Solid-state imaging device, electronic apparatus, lens control method, and vehicle
US17/236,090 Continuation US20210306581A1 (en) 2016-06-28 2021-04-21 Solid-state imaging device, electronic apparatus, lens control method, and vehicle

Publications (1)

Publication Number Publication Date
WO2018003501A1 true WO2018003501A1 (ja) 2018-01-04

Family

ID=60786353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021947 WO2018003501A1 (ja) 2016-06-28 2017-06-14 固体撮像装置、電子機器、レンズ制御方法および車両

Country Status (3)

Country Link
US (2) US10999543B2 (ja)
JP (2) JP6981410B2 (ja)
WO (1) WO2018003501A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153254A (ja) * 2020-03-24 2021-09-30 富士フイルム株式会社 撮像装置
WO2022143747A1 (zh) * 2020-12-31 2022-07-07 维沃移动通信有限公司 电子设备及其摄像模组
WO2023026913A1 (ja) * 2021-08-23 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び電子機器
WO2023095518A1 (ja) * 2021-11-25 2023-06-01 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210150765A (ko) * 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치
CN112616009B (zh) * 2020-12-31 2022-08-02 维沃移动通信有限公司 电子设备及其摄像模组
KR20230047839A (ko) 2021-10-01 2023-04-10 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
DE102022125838A1 (de) 2022-10-06 2024-04-11 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140013A (ja) * 2008-11-11 2010-06-24 Canon Inc 焦点検出装置及びその制御方法
JP2012215785A (ja) * 2011-04-01 2012-11-08 Canon Inc 固体撮像素子及び撮像装置
JP2015133469A (ja) * 2013-12-12 2015-07-23 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8049801B2 (en) * 2006-09-14 2011-11-01 Nikon Corporation Image sensor and imaging apparatus
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
CN103621078B (zh) * 2011-04-14 2016-01-13 株式会社尼康 图像处理装置和图像处理程序
CN103782213B (zh) * 2011-09-22 2015-11-25 富士胶片株式会社 数字相机
JP2016029674A (ja) * 2012-12-18 2016-03-03 富士フイルム株式会社 固体撮像装置
JP5775918B2 (ja) * 2013-09-27 2015-09-09 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP2015072987A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置
KR102125561B1 (ko) * 2013-12-03 2020-06-22 삼성전자주식회사 촬영 장치 및 이의 제어 방법
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
KR102346622B1 (ko) * 2014-08-04 2022-01-04 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP6457776B2 (ja) * 2014-10-14 2019-01-23 オリンパス株式会社 撮像装置および撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140013A (ja) * 2008-11-11 2010-06-24 Canon Inc 焦点検出装置及びその制御方法
JP2012215785A (ja) * 2011-04-01 2012-11-08 Canon Inc 固体撮像素子及び撮像装置
JP2015133469A (ja) * 2013-12-12 2015-07-23 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153254A (ja) * 2020-03-24 2021-09-30 富士フイルム株式会社 撮像装置
JP7316966B2 (ja) 2020-03-24 2023-07-28 富士フイルム株式会社 撮像装置
WO2022143747A1 (zh) * 2020-12-31 2022-07-07 维沃移动通信有限公司 电子设备及其摄像模组
WO2023026913A1 (ja) * 2021-08-23 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び電子機器
WO2023095518A1 (ja) * 2021-11-25 2023-06-01 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器

Also Published As

Publication number Publication date
US10999543B2 (en) 2021-05-04
JP7310869B2 (ja) 2023-07-19
US20210306581A1 (en) 2021-09-30
US20200314347A1 (en) 2020-10-01
JP2022016546A (ja) 2022-01-21
JPWO2018003501A1 (ja) 2019-04-25
JP6981410B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
JP7310869B2 (ja) 固体撮像装置、および電子機器
US11743604B2 (en) Imaging device and image processing system
US11888004B2 (en) Imaging apparatus having phase difference detection pixels receiving light transmitted through a same color filter
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US11146753B2 (en) Imaging apparatus, signal processing method for imaging apparatus, and electronic equipment
TWI822909B (zh) 固態攝像裝置及電子機器
WO2019069614A1 (ja) 固体撮像素子及び電子機器
WO2019150917A1 (ja) 撮像素子及び電子機器
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US20230402475A1 (en) Imaging apparatus and electronic device
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
WO2018016150A1 (ja) 画像処理装置と画像処理方法
WO2018016151A1 (ja) 画像処理装置と画像処理方法
JPWO2007040170A1 (ja) 車載撮像装置
WO2019239746A1 (ja) アナログ－デジタル変換器、アナログ－デジタル変換方法、及び、撮像装置
JP7484904B2 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2021020156A1 (ja) 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
WO2018034027A1 (ja) 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2022201898A1 (ja) 撮像素子および撮像装置
US20240030245A1 (en) Solid-state imaging element, imaging device, and method of controlling solid-state imaging element

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018525032

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819861

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17819861

Country of ref document: EP

Kind code of ref document: A1