WO2021166344A1 - センシングシステム、および、測距システム - Google Patents

センシングシステム、および、測距システム Download PDF

Info

Publication number
WO2021166344A1
WO2021166344A1 PCT/JP2020/042717 JP2020042717W WO2021166344A1 WO 2021166344 A1 WO2021166344 A1 WO 2021166344A1 JP 2020042717 W JP2020042717 W JP 2020042717W WO 2021166344 A1 WO2021166344 A1 WO 2021166344A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixels
synchronization
counters
counter
Prior art date
Application number
PCT/JP2020/042717
Other languages
English (en)
French (fr)
Inventor
慶 中川
克彦 半澤
Original Assignee
ソニーグループ株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/760,391 priority Critical patent/US20230062562A1/en
Priority to JP2022501630A priority patent/JPWO2021166344A1/ja
Priority to CN202080096392.XA priority patent/CN115136026A/zh
Publication of WO2021166344A1 publication Critical patent/WO2021166344A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • This technology is related to sensing systems. More specifically, the present invention relates to a sensing system and a distance measuring system that count the number of pulses.
  • SPAD Single Photon Avalanche Diode
  • This SPAD is an avalanche photodiode that is sensitive enough to detect one photon.
  • a solid-state image sensor in which a pixel that generates a pulse signal using SPAD and a counter that counts the number of the pulse signals within the exposure period are arranged has been proposed (see, for example, Patent Document 1).
  • the image quality is improved when the image is taken in a dark environment by detecting weak light using a high-sensitivity SPAD.
  • a distance measuring sensor using infrared rays or a laser for distance measurement because the power consumption and cost of the system will increase.
  • This technology was created in view of this situation, and aims to measure the distance to an object in a system that captures image data without adding a distance measuring sensor.
  • the present technology has been made to solve the above-mentioned problems, and the first aspect thereof is a light emitting unit that irradiates irradiation light in synchronization with a light emission control signal having a frequency higher than a predetermined vertical synchronization signal.
  • Each of which is a sensing system including a predetermined number of pixels for generating a pulse signal by photoelectric conversion, and a counting unit for counting the number of the pulse signals in synchronization with each of the light emission control signal and the vertical synchronization signal. .. This has the effect of performing imaging and ranging of image data.
  • the counting unit has a first counter that counts the pulse signal in synchronization with the light emission control signal and a second counter that counts the pulse signal in synchronization with the vertical synchronization signal. And may be provided. This has the effect that distance measurement is performed based on the count value of the counter.
  • the counting unit sequentially performs a process of counting the pulse signal in synchronization with the light emission control signal and a process of counting the pulse signal in synchronization with the vertical synchronization signal.
  • a 1 counter and a second counter that counts the pulse signal in synchronization with the vertical synchronization signal may be provided. This has the effect of reducing the number of counters.
  • the pixel array unit in which the predetermined number of pixels are arranged is divided into a plurality of pixel blocks, the counting unit is provided for each pixel block, and the first counter is described.
  • the logical sum of the pulse signals from each of the pixels in the pixel block may be counted. This has the effect of measuring the distance for each pixel block.
  • first counters and five second counters may be arranged for each pixel block. This has the effect that the distance is measured based on the four count values.
  • first counters and one second counter may be arranged for each pixel block. This has the effect of widening the distance range that can be measured.
  • the pixel array unit in which the predetermined number of pixels are arranged is divided into a plurality of pixel blocks, each of the plurality of pixel blocks is divided into a plurality of areas, and the counting unit is divided into a plurality of areas.
  • the first counter may be provided in association with each of the plurality of areas, and may count the logical sum of the pulse signals from each of the pixels in the corresponding area. This has the effect of measuring the distance from the count value for each area.
  • nine pixels may be arranged in each of the plurality of areas. This has the effect of counting the logical sum of the pulse signals for 9 pixels.
  • four pixels may be arranged in each of the plurality of areas. This has the effect of counting the logical sum of the pulse signals for four pixels.
  • four areas may be arranged in the pixel block. This has the effect of measuring the distance from the respective counts in the two areas.
  • two areas may be arranged in the pixel block. This has the effect that the distance is measured from the count values of each of the four areas.
  • the first counter may count the logical sum of the pulse signals of each of the set number of pixels among the pixels in the pixel block. This has the effect of changing the data size of the count value.
  • the counting unit sequentially performs a process of counting the pulse signal in synchronization with the light emission control signal and a process of counting the pulse signal in synchronization with the vertical synchronization signal. It may be provided with a number counter. This has the effect of reducing the number of counters.
  • the counting unit may include nine counters. This has the effect of measuring the distance from nine counts.
  • the counting unit may include four counters. This has the effect of measuring the distance from the four count values.
  • a pixel drive unit for supplying an enable signal in which each of a plurality of set values is sequentially set as a phase difference from the light emission control signal is further provided, and the counter serves as the enable signal.
  • the pulse signal may be supplied in synchronization. This has the effect of improving the distance measurement accuracy.
  • the second aspect of the present technology is a light emitting unit that irradiates irradiation light in synchronization with a light emission control signal having a frequency higher than that of a predetermined vertical synchronization signal, and a predetermined number of pixels that each generate a pulse signal by photoelectric conversion.
  • a counting unit that counts the number of pulse signals in synchronization with each of the light emission control signal and the vertical synchronization signal, and a ranging unit that measures the distance to an object based on the counting value of the counting unit. It is a distance measuring system provided. As a result, the image data is imaged, and the distance measurement is executed based on the counted value.
  • the third aspect of the present technology is a light emitting unit that irradiates irradiation light based on a light emission control signal, a plurality of pixels that each generate a pulse signal by photoelectric conversion, and a number of pulse signals of the plurality of pixels.
  • the counting unit is connected to a plurality of counters, the plurality of pixels, and the plurality of counters, and receives a plurality of pulse signals output from the plurality of pixels, and is arbitrarily provided.
  • the plurality of counters are provided with an output destination control circuit for distributing the plurality of pulse signals, the plurality of pixels are provided on the first chip, and the output control circuit and the counting unit are provided on the second chip. It is a sensing system that can be used. As a result, in the sensing system of the laminated structure, the image data is captured and the distance measurement is performed.
  • First Embodiment Example of counting in synchronization with a light emission control signal and a vertical synchronization signal
  • Second embodiment an example in which one counter counts in synchronization with a light emission control signal and a vertical synchronization signal
  • Third embodiment example in which all counters count in synchronization with the light emission control signal and the vertical synchronization signal
  • Fourth embodiment an example in which eight counters count in synchronization with a light emission control signal and a vertical synchronization signal
  • FIG. 1 is a block diagram showing a configuration example of the distance measuring system 100 according to the first embodiment of the present technology.
  • the ranging system 100 is for capturing and measuring image data.
  • the ranging system 100 includes a light emitting unit 110, a driver 120, a controller 130, a solid-state image sensor 200, a processor 140, and an application processor 150.
  • Each of the elements in the distance measuring system 100 may be arranged in one electronic device, or may be dispersedly arranged in a plurality of devices.
  • the light emitting unit 110, the driver 120, the controller 130, the solid-state image sensor 200, and the processor 140 are arranged in the image pickup device, and the application processor 150 is arranged in the image processing device. ..
  • the light emitting unit 110 emits light according to the light emission control signal LCLK from the driver 120 and irradiates the irradiation light.
  • the irradiation light For example, near-infrared light is used as the irradiation light.
  • the driver 120 generates a predetermined periodic signal as a light emitting control signal LCLK according to the control of the controller 130 and supplies it to the light emitting unit 110.
  • the controller 130 operates the driver 120 and the processor 140 in synchronization with each other.
  • the distance measuring system is set with a plurality of modes including a distance measuring mode for measuring the distance to an object and an imaging mode for capturing image data.
  • the controller 130 causes the driver 120 to generate the light emission control signal LCLK, and causes the processor 140 to generate the same signal as the light emission control signal LCLK as the light emission control signal LCLK'.
  • the controller 130 stops the driver 120 and causes the processor 140 to generate the vertical synchronization signal VSYNC.
  • the frequency of the vertical synchronization signal VSYNC is, for example, 30 hertz (Hz) or 60 hertz (Hz).
  • the frequency of the light emission control signal LCLK is higher than that of the vertical synchronization signal VSYNC, for example, 10 to 20 MHz (MHz).
  • the processor 140 controls the solid-state image sensor 200 and the application processor 150.
  • the processor 140 generates a light emission control signal LCLK'in the distance measuring mode, supplies it to the solid-state image sensor 200, and receives a depth map from the solid-state image sensor 200.
  • the processor 140 in the image pickup mode, the processor 140 generates a vertical synchronization signal VSYNC and supplies it to the solid-state image sensor 200, and receives image data from the solid-state image sensor 200. Then, the processor 140 supplies the depth map and the image data to the application processor 150.
  • the application processor 150 performs predetermined processing such as image recognition processing based on image data and depth map.
  • the solid-state image sensor 200 generates image data or a depth map by photoelectric conversion.
  • the solid-state image sensor 200 photoelectrically converts the reflected light with respect to the irradiation light in synchronization with the light emission control signal LCLK'to generate a depth map.
  • the solid-state image sensor 200 performs photoelectric conversion of the incident light in synchronization with the vertical synchronization signal VSYNC to generate image data.
  • the solid-state image sensor 200 supplies image data and a depth map to the processor 140.
  • the system including the solid-state image sensor 200 is an example of the sensing system described in the claims.
  • the solid-state image sensor 200 may have a part or all of the functions of the processor 140 and the application processor 150.
  • FIG. 2 is a diagram showing an example of a laminated structure of the solid-state image sensor 200 according to the first embodiment of the present technology.
  • the solid-state image sensor 200 includes a circuit chip 202 and a pixel chip 201 laminated on the circuit chip 202. These chips are electrically connected via a connection such as a via. In addition to vias, it can also be connected by Cu-Cu bonding or bumps. It can also be connected by these other methods (magnetic coupling, etc.). Further, although two chips are laminated, three or more layers can be laminated.
  • FIG. 3 is a block diagram showing a configuration example of the solid-state image sensor 200 according to the first embodiment of the present technology.
  • the solid-state image sensor 200 includes a pixel drive unit 210, a vertical scanning circuit 220, a pixel array unit 230, a column buffer 240, a signal processing circuit 250, and an output unit 260.
  • a plurality of pixels are arranged in a two-dimensional grid pattern in the pixel array unit 230. Further, the pixel array unit 230 is divided into a plurality of pixel blocks 300.
  • the pixel drive unit 210 drives the pixel block in the pixel array unit 230 in synchronization with the light emission control signal LCLK'to count the number of pulses.
  • the vertical scanning circuit 220 selects the rows of pixels in order in synchronization with the vertical synchronization signal VSYNC, and outputs the count value to the column buffer 240.
  • the column buffer 240 holds the count value for each pixel.
  • the signal processing circuit 250 performs predetermined signal processing on the data in which the count values are arranged. For example, in the distance measuring mode, the signal processing circuit 250 obtains the distance for each pixel block 300 based on the count value, and generates a depth map in which the data of those distances are arranged. Further, in the imaging mode, the signal processing circuit 250 uses the count value for each pixel as pixel data, generates image data in which they are arranged, and performs various image processing on the image data. Then, the signal processing circuit 250 supplies the depth map and the image data to the processor 140.
  • FIG. 4 is a block diagram showing a configuration example of the pixel block 300 according to the first embodiment of the present technology.
  • the pixel block 300 includes pixels 310, pixels 321 to 328, output destination control circuits 370, counters 331 to 343, and switches 351 to 363.
  • Pixel 310 generates a pulse signal using SPAD.
  • the pixel 310 supplies the pulse signal P1 to the output destination control circuit 370 and the counter 335.
  • the configuration of the pixels 321 to 328 is the same as that of the pixel 310.
  • These 9 pixels are arranged in, for example, 3 rows ⁇ 3 columns.
  • vertical signal lines 309 are wired for each row.
  • the vertical signal line in the n (n is an integer) column is 309-n.
  • Pixel 321 generates a pulse signal P2 and supplies it to the output destination control circuit 370 and the counter 336.
  • the pixel 322 generates a pulse signal P3 and supplies it to the output destination control circuit 370 and the counter 337.
  • the pixel 323 generates a pulse signal P4 and supplies it to the output destination control circuit 370 and the counter 338.
  • the pixel 324 generates a pulse signal P5 and supplies it to the output destination control circuit 370 and the counter 339.
  • the pixel 325 generates a pulse signal P6 and supplies it to the output destination control circuit 370 and the counter 340.
  • the pixel 326 generates a pulse signal P7 and supplies it to the output destination control circuit 370 and the counter 341.
  • the pixel 327 generates a pulse signal P8 and supplies it to the output destination control circuit 370 and the counter 342.
  • the pixel 328 generates the pulse signal P9 and supplies it to the output destination control circuit 370 and the counter 343.
  • the output destination control circuit 370 controls the output destinations of the pulse signals P1 to P9.
  • the output destination control circuit 370 generates a signal of the logical sum of the pulse signals P1 to P9 in synchronization with the enable signals EN1 to EN4 from the pixel drive unit 210, and inputs the signals to the counters 331 to 334.
  • the signal to the counter 331 is the input signal CIN1
  • the signal to the counter 332 is the input signal CIN2.
  • the signal to the counter 333 is referred to as an input signal CIN3
  • the signal to the counter 334 is referred to as an input signal CIN4.
  • no signal is output from the output destination control circuit 370 to the counter.
  • the counter 331 counts the number of input signals CIN1. Since the input signal CIN1 is the logical sum of the pulse signals of each pixel in the pixel block 300, the count value indicates the number of photons incident in the pixel block 300. The counter 331 outputs the count value as CNT 1 to the switch 351.
  • the configuration of the counters 332 to 334 is the same as that of the counter 331.
  • the counters 332 to 334 output the count values of the input signals CIN2 to CIN4 to the switches 352 to 354 as CNT2 to CNT4.
  • the counter 335 counts the number of pulse signals P1.
  • the counter 335 outputs the count value to the switch 355 as CNT5.
  • the configuration of the counters 336 to 343 is the same as that of the counter 335.
  • the counters 336 to 343 output the count values of the pulse signals P2 to P9 as CNTs 6 to 13 to the switches 356 to 363.
  • the reset signals RST1 to RST13 from the vertical scanning circuit 220 are input to the counters 331 to 343.
  • the count value of the counter is initialized by this reset signal.
  • the pixel drive unit 210 may supply the reset signal instead of the vertical scanning circuit 220.
  • the switch 351 outputs the count value CNT1 to the column buffer 240 via the vertical signal line 309-n according to the selection signal SELn from the vertical scanning circuit 220.
  • the configuration of switches 352 to 363 is the same as that of switch 351.
  • the switches 353, 355, 358 and 361 output the count value to the column buffer 240 via the vertical signal line 309-n according to the selection signal SELn, for example.
  • the switches 352, 356, 359 and 362 output the count value to the column buffer 240 via the vertical signal line 309- (n + 1) according to the selection signal SEL (n + 1), for example.
  • the switches 354, 357, 360 and 363 output the count value to the column buffer 240 via the vertical signal line 309- (n + 2) according to the selection signal SEL (n + 2), for example.
  • the number of pixels in the pixel block 300 is not limited to 9 pixels, and may be 4 pixels or the like as described later.
  • the counter is provided for each pixel, the counter can be arranged for each column. In this case, the vertical scanning circuit 220 selects the rows in order, and the counter group counts the pulse signals from the selected rows.
  • FIG. 5 is a circuit diagram showing a configuration example of the pixel 310 according to the first embodiment of the present technology.
  • the pixel 310 includes a SPAD 311 and a resistor 312 and an inverter 313.
  • SPAD311 generates a photocurrent by photoelectric conversion and avalanche amplifies it.
  • the resistor 312 and SPAD311 are connected in series between the power supply terminal and the ground terminal.
  • the inverter 313 inverts the potentials at the connection points of the resistor 312 and SPAD311 and outputs the pulse signal P1 to the output destination control circuit 370.
  • the SPAD 311 is provided on the pixel chip 201, and the resistor 312, the inverter 313, and the subsequent circuit (output destination control circuit 370 or the like) are provided on the circuit chip 202.
  • the entire pixel 310 may be provided on the pixel chip 201.
  • FIG. 6 is a cross-sectional view showing a configuration example of the pixel 310 according to the first embodiment of the present technology. As illustrated in the figure, the light focused by the microlens 105 is input to each layer in the pixel 310.
  • the configuration of the region other than the microlens 105 is, for example, the same as that described in paragraphs 0024 to 0053 of JP-A-2018-88488.
  • FIG. 7 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the first embodiment of the present technology.
  • the output destination control circuit 370 includes OR (logical sum) gates 371 to 374 and AND (logical product) gates 381 to 384.
  • the OR gate 371 outputs the logical sum of the pulse signals P1 to P9 to the AND gate 381.
  • the OR gate 372 outputs the logical sum of the pulse signals P1 to P9 to the AND gate 382.
  • the OR gate 373 outputs the logical sum of the pulse signals P1 to P9 to the AND gate 383.
  • the OR gate 374 outputs the logical sum of the pulse signals P1 to P9 to the AND gate 384. If each of the pulse signals P1 to P9 is output at substantially the same time, the signal after the OR gate 371 is ORed becomes one, and a miscount occurs. Therefore, the number of inputs of the OR gate 371 may be reduced by wiring, such as only an even number (P2, P4, etc.), an odd number (P1, P3, etc.), or 1/3 pixel. The same applies to an OR gate such as an OR gate 372.
  • the AND gate 381 outputs the logical product of the signal from the OR gate 371 and the enable signal EN1 from the pixel drive unit 210 as an input signal CIN1 to the counter 331.
  • the AND gate 382 outputs the logical product of the signal from the OR gate 372 and the enable signal EN2 from the pixel drive unit 210 to the counter 332 as an input signal CIN2.
  • the AND gate 383 outputs the logical product of the signal from the OR gate 373 and the enable signal EN3 from the pixel drive unit 210 to the counter 333 as an input signal CIN3.
  • the AND gate 384 outputs the logical product of the signal from the OR gate 374 and the enable signal EN4 from the pixel drive unit 210 to the counter 334 as an input signal CIN4.
  • the enable signal EN1 is the same signal as the light emission control signal LCLK.
  • the enable signal EN2 is a signal in which the phase of the light emission control signal LCLK is shifted by 90 degrees.
  • the enable signal EN3 is a signal in which the phase of the light emission control signal LCLK is shifted by 180 degrees.
  • the enable signal EN4 is a signal in which the phase of the light emission control signal LCLK is shifted by 270 degrees.
  • the enable signals EN1 to EN4 are signals having a phase difference of 0 degrees, 90 degrees, 180 degrees, and 270 degrees from the light emission control signal LCLK.
  • the counter 331 can count the number of pulses (in other words, the number of photons) in the pixel block 300 in synchronization with the enable signal EN1 having a phase difference of 0 degrees. Further, the counter 332 can count the number of pulses in the pixel block 300 in synchronization with the enable signal EN2 having a phase difference of 90 degrees. The counter 333 can count the number of pulses in the pixel block 300 in synchronization with the enable signal EN3 having a phase difference of 180 degrees. The counter 334 can count the number of pulses in the pixel block 300 in synchronization with the enable signal EN3 having a phase difference of 270 degrees.
  • the signal processing circuit 250 obtains the distance by the following equation based on, for example, the count values CNT1 to CNT4 of the counters 331 to 334.
  • d (c / 4 ⁇ f) ⁇ tan -1 ⁇ ⁇ (CNT2-CNT4) / (CNT1-CNT3) ⁇ ... Equation 1
  • d is a distance and the unit is, for example, meters (m).
  • c is the speed of light, and the unit is, for example, meters per second (m / s).
  • tan -1 is the inverse of the tangent function.
  • the value of (CNT2-CNT4) / (CNT1-CNT3) indicates the phase difference between the irradiation light and the reflected light.
  • ⁇ indicates the pi.
  • f is the frequency of the irradiation light, and the unit is, for example, megahertz (MHz).
  • the distance measuring method that calculates the distance based on the flight time of light is called the ToF (Time of Flight) method.
  • FIG. 8 is a diagram showing an example of the correspondence between the circuits provided in each of the pixel chip 201 and the circuit chip 202 in the first embodiment of the present technology. As illustrated in the figure, for each pixel block 300, 9 pixels of SPAD are arranged on the pixel chip 201. Further, 13 counters are arranged on the circuit chip 202 for each pixel block 300. In the figure, circuits other than the counter in the circuit chip 202 (output destination control circuit 370 and the like) are omitted.
  • FIG. 9 is a diagram for explaining the operation of the counter in the first embodiment of the present technology.
  • Counters # 1 to 4 in the figure indicate counters 331 to 334.
  • Counters # 5 to 13 indicate counters 335 to 343.
  • the counters # 1 to 4 count the number of pulses in the pixel block 300 in synchronization with the enable signals EN1 to EN4 having phase differences of 0 degrees, 90 degrees, 180 degrees, and 270 degrees.
  • the counters # 5 to 13 stop counting.
  • counters # 5 to 13 count the number of pulses of the corresponding pixel in synchronization with the vertical synchronization signal VSYNC.
  • the counters # 1 to 4 stop counting.
  • FIG. 10 is a timing chart showing an example of the operation of the distance measuring mode of the solid-state image sensor 200 according to the first embodiment of the present technology. It is assumed that the distance measuring mode is set at the timing T0.
  • the processor 140 stops the supply of the vertical synchronization signal VSYNC.
  • the vertical scanning circuit 220 supplies the reset signal RST to the counters 331 to 334 to initialize the count value.
  • the driver 120 starts supplying the light emission control signal LCLK, and the light emitting unit 110 emits light in synchronization with the signal.
  • the pixel drive unit 210 starts supplying the enable signal EN1 having a phase difference of 0 degrees from the light emission control signal LCLK.
  • the pixel drive unit 210 starts supplying the enable signal EN2 having a phase difference of 90 degrees.
  • the pixel drive unit 210 starts supplying the enable signal EN3 having a phase difference of 180 degrees.
  • the pixel drive unit 210 starts supplying the enable signal EN4 having a phase difference of 270 degrees.
  • the vertical scanning circuit 220 outputs the count value by the selection signal.
  • the signal processing circuit 250 calculates the distance for each pixel block 300 using Equation 1 based on the counted values.
  • FIG. 11 is a timing chart showing an example of the operation of the image pickup mode of the solid-state image pickup device 200 according to the first embodiment of the present technology. It is assumed that the imaging mode is set at the timing T10. The processor 140 starts supplying the vertical synchronization signal VSYNC after the timing T11.
  • the driver 120 stops the supply of the light emission control signal LCLK, and the pixel drive unit 210 stops the supply of the enable signals EN1 to EN4.
  • the vertical scanning circuit 220 supplies the reset signal RST to the counters 335 to 343 to initialize the count value. Then, during the exposure period of the timings T12 to T13 synchronized with the vertical synchronization signal VSYNC, the vertical scanning circuit 220 stops the supply of the reset signal RST. During this period, the counters 335 to 343 count the number of pulses, and the vertical scanning circuit 220 outputs the counted value by the selection signal.
  • the signal processing circuit 250 generates image data in which the count values are arranged.
  • FIG. 12 is an example of an overall view of the distance measuring system 100 according to the first embodiment of the present technology.
  • the pixel block 300 circuits other than the pixels 310 and the pixels 321 to 328 are arranged in the counting unit 330.
  • the light emitting unit 110 irradiates the irradiation light in synchronization with the light emission control signal LCLK having a higher frequency than the vertical synchronization signal VSYNC. Further, each of the pixels such as the pixel 310 generates a pulse signal by photoelectric conversion.
  • the output destination control circuit 370 supplies the logical sum of the pulse signals in the pixel block 300 to the counters 331 to 334 in synchronization with the enable signals EN1 to EN4.
  • the counters 331 to 334 count the signals of the OR.
  • the enable signal is a signal whose phase difference from the light emission control signal LCLK is a predetermined value (0 degree or 90 degree), so that the count values of the counters 331 to 334 are synchronized with the light emission control signal LCLK. It is the value obtained by counting the number of pulses.
  • the counters 331 to 334 are examples of the first counter described in the claims.
  • the counters 335 to 343 count the number of pulse signals of the corresponding pixels in synchronization with the vertical synchronization signal VSYNC.
  • the counters 335 to 343 are examples of the second counter described in the claims.
  • the counting unit 330 is provided with counters 335 to 343 that perform counting in synchronization with the vertical synchronization signal VSYNC, and counters 331 to 334 that perform counting in synchronization with the light emission control signal LCLK. ..
  • the solid-state image sensor 200 can perform distance measurement by the ToF method in addition to imaging image data. Further, since the solid-state image sensor 200 itself can measure the distance, it is not necessary to add a distance measuring sensor using infrared rays or a laser. Therefore, the power consumption and cost of the distance measuring system 100 can be suppressed as compared with the case where the distance measuring sensor is added separately.
  • FIG. 13 is a flowchart showing an example of the operation of the distance measuring system 100 according to the first embodiment of the present technology. This operation is started, for example, when an application for performing distance measurement and imaging is executed.
  • the distance measuring system 100 shifts to the distance measuring mode, and the light emitting unit 110 irradiates the irradiation light in synchronization with the light emission control signal LCLK (step S901). Further, the counters 331 to 334 count the number of pulses in synchronization with the light emission control signal LCLK (step S902). Then, the signal processing circuit 250 measures the distance based on the counted value and generates a depth map (step S903).
  • the ranging system 100 shifts to the imaging mode, and the solid-state imaging device 200 switches to the counters 335 to 343 and counts the number of pulses within the exposure period synchronized with the vertical synchronization signal (step S904).
  • the signal processing circuit 250 performs image processing such as face recognition based on the image data in which the count values are arranged (step S905). After step S905, the ranging system 100 ends its operation.
  • the solid-state image sensor 200 performs image pickup (step S904) after distance measurement (step S903), distance measurement may be performed after image pickup. It is also possible to perform distance measurement and imaging at the same time.
  • the counting unit 330 since the counting unit 330 counts the number of pulses in synchronization with each of the light emission control signal and the vertical synchronization signal, the pixels synchronize with the vertical synchronization signal. It is possible to measure the distance while capturing the image data.
  • the counters 331 to 334 for distance measurement and the counters 335 to 343 for imaging are provided for every 9 pixels, but the number of counters required as the number of pixels increases. Will increase, and the circuit scale will increase.
  • the solid-state image sensor 200 of the second embodiment is different from the first embodiment in that the number of counters is reduced by using a part of the counter for imaging for distance measurement.
  • FIG. 14 is a block diagram showing a configuration example of the pixel block 300 according to the second embodiment of the present technology.
  • the pixel block 300 of the second embodiment is different from the first embodiment in that the counters 340 to 343 and the switches 360 to 363 are not provided.
  • the output destination control circuit 370 of the second embodiment supplies the input signals CIN1 to CIN9 to the counters 331 to 339. Further, the switches 351 and 354 and 357 output the count value via the vertical signal line 309-n. The switches 352, 355 and 358 output the count value via the vertical signal line 309- (n + 1). The switches 353, 356 and 359 output the count value via the vertical signal line 309- (n + 2).
  • FIG. 15 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the second embodiment of the present technology.
  • the output destination control circuit 370 of the second embodiment is different from the first embodiment in that the selectors 391 to 394 are further provided.
  • the AND gate 381 of the second embodiment supplies the logical product to the selector 391, and the AND gate 382 supplies the logical product to the selector 392.
  • the AND gate 383 supplies the logical product to the selector 393, and the AND gate 384 supplies the logical product to the selector 394.
  • the selector 391 selects either the pulse signal P1 or the signal from the AND gate 381 according to the control signal CTRL1 and supplies it to the counter 331 as the input signal CIN1.
  • pulse signal P2 is directly input to the counter 332 as an input signal CIN2.
  • the selector 392 selects either the pulse signal P3 or the signal from the AND gate 382 according to the control signal CTRL2, and supplies it to the counter 333 as the input signal CIN3.
  • pulse signal P4 is directly input to the counter 334 as an input signal CIN4.
  • the pulse signals P5 and P6 are directly input to the counters 335 and 336 as input signals CIN5 and CIN6.
  • the selector 393 selects either the pulse signal P7 or the signal from the AND gate 383 according to the control signal CTRL3, and supplies it to the counter 337 as the input signal CIN7.
  • pulse signal P8 is directly input to the counter 338 as an input signal CIN8.
  • the selector 394 selects either the pulse signal P9 or the signal from the AND gate 384 according to the control signal CTRL4, and supplies it to the counter 339 as the input signal CIN9.
  • control signals CTRL1 to CTRL4 are supplied from, for example, the pixel drive unit 210.
  • the pixel drive unit 210 controls the selectors 391 to 394 by the control signals CTRL1 to CTRL4 to select the signals from the AND gates 381 to 384.
  • the counters 331, 333, 337 and 339 can count the number of pulses in synchronization with the enable signals EN1 to EN4 having phase differences of 0 degrees, 90 degrees, 180 degrees and 270 degrees. Then, the signal processing circuit 250 performs distance measurement based on those counted values.
  • the pixel drive unit 210 controls the selectors 391 to 394 by the control signals CTRL1 to CTRL4 to select the pulse signals P1, P3, P7 and P9.
  • the counters 331, 333, 337 and 339 together with the remaining counters, count the number of pulses of the corresponding pixel in synchronization with the vertical sync signal.
  • FIG. 16 is a diagram showing an example of the correspondence between the circuits provided in each of the pixel chip 201 and the circuit chip 202 in the second embodiment of the present technology. As illustrated in the figure, for each pixel block 300, 9 pixels of SPAD are arranged on the pixel chip 201. Further, nine counters are arranged on the circuit chip 202 for each pixel block 300.
  • the upper left, upper right, lower left, and lower right counters count the number of pulses in synchronization with the enable signals EN1 to EN4 with phase differences of 0 degrees, 90 degrees, 180 degrees, and 270 degrees. do.
  • each of the nine counters counts the number of pulses of the corresponding pixel in synchronization with the vertical synchronization signal.
  • the four counters used for distance measurement are arranged at the upper left, upper right, lower left and lower right, but the arrangement is not limited to this.
  • FIG. 17 is a diagram for explaining the operation of the counter in the second embodiment of the present technology.
  • Counters # 1 to 9 in the figure indicate counters 331 to 339.
  • the counters # 1, # 3, # 7 and # 9 are synchronized with the enable signals EN1 to EN4 (in other words, the light emission control signal LCLK) having phase differences of 0 degrees, 90 degrees, 180 degrees and 270 degrees. Then, the number of pulses in the pixel block 300 is counted. On the other hand, the remaining counters stop counting.
  • counters # 1 to 9 count the number of pulses of the corresponding pixel in synchronization with the vertical synchronization signal VSYNC.
  • the counters # 1, # 3, # 7 and # 9 synchronize with the light emission control signal LCLK to count the number of pulses in the pixel block 300 and the vertical synchronization signal VSYNC.
  • the process of counting the number of pulses is performed in order.
  • the remaining counters # 2, # 4, # 5, # 6 and # 8 count the number of pulses in synchronization with the vertical sync signal VSYNC.
  • 4 out of 9 counters used for imaging are also used for distance measurement. Therefore, the number of counters can be reduced as compared with the first embodiment in which the nine counters for imaging and the four counters for distance measurement are separately provided.
  • the counters # 1, # 3, # 7 and # 9 are examples of the first counter described in the claims, and the counters # 2, # 4, # 5, # 6 and # 8 are claims. This is an example of the second counter described in the range of.
  • the four counters perform a process of counting the number of pulses in synchronization with the light emission control signal and a process of counting the number of pulses in synchronization with the vertical synchronization signal. In order. This eliminates the need to separately provide a counter for imaging and a counter for distance measurement, so that the number of counters can be reduced.
  • the four counters count the number of pulses in synchronization with the enable signal having a phase difference of 0 to 270 degrees, but in this configuration, the range of the distance that can be measured is measured. May run short.
  • the solid-state image sensor 200 of the third embodiment is different from the second embodiment in that the range of the distance that can be measured is expanded by expanding the range of the phase difference.
  • FIG. 18 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the third embodiment of the present technology.
  • the output destination control circuit 370 of the third embodiment is different from the second embodiment in that it further includes OR gates 375 to 379, AND gates 385 to 389, and selectors 395 to 399.
  • connection configuration of the OR gates 375 to 379, the AND gates 385 to 389, and the selectors 395 to 399 is the same as that of the OR gate 371, the AND gate 381, and the selector 391.
  • Enable signals EN5 to EN9 are input to the AND gates 385 to 389.
  • the control signals CTRL5 to CRTRL9 are input to the selectors 395 to 399. Further, the selectors 391 to 399 select one of the pulse signals P1 to P9 and the signals from the AND gates 381 to 389, and supply them as input signals CIN1 to CIN9 to the counters 331 to 339.
  • the phase difference of each of the enable signals EN1 to EN9 is set to, for example, 0 degree, 360 degree, 90 degree, 450 degree, 720 degree, 630 degree, 270 degree, 540 degree and 180 degree.
  • the phase difference of the enable signal is set to 0 degrees to 720 degrees, the distance range that the signal processing circuit 250 can measure can be expanded as compared with the case where the phase difference is from 0 degrees to 270 degrees.
  • the signal processing circuit 250 obtains an approximate distance by, for example, a phase difference of 0 to 720 degrees, and then obtains an accurate distance by a phase difference of 0 to 540 degrees. By gradually narrowing the range of the phase difference in this way, the accuracy of the distance can be gradually improved.
  • FIG. 19 is a diagram showing an example of the correspondence between the circuits provided in each of the pixel chip 201 and the circuit chip 202 in the third embodiment of the present technology. As illustrated in the figure, for each pixel block 300, 9 pixels of SPAD are arranged on the pixel chip 201. Further, nine counters are arranged on the circuit chip 202 for each pixel block 300.
  • the upper left, upper right, lower left and lower right counters of the nine counters count the number of pulses in synchronization with the enable signals having phase differences of 0 degrees, 90 degrees, 180 degrees and 270 degrees.
  • the central counter also counts the number of pulses in synchronization with the enable signal with a phase difference of 720 degrees.
  • the central up, down, left, and right counters count the number of pulses in synchronization with enable signals with phase differences of 360, 540, 450, and 630 degrees.
  • FIG. 20 is a diagram for explaining the operation of the counter in the third embodiment of the present technology.
  • the counters # 1 to # 9 have pixels synchronized with enable signals having a phase difference of 0 degrees, 360 degrees, 90 degrees, 450 degrees, 720 degrees, 630 degrees, 270 degrees, 540 degrees, and 180 degrees.
  • the number of pulses in the block 300 is counted.
  • counters # 1 to 9 count the number of pulses of the corresponding pixel in synchronization with the vertical synchronization signal VSYNC.
  • the nine counters are synchronized with the four enable signals in order to count the number of pulses in synchronization with the nine enable signals having different phase differences.
  • the distance range that can be measured can be expanded as compared with the case of counting.
  • FIG. 21 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the fourth embodiment of the present technology.
  • the output destination control circuit 370 of the fourth embodiment is different from the third embodiment in that the OR gate 375, the AND gate 385, and the selector 395 are reduced. Further, the pulse signal P5 is directly supplied to the counter 335 as an input signal CIN5.
  • FIG. 22 is a diagram showing an example of the correspondence between the circuits provided in each of the pixel chip 201 and the circuit chip 202 in the fourth embodiment of the present technology.
  • the pixel block 300 of the fourth embodiment is different from the third embodiment in that the central counter does not count in the distance measuring mode.
  • FIG. 23 is a diagram for explaining the operation of the counter in the fourth embodiment of the present technology.
  • eight counters other than counter # 5 count the number of pulses in synchronization with the enable signal.
  • the number of counters used for distance measurement has been reduced from nine to eight.
  • the number of data used for distance measurement is reduced, and the processing amount of the signal processing circuit 250 is reduced.
  • the counter other than the counter # 5 is an example of the first counter described in the claims, and the counter # 5 is an example of the second counter described in the claims.
  • the eight counters count the number of pulses in synchronization with the enable signal
  • the nine counters count in synchronization with the enable signal. In comparison, the number of data used for distance measurement can be reduced.
  • the solid-state image sensor 200 of the fifth embodiment is different from the first embodiment in that the signal quality is improved by arranging two or more counters synchronized with the same enable signal.
  • FIG. 24 is a diagram showing an example of a circuit provided in the pixel block 300 according to the fifth embodiment of the present technology.
  • the pixel block 300 is divided into a plurality of areas.
  • the pixel block 300 is divided into a 0 degree area 410, a 90 degree area 420, a 180 degree area 430, and a 270 degree area 440.
  • the 0 degree area 410 nine counters such as the counter 411 are arranged in 3 rows ⁇ 3 columns.
  • the 90 degree area 420 nine counters such as the counter 421 are arranged in 3 rows ⁇ 3 columns.
  • the 180 degree area 430 nine counters such as the counter 431 are arranged in 3 rows ⁇ 3 columns.
  • the 270 degree area 440 nine counters such as the counter 441 are arranged in 3 rows ⁇ 3 columns.
  • the number of pixels for each area is the same as the number of counters (that is, 9).
  • the upper left, upper right, lower left and lower right counters count the number of pulses in the 0 degree area 410 in synchronization with the enable signal having a phase difference of 0 degree.
  • the upper left, upper right, lower left and lower right counters count the number of pulses in the 90 degree area 420 in synchronization with the enable signal having a phase difference of 90 degrees.
  • the 180 degree area 430 the upper left, upper right, lower left and lower right counters count the number of pulses in the 180 degree area 430 in synchronization with the enable signal having a phase difference of 180 degrees.
  • the upper left, upper right, lower left and lower right counters count the number of pulses in the 270 degree area 440 in synchronization with the enable signal with a phase difference of 270 degrees.
  • an output destination control circuit 370 is arranged in each of the 0 degree area 410, the 90 degree area 420, the 180 degree area 430, and the 270 degree area 440. In the figure, the output destination control circuit 370 is omitted. Further, the configuration of the output destination control circuit 370 of the fifth embodiment is the same as that of the second embodiment illustrated in FIG. However, the same enable signal is input to the four counters.
  • each pixel block 300 four count values counted in synchronization with enable signals having the same phase difference are generated.
  • the signal processing circuit 250 calculates the total value or the average value of these four count values, and performs distance measurement using the calculation result. By calculating the sum or average of the four count values, it is possible to reduce signal noise and improve signal quality.
  • the counters at the upper left, upper right, lower left, and lower right of each area are examples of the first counter described in the claims, and the other counters are examples of the second counter described in the claims. Is. Further, the number of areas for each pixel block 300 is not limited to four, and the number of pixels for each area is not limited to nine pixels.
  • each pixel block 300 four counters that count in synchronization with enable signals having the same phase difference are arranged for each pixel block 300, so that the total of the count values and the total of the counters are increased. Signal noise can be reduced by averaging.
  • ⁇ 6. 6th Embodiment> In the fifth embodiment described above, nine pixels are arranged for each area, but in this configuration, the number of pixels in the pixel block 300 is 36, and the resolution of the depth map may be insufficient.
  • the solid-state image sensor 200 of the sixth embodiment is different from the fifth embodiment in that the number of pixels for each area is reduced and the resolution of the depth map is improved.
  • FIG. 25 is a diagram showing an example of a circuit provided in the pixel block 300 according to the sixth embodiment of the present technology.
  • the pixel block 300 of the sixth embodiment is different from the fifth embodiment in that the number of pixels for each area is four.
  • the four pixels are arranged in 2 rows ⁇ 2 columns.
  • a counter that counts the number of pulses in synchronization with the enable signal is arranged in the upper left for each area.
  • the resolution of the depth map can be improved as compared with the fifth embodiment in which the number of pixels for each area is 9 pixels. ..
  • FIG. 26 is a block diagram showing a configuration example of the 0 degree area 410 according to the sixth embodiment of the present technology. Pixels 310, 321 to 323 and a counting unit 330 are arranged in the 0 degree area 410.
  • the output destination control circuit 370, the counters 411 to 414, and the switches 351 to 354 are arranged in the counting unit 330.
  • Pixels 310, 321 to 323 output pulse signals P1 to P4 to the output destination control circuit 370.
  • the output destination control circuit 370 supplies the input signals CIN1 to CIN4 to the counters 411 to 414.
  • the counters 411 to 414 supply the count values CNT1 to CNT4 to the switches 351 to 354.
  • the switches 351 and 353 supply the count value to the vertical signal line 309-n, and the switches 352 and 354 supply the count value to the vertical signal line 309- (n + 1).
  • the configurations of the 90-degree area 420, the 180-degree area 430, and the 270-degree area 440 are the same as those of the 0-degree area 410.
  • FIG. 27 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the sixth embodiment of the present technology.
  • An OR gate 371, an AND gate 381, and a selector 391 are arranged in the output destination control circuit 370.
  • the connection configuration of the OR gate 371, the AND gate 381, and the selector 391 of the sixth embodiment is the same as that of FIG. 15 of the second embodiment except that the output destination is the counter 411.
  • pulse signals P2 to P4 are directly supplied to the counters 412 to 414 as input signals CIN2 to CIN4.
  • the counter 411 is an example of the first counter described in the claims, and the counters 412 to 414 are an example of the second counter described in the claims.
  • the resolution of the depth map is improved as compared with the case where the number of pixels for each area is 9 pixels. Can be done.
  • Seventh Embodiment> In the sixth embodiment described above, four areas are arranged for each pixel block, but in this configuration, the number of pixels in the pixel block 300 is 16, and the resolution of the depth map may be insufficient.
  • the solid-state image sensor 200 of the seventh embodiment is different from the sixth embodiment in that the number of areas is reduced and the resolution of the depth map is improved.
  • FIG. 28 is a diagram showing an example of a circuit provided in the pixel block according to the seventh embodiment of the present technology.
  • the pixel block 300 of the seventh embodiment is different from the sixth embodiment in that the number of areas is two. For example, a 0-degree area 410 and a 180-degree area 430 are provided in the pixel block 300.
  • the size of the pixel block 300 can be reduced. This makes it possible to improve the resolution of the depth map.
  • FIG. 29 is a timing chart showing an example of the operation of the distance measuring mode of the solid-state image sensor 200 according to the seventh embodiment of the present technology. It is assumed that the distance measuring mode is set at the timing T0.
  • the processor 140 stops the supply of the vertical synchronization signal VSYNC.
  • the vertical scanning circuit 220 supplies the reset signal RST to the counters 331 to 334 to initialize the count value.
  • the driver 120 starts supplying the light emission control signal LCLK, and the light emitting unit 110 emits light in synchronization with the signal.
  • the pixel drive unit 210 starts supplying the enable signal EN1 having a phase difference of 0 degrees from the light emission control signal LCLK. Then, at the timing T2, the pixel drive unit 210 starts supplying the enable signal EN2 having a phase difference of 180 degrees.
  • the vertical scanning circuit 220 outputs the count value by the selection signal.
  • the signal processing circuit 250 obtains a distance for each pixel block 300 based on the counted values.
  • the resolution of the depth map can be improved as compared with the case where the number of areas is four. ..
  • the counter counts the number of pulses in synchronization with the enable signals having a phase difference of 0 degrees and 180 degrees, but since the enable signals of 90 degrees and 270 degrees are not used, the measurement is performed. The distance accuracy is reduced, and the distance range that can be measured is narrowed.
  • the solid-state image sensor 200 of the eighth embodiment counts the number of pulses in synchronization with the enable signals having a phase difference of 90 degrees and 270 degrees in addition to the enable signals having a phase difference of 0 degrees and 180 degrees. It differs from the seventh embodiment in that it is different from the seventh embodiment.
  • FIG. 30 is a diagram showing an example of a circuit provided in the pixel block 300 according to the eighth embodiment of the present technology.
  • the pixel block 300 of the eighth embodiment is different from the seventh embodiment in that the counters 411 to 414 are arranged without being divided into a plurality of areas. Further, four pixels are arranged in the pixel block 300.
  • circuits other than the counter (output destination control circuit 370 and the like) are omitted.
  • the counters 411 and 414 count the number of pulses in synchronization with the 0 degree and 180 degree enable signals, and the counters 412 and 413 pulse in synchronization with the 90 degree and 270 degree enable signals. Count the number.
  • FIG. 31 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the eighth embodiment of the present technology.
  • the output destination control circuit 370 of the eighth embodiment is provided with OR gates 371 to 374, AND gates 381 to 384, and selectors 391 to 394.
  • connection configuration of the OR gates 371 to 374, the AND gates 381 to 384, and the selectors 391 to 394 is the same as that of the OR gate 371, the AND gate 381, and the selector 391 of the second embodiment.
  • Enable signals EN1 to EN4 are input to the AND gates 381 to 384.
  • the control signals CTRL1 to CTRL4 are input to the selectors 391 to 394. Further, the selectors 391 to 394 select one of the pulse signals P1 to P4 and the signals from the AND gates 381 to 384 and supply them as input signals CIN1 to CIN4 to the counters 411 to 414.
  • FIG. 32 is a timing chart showing an example of the operation of the distance measuring mode of the solid-state image sensor 200 according to the eighth embodiment of the present technology. It is assumed that the distance measuring mode is set at the timing T0.
  • the processor 140 stops the supply of the vertical synchronization signal VSYNC.
  • the vertical scanning circuit 220 supplies the reset signal RST to the counters 331 to 334 to initialize the count value.
  • the driver 120 starts supplying the light emission control signal LCLK, and the light emitting unit 110 emits light in synchronization with the signal.
  • the pixel drive unit 210 starts supplying the enable signal EN1 and EN4 having a phase difference of 0 degrees from the light emission control signal LCLK.
  • the pixel drive unit 210 starts supplying the enable signals EN2 and EN3 having a phase difference of 90 degrees.
  • the vertical scanning circuit 220 outputs the count value by the selection signal.
  • the signal processing circuit 250 holds those count values.
  • the vertical scanning circuit 220 supplies the reset signal RST to the counters 331 to 334 to initialize the count value.
  • the pixel drive unit 210 starts supplying the enable signals EN1 and EN4 having a phase difference of 180 degrees from the light emission control signal LCLK.
  • the pixel drive unit 210 starts supplying the enable signals EN2 and EN3 having a phase difference of 270 degrees.
  • the vertical scanning circuit 220 outputs the count value by the selection signal.
  • the signal processing circuit 250 obtains a distance for each pixel block 300 based on the held count value and the output count value.
  • the pixel drive unit 210 supplies an enable signal in which each of a plurality of set values (90 degrees, 270 degrees, etc.) is sequentially set to a phase difference.
  • the counter counts the number of pulses in synchronization with the enable signal having a phase difference of 90 degrees and 270 degrees in addition to the enable signal having a phase difference of 0 degrees and 180 degrees. Can be done. Since the number of phase differences increases, the distance measurement accuracy can be improved and the distance range that can be measured can be expanded.
  • the pixel drive unit 210 sets each of the plurality of set values to the phase difference in order, so that the number of phase differences can be increased. As a result, the distance measurement accuracy can be improved and the distance range that can be measured can be expanded.
  • the pixel drive unit 210 switches the phase difference, but in this configuration, the distance measurement interval becomes longer as compared with the case where the phase difference is fixed, and the depth map frame. The rate drops.
  • the solid-state image sensor 200 of the ninth embodiment is different from the eighth embodiment in that the phase difference is fixed and the frame rate of the depth map is improved.
  • FIG. 33 is a diagram showing an example of a circuit provided in the pixel block 300 according to the ninth embodiment of the present technology.
  • Counters 411 to 414 are arranged in the pixel block 300 of the ninth embodiment as in the eighth embodiment.
  • the phase difference between the enable signals EN1 to EN4 is fixed in the distance measurement mode.
  • the counter 411 counts the number of pulses in synchronization with the 0 degree enable signal EN1
  • the counter 412 counts the number of pulses in synchronization with the 90 degree enable signal EN2.
  • the counter 413 counts the number of pulses in synchronization with the 180-degree enable signal EN3
  • the counter 414 counts the number of pulses in synchronization with the 270-degree enable signal EN4. Since the phase difference is fixed, the frame rate of the depth map is improved as compared with the eighth embodiment.
  • the pixel drive unit 210 fixes the phase difference of the enable signal, the frame rate of the depth map is improved as compared with the case of switching the phase difference. be able to.
  • the counter counts the number of pulses in units of four pixels in the distance measurement mode, but as the number of pixels to be counted increases, the maximum value of the count value increases. The data size of the counted value becomes large.
  • the solid-state image sensor 200 of the tenth embodiment is different from the ninth embodiment in that the number of pixels to be counted is switched between 4 pixels and 2 pixels and the data size is made variable.
  • FIG. 34 is a diagram showing an example of a circuit provided in the pixel block according to the tenth embodiment of the present technology.
  • a 0 degree area 410 and a 180 degree area 430 are provided in the pixel block 300 of the tenth embodiment.
  • 4 pixels and an output destination control circuit 370 are provided for each area.
  • one of the four counters in the area counts the number of pulses in synchronization with the enable signal.
  • each of the four counters counts the number of pulses in synchronization with the vertical sync signal.
  • FIG. 35 is a circuit diagram showing a configuration example of the output destination control circuit 370 according to the tenth embodiment of the present technology.
  • the output destination control circuit 370 of the tenth embodiment is provided with OR gates 371, 372 and 380, AND gates 381 and 382, and a selector 391.
  • the OR gate 371 supplies the logical sum of the pulse signals P1 and P2 to the AND gate 381.
  • the OR gate 372 supplies the logical sum of the pulse signals P3 and P4 to the AND gate 382.
  • the AND gate 381 supplies the OR gate 380 with the logical product of the signal from the OR gate 371 and the enable signal EN1a.
  • the AND gate 382 supplies the OR gate 380 with the logical product of the signal from the OR gate 372 and the enable signal EN1b.
  • the OR gate 380 outputs the logical sum of the signals from the AND gates 381 and 382 to the selector 391.
  • the selector 391 selects either the pulse signal P1 or the signal from the OR gate 380 according to the control signal CTRL and supplies it to the counter 411 as an input signal CIN1.
  • pulse signals P2 to P4 are supplied to the counters 412 to 414 as input signals CIN2 to CIN4 as they are.
  • the counter 411 is an example of the first counter described in the claims, and the counters 412 to 414 are an example of the second counter described in the claims.
  • FIG. 36 is a diagram for explaining the operation of the pixel drive unit 210 according to the tenth embodiment of the present technology.
  • the control in the figure corresponds to the 0 degree area 410.
  • either the 4-pixel addition mode or the 2-pixel addition mode is set as the distance measuring mode.
  • the 4-pixel addition mode is a mode in which the number of pixels to be counted in the pulse signal is 4 pixels
  • the 2-pixel addition mode is a mode in which the number of pixels to be counted in the pulse signal is 2 pixels.
  • the pixel drive unit 210 supplies signals having a phase difference of 0 degrees as enable signals EN1a and EN1b.
  • the pixel drive unit 210 supplies a signal having a phase difference of 0 degrees as one of the enable signals EN1a and EN1b.
  • the other of the enable signals EN1a and EN1b is not supplied.
  • the enable signal is not supplied in the imaging mode.
  • the control of the 180 degree area 430 is the same as that of the 0 degree area 410 illustrated in the figure except that the phase difference is set to 180 degrees.
  • the pixel drive unit 210 sets the control signal CTRL to "0" in the distance measurement mode, and causes the selector 391 to select the signal from the OR gate 380. On the other hand, in the imaging mode, the pixel drive unit 210 sets the control signal CTRL to "1" and causes the selector 391 to select the pulse signal P1.
  • the output destination control circuit 370 outputs the logical sum of the pulse signals of the set number (4 pixels or 2 pixels) of the 4 pixels in the pixel block 300. Then, the counter 411 counts the logical sum. As a result, the number of pixels to be counted can be switched between 4 pixels and 2 pixels, and the data size of the counting value can be changed.
  • the pixel drive unit 210 switches the number of pixels to be counted between 4 pixels and 2 pixels, but the configuration is not limited to this, and for example, it can be switched to 1 pixel or 3 pixels.
  • the counter 411 counts the logical sum of the pulse signals of the set number of pixels among the four pixels in the pixel block 300, so that the count value data You can change the size.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 37 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the vehicle interior information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 38 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 38 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup device having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the solid-state image sensor 200 of FIG. 3 can be applied to the image pickup unit 12031.
  • the processing procedure described in the above-described embodiment may be regarded as a method having these series of procedures, or as a program for causing a computer to execute these series of procedures or as a recording medium for storing the program. You may catch it.
  • this recording medium for example, a CD (Compact Disc), MD (MiniDisc), DVD (Digital Versatile Disc), memory card, Blu-ray Disc (Blu-ray (registered trademark) Disc) and the like can be used.
  • the present technology can have the following configurations.
  • a light emitting unit that irradiates irradiation light in synchronization with a light emission control signal having a frequency higher than a predetermined vertical synchronization signal.
  • a predetermined number of pixels each of which generates a pulse signal by photoelectric conversion
  • a sensing system including a counting unit that counts the number of pulse signals in synchronization with each of the light emission control signal and the vertical synchronization signal.
  • the counting unit is A first counter that counts the pulse signal in synchronization with the light emission control signal,
  • the counting unit is A first counter that sequentially performs a process of counting the pulse signal in synchronization with the light emission control signal and a process of counting the pulse signal in synchronization with the vertical synchronization signal.
  • the sensing system according to (1) above comprising a second counter that counts the pulse signal in synchronization with the vertical synchronization signal.
  • the pixel array portion in which the predetermined number of pixels are arranged is divided into a plurality of pixel blocks.
  • the counting unit is provided for each pixel block.
  • the pixel array portion in which the predetermined number of pixels are arranged is divided into a plurality of pixel blocks. Each of the plurality of pixel blocks is divided into a plurality of areas.
  • the counting unit is provided in association with each of the plurality of areas.
  • the sensing system according to any one of (7) to (9) above, wherein four areas are arranged in the pixel block.
  • (11) The sensing system according to any one of (7) to (9) above, wherein two areas are arranged in the pixel block.
  • (12) The first counter according to any one of (7) to (9) above, which counts the logical sum of the pulse signals of each of the set number of pixels among the pixels in the pixel block.
  • the counting unit includes a predetermined number of counters that sequentially perform a process of counting the pulse signal in synchronization with the light emission control signal and a process of counting the pulse signal in synchronization with the vertical synchronization signal.
  • a distance measuring system including a distance measuring unit that measures a distance to an object based on a counting value of the counting unit.
  • a light emitting unit that irradiates irradiation light based on a light emission control signal, Multiple pixels, each of which generates a pulse signal by photoelectric conversion
  • a counting unit that counts the number of pulse signals of the plurality of pixels, Equipped with The counting unit is connected between a plurality of counters, the plurality of pixels, and the plurality of counters, receives a plurality of pulse signals output from the plurality of pixels, and transmits the plurality of pulse signals to an arbitrary plurality of counters. Equipped with an output destination control circuit for distribution
  • the plurality of pixels are provided on the first chip, and the plurality of pixels are provided on the first chip.
  • the output control circuit and the counting unit are sensing systems provided on the second chip.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

画像データを撮像するシステムにおいて、測距センサを追加することなく、物体までの距離を測定する。　センシングシステムは、発光部と、所定数の画素と、計数部とを具備する。この固体撮像素子において、発光部は、所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する。また、所定数の画素は、それぞれが光電変換によりパルス信号を生成する。また、計数部は、発光制御信号および垂直同期信号のそれぞれに同期してパルス信号の個数を計数する。

Description

センシングシステム、および、測距システム
　本技術は、センシングシステムに関する。詳しくは、パルス数を計数するセンシングシステムおよび測距システムに関する。
　近年、非常に微弱な光信号を捉えて光通信、距離計測やフォトンカウントなどを実現するＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれるデバイスが開発および研究されている。このＳＰＡＤは、１光子を検出することができるほど感度の高いアバランシェフォトダイオードである。例えば、ＳＰＡＤを用いてパルス信号を生成する画素と、そのパルス信号の個数を露光期間内に計数するカウンタとを配列した固体撮像素子が提案されている（例えば、特許文献１参照。）。
国際公開第２０１９／１５０７８５号公報
　上述の従来技術では、高感度のＳＰＡＤを用いて微弱な光を検出することにより、暗い環境下で撮像した際の画質向上を図っている。しかしながら、上述の固体撮像素子では、撮像した画像内の物体までの距離の測定を行うことができない。測距を行うために、赤外線やレーザを用いる測距センサを追加した場合には、システムの消費電力やコストが増大してしまうため、好ましくない。
　本技術はこのような状況に鑑みて生み出されたものであり、画像データを撮像するシステムにおいて、測距センサを追加することなく、物体までの距離を測定することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、それぞれが光電変換によりパルス信号を生成する所定数の画素と、上記発光制御信号および上記垂直同期信号のそれぞれに同期して上記パルス信号の個数を計数する計数部とを具備するセンシングシステムである。これにより、画像データの撮像と測距とが実行されるという作用をもたらす。
　また、この第１の側面において、上記計数部は、上記発光制御信号に同期して上記パルス信号を計数する第１カウンタと、上記垂直同期信号に同期して上記パルス信号を計数する第２カウンタとを備えてもよい。これにより、カウンタの計数値に基づいて測距が実行されるという作用をもたらす。
　また、この第１の側面において、上記計数部は、上記発光制御信号に同期して上記パルス信号を計数する処理と上記垂直同期信号に同期して上記パルス信号を計数する処理とを順に行う第１カウンタと、上記垂直同期信号に同期して上記パルス信号を計数する第２カウンタとを備えてもよい。これにより、カウンタ数が削減されるという作用をもたらす。
　また、この第１の側面において、上記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、上記計数部は、上記画素ブロックごとに設けられ、上記第１カウンタは、上記画素ブロック内の上記画素のそれぞれからの上記パルス信号の論理和を計数してもよい。これにより、画素ブロックごとに距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記画素ブロックごとに４個の上記第１カウンタと５個の上記第２カウンタとが配置されてもよい。これにより、４個の計数値に基づいて距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記画素ブロックごとに８個の上記第１カウンタと１個の上記第２カウンタとが配置されてもよい。これにより、測距可能な距離範囲が広くなるという作用をもたらす。
　また、この第１の側面において、上記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、上記複数の画素ブロックのそれぞれは、複数のエリアに分割され、上記計数部は、上記複数のエリアのそれぞれに対応付けて設けられ、上記第１カウンタは、対応するエリア内の上記画素のそれぞれからの上記パルス信号の論理和を計数してもよい。これにより、エリアごとの計数値から距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記複数のエリアのそれぞれには、９個の上記画素が配置されてもよい。これにより、９画素分のパルス信号の論理和が計数されるという作用をもたらす。
　また、この第１の側面において、上記複数のエリアのそれぞれには、４個の上記画素が配置されてもよい。これにより、４画素分のパルス信号の論理和が計数されるという作用をもたらす。
　また、この第１の側面において、上記画素ブロック内には、４つのエリアが配置されてもよい。これにより、２つのエリアのそれぞれの計数値から距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記画素ブロック内には、２つのエリアが配置されてもよい。これにより、４つのエリアのそれぞれの計数値から距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記第１カウンタは、上記画素ブロック内の上記画素のうち設定された個数の画素のそれぞれの上記パルス信号の論理和を計数してもよい。これにより、計数値のデータサイズが変更されるという作用をもたらす。
　また、この第１の側面において、上記計数部は、上記発光制御信号に同期して上記パルス信号を計数する処理と上記垂直同期信号に同期して上記パルス信号を計数する処理とを順に行う所定数のカウンタを備えてもよい。これにより、カウンタ数が削減されるという作用をもたらす。
　また、この第１の側面において、上記計数部は、９個の上記カウンタを備えてもよい。これにより、９個の計数値から距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記計数部は、４個の上記カウンタを備えてもよい。これにより、４個の計数値から距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記発光制御信号との位相差として複数の設定値のそれぞれが順に設定されるイネーブル信号を供給する画素駆動部をさらに具備し、上記カウンタは、上記イネーブル信号に同期して上記パルス信号を供給してもよい。これにより、測距精度が向上するという作用をもたらす。
　また、本技術の第２の側面は、所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、それぞれが光電変換によりパルス信号を生成する所定数の画素と、上記発光制御信号および上記垂直同期信号のそれぞれに同期して上記パルス信号の個数を計数する計数部と、上記計数部の計数値に基づいて物体までの距離を測定する測距部とを具備する測距システムである。これにより、画像データが撮像され、計数値に基づいて測距が実行されるという作用をもたらす。
　また、本技術の第３の側面は、発光制御信号に基づいて照射光を照射する発光部と、それぞれが光電変換によりパルス信号を生成する複数の画素と、前記複数の画素のパルス信号の個数を計数する計数部と、を具備し、前記計数部は複数のカウンタと、前記複数の画素と複数のカウンタの間に接続され、前記複数の画素から出力された複数のパルス信号を受け、任意の複数のカウンタに前記複数のパルス信号を振り分ける出力先制御回路とを備え、前記複数の画素は、第一のチップに設けられ、前記出力制御回路および前記計数部は、第二のチップに設けられるセンシングシステムである。これにより、積層構造のセンシングシステムにおいて、画像データの撮像と測距とが実行されるという作用をもたらす。
本技術の第１の実施の形態における測距システムの一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素ブロックの一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態における画素の一構成例を示す断面図である。 本技術の第１の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第１の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。 本技術の第１の実施の形態におけるカウンタの動作を説明するための図である。 本技術の第１の実施の形態における固体撮像素子の測距モードの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子の撮像モードの動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における測距システムの全体図の一例である。 本技術の第１の実施の形態における測距システムの動作の一例を示すフローチャートである。 本技術の第２の実施の形態における画素ブロックの一構成例を示すブロック図である。 本技術の第２の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第２の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。 本技術の第２の実施の形態におけるカウンタの動作を説明するための図である。 本技術の第３の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第３の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。 本技術の第３の実施の形態におけるカウンタの動作を説明するための図である。 本技術の第４の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第４の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。 本技術の第４の実施の形態におけるカウンタの動作を説明するための図である。 本技術の第５の実施の形態における画素ブロックに設けられる回路の一例を示す図である。 本技術の第６の実施の形態における画素ブロックに設けられる回路の一例を示す図である。 本技術の第６の実施の形態における０度エリアの一構成例を示すブロック図である。 本技術の第６の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第７の実施の形態における画素ブロックに設けられる回路の一例を示す図である。 本技術の第７の実施の形態における固体撮像素子の測距モードの動作の一例を示すタイミングチャートである。 本技術の第８の実施の形態における画素ブロックに設けられる回路の一例を示す図である。 本技術の第８の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第８の実施の形態における固体撮像素子の測距モードの動作の一例を示すタイミングチャートである。 本技術の第９の実施の形態における画素ブロックに設けられる回路の一例を示す図である。 本技術の第１０の実施の形態における画素ブロックに設けられる回路の一例を示す図である。 本技術の第１０の実施の形態における出力先制御回路の一構成例を示す回路図である。 本技術の第１０の実施の形態における画素駆動部の動作を説明するための図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（発光制御信号および垂直同期信号に同期して計数する例）
　２．第２の実施の形態（１つのカウンタが発光制御信号および垂直同期信号に同期して計数する例）
　３．第３の実施の形態（全カウンタが発光制御信号および垂直同期信号に同期して計数する例）
　４．第４の実施の形態（８個のカウンタが発光制御信号および垂直同期信号に同期して計数する例）
　５．第５の実施の形態（複数のエリアに分割し、発光制御信号および垂直同期信号に同期して計数する例）
　６．第６の実施の形態（エリア内の画素数を削減し、発光制御信号および垂直同期信号に同期して計数する例）
　７．第７の実施の形態（エリア数を削減し、発光制御信号および垂直同期信号に同期して計数する例）
　８．第８の実施の形態（位相差を切り替え、発光制御信号および垂直同期信号に同期して計数する例）
　９．第９の実施の形態（位相差を固定し、発光制御信号および垂直同期信号に同期して計数する例）
　１０．第１０の実施の形態（計数対象の画素数を切り替え、発光制御信号および垂直同期信号に同期して計数する例）
　１１．移動体への応用例
　＜１．第１の実施の形態＞
　［測距システムの構成例］
　図１は、本技術の第１の実施の形態における測距システム１００の一構成例を示すブロック図である。この測距システム１００は、画像データの撮像と測距とを行うためのものである。測距システム１００は、発光部１１０、ドライバ１２０、コントローラ１３０、固体撮像素子２００、プロセッサ１４０およびアプリケーションプロセッサ１５０を備える。
　測距システム１００内の素子のそれぞれは、１つの電子装置内に配置してもよいし、複数の装置に分散して配置してもよい。複数の装置に分散して配置する場合、例えば、発光部１１０、ドライバ１２０、コントローラ１３０、固体撮像素子２００、プロセッサ１４０が撮像装置内に配置され、アプリケーションプロセッサ１５０は画像処理装置内に配置される。
　発光部１１０は、ドライバ１２０からの発光制御信号ＬＣＬＫに従って発光し、照射光を照射するものである。例えば、照射光として近赤外光などが用いられる。
　ドライバ１２０は、コントローラ１３０の制御に従って、所定の周期信号を発光制御信号ＬＣＬＫとして生成し、発光部１１０に供給するものである。
　コントローラ１３０は、ドライバ１２０およびプロセッサ１４０を同期して動作させるものである。ここで、測距システムには、物体までの距離を測定する測距モードと、画像データの撮像を行う撮像モードとを含む複数のモードが設定される。測距モードにおいてコントローラ１３０は、ドライバ１２０に発光制御信号ＬＣＬＫを生成させるとともに、発光制御信号ＬＣＬＫと同一の信号を発光制御信号ＬＣＬＫ'としてプロセッサ１４０に生成させる。一方、撮像モードにおいてコントローラ１３０は、ドライバ１２０を停止させ、プロセッサ１４０に垂直同期信号ＶＳＹＮＣを生成させる。
　ここで、垂直同期信号ＶＳＹＮＣの周波数は、例えば、３０ヘルツ（Ｈｚ）や６０ヘルツ（Ｈｚ）である。一方、発光制御信号ＬＣＬＫの周波数は、垂直同期信号ＶＳＹＮＣよりも高く、例えば、１０乃至２０メガヘルツ（ＭＨｚ）である。
　プロセッサ１４０は、固体撮像素子２００およびアプリケーションプロセッサ１５０を制御するものである。このプロセッサ１４０は、測距モードにおいて発光制御信号ＬＣＬＫ'を生成して固体撮像素子２００に供給し、固体撮像素子２００からデプスマップを受け取る。一方、撮像モードにおいてプロセッサ１４０は、垂直同期信号ＶＳＹＮＣを生成して固体撮像素子２００に供給し、固体撮像素子２００から画像データを受け取る。そして、プロセッサ１４０は、デプスマップや画像データをアプリケーションプロセッサ１５０に供給する。
　アプリケーションプロセッサ１５０は、画像データやデプスマップに基づいて、画像認識処理などの所定の処理を行うものである。
　固体撮像素子２００は、光電変換により画像データまたはデプスマップを生成するものである。この固体撮像素子２００は、測距モードにおいて、発光制御信号ＬＣＬＫ'に同期して、照射光に対する反射光を光電変換し、デプスマップを生成する。一方、撮像モードにおいて固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、入射光を光電変換し、画像データを生成する。固体撮像素子２００は、画像データやデプスマップをプロセッサ１４０に供給する。なお、固体撮像素子２００を備えるシステムは、特許請求の範囲に記載のセンシングシステムの一例である。
　なお、プロセッサ１４０、アプリケーションプロセッサ１５０の機能の一部または全てを固体撮像素子２００が有する構成であってもよい。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された画素チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。これらの他の方式（磁気結合など）により接続することもできる。また、２つのチップを積層しているが、３層以上を積層することもできる。
　図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、画素駆動部２１０、垂直走査回路２２０、画素アレイ部２３０、カラムバッファ２４０、信号処理回路２５０および出力部２６０を備える。画素アレイ部２３０内には、複数の画素が二次元格子状に配列される。また、画素アレイ部２３０は、複数の画素ブロック３００に分割される。
　画素駆動部２１０は、発光制御信号ＬＣＬＫ'に同期して画素アレイ部２３０内の画素ブロックを駆動し、パルス数の計数を行わせるものである。
　垂直走査回路２２０は、垂直同期信号ＶＳＹＮＣに同期して画素の行を順に選択し、計数値をカラムバッファ２４０へ出力させるものである。
　カラムバッファ２４０は、画素ごとの計数値を保持するものである。
　信号処理回路２５０は、計数値を配列したデータに対して所定の信号処理を行うものである。例えば、測距モードにおいて、信号処理回路２５０は、画素ブロック３００ごとに計数値に基づいて距離を求め、それらの距離のデータを配列したデプスマップを生成する。また、撮像モードにおいて、信号処理回路２５０は、画素ごとの計数値を画素データとして、それらを配列した画像データを生成し、画像データに対して各種の画像処理を行う。そして、信号処理回路２５０は、デプスマップや画像データをプロセッサ１４０に供給する。
　［画素ブロックの構成例］
　図４は、本技術の第１の実施の形態における画素ブロック３００の一構成例を示すブロック図である。画素ブロック３００は、画素３１０と、画素３２１乃至３２８と、出力先制御回路３７０と、カウンタ３３１乃至３４３と、スイッチ３５１乃至３６３とを備える。
　画素３１０は、ＳＰＡＤを用いてパルス信号を生成するものである。画素３１０は、パルス信号Ｐ１を出力先制御回路３７０およびカウンタ３３５に供給する。画素３２１乃至３２８の構成は、画素３１０と同様である。これらの９画素は、例えば、３行×３列に配列される。また、画素アレイ部２３０内において、列ごとに垂直信号線３０９が配線される。ｎ（ｎは整数）列目の垂直信号線を３０９－ｎとする。
　画素３２１は、パルス信号Ｐ２を生成し、出力先制御回路３７０およびカウンタ３３６に供給する。画素３２２は、パルス信号Ｐ３を生成し、出力先制御回路３７０およびカウンタ３３７に供給する。画素３２３は、パルス信号Ｐ４を生成し、出力先制御回路３７０およびカウンタ３３８に供給する。画素３２４は、パルス信号Ｐ５を生成し、出力先制御回路３７０およびカウンタ３３９に供給する。
　また、画素３２５は、パルス信号Ｐ６を生成し、出力先制御回路３７０およびカウンタ３４０に供給する。画素３２６は、パルス信号Ｐ７を生成し、出力先制御回路３７０およびカウンタ３４１に供給する。画素３２７は、パルス信号Ｐ８を生成し、出力先制御回路３７０およびカウンタ３４２に供給する。画素３２８は、パルス信号Ｐ９を生成し、出力先制御回路３７０およびカウンタ３４３に供給する。
　出力先制御回路３７０は、パルス信号Ｐ１乃至Ｐ９の出力先を制御するものである。測距モードにおいて、出力先制御回路３７０は、画素駆動部２１０からのイネーブル信号ＥＮ１乃至ＥＮ４に同期して、パルス信号Ｐ１乃至Ｐ９の論理和の信号を生成し、カウンタ３３１乃至３３４に入力する。カウンタ３３１への信号を入力信号ＣＩＮ１とし、カウンタ３３２への信号を入力信号ＣＩＮ２とする。また、カウンタ３３３への信号を入力信号ＣＩＮ３とし、カウンタ３３４への信号を入力信号ＣＩＮ４とする。一方、撮像モードにおいては、出力先制御回路３７０からカウンタへ信号が出力されない。
　カウンタ３３１は、入力信号ＣＩＮ１の個数を計数するものである。この入力信号ＣＩＮ１は、画素ブロック３００内の各画素のパルス信号の論理和であるため、その計数値は、画素ブロック３００内に入射された光子数を示す。カウンタ３３１は、計数値をＣＮＴ１としてスイッチ３５１に出力する。
　カウンタ３３２乃至３３４の構成は、カウンタ３３１と同様である。カウンタ３３２乃至３３４は、入力信号ＣＩＮ２乃至ＣＩＮ４の計数値をＣＮＴ２乃至ＣＮＴ４としてスイッチ３５２乃至３５４に出力する。
　カウンタ３３５は、パルス信号Ｐ１の個数を計数するものである。このカウンタ３３５は、計数値をＣＮＴ５としてスイッチ３５５に出力する。カウンタ３３６乃至３４３の構成は、カウンタ３３５と同様である。カウンタ３３６乃至３４３は、パルス信号Ｐ２乃至Ｐ９の計数値をＣＮＴ６乃至１３としてスイッチ３５６乃至３６３に出力する。
　また、カウンタ３３１乃至３４３には、垂直走査回路２２０からのリセット信号ＲＳＴ１乃至ＲＳＴ１３が入力される。カウンタの計数値は、このリセット信号により初期化される。なお、垂直走査回路２２０の代わりに画素駆動部２１０がリセット信号を供給することもできる。
　スイッチ３５１は、垂直走査回路２２０からの選択信号ＳＥＬｎに従って垂直信号線３０９－ｎを介してカラムバッファ２４０へ計数値ＣＮＴ１を出力するものである。スイッチ３５２乃至３６３の構成は、スイッチ３５１と同様である。スイッチ３５３、３５５、３５８および３６１は、例えば、選択信号ＳＥＬｎに従って垂直信号線３０９－ｎを介してカラムバッファ２４０へ計数値を出力する。スイッチ３５２、３５６、３５９および３６２は、例えば、選択信号ＳＥＬ（ｎ＋１）に従って垂直信号線３０９－（ｎ＋１）を介してカラムバッファ２４０へ計数値を出力する。スイッチ３５４、３５７、３６０および３６３は、例えば、選択信号ＳＥＬ（ｎ＋２）に従って垂直信号線３０９－（ｎ＋２）を介してカラムバッファ２４０へ計数値を出力する。
　なお、画素ブロック３００内に９画素を配置しているが、画素ブロック３００内の画素数は９画素に限定されず、後述するように４画素などであってもよい。また、画素ごとにカウンタを設けているが、カラムごとにカウンタを配置することもできる。この場合には、垂直走査回路２２０が行を順に選択し、カウンタ群は、選択された行からのパルス信号を計数する。
　［画素の構成例］
　図５は、本技術の第１の実施の形態における画素３１０の一構成例を示す回路図である。この画素３１０は、ＳＰＡＤ３１１、抵抗３１２およびインバータ３１３を備える。
　ＳＰＡＤ３１１は、光電変換により光電流を生成し、アバランシェ増幅するものである。抵抗３１２およびＳＰＡＤ３１１は、電源端子と接地端子との間において直列に接続される。
　インバータ３１３は、抵抗３１２およびＳＰＡＤ３１１の接続点の電位を反転し、パルス信号Ｐ１として出力先制御回路３７０へ出力するものである。
　また、例えば、ＳＰＡＤ３１１は、画素チップ２０１に設けられ、抵抗３１２およびインバータ３１３と、その後段の回路（出力先制御回路３７０など）とは、回路チップ２０２に設けられる。なお、画素３１０全体を画素チップ２０１に設けることもできる。
　図６は、本技術の第１の実施の形態における画素３１０の一構成例を示す断面図である。同図に例示するように、マイクロレンズ１０５により集光された光は、画素３１０内の各層に入力される。マイクロレンズ１０５以外の領域の構成は、例えば、特開２０１８－８８４８８号公報の第００２４乃至００５３段落に記載のものと同様である。
　［出力先制御回路の構成例］
　図７は、本技術の第１の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この出力先制御回路３７０は、ＯＲ（論理和）ゲート３７１乃至３７４と、ＡＮＤ（論理積）ゲート３８１乃至３８４とを備える。
　ＯＲゲート３７１は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８１に出力するものである。ＯＲゲート３７２は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８２に出力するものである。ＯＲゲート３７３は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８３に出力するものである。ＯＲゲート３７４は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８４に出力するものである。なお、パルス信号Ｐ１乃至Ｐ９のそれぞれが、ほぼ同時に出力されると、ＯＲゲート３７１の論理和後の信号は１つになり、ミスカウントが生じてしまう。そのため、ＯＲゲート３７１の入力数を偶数（Ｐ２やＰ４など）のみ、奇数（Ｐ１やＰ３など）のみ、あるいは、１／３画素分など、配線で減らしてもよい。ＯＲゲート３７２などのＯＲゲートについても同様である。
　ＡＮＤゲート３８１は、ＯＲゲート３７１からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ１との論理積を入力信号ＣＩＮ１としてカウンタ３３１に出力するものである。ＡＮＤゲート３８２は、ＯＲゲート３７２からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ２との論理積を入力信号ＣＩＮ２としてカウンタ３３２に出力するものである。ＡＮＤゲート３８３は、ＯＲゲート３７３からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ３との論理積を入力信号ＣＩＮ３としてカウンタ３３３に出力するものである。ＡＮＤゲート３８４は、ＯＲゲート３７４からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ４との論理積を入力信号ＣＩＮ４としてカウンタ３３４に出力するものである。
　ここで、イネーブル信号ＥＮ１は、発光制御信号ＬＣＬＫと同一の信号である。イネーブル信号ＥＮ２は、発光制御信号ＬＣＬＫの位相を９０度ずらした信号である。イネーブル信号ＥＮ３は、発光制御信号ＬＣＬＫの位相を１８０度ずらした信号である。イネーブル信号ＥＮ４は、発光制御信号ＬＣＬＫの位相を２７０度ずらした信号である。言い換えれば、イネーブル信号ＥＮ１乃至ＥＮ４は、発光制御信号ＬＣＬＫとの位相差が０度、９０度、１８０度、２７０度の信号である。
　同図に例示した構成により、カウンタ３３１は、位相差が０度のイネーブル信号ＥＮ１に同期して、画素ブロック３００内のパルス数（言い換えれば、光子数）を計数することができる。また、カウンタ３３２は、位相差が９０度のイネーブル信号ＥＮ２に同期して、画素ブロック３００内のパルス数を計数することができる。カウンタ３３３は、位相差が１８０度のイネーブル信号ＥＮ３に同期して、画素ブロック３００内のパルス数を計数することができる。カウンタ３３４は、位相差が２７０度のイネーブル信号ＥＮ３に同期して、画素ブロック３００内のパルス数を計数することができる。
　信号処理回路２５０は、例えば、カウンタ３３１乃至３３４の計数値ＣＮＴ１乃至ＣＮＴ４に基づいて、次の式により、距離を求める。
　　ｄ＝（ｃ／４πｆ）×ｔａｎ－１
　　　　　×｛（ＣＮＴ２－ＣＮＴ４）／（ＣＮＴ１－ＣＮＴ３）｝…式１
上式において、ｄは距離であり、単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。ｔａｎ－１は、正接関数の逆関数である。（ＣＮＴ２－ＣＮＴ４）／（ＣＮＴ１－ＣＮＴ３）の値は、照射光と反射光との位相差を示す。πは、円周率を示す。また、ｆは照射光の周波数であり、単位は、例えば、メガヘルツ（ＭＨｚ）である。
　このように、光の飛行時間に基づいて距離を算出する測距方法は、ＴｏＦ（Time of Flight）方式と呼ばれる。
　図８は、本技術の第１の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。同図に例示するように、画素ブロック３００ごとに、９画素分のＳＰＡＤが画素チップ２０１に配列される。また、画素ブロック３００ごとに、１３個のカウンタが回路チップ２０２に配列される。なお、同図において回路チップ２０２内のカウンタ以外の回路（出力先制御回路３７０など）は、省略されている。
　１３個のカウンタのうち４個は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号に同期して画素ブロック３００内のパルス数を計数する。同図において、カウンタの下部のカッコ内の値は、対応するイネーブル信号の位相差を示す。残りの９個のカウンタは、対応する１つの画素のパルス数を垂直同期信号ＶＳＹＮＣに同期して計数する。
　図９は、本技術の第１の実施の形態におけるカウンタの動作を説明するための図である。同図におけるカウンタ＃１乃至４は、カウンタ３３１乃至３３４を示す。カウンタ＃５乃至１３は、カウンタ３３５乃至３４３を示す。
　測距モードにおいて、カウンタ＃１乃至４は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４に同期して画素ブロック３００内のパルス数を計数する。一方、カウンタ＃５乃至１３は、計数を停止する。
　撮像モードにおいて、カウンタ＃５乃至１３は、垂直同期信号ＶＳＹＮＣに同期して対応する画素のパルス数を計数する。一方、カウンタ＃１乃至４は、計数を停止する。
　［固体撮像素子の動作例］
　図１０は、本技術の第１の実施の形態における固体撮像素子２００の測距モードの動作の一例を示すタイミングチャートである。タイミングＴ０において、測距モードが設定されたものとする。プロセッサ１４０は、垂直同期信号ＶＳＹＮＣの供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。
　また、タイミングＴ１において、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を開始し、その信号に同期して発光部１１０が発光する。また、タイミングＴ１において、画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が０度のイネーブル信号ＥＮ１の供給を開始する。そして、タイミングＴ２において、画素駆動部２１０は、位相差が９０度のイネーブル信号ＥＮ２の供給を開始する。タイミングＴ３において、画素駆動部２１０は、位相差が１８０度のイネーブル信号ＥＮ３の供給を開始する。タイミングＴ４において、画素駆動部２１０は、位相差が２７０度のイネーブル信号ＥＮ４の供給を開始する。
　そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値に基づいて、式１を用いて画素ブロック３００ごとに距離を求める。
　図１１は、本技術の第１の実施の形態における固体撮像素子２００の撮像モードの動作の一例を示すタイミングチャートである。タイミングＴ１０において、撮像モードが設定されたものとする。プロセッサ１４０は、タイミングＴ１１以降に垂直同期信号ＶＳＹＮＣの供給を開始する。
　また、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を停止し、画素駆動部２１０は、イネーブル信号ＥＮ１乃至ＥＮ４の供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３５乃至３４３に供給し、計数値を初期化する。そして、垂直同期信号ＶＳＹＮＣに同期したタイミングＴ１２乃至Ｔ１３の露光期間において、垂直走査回路２２０は、リセット信号ＲＳＴの供給を停止する。この期間内にカウンタ３３５乃至３４３は、パルス数を計数し、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値を配列した画像データを生成する。
　図１２は、本技術の第１の実施の形態における測距システム１００の全体図の一例である。画素ブロック３００内において、画素３１０、画素３２１乃至３２８以外の回路は、計数部３３０内に配置される。
　発光部１１０は、垂直同期信号ＶＳＹＮＣより周波数の高い発光制御信号ＬＣＬＫに同期して照射光を照射する。また、画素３１０等の画素のそれぞれは、光電変換によりパルス信号を生成する。
　測距モードにおいて、出力先制御回路３７０は、画素ブロック３００内のパルス信号の論理和をイネーブル信号ＥＮ１乃至ＥＮ４に同期してカウンタ３３１乃至３３４に供給する。カウンタ３３１乃至３３４は、その論理和の信号を計数する。イネーブル信号は、前述したように、発光制御信号ＬＣＬＫとの位相差が所定値（０度や９０度）の信号であるため、カウンタ３３１乃至３３４の計数値は、発光制御信号ＬＣＬＫに同期してパルス数を計数した値となる。なお、カウンタ３３１乃至３３４は、特許請求の範囲に記載の第１カウンタの一例である。
　一方、撮像モードにおいて、カウンタ３３５乃至３４３は、垂直同期信号ＶＳＹＮＣに同期して、対応する画素のパルス信号の個数を計数する。なお、カウンタ３３５乃至３４３は、特許請求の範囲に記載の第２カウンタの一例である。
　同図に例示するように、計数部３３０には、垂直同期信号ＶＳＹＮＣに同期して計数を行うカウンタ３３５乃至３４３と、発光制御信号ＬＣＬＫに同期して計数を行うカウンタ３３１乃至３３４とが設けられる。これにより、固体撮像素子２００は、画像データの撮像に加えて、ＴｏＦ方式による測距を行うことができる。また、固体撮像素子２００自身が測距を行うことができるため、赤外線やレーザを用いる測距センサを追加する必要がない。このため、測距センサを別途に追加する場合と比較して、測距システム１００の消費電力やコストを抑制することができる。
　図１３は、本技術の第１の実施の形態における測距システム１００の動作の一例を示すフローチャートである。この動作は、例えば、測距および撮像を行うためのアプリケーションが実行されたときに開始される。
　測距システム１００は、測距モードに移行し、発光制御信号ＬＣＬＫに同期して発光部１１０が照射光を照射する（ステップＳ９０１）。また、カウンタ３３１乃至３３４は、発光制御信号ＬＣＬＫに同期してパルス数を計数する（ステップＳ９０２）。そして、信号処理回路２５０は、計数値に基づいて測距し、デプスマップを生成する（ステップＳ９０３）。
　続いて測距システム１００は、撮像モードに移行し、固体撮像素子２００は、カウンタ３３５乃至３４３に切り替えて、垂直同期信号に同期した露光期間内にパルス数を計数する（ステップＳ９０４）。信号処理回路２５０は、計数値を配列した画像データに基づいて顔認識などの画像処理を行う（ステップＳ９０５）。ステップＳ９０５の後に、測距システム１００は、動作を終了する。
　なお、固体撮像素子２００は、測距（ステップＳ９０３）の後に撮像（ステップＳ９０４）を行っているが、撮像の後に測距を行ってもよい。また、測距と撮像とを同時に実行することもできる。
　このように、本技術の第１の実施の形態によれば、計数部３３０が、発光制御信号および垂直同期信号のそれぞれに同期してパルス数を計数するため、画素において垂直同期信号に同期して画像データを撮像しつつ、測距を行うことができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、測距のためのカウンタ３３１乃至３３４と、撮像のためのカウンタ３３５乃至３４３とを９画素ごとに設けていたが、多画素化に伴って必要なカウンタ数が多くなり、回路規模が増大してしまう。この第２の実施の形態の固体撮像素子２００は、撮像のためのカウンタの一部を測距にも用いることにより、カウンタ数を削減した点において第１の実施の形態と異なる。
　図１４は、本技術の第２の実施の形態における画素ブロック３００の一構成例を示すブロック図である。この第２の実施の形態の画素ブロック３００は、カウンタ３４０乃至３４３とスイッチ３６０乃至３６３とが設けられない点において第１の実施の形態と異なる。
　また、第２の実施の形態の出力先制御回路３７０は、カウンタ３３１乃至３３９に、入力信号ＣＩＮ１乃至ＣＩＮ９を供給する。また、スイッチ３５１、３５４および３５７は、垂直信号線３０９－ｎを介して計数値を出力する。スイッチ３５２、３５５および３５８は、垂直信号線３０９－（ｎ＋１）を介して計数値を出力する。スイッチ３５３、３５６および３５９は、垂直信号線３０９－（ｎ＋２）を介して計数値を出力する。
　図１５は、本技術の第２の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第２の実施の形態の出力先制御回路３７０は、セレクタ３９１乃至３９４をさらに備える点において第１の実施の形態と異なる。
　また、第２の実施の形態のＡＮＤゲート３８１は、論理積をセレクタ３９１に供給し、ＡＮＤゲート３８２は、論理積をセレクタ３９２に供給する。ＡＮＤゲート３８３は、論理積をセレクタ３９３に供給し、ＡＮＤゲート３８４は、論理積をセレクタ３９４に供給する。
　セレクタ３９１は、パルス信号Ｐ１と、ＡＮＤゲート３８１からの信号とのいずれかを、制御信号ＣＴＲＬ１に従って選択し、入力信号ＣＩＮ１としてカウンタ３３１に供給するものである。
　また、パルス信号Ｐ２は、そのまま入力信号ＣＩＮ２としてカウンタ３３２に入力される。
　セレクタ３９２は、パルス信号Ｐ３と、ＡＮＤゲート３８２からの信号とのいずれかを、制御信号ＣＴＲＬ２に従って選択し、入力信号ＣＩＮ３としてカウンタ３３３に供給するものである。
　また、パルス信号Ｐ４は、そのまま入力信号ＣＩＮ４としてカウンタ３３４に入力される。パルス信号Ｐ５およびＰ６は、そのまま入力信号ＣＩＮ５およびＣＩＮ６としてカウンタ３３５および３３６に入力される。
　セレクタ３９３は、パルス信号Ｐ７と、ＡＮＤゲート３８３からの信号とのいずれかを、制御信号ＣＴＲＬ３に従って選択し、入力信号ＣＩＮ７としてカウンタ３３７に供給するものである。
　また、パルス信号Ｐ８は、そのまま入力信号ＣＩＮ８としてカウンタ３３８に入力される。
　セレクタ３９４は、パルス信号Ｐ９と、ＡＮＤゲート３８４からの信号とのいずれかを、制御信号ＣＴＲＬ４に従って選択し、入力信号ＣＩＮ９としてカウンタ３３９に供給するものである。
　上述の制御信号ＣＴＲＬ１乃至ＣＴＲＬ４は、例えば、画素駆動部２１０から供給される。測距モードにおいて画素駆動部２１０は、制御信号ＣＴＲＬ１乃至ＣＴＲＬ４により、セレクタ３９１乃至３９４を制御して、ＡＮＤゲート３８１乃至３８４からの信号を選択させる。これにより、カウンタ３３１、３３３、３３７および３３９は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４に同期してパルス数を計数することができる。そして、信号処理回路２５０は、それらの計数値に基づいて測距を行う。
　一方、撮像モードにおいて画素駆動部２１０は、制御信号ＣＴＲＬ１乃至ＣＴＲＬ４により、セレクタ３９１乃至３９４を制御して、パルス信号Ｐ１、Ｐ３、Ｐ７およびＰ９を選択させる。これにより、カウンタ３３１、３３３、３３７および３３９は、残りのカウンタととともに、垂直同期信号に同期して、対応する画素のパルス数を計数する。
　図１６は、本技術の第２の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。同図に例示するように、画素ブロック３００ごとに、９画素分のＳＰＡＤが画素チップ２０１に配列される。また、画素ブロック３００ごとに、９個のカウンタが回路チップ２０２に配列される。
　測距モードにおいて９個のカウンタのうち左上、右上、左下および右下のカウンタは、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４に同期してパルス数を計数する。一方、撮像モードにおいて、９個のカウンタのそれぞれは、垂直同期信号に同期して、対応する画素のパルス数を計数する。
　なお、測距にも用いる４個のカウンタを左上、右上、左下および右下に配置しているが、この配置に限定されない。
　図１７は、本技術の第２の実施の形態におけるカウンタの動作を説明するための図である。図におけるカウンタ＃１乃至９は、カウンタ３３１乃至３３９を示す。
　測距モードにおいて、カウンタ＃１、＃３、＃７および＃９は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４（言い換えれば、発光制御信号ＬＣＬＫ）に同期して画素ブロック３００内のパルス数を計数する。一方、残りのカウンタは、計数を停止する。
　撮像モードにおいて、カウンタ＃１乃至９は、垂直同期信号ＶＳＹＮＣに同期して対応する画素のパルス数を計数する。
　同図に例示するように、カウンタ＃１、＃３、＃７および＃９が、発光制御信号ＬＣＬＫに同期して画素ブロック３００内のパルス数を計数する処理と、垂直同期信号ＶＳＹＮＣに同期してパルス数を計数する処理とを順に行う。残りのカウンタ＃２、＃４、＃５、＃６および＃８は、垂直同期信号ＶＳＹＮＣに同期してパルス数を計数する。言い換えれば、撮像に用いる９個のカウンタのうち４個が測距にも用いられる。このため、撮像のための９個のカウンタと、測距のための４個のカウンタとを別々に設ける第１の実施の形態と比較してカウンタ数を削減することができる。
　なお、カウンタ＃１、＃３、＃７および＃９は、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ＃２、＃４、＃５、＃６および＃８は、特許請求の範囲に記載の第２カウンタの一例である。
　このように、本技術の第２の実施の形態では、４個のカウンタが、発光制御信号に同期してパルス数を計数する処理と、垂直同期信号に同期してパルス数を計数する処理とを順に行う。これにより、撮像のためのカウンタと、測距のためのカウンタとを別々に設ける必要がなくなるため、カウンタ数を削減することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、４個のカウンタが位相差が０度乃至２７０度のイネーブル信号に同期してパルス数を計数していたが、この構成では、測距可能な距離の範囲が不足することがある。この第３の実施の形態の固体撮像素子２００は、位相差の範囲を広げることにより、測距可能な距離範囲を拡大した点において第２の実施の形態と異なる。
　図１８は、本技術の第３の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第３の実施の形態の出力先制御回路３７０は、ＯＲゲート３７５乃至３７９と、ＡＮＤゲート３８５乃至３８９と、セレクタ３９５乃至３９９とをさらに備える点において第２の実施の形態と異なる。
　ＯＲゲート３７５乃至３７９と、ＡＮＤゲート３８５乃至３８９と、セレクタ３９５乃至３９９との接続構成は、ＯＲゲート３７１、ＡＮＤゲート３８１およびセレクタ３９１と同様である。
　ＡＮＤゲート３８５乃至３８９には、イネーブル信号ＥＮ５乃至ＥＮ９が入力される。セレクタ３９５乃至３９９には、制御信号ＣＴＲＬ５乃至ＣＲＴＲＬ９が入力される。また、セレクタ３９１乃至３９９は、パルス信号Ｐ１乃至Ｐ９と、ＡＮＤゲート３８１乃至３８９からの信号とのいずれかを選択し、入力信号ＣＩＮ１乃至ＣＩＮ９としてカウンタ３３１乃至３３９に供給する。
　イネーブル信号ＥＮ１乃至ＥＮ９のそれぞれの位相差は、例えば、０度、３６０度、９０度、４５０度、７２０度、６３０度、２７０度、５４０度および１８０度に設定される。イネーブル信号の位相差を０度から７２０度までにすることにより、０度から２７０度までの場合と比較して、信号処理回路２５０が測距可能な距離範囲を拡大することができる。
　信号処理回路２５０は、測距モードにおいて、例えば、０乃至７２０度の位相差により大体の距離を求め、次に、０乃至５４０度などの位相差により、正確な距離を求める。このように位相差の範囲を徐々に狭くすることにより、距離の精度を徐々に向上させることができる。
　図１９は、本技術の第３の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。同図に例示するように、画素ブロック３００ごとに、９画素分のＳＰＡＤが画素チップ２０１に配列される。また、画素ブロック３００ごとに、９個のカウンタが回路チップ２０２に配列される。
　測距モードにおいて９個のカウンタのうち左上、右上、左下および右下のカウンタは、位相差が０度、９０度、１８０度および２７０度のイネーブル信号に同期してパルス数を計数する。また、中央のカウンタは、位相差が７２０度のイネーブル信号に同期してパルス数を計数する。中央の上下左右のカウンタは、位相差が３６０度、５４０度、４５０度および６３０度のイネーブル信号に同期してパルス数を計数する。
　図２０は、本技術の第３の実施の形態におけるカウンタの動作を説明するための図である。測距モードにおいて、カウンタ＃１乃至＃９は、位相差が０度、３６０度、９０度、４５０度、７２０度、６３０度、２７０度、５４０度および１８０度のイネーブル信号に同期して画素ブロック３００内のパルス数を計数する。
　撮像モードにおいて、カウンタ＃１乃至９は、垂直同期信号ＶＳＹＮＣに同期して対応する画素のパルス数を計数する。
　このように、本技術の第３の実施の形態によれば、９個のカウンタが、位相差の異なる９個のイネーブル信号に同期してパルス数を計数するため、４個のイネーブル信号に同期して計数する場合と比較して、測距可能な距離範囲を拡大することができる。
　＜４．第４の実施の形態＞
　上述の第３の実施の形態では、９個のカウンタがイネーブル信号に同期してパルス数を計数していたが、この構成では、測距に用いるデータ数が増大し、信号処理回路２５０の処理量が増大するおそれがある。この第４の実施の形態の固体撮像素子２００は、測距に用いるカウンタの個数を削減した点において第３の実施の形態と異なる。
　図２１は、本技術の第４の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第４の実施の形態の出力先制御回路３７０は、ＯＲゲート３７５、ＡＮＤゲート３８５およびセレクタ３９５が削減された点において第３の実施の形態と異なる。また、パルス信号Ｐ５は、そのまま入力信号ＣＩＮ５としてカウンタ３３５へ供給される。
　図２２は、本技術の第４の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。この第４の実施の形態の画素ブロック３００は、中央のカウンタが測距モードにおいて計数しない点において第３の実施の形態と異なる。
　図２３は、本技術の第４の実施の形態におけるカウンタの動作を説明するための図である。測距モードにおいて、カウンタ＃５以外の８個のカウンタが、イネーブル信号に同期してパルス数を計数する。言い換えれば、測距に用いられるカウンタが９個から８個に削減されている。これにより、測距に用いるデータ数が少なくなり、信号処理回路２５０の処理量が削減される。なお、カウンタ＃５以外のカウンタは、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ＃５は、特許請求の範囲に記載の第２カウンタの一例である。
　このように、本技術の第４の実施の形態によれば、８個のカウンタがイネーブル信号に同期してパルス数を計数するため、９個のカウンタがイネーブル信号に同期して計数する場合と比較して測距に用いるデータ数を削減することができる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、画素ブロックごとに、位相差が０度のイネーブル信号に同期したカウンタを１つのみ配置していたが、この構成では、カウンタからの信号の品質が不足するおそれがある。この第５の実施の形態の固体撮像素子２００は、同一のイネーブル信号に同期したカウンタを２つ以上配置することにより、信号品質を向上させた点において第１の実施の形態と異なる。
　図２４は、本技術の第５の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。画素ブロック３００は、複数のエリアに分割される。例えば、画素ブロック３００は、０度エリア４１０、９０度エリア４２０、１８０度エリア４３０および２７０度エリア４４０に分割される。０度エリア４１０には、カウンタ４１１などの９個のカウンタが３行×３列で配列される。９０度エリア４２０には、カウンタ４２１などの９個のカウンタが３行×３列で配列される。１８０度エリア４３０には、カウンタ４３１などの９個のカウンタが３行×３列で配列される。２７０度エリア４４０には、カウンタ４４１などの９個のカウンタが３行×３列で配列される。なお、エリアごとの画素数は、カウンタ数と同数（すなわち、９）である。
　０度エリア４１０において、左上、右上、左下および右下のカウンタは、位相差が０度のイネーブル信号に同期して０度エリア４１０内のパルス数を計数する。９０度エリア４２０において、左上、右上、左下および右下のカウンタは、位相差が９０度のイネーブル信号に同期して９０度エリア４２０内のパルス数を計数する。１８０度エリア４３０において、左上、右上、左下および右下のカウンタは、位相差が１８０度のイネーブル信号に同期して１８０度エリア４３０内のパルス数を計数する。２７０度エリア４４０において、左上、右上、左下および右下のカウンタは、位相差が２７０度のイネーブル信号に同期して２７０度エリア４４０内のパルス数を計数する。
　また、０度エリア４１０、９０度エリア４２０、１８０度エリア４３０および２７０度エリア４４０のそれぞれには、出力先制御回路３７０が配置される。同図において、出力先制御回路３７０は省略されている。また、第５の実施の形態の出力先制御回路３７０の構成は、図１５に例示した第２の実施の形態のものと同様である。ただし、４個のカウンタには、同一のイネーブル信号が入力される。
　同図に例示するように、画素ブロック３００ごとに、位相差が同一のイネーブル信号に同期して計数した計数値が４つ生成される。信号処理回路２５０は、これらの４つの計数値の合計値や平均値を演算し、演算結果を用いて測距を行う。４つの計数値の合計や平均を演算することにより、信号のノイズを低減して信号品質を向上させることができる。
　なお、各エリアの左上、右上、左下および右下のカウンタは、特許請求の範囲に記載の第１カウンタの一例であり、それ以外のカウンタは、特許請求の範囲に記載の第２カウンタの一例である。また、画素ブロック３００ごとのエリア数は、４つに限定されず、エリアごとの画素数も９画素に限定されない。
　このように、本技術の第５の実施の形態によれば、位相差が同一のイネーブル信号に同期して計数するカウンタを画素ブロック３００ごとに４つ配置するため、それらの計数値の合計や平均の演算により信号のノイズを低減することができる。
　＜６．第６の実施の形態＞
　上述の第５の実施の形態では、エリアごとに９画素を配置していたが、この構成では、画素ブロック３００内の画素数が３６画素となり、デプスマップの解像度が不足するおそれがある。この第６の実施の形態の固体撮像素子２００は、エリアごとの画素数を削減し、デプスマップの解像度を向上させた点において第５の実施の形態と異なる。
　図２５は、本技術の第６の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。第６の実施の形態の画素ブロック３００は、エリアごとの画素数が４画素である点において第５の実施の形態と異なる。４画素は、２行×２列で配列される。また、エリアごとに、イネーブル信号に同期してパルス数を計数するカウンタが左上に配置される。
　同図に例示したように、エリアごとの画素数を４画素に削減したため、エリアごとの画素数が９画素の第５の実施の形態と比較して、デプスマップの解像度を向上させることができる。
　図２６は、本技術の第６の実施の形態における０度エリア４１０の一構成例を示すブロック図である。０度エリア４１０には、画素３１０、３２１乃至３２３と、計数部３３０とが配置される。計数部３３０には、出力先制御回路３７０と、カウンタ４１１乃至４１４と、スイッチ３５１乃至３５４とが配置される。
　画素３１０、３２１乃至３２３は、パルス信号Ｐ１乃至Ｐ４を出力先制御回路３７０に出力する。出力先制御回路３７０は、入力信号ＣＩＮ１乃至ＣＩＮ４をカウンタ４１１乃至４１４に供給する。カウンタ４１１乃至４１４は、計数値ＣＮＴ１乃至ＣＮＴ４をスイッチ３５１乃至３５４に供給する。スイッチ３５１および３５３は、計数値を垂直信号線３０９－ｎに供給し、スイッチ３５２および３５４は、計数値を垂直信号線３０９－（ｎ＋１）に供給する。
　なお、９０度エリア４２０、１８０度エリア４３０および２７０度エリア４４０の構成は、０度エリア４１０と同様である。
　図２７は、本技術の第６の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この出力先制御回路３７０には、ＯＲゲート３７１、ＡＮＤゲート３８１、およびセレクタ３９１が配置される。第６の実施の形態のＯＲゲート３７１、ＡＮＤゲート３８１、およびセレクタ３９１の接続構成は、出力先がカウンタ４１１である点以外は、第２の実施の形態の図１５と同様である。
　また、パルス信号Ｐ２乃至Ｐ４は、そのまま入力信号ＣＩＮ２乃至ＣＩＮ４としてカウンタ４１２乃至４１４に供給される。
　なお、カウンタ４１１は、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ４１２乃至４１４は、特許請求の範囲に記載の第２カウンタの一例である。
　このように、本技術の第６の実施の形態によれば、エリアごとの画素数を４画素に削減したため、エリアごとの画素数が９画素の場合よりも、デプスマップの解像度を向上させることができる。
　＜７．第７の実施の形態＞
　上述の第６の実施の形態では、画素ブロックごとに４エリアを配置していたが、この構成では、画素ブロック３００内の画素数が１６画素となり、デプスマップの解像度が不足するおそれがある。この第７の実施の形態の固体撮像素子２００は、エリア数を削減し、デプスマップの解像度を向上させた点において第６の実施の形態と異なる。
　図２８は、本技術の第７の実施の形態における画素ブロックに設けられる回路の一例を示す図である。第７の実施の形態の画素ブロック３００は、エリア数が２つである点において第６の実施の形態と異なる。例えば、画素ブロック３００内に、０度エリア４１０と１８０度エリア４３０とが設けられる。画素ブロック３００内のエリア数を４つから２つに削減することにより、画素ブロック３００のサイズを小さくすることができる。これにより、デプスマップの解像度を向上させることができる。
　図２９は、本技術の第７の実施の形態における固体撮像素子２００の測距モードの動作の一例を示すタイミングチャートである。タイミングＴ０において、測距モードが設定されたものとする。プロセッサ１４０は、垂直同期信号ＶＳＹＮＣの供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。
　また、タイミングＴ１において、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を開始し、その信号に同期して発光部１１０が発光する。また、タイミングＴ１において、画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が０度のイネーブル信号ＥＮ１の供給を開始する。そして、タイミングＴ２において、画素駆動部２１０は、位相差が１８０度のイネーブル信号ＥＮ２の供給を開始する。
　そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値に基づいて、画素ブロック３００ごとに距離を求める。
　このように、本技術の第７の実施の形態によれば、画素ブロック３００ごとのエリア数を２つに削減したため、エリア数が４つの場合よりも、デプスマップの解像度を向上させることができる。
　＜８．第８の実施の形態＞
　上述の第７の実施の形態では、位相差が０度および１８０度のイネーブル信号に同期してカウンタがパルス数を計数していたが、９０度および２７０度のイネーブル信号を用いないため、測距精度が低下し、測距可能な距離範囲が狭くなってしまう。この第８の実施の形態の固体撮像素子２００は、位相差が０度および１８０度のイネーブル信号に加えて、位相差が９０度および２７０度のイネーブル信号にも同期してパルス数を計数する点において第７の実施の形態と異なる。
　図３０は、本技術の第８の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。この第８の実施の形態の画素ブロック３００は、複数のエリアに分割されず、カウンタ４１１乃至４１４が配置される点において第７の実施の形態と異なる。また、画素ブロック３００には、４画素が配置される。同図においてカウンタ以外の回路（出力先制御回路３７０など）は、省略されている。
　また、測距モードにおいて、カウンタ４１１および４１４は、０度および１８０度のイネーブル信号に同期してパルス数を計数し、カウンタ４１２および４１３は、９０度および２７０度のイネーブル信号に同期してパルス数を計数する。
　図３１は、本技術の第８の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第８の実施の形態の出力先制御回路３７０には、ＯＲゲート３７１乃至３７４と、ＡＮＤゲート３８１乃至３８４と、セレクタ３９１乃至３９４とが設けられる。
　ＯＲゲート３７１乃至３７４と、ＡＮＤゲート３８１乃至３８４と、セレクタ３９１乃至３９４との接続構成は、第２の実施の形態のＯＲゲート３７１、ＡＮＤゲート３８１およびセレクタ３９１と同様である。
　ＡＮＤゲート３８１乃至３８４には、イネーブル信号ＥＮ１乃至ＥＮ４が入力される。セレクタ３９１乃至３９４には、制御信号ＣＴＲＬ１乃至ＣＴＲＬ４が入力される。また、セレクタ３９１乃至３９４は、パルス信号Ｐ１乃至Ｐ４と、ＡＮＤゲート３８１乃至３８４からの信号とのいずれかを選択し、入力信号ＣＩＮ１乃至ＣＩＮ４としてカウンタ４１１乃至４１４に供給する。
　図３２は、本技術の第８の実施の形態における固体撮像素子２００の測距モードの動作の一例を示すタイミングチャートである。タイミングＴ０において、測距モードが設定されたものとする。プロセッサ１４０は、垂直同期信号ＶＳＹＮＣの供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。
　また、タイミングＴ１において、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を開始し、その信号に同期して発光部１１０が発光する。また、タイミングＴ１において、画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が０度のイネーブル信号ＥＮ１およいＥＮ４の供給を開始する。そして、タイミングＴ２において、画素駆動部２１０は、位相差が９０度のイネーブル信号ＥＮ２およびＥＮ３の供給を開始する。
　そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値を保持しておく。
　次にタイミングＴ３において、垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。タイミングＴ４において画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が１８０度のイネーブル信号ＥＮ１およびＥＮ４の供給を開始する。そして、タイミングＴ５において、画素駆動部２１０は、位相差が２７０度のイネーブル信号ＥＮ２およびＥＮ３の供給を開始する。
　そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、保持した計数値と、出力された計数値とに基づいて、画素ブロック３００ごとに距離を求める。
　同図に例示するように、画素駆動部２１０は、複数の設定値（９０度および２７０度など）のそれぞれが順に位相差に設定されるイネーブル信号を供給する。このように位相差を切り替えることにより、カウンタは、位相差が０度および１８０度のイネーブル信号に加えて、位相差が９０度および２７０度のイネーブル信号にも同期してパルス数を計数することができる。位相差の個数が多くなるため、測距精度を向上させ、測距可能な距離範囲を拡大することができる。
　なお、測距モードにおいて、４つのカウンタの全てが計数を行っているが、測距モードにおいて２つのカウンタ（カウンタ４１１および４１２など）のみが計数を行うこともできる。測距モード時に動作するカウンタ数を削減することにより、消費電力を削減することができる。
　このように、本技術の第８の実施の形態によれば、画素駆動部２１０が、複数の設定値のそれぞれを順に位相差に設定するため、位相差の個数を多くすることができる。これにより、測距精度を向上させ、測距可能な距離範囲を拡大することができる。
　＜９．第９の実施の形態＞
　上述の第８の実施の形態では、画素駆動部２１０が、位相差を切り替えていたが、この構成では、位相差を固定する場合と比較して測距の間隔が長くなり、デプスマップのフレームレートが低下してしまう。この第９の実施の形態の固体撮像素子２００は、位相差を固定してデプスマップのフレームレートを向上させた点において第８の実施の形態と異なる。
　図３３は、本技術の第９の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。この第９の実施の形態の画素ブロック３００には、第８の実施の形態と同様に、カウンタ４１１乃至４１４が配置される
　ただし、測距モードにおいてイネーブル信号ＥＮ１乃至ＥＮ４の位相差は、固定される。例えば、カウンタ４１１は、０度のイネーブル信号ＥＮ１に同期してパルス数を計数し、カウンタ４１２は、９０度のイネーブル信号ＥＮ２に同期してパルス数を計数する。カウンタ４１３は、１８０度のイネーブル信号ＥＮ３に同期してパルス数を計数し、カウンタ４１４は、２７０度のイネーブル信号ＥＮ４に同期してパルス数を計数する。位相差を固定したため、第８の実施の形態と比較して、デプスマップのフレームレートが向上する。
　このように、本技術の第９の実施の形態によれば、画素駆動部２１０が、イネーブル信号の位相差を固定するため、位相差を切り替える場合と比較してデプスマップのフレームレートを向上させることができる。
　＜１０．第１０の実施の形態＞
　上述の第９の実施の形態では、カウンタは、測距モードにおいて４画素の単位でパルス数を計数していたが、計数対象の画素数が増大するほど、計数値の最大値が大きくなり、計数値のデータサイズが大きくなってしまう。この第１０の実施の形態の固体撮像素子２００は、計数対象の画素数を４画素と２画素とに切り替え、データサイズを可変にする点において第９の実施の形態と異なる。
　図３４は、本技術の第１０の実施の形態における画素ブロックに設けられる回路の一例を示す図である。第１０の実施の形態の画素ブロック３００内には、例えば、０度エリア４１０と１８０度エリア４３０とが設けられる。また、エリアごとに、４画素と出力先制御回路３７０とが設けられる。測距モードにおいてエリア内の４つのカウンタのうち１つはイネーブル信号に同期してパルス数を計数する。撮像モードにおいて、４つのカウンタのそれぞれは、垂直同期信号に同期してパルス数を計数する。
　図３５は、本技術の第１０の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第１０の実施の形態の出力先制御回路３７０には、ＯＲゲート３７１、３７２および３８０と、ＡＮＤゲート３８１および３８２と、セレクタ３９１とが設けられる。
　ＯＲゲート３７１は、パルス信号Ｐ１およびＰ２の論理和をＡＮＤゲート３８１に供給する。ＯＲゲート３７２は、パルス信号Ｐ３およびＰ４の論理和をＡＮＤゲート３８２に供給する。
　ＡＮＤゲート３８１は、ＯＲゲート３７１からの信号とイネーブル信号ＥＮ１ａとの論理積をＯＲゲート３８０に供給する。ＡＮＤゲート３８２は、ＯＲゲート３７２からの信号とイネーブル信号ＥＮ１ｂとの論理積をＯＲゲート３８０に供給する。
　ＯＲゲート３８０は、ＡＮＤゲート３８１および３８２のそれぞれからの信号の論理和をセレクタ３９１に出力する。
　セレクタ３９１は、パルス信号Ｐ１と、ＯＲゲート３８０からの信号とのいずれかを、制御信号ＣＴＲＬに従って選択し、入力信号ＣＩＮ１としてカウンタ４１１に供給する。
　また、パルス信号Ｐ２乃至Ｐ４は、そのまま入力信号ＣＩＮ２乃至ＣＩＮ４として、カウンタ４１２乃至４１４に供給される。
　なお、カウンタ４１１は、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ４１２乃至４１４は、特許請求の範囲に記載の第２カウンタの一例である。
　図３６は、本技術の第１０の実施の形態における画素駆動部２１０の動作を説明するための図である。同図の制御は、０度エリア４１０に対応するものである。第１０の実施の形態において、測距モードには、４画素加算モードと２画素加算モードとのいずれかが設定される。４画素加算モードは、パルス信号の計数対象の画素数を４画素とするモードであり、２画素加算モードは、パルス信号の計数対象の画素数を２画素とするモードである。
　４画素加算モードにおいて、画素駆動部２１０は、位相差が０度の信号をイネーブル信号ＥＮ１ａおよびＥＮ１ｂとして供給する。２画素加算モードにおいて、画素駆動部２１０は、位相差が０度の信号をイネーブル信号ＥＮ１ａおよびＥＮ１ｂの一方として供給する。イネーブル信号ＥＮ１ａおよびＥＮ１ｂの他方は供給されない。また、撮像モードにおいて、イネーブル信号は供給されない。なお、１８０度エリア４３０の制御は、位相差が１８０度に設定される点以外は、同図に例示した０度エリア４１０と同様である。
　また、画素駆動部２１０は、測距モードにおいて、制御信号ＣＴＲＬを「０」にしてセレクタ３９１にＯＲゲート３８０からの信号を選択させる。一方、撮像モードにおいて画素駆動部２１０は、制御信号ＣＴＲＬを「１」にしてセレクタ３９１にパルス信号Ｐ１を選択させる。
　図３５および図３６に例示した構成により、出力先制御回路３７０は、画素ブロック３００内の４画素のうち設定された個数（４画素または２画素）の画素のそれぞれのパルス信号の論理和を出力し、カウンタ４１１は、その論理和を計数する。これにより、計数対象の画素数を４画素と２画素とに切り替え、計数値のデータサイズを変更することができる。
　なお、画素駆動部２１０は、計数対象の画素数を４画素と２画素とに切り替えているが、この構成に限定されず、例えば、１画素や３画素などに切り替えることもできる。
　このように、本技術の第１０の実施の形態によれば、画素ブロック３００内の４画素のうち設定された個数の画素のパルス信号の論理和をカウンタ４１１が計数するため、計数値のデータサイズを変更することができる。
　＜１１．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３８は、撮像部１２０３１の設置位置の例を示す図である。
　図３８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図３の固体撮像素子２００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、センサを追加せずに測距することができるため、車両制御システムの消費電力やコストを低減することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
　それぞれが光電変換によりパルス信号を生成する所定数の画素と、
　前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と
を具備するセンシングシステム。
（２）前記計数部は、
　前記発光制御信号に同期して前記パルス信号を計数する第１カウンタと、
　前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
を備える前記（１）記載のセンシングシステム。
（３）前記計数部は、
　前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う第１カウンタと、
　前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
を備える前記（１）記載のセンシングシステム。
（４）前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
　前記計数部は、前記画素ブロックごとに設けられ、
　前記第１カウンタは、前記画素ブロック内の前記画素のそれぞれからの前記パルス信号の論理和を計数する
前記（３）記載のセンシングシステム。
（５）前記画素ブロックごとに４個の前記第１カウンタと５個の前記第２カウンタとが配置される前記（４）記載のセンシングシステム。
（６）前記画素ブロックごとに８個の前記第１カウンタと１個の前記第２カウンタとが配置される前記（４）記載のセンシングシステム。
（７）前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
　前記複数の画素ブロックのそれぞれは、複数のエリアに分割され、
　前記計数部は、前記複数のエリアのそれぞれに対応付けて設けられ、
　前記第１カウンタは、対応するエリア内の前記画素のそれぞれからの前記パルス信号の論理和を計数する
前記（３）記載のセンシングシステム。
（８）前記複数のエリアのそれぞれには、９個の前記画素が配置される
前記（７）記載のセンシングシステム。
（９）前記複数のエリアのそれぞれには、４個の前記画素が配置される
前記（７）記載のセンシングシステム。
（１０）前記画素ブロック内には、４つのエリアが配置される
前記（７）から（９）のいずれかに記載のセンシングシステム。
（１１）前記画素ブロック内には、２つのエリアが配置される
前記（７）から（９）のいずれかに記載のセンシングシステム。
（１２）前記第１カウンタは、前記画素ブロック内の前記画素のうち設定された個数の画素のそれぞれの前記パルス信号の論理和を計数する
前記（７）から（９）のいずれかに記載のセンシングシステム。
（１３）前記計数部は、前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う所定数のカウンタを備える
前記（１）記載のセンシングシステム。
（１４）前記計数部は、９個の前記カウンタを備える
前記（１３）記載のセンシングシステム。
（１５）前記計数部は、４個の前記カウンタを備える
前記（１３）記載のセンシングシステム。
（１６）前記発光制御信号との位相差として複数の設定値のそれぞれが順に設定されるイネーブル信号を供給する画素駆動部をさらに具備し、
　前記カウンタは、前記イネーブル信号に同期して前記パルス信号を供給する
前記（１３）から（１５）のいずれかに記載のセンシングシステム。
（１７）所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
　それぞれが光電変換によりパルス信号を生成する所定数の画素と、
　前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と、
　前記計数部の計数値に基づいて物体までの距離を測定する測距部と
を具備する測距システム。
（１８）発光制御信号に基づいて照射光を照射する発光部と、
　それぞれが光電変換によりパルス信号を生成する複数の画素と、
　前記複数の画素のパルス信号の個数を計数する計数部と、
を具備し、
　前記計数部は複数のカウンタと、前記複数の画素と複数のカウンタの間に接続され、前記複数の画素から出力された複数のパルス信号を受け、任意の複数のカウンタに前記複数のパルス信号を振り分ける出力先制御回路とを備え、
　前記複数の画素は、第一のチップに設けられ、
　前記出力制御回路および前記計数部は、第二のチップに設けられる
センシングシステム。
　１００　測距システム
　１０５　マイクロレンズ
　１１０　発光部
　１２０　ドライバ
　１３０　コントローラ
　１４０　プロセッサ
　１５０　アプリケーションプロセッサ
　２００　固体撮像素子
　２０１　画素チップ
　２０２　回路チップ
　２１０　画素駆動部
　２２０　垂直走査回路
　２３０　画素アレイ部
　２４０　カラムバッファ
　２５０　信号処理回路
　２６０　出力部
　３００　画素ブロック
　３１０、３２１～３２８　画素
　３１１　ＳＰＡＤ
　３１２　抵抗
　３１３　インバータ
　３３０　計数部
　３３１～３４３、４１１～４１４、４２１、４３１、４４１　カウンタ
　３５１～３６３　スイッチ
　３７０　出力先制御回路
　３７１～３８０　ＯＲ（論理和）ゲート
　３８１～３８９　ＡＮＤ（論理積）ゲート
　３９１～３９９　セレクタ
　４１０　０度エリア
　４２０　９０度エリア
　４３０　１８０度エリア
　４４０　２７０度エリア
　１２０３１　撮像部

Claims (18)

  1. 　所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
    　それぞれが光電変換によりパルス信号を生成する所定数の画素と、
    　前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と
    を具備するセンシングシステム。
  2. 　前記計数部は、
    　前記発光制御信号に同期して前記パルス信号を計数する第１カウンタと、
    　前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
    を備える請求項１記載のセンシングシステム。
  3. 　前記計数部は、
    　前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う第１カウンタと、
    　前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
    を備える請求項１記載のセンシングシステム。
  4. 　前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
    　前記計数部は、前記画素ブロックごとに設けられ、
    　前記第１カウンタは、前記画素ブロック内の前記画素のそれぞれからの前記パルス信号の論理和を計数する
    請求項３記載のセンシングシステム。
  5. 　前記画素ブロックごとに４個の前記第１カウンタと５個の前記第２カウンタとが配置される請求項４記載のセンシングシステム。
  6. 　前記画素ブロックごとに８個の前記第１カウンタと１個の前記第２カウンタとが配置される請求項４記載のセンシングシステム。
  7. 　前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
    　前記複数の画素ブロックのそれぞれは、複数のエリアに分割され、
    　前記計数部は、前記複数のエリアのそれぞれに対応付けて設けられ、
    　前記第１カウンタは、対応するエリア内の前記画素のそれぞれからの前記パルス信号の論理和を計数する
    請求項３記載のセンシングシステム。
  8. 　前記複数のエリアのそれぞれには、９個の前記画素が配置される
    請求項７記載のセンシングシステム。
  9. 　前記複数のエリアのそれぞれには、４個の前記画素が配置される
    請求項７記載のセンシングシステム。
  10. 　前記画素ブロック内には、４つのエリアが配置される
    請求項７記載のセンシングシステム。
  11. 　前記画素ブロック内には、２つのエリアが配置される
    請求項７記載のセンシングシステム。
  12. 　前記第１カウンタは、前記エリア内の前記画素のうち設定された個数の画素のそれぞれの前記パルス信号の論理和を計数する
    請求項７記載のセンシングシステム。
  13. 　前記計数部は、前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う所定数のカウンタを備える
    請求項１記載のセンシングシステム。
  14. 　前記計数部は、９個の前記カウンタを備える
    請求項１３記載のセンシングシステム。
  15. 　前記計数部は、４個の前記カウンタを備える
    請求項１３記載のセンシングシステム。
  16. 　前記発光制御信号との位相差として複数の設定値のそれぞれが順に設定されるイネーブル信号を供給する画素駆動部をさらに具備し、
    　前記カウンタは、前記イネーブル信号に同期して前記パルス信号を供給する
    請求項１３記載のセンシングシステム。
  17. 　所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
    　それぞれが光電変換によりパルス信号を生成する所定数の画素と、
    　前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と、
    　前記計数部の計数値に基づいて物体までの距離を測定する測距部と
    を具備する測距システム。
  18. 　発光制御信号に基づいて照射光を照射する発光部と、
    　それぞれが光電変換によりパルス信号を生成する複数の画素と、
    　前記複数の画素のパルス信号の個数を計数する計数部と、
    を具備し、
    　前記計数部は複数のカウンタと、前記複数の画素と複数のカウンタの間に接続され、前記複数の画素から出力された複数のパルス信号を受け、任意の複数のカウンタに前記複数のパルス信号を振り分ける出力先制御回路とを備え、
    　前記複数の画素は、第一のチップに設けられ、
    　前記出力制御回路および前記計数部は、第ニのチップに設けられる
    センシングシステム。
PCT/JP2020/042717 2020-02-18 2020-11-17 センシングシステム、および、測距システム WO2021166344A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/760,391 US20230062562A1 (en) 2020-02-18 2020-11-17 Sensing system and distance measuring system
JP2022501630A JPWO2021166344A1 (ja) 2020-02-18 2020-11-17
CN202080096392.XA CN115136026A (zh) 2020-02-18 2020-11-17 感测系统和距离测量系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-024820 2020-02-18
JP2020024820 2020-02-18

Publications (1)

Publication Number Publication Date
WO2021166344A1 true WO2021166344A1 (ja) 2021-08-26

Family

ID=77390603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042717 WO2021166344A1 (ja) 2020-02-18 2020-11-17 センシングシステム、および、測距システム

Country Status (4)

Country Link
US (1) US20230062562A1 (ja)
JP (1) JPWO2021166344A1 (ja)
CN (1) CN115136026A (ja)
WO (1) WO2021166344A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124271A (ja) * 2017-01-31 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像システム
WO2018221048A1 (ja) * 2017-05-31 2018-12-06 シャープ株式会社 ３次元画像素子および光レーダー装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5374731B2 (ja) * 2008-11-26 2013-12-25 独立行政法人日本原子力研究開発機構 レーザー駆動粒子線照射装置およびレーザー駆動粒子線照射装置の動作方法
JP2018182403A (ja) * 2017-04-05 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 電子機器、および、電子機器の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124271A (ja) * 2017-01-31 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像システム
WO2018221048A1 (ja) * 2017-05-31 2018-12-06 シャープ株式会社 ３次元画像素子および光レーダー装置

Also Published As

Publication number Publication date
US20230062562A1 (en) 2023-03-02
JPWO2021166344A1 (ja) 2021-08-26
CN115136026A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
WO2018042887A1 (ja) 測距装置、および、測距装置の制御方法
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
JP7044107B2 (ja) 光センサ、及び、電子機器
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
US11703573B2 (en) Distance measurement device and distance measurement method
US10996320B2 (en) Electronic device and control method of electronic device
US11454723B2 (en) Distance measuring device and distance measuring device control method
JP2022036339A (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021059682A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2020158378A1 (ja) 測距装置、測距方法、並びにプログラム
WO2021166344A1 (ja) センシングシステム、および、測距システム
WO2020255855A1 (ja) 測距装置および測距方法
WO2021070504A1 (ja) 受光素子及び測距装置
WO2021235033A1 (ja) センシングシステム
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
US20220413144A1 (en) Signal processing device, signal processing method, and distance measurement device
JP2020122774A (ja) 測距装置、測距方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920710

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501630

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20920710

Country of ref document: EP

Kind code of ref document: A1