WO2020195046A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2020195046A1
WO2020195046A1 PCT/JP2020/001700 JP2020001700W WO2020195046A1 WO 2020195046 A1 WO2020195046 A1 WO 2020195046A1 JP 2020001700 W JP2020001700 W JP 2020001700W WO 2020195046 A1 WO2020195046 A1 WO 2020195046A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
solid
period
pixels
Prior art date
Application number
PCT/JP2020/001700
Other languages
English (en)
French (fr)
Inventor
基範 石井
三佳 森
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN202080020889.3A priority Critical patent/CN113574408A/zh
Priority to JP2021508122A priority patent/JP7199016B2/ja
Publication of WO2020195046A1 publication Critical patent/WO2020195046A1/ja
Priority to US17/482,253 priority patent/US20220006941A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74Circuitry for scanning or addressing the pixel array

Definitions

  • the present disclosure relates to a solid-state image sensor that can be used for distance measurement and camera image generation.
  • solid-state image sensors have focused on capturing images with high sensitivity and high definition, but in recent years, devices that also have the function of acquiring distance information from solid-state image sensors have appeared. If distance information is added to the image, the three-dimensional information of the image pickup target of the solid-state image sensor can be perceived. For example, if a person is photographed, the gesture can be detected three-dimensionally, so that it can be used as an input device for various devices. Further, for example, if it is mounted on a car, it can recognize the distance to an object / person existing around the car, so that it can be applied to collision prevention and automatic driving.
  • Patent Document 1 discloses a technique for obtaining three-dimensional information by applying the TOF method to a solid-state image sensor.
  • Patent Document 1 the difference between the light reflected by an object as the projected light (optical pulse signal) and the background light obtained with the projected light turned off is obtained, and the phase difference of the above difference due to a plurality of transfer gates is obtained. It is used to obtain three-dimensional information.
  • Patent Document 1 it is necessary to secure the intensity of the projected light above a certain level with respect to the intensity of the background light. In particular, it is necessary to increase the intensity of the projected light in the outdoors where the background light is strong or when the object is at a long distance.
  • the intensity of the projected light can be increased by reducing the diffusion angle of the projected light (for example, making the projected light into a line extending in the horizontal direction).
  • a signal for distance measurement is generated from the pixel corresponding to the irradiation position of the projected light in the pixel area, that is, the pixel in the predetermined row, but the other pixels are for distance measurement. Signal is not generated. Therefore, all the pixels cannot be used for distance measurement at the same timing, and the utilization efficiency of the solid-state image sensor becomes low.
  • the present disclosure has been made in view of this point, and an object thereof is to create a clear camera image while efficiently using pixels in a solid-state image sensor that can be used for distance measurement and camera image generation.
  • An object of the present invention is to provide a solid-state image pickup device capable of securing a required exposure time.
  • the solid-state imaging device includes the plurality of pixels arranged in a matrix, the plurality of pixels during the scanning period for exposing the plurality of pixels and reading the pixel signals from the plurality of pixels.
  • a distance measuring address circuit that selects pixels included in a predetermined number of rows among the pixels as the first pixel used for distance measurement, and pixels other than the first pixel among the plurality of pixels during the scanning period.
  • a camera address circuit selected as a second pixel used for creating a camera image, a first drive circuit for driving the first pixel, and a second drive circuit for driving the second pixel are provided.
  • the first drive circuit performs simultaneous exposure of the first pixel during the light irradiation period included in the scan period, while reading a pixel signal from the first pixel during the read period after the light irradiation period. Do.
  • the second drive circuit reads out a pixel signal from the second pixel during a period including the light irradiation period in the scan period.
  • a solid-state image sensor that can be used for distance measurement and camera image generation, it is possible to secure the exposure time required to create a clear camera image while efficiently using pixels.
  • FIG. 1 is a schematic view showing a configuration example of a distance measuring device according to the first embodiment
  • FIG. 2 is a circuit diagram showing a configuration example of a solid-state imaging device according to the first embodiment
  • FIG. 3 is a circuit diagram showing a configuration example of the solid-state imaging device according to the first embodiment. It is a circuit diagram which shows the structural example of the pixel which concerns on a form. Note that FIG. 2 is shown with a part omitted in order to facilitate the explanation of the solid-state image sensor 1.
  • the distance measuring device includes a solid-state imaging device 1, a signal processing device 2, a computer 3, and a light source 4.
  • the solid-state image sensor 1 includes a pixel array 11, a ranging address circuit 12, a camera address circuit 13, a multiplexer 14, a global shutter circuit 15, a column circuit 16, a horizontal shift register 17, and an output amplifier 18. Be prepared.
  • Pixels 100 are arranged in a matrix in the pixel array 11. Each pixel 100 is exposed according to the input exposure signal TRN. Further, each pixel 100 outputs a pixel signal indicating an exposure result to the vertical signal line 121 according to the input selection signal SEL. In the following description, it is assumed that the pixel array 11 includes pixels 100 in N rows (N is an integer).
  • the pixel array 11 includes a first pixel area 110 and a second pixel area 111.
  • the first pixel region 110 includes a first pixel used for distance measurement.
  • the second pixel region 111 includes a second pixel used for a camera image.
  • the first pixel region 110 is a portion corresponding to the irradiation position of the projected light in the light source 4, and includes a plurality of rows of pixels 100.
  • the ranging address circuit 12 is, for example, a circuit that generates a pulse signal, and selects a plurality of rows of pixels 100 as the first pixel from the pixel array 11. Specifically, the ranging address circuit 12 generates a first drive signal TOF indicating the drive timing of the selected first pixel, and outputs the first drive signal TOF to the multiplexer 14.
  • the camera address circuit 13 is, for example, a circuit that generates a pulse signal, and selects pixels other than the pixel 100 selected as the first pixel from the pixel array 11 as the second pixel. Specifically, the camera address circuit 13 selects pixels 100 other than the first pixel selected by the ranging address circuit 12 as the second pixel, and generates a second drive signal BRT indicating the drive timing of the second pixel. , Output to the multiplexer 14.
  • the multiplexer 14 includes a plurality of drive signal generation units 141.
  • the drive signal generation unit 141 is provided for each row of the pixel array 11.
  • the drive signal generation unit 141 receives inputs of the distance measurement exposure signal TRN_TOF, the camera exposure signal TRN_BRT, the distance measurement reset signal RST_TOF, the camera reset signal RST_BRT, the distance measurement selection signal SEL_TOF, and the camera selection signal SEL_BRT from the outside. Further, the drive signal generation unit 141 outputs the exposure signal TRN to the global shutter circuit 15, and outputs the first reset signal RST and the selection signal SEL to the corresponding pixel 100.
  • the multiplexer 14 outputs a second reset signal OVF and a count signal CNT for each row of the pixel 100.
  • the first drive signal, the second drive signal, the exposure signal, the first reset signal, the second reset signal, the selection signal, and the count signal corresponding to the pixel on the kth row are driven first.
  • Signal TOF (k), 2nd drive signal BRT (k), exposure signal TRN (k), 1st reset signal RST (k), 2nd reset signal OVF (k), selection signal SEL (k), count signal CNT Let it be (k).
  • the global shutter circuit 15 is provided for each row of pixels 100, for example, and when an exposure signal TRN is received from the corresponding drive signal generation unit 141, the pixels 100 arranged in the row direction are simultaneously exposed. For example, when the global shutter circuit 15 receives the exposure signal TRN (k), the global shutter circuit 15 outputs the exposure signal TRN (k) so that the pixels 100 arranged in the k-th row perform simultaneous exposure.
  • the global shutter circuit 15 may not be provided, and the multiplexer 14 may directly output the exposure signal TRN to the pixel 100.
  • the column circuit 16 receives a pixel signal output from each pixel 100 via the vertical signal line 121.
  • the column circuit 16 performs CDS (Correlated Double Sampling) processing for removing different offset components in each pixel 100, and outputs the output to the horizontal shift register 17.
  • CDS Correlated Double Sampling
  • the horizontal shift register 17 sequentially transfers the signals output from the column circuit 16 to the output amplifier 18.
  • the output amplifier 18 amplifies the signals sequentially input from the horizontal shift register 17 and outputs the signals to the signal processing device 2.
  • the signal processing device 2 includes an analog front end 21 and a logic memory 22.
  • the analog front end 21 converts the signal output from the output amplifier 18 of the solid-state image sensor 1 from the analog format to the digital format. Further, the analog front end 21 outputs a signal converted into a digital format to the logic memory 22. The analog front end 21 may change the order of the signals output from the output amplifier 18 as needed.
  • the logic memory 22 generates a distance signal and a camera image signal based on the signal received from the analog front end 21.
  • the generated distance signal and camera image signal are output to the computer 3.
  • the computer 3 is, for example, a computer or the like, and constitutes three-dimensional information around the solid-state image sensor 1 based on a distance signal input from the logic memory 22. Further, the computer 3 generates a camera image based on the camera image signal input from the logic memory 22.
  • the signal processing device 2 may configure three-dimensional information around the solid-state image sensor 1 based on the distance signal and the camera image signal, and may generate a camera image.
  • the light source 4 projects light at a place where three-dimensional information is desired to be obtained.
  • the light source 4 includes a scanning mechanism 41 and outputs line-shaped pulsed light extending in the row direction. The output time and width of the pulsed light are controlled by the logic memory 22.
  • the pixel 100 includes an avalanche photodiode 101, an overflow transistor 102, a transfer transistor 103, a reset transistor 105, a count transistor 106, a memory capacitor 107, an amplification transistor 108, and a selection transistor. It is equipped with 109.
  • the avalanche photodiode 101 performs photoelectric conversion that converts incident light into a signal charge.
  • the avalanche photodiode 101 amplifies the generated signal charge several times to several tens of times.
  • the overflow transistor 102 receives the second reset signal OVF at the gate, and when the second reset signal OVF is at a high level, supplies the reset voltage VRST to the avalanche photodiode 101. That is, when the second reset signal OVF is at a high level, the voltage in the avalanche photodiode 101 is reset to the reset voltage VRST.
  • the transfer gate transistor 103 receives an exposure signal TRN at the gate, and when the exposure signal TRN is at a high level, transfers the signal charge in the avalanche photodiode 101 to the floating diffusion FD. That is, when the exposure signal TRN is at a high level, the pixel 100 is exposed.
  • the reset transistor 105 receives the first reset signal RST at the gate, and when the first reset signal RST is at a high level, supplies the reset voltage VRST to the floating diffusion FD. That is, when the first reset signal RST is at a high level, the floating diffusion FD is reset to the reset voltage VRST.
  • the count transistor 106 receives the count signal CNT at the gate, and when the count signal CNT is at a high level, transfers the signal charge accumulated in the floating diffusion FD to the memory capacitor 107.
  • the memory capacitor 107 stores the signal charge transferred from the count transistor 106. That is, a signal charge based on the exposure result is accumulated in the memory capacitor 107.
  • the amplification transistor 108 amplifies the voltage corresponding to the signal charge accumulated in the floating diffusion FD and outputs it to the selection transistor 109.
  • the selection transistor 109 receives the selection signal SEL at the gate, and when the selection signal SEL is at a high level, outputs a pixel signal corresponding to the voltage received from the amplification transistor 108 to the vertical signal line 121. That is, when the selection signal SEL is at a high level, the pixel signal is read from the pixel 100.
  • the multiplexer 14 includes a drive signal generation unit 141 for each row of the pixel 100.
  • the drive signal generation unit 141 includes AND gates 201 to 206 and OR gates 207 to 209.
  • the AND gate 201 calculates the logical product of the first drive signal TOF and the distance measurement exposure signal TRN_TOF, and outputs the output signal A to the OR gate 207.
  • the AND gate 202 calculates the logical product of the second drive signal BRT and the camera exposure signal TRN_BRT, and outputs the output signal B to the OR gate 207.
  • the OR gate 207 calculates the logical sum of the output signal A and the output signal B, and outputs the exposure signal TRN to the pixel 100.
  • the exposure signal TRN becomes a high level and the pixel 100 exposes.
  • the AND gate 203 calculates the logical product of the first drive signal TOF and the distance measurement reset signal RST_TOF, and outputs the output signal C to the OR gate 208.
  • the AND gate 204 calculates the logical product of the second drive signal BRT and the camera reset signal RST_BRT, and outputs the output signal D to the OR gate 208.
  • the OR gate 208 calculates the logical sum of the output signal A and the output signal B, and outputs the first reset signal RST to the pixel 100. That is, when the first drive signal TOF and the distance measurement reset signal RST_TOF are at a high level, or when the second drive signal BRT and the camera reset signal RST_BRT are at a high level, the first reset signal RST becomes a high level and the pixels.
  • the floating diffusion FD at 100 is reset to the reset voltage VRST.
  • the AND gate 205 calculates the logical product of the first drive signal TOF and the distance measurement selection signal SEL_TOF, and outputs the output signal E to the OR gate 209.
  • the AND gate 206 calculates the logical product of the second drive signal BRT and the camera selection signal SEL_BRT, and outputs the output signal F to the OR gate 209.
  • the OR gate 209 calculates the logical sum of the output signal E and the output signal F, and outputs the selection signal SEL to the pixel 100.
  • the selection signal SEL becomes a high level and the pixel 100 is a pixel signal. Is read.
  • FIG. 4 shows an operation sequence of the solid-state image sensor. Specifically, FIG. 4 shows the operation of the solid-state image sensor 1 during the light source scan periods ⁇ and ⁇ + 1.
  • the solid-state image sensor 1 operates in M light source scan periods including the light source scan periods ⁇ and ⁇ + 1 in order to generate a distance image and a camera image for one frame.
  • the distance measuring address circuit 12 selects the pixel 100 in the ⁇ row corresponding to the irradiation position of the light source 4 as the first pixel.
  • the camera address circuit 13 selects pixels 100 other than the first pixel as the second pixel.
  • the pixel 100 in the k to k + ⁇ rows is selected as the first pixel, and the pixel 100 in the m to m + ⁇ , l to l + ⁇ rows is selected as the second pixel in the pixel array 11.
  • the pixels in the k + ⁇ + 1 to k + 2 ⁇ rows are selected as the first pixels in the pixel array 11.
  • each light source scan period is divided into a light irradiation period and a readout period.
  • the ranging address circuit 12 sets the first drive signals TOF (k) to TOF (k + ⁇ ) to a high level. After that, the ranging exposure signal TRN_TOF becomes a high level. Therefore, the output signal A output from the AND gate 201 in the drive signal generation unit 141 corresponding to the pixel 100 in the k to k + ⁇ rows has a high level, and the exposure signals TRN (k) to TRN (k + ⁇ ) have a high level. Become.
  • the transfer transistor 103 is turned on in the pixels 100 on the k to k + ⁇ rows, and the transfer of the signal charge from the avalanche photodiode 101 to the floating diffusion FD is started. That is, simultaneous exposure of the first pixel is started.
  • the ranging exposure signal TRN_TOF becomes low level
  • the output signal A output from the AND gate 201 becomes low level
  • the exposure signals TRN (k) to TRN (k + ⁇ ) become low level. Therefore, in the pixel 100 on the k to k + ⁇ rows, the transfer transistor 103 is turned off, and the transfer of the signal charge from the avalanche photodiode 101 to the floating diffusion FD is stopped. That is, the simultaneous exposure in the first pixel is completed.
  • the ranging address circuit 12 lowers the first drive signals TOF (k) to TOF (k + ⁇ ) to a low level and returns to the initial state.
  • the above operation is performed a plurality of times for the first pixel. That is, in the solid-state image sensor 1 of the present embodiment, the simultaneous exposure of the first pixel is performed a plurality of times during the light irradiation period.
  • the distance measurement selection signal SEL_TOF becomes a high level during the reading period of the light source scan period ⁇ . Further, the ranging address circuit 12 sets the first drive signal TOF (k) to a high level. Therefore, the output signal E output from the AND gate 205 in the drive signal generation unit 141 corresponding to the pixel 100 on the kth row becomes a high level, and the selection signal SEL (k) becomes a high level. As a result, in the pixel 100 on the kth row, the selection transistor 109 is turned on, and the pixel signal is output from the pixel 100. That is, the reading of the pixel signal from the pixel 100 on the kth line is started.
  • the distance measurement selection signal SEL_TOF and the first drive signal TOF (k) become low level, and the output of the pixel signal from the pixel 100 on the kth line is stopped. That is, the reading of the pixel signal from the pixel 100 on the kth line is completed.
  • the above operations are sequentially performed for the pixels 100 in the k + 1 to k + ⁇ rows. That is, the pixel signal from the first pixel is read out row by row.
  • the solid-state image sensor 1 changes the irradiation position of the light source 4 so as to correspond to the pixel 100 in the k + ⁇ + 1 to k + 2 ⁇ rows, and with respect to the pixel 100 in the k + ⁇ + 1 to k + 2 ⁇ rows.
  • the operation described in the above is performed in the same manner. That is, the ranging address circuit 12 selects the first pixel while shifting the pixel 100 by ⁇ rows for each light source scan period. Therefore, in the solid-state image sensor 1, the pixel 100 selected as the first pixel is changed for each scan period.
  • the camera address circuit 13 sets the second drive signal BRT (m) to a high level. Further, the camera exposure signal TRN_BRT and the camera selection signal SEL_BRT become high levels. Therefore, the output signal B output from the AND gate 202 in the drive signal generation unit 141 corresponding to the pixel 100 on the m-th row becomes a high level, and the exposure signal TRN (m) becomes a high level. Further, the output signal F output from the AND gate 206 in the drive signal generation unit 141 corresponding to the pixel 100 on the m-th row becomes a high level, and the selection signal SEL (m) becomes a high level.
  • the transfer transistor 103 and the selection transistor 109 are turned on in the pixel 100 on the m-th row, the exposure of the pixel 100 on the m-th row is started, and the pixel signal is read from the pixel 100 on the m-th row. Is started.
  • the camera address circuit 13 lowers the second drive signal BRT (m) and lowers the camera exposure signal TRN_BRT and the camera selection signal SEL_BRT, so that the exposure of the pixel 100 on the mth row is completed.
  • the reading of the pixel signal from the pixel 100 on the m-th row is completed.
  • the camera exposure time Tb at which the camera exposure signal TRN_BRT is at a high level is set longer than the distance measurement exposure time Ta at which the distance measurement exposure signal TRN_TOF is at a high level. That is, in each light source scan period, the pixel 100 selected as the second pixel is exposed for a longer time than the pixel 100 selected as the first pixel.
  • the camera address circuit 13 sets the second drive signal BRT (l) to a high level. Further, the camera reset signal RST_BRT becomes a high level. Therefore, the output signal D output from the AND gate 204 in the drive signal generation unit 141 corresponding to the pixel 100 in the first row becomes a high level, and the first reset signal RST becomes a high level. As a result, the reset transistor 105 is turned on, and the reset voltage VRST is supplied to the floating diffusion FD. That is, the floating diffusion FD of the pixel 100 in the first row is reset to the reset voltage VRST.
  • the camera address circuit 13 selects the second pixel while shifting the pixel 100 by ⁇ rows for each light source scan period. That is, in the solid-state image sensor 1, the pixel 100 selected as the second pixel is changed for each scan period.
  • the pixel 100 in the k to k + ⁇ rows included in the pixel array 11 is selected by the distance measuring address circuit 12 as the first pixel used for the distance measurement. Further, the pixels 100 in the m to m + ⁇ rows other than the first pixel included in the pixel array 11 are selected by the camera address circuit 13 as the second pixels used for camera image generation.
  • the AND gate 201 of the multiplexer 14 outputs an output signal A so that the first pixel performs simultaneous exposure during the light irradiation period included in the scan period, while the AND gate 205 of the multiplexer 14 reads out after the light irradiation period. During the period, the output signal E is output so that the pixel signal is read from the first pixel.
  • the AND gate 206 of the multiplexer 14 outputs the output signal F so that the pixel signal is read from the second pixel during the period including the light irradiation period in the scanning period. That is, the first pixel is used for distance measurement, while the second pixel is used for camera image creation. As a result, the pixel 100 can be used without waste. Further, in the period including the light irradiation period in the scanning period, the pixel signal from the second pixel is read out by the AND gate 205 different from the AND gates 201 and 206 that drive the first pixel. As a result, the second pixel can be exposed for a longer time than the exposure time of the first pixel. Therefore, in the solid-state image sensor 1 that can be used for distance measurement and camera image generation, it is possible to secure the exposure time required to create a clear camera image while efficiently using the pixels 100.
  • the ranging address circuit 12 outputs a first drive signal TOF indicating the drive timing of the first pixel for each row of the first pixel.
  • the camera address circuit 13 outputs a second drive signal BRT indicating the drive timing of the second pixel for each row of the second pixel.
  • the multiplexer 14 includes a ranging exposure signal TRN_TOF indicating the exposure timing of the first pixel, a ranging selection signal SEL_TOF indicating the output timing of the pixel signal of the first pixel, a camera exposure signal TRN_BRT indicating the exposure timing of the second pixel, and It receives SEL_BRT indicating the output timing of the pixel signal of the second pixel, and outputs the exposure signal TRN and the selection signal SEL to the pixel 100.
  • the exposure signal TRN of the first pixel is generated by the logical product of the first drive signal TOF and the distance measurement exposure signal TRN_TOF.
  • the selection signal SEL of the first pixel is generated by the logical product of the first drive signal TOF and the distance measurement selection signal SEL_TOF.
  • the exposure signal TRN of the second pixel is generated by the logical product of the second drive signal and the camera exposure signal TRN_BRT.
  • the selection signal of the second pixel is generated by the logical product of the second drive signal BRT and the distance measurement selection signal SEL_BRT.
  • a control signal is generated for each row of the pixel 100 and each drive content by performing a logical product of the signal indicating the drive timing of the first and second pixels and the signal indicating the drive timing for each drive content. It is not necessary to provide a circuit for this, and the area of the solid-state image sensor 1 can be reduced.
  • the exposure of the second pixel and the output of the pixel signal from the second pixel are performed at the same time, but they may be performed at different timings.
  • FIG. 5 shows an operation sequence of the solid-state image sensor according to the second embodiment.
  • the solid-state image sensor in the second embodiment has the same configuration as the solid-state image sensor in the first embodiment.
  • the pixel signal is read out from the second pixel.
  • the camera address circuit 13 sets the second drive signals BRT (m) to BRT (m + ⁇ ) to a high level. Further, the camera exposure signal TRN_BRT becomes a high level. Therefore, the exposure signals TRN (m) to TRN (m + ⁇ ) become high levels, and the transfer transistor 103 in the pixel 100 on the m to m + ⁇ rows is turned on. That is, simultaneous exposure of the second pixel is started.
  • the camera exposure signal TRN_BRT becomes low level. Therefore, the exposure signals TRN (m) to TRN (m + ⁇ ) become low level, and the transfer transistor 103 in the pixel 100 on the m to m + ⁇ line is turned off. That is, the simultaneous exposure of the second pixel is completed.
  • the camera address circuit 13 sets the second drive signals BRT (m + 1) to BRT (m + ⁇ ) to a low level. Further, the camera selection signal SEL_BRT becomes a high level. Therefore, the selection signal SEL (m) becomes a high level, and the selection transistor 109 in the pixel 100 on the mth row is turned on. That is, the reading of the pixel signal from the pixel 100 on the m-th row is started.
  • the camera address circuit 13 lowers the second drive signal BRT (m). Therefore, the selection signal SEL (m) becomes low level, and the selection transistor 109 in the pixel 100 on the mth row is turned off. That is, the reading of the pixel signal from the pixel 100 on the m-th row is completed.
  • the operation described above is similarly performed on the pixel 100 in the m + 1 to m + ⁇ rows.
  • the pixel signal required to generate a clear camera image can be obtained from the second pixel.
  • the count signal CNT in the pixel 100 in the m + 1 to m + ⁇ rows is set to a high level, the count transistor 106 is turned on, and the floating diffusion FD is used as a memory capacitor.
  • the signal charge may be transferred to 107.
  • FIG. 6 is a circuit diagram showing a configuration example of the solid-state image sensor according to the third embodiment.
  • a part of the solid-state image sensor 1 is omitted for easy explanation.
  • the multiplexer 14 further includes a first power supply line 301, a second power supply line 302, a third power supply line 303, and switches 321 and 322.
  • the third power line 303 and the switches 321 and 322 are provided for each row of the pixel 100.
  • the multiplexer 14 is connected to the first power supply 311 via the first power supply line 301, and receives the supply of the first reset voltage VRST1 from the first power supply 311. Further, the multiplexer 14 is connected to the second power supply 312 via the second power supply line 302, and receives the supply of the second reset voltage VRST2 from the second power supply 312.
  • the first reset voltage VRST1 is a voltage higher than the second reset voltage VRST2. For example, the first reset voltage VRST1 is 3V, and the second reset voltage VRST2 is 1.5V to 2V.
  • the first power supply line 301 is connected to the third power supply line 303 via the switch 321 and the second power supply line 302 is connected to the third power supply line 303 via the switch 322.
  • the switch 321 connects the first power supply line 301 and the third power supply line 303 when it receives the high-level first drive signal TOF from the ranging address circuit 12.
  • the switch 322 connects the second power supply line 302 and the third power supply line 303 when it receives the high-level second drive signal BRT from the camera address circuit 13.
  • the third power supply line 303 is connected to the source of the overflow transistor 102 and the source of the reset transistor 105 in the pixels 100 arranged in the row direction. That is, the multiplexer 14 supplies the reset voltage VRST in FIG. 3 with the first reset voltage VRST1 or the second reset voltage VRST2.
  • FIG. 7 shows an operation sequence of the solid-state image sensor according to the present embodiment. Specifically, FIG. 7 shows an operation sequence of the pixel 100 in the k, m, and l rows during the light source scan period ⁇ .
  • the ranging address circuit 12 sets the first drive signals TOF (k) to TOF (k + ⁇ ) to a high level. Further, the second reset signals OVF (k) to OVF (k + ⁇ ) become high levels. Therefore, the overflow transistor 102 in the pixel 100 in the k to k + ⁇ rows is turned on. At this time, since the first power supply line 301 and the third power supply line 303 are connected by the switch 321, the first reset voltage VRST1 is supplied to the avalanche photodiode 101. That is, the avalanche photodiode 101 in the first pixel is reset to the first reset voltage VRST1.
  • the second reset signals OVF (k) to OVF (k + ⁇ ) become low level, and the exposure signals TRN (k) to TRN (k + ⁇ ) become high level, and the first pixel is simultaneously exposed.
  • the exposure signals TRN (k) to TRN (k + ⁇ ) become low levels, and the count signals CNT (k) to CNT (k + ⁇ ) become high levels. That is, the signal charge based on the exposure result is accumulated in the memory capacitor 107 in the first pixel.
  • the count signals CNT (k) to CNT (k + ⁇ ) become low level, and the distance measuring address circuit 12 lowers the first drive signals TOF (k) to TOF (k + ⁇ ) to low level.
  • the above operation is performed a plurality of times for the first pixel.
  • the distance measurement selection signal SEL_TOF and the first reset signal RST (k) become high levels. Further, the ranging address circuit 12 sets the first drive signal TOF (k) to a high level. Therefore, the reset transistor 105 and the selection transistor 109 are turned on. At this time, since the first power supply line 301 and the third power supply line 303 are connected by the switch 321, the first reset voltage VRST1 is supplied to the floating diffusion FD. That is, the floating diffusion FD in the pixel 100 on the kth row is reset to the first reset voltage VRST1.
  • the first reset signal RST (k) becomes a low level
  • the count signal CNT (k) becomes a high level. Therefore, the count transistor 106 is turned on, the signal charge accumulated in the memory capacitor 107 is transferred to the floating diffusion FD, and the pixel signal corresponding to the voltage of the floating diffusion FD is output from the selection transistor 109. That is, the pixel signal is read from the pixel 100 on the kth line.
  • the count signal CNT (k) becomes low level
  • the first reset signal RST (k) temporarily becomes high level
  • the floating diffusion FD in the pixel 100 on the kth line is reset to the first reset voltage VRST1. Reset.
  • the distance measurement address circuit 12 lowers the first drive signal TOF (k), and returns to the initial state.
  • the camera address circuit 13 sets the second drive signal BRT (m) to a high level. Further, the camera selection signal SEL_BRT and the first reset signal RST (m) become high levels. Therefore, the reset transistor 105 and the selection transistor 109 in the pixel 100 on the m-th row are turned on. At this time, since the second power supply line 302 and the third power supply line 303 are connected by the switch 322, the second reset voltage VRST2 is supplied to the floating diffusion FD. That is, the floating diffusion FD in the pixel 100 on the m-th row is reset to the second reset voltage VRST2.
  • the first reset signal RST (m) becomes a low level
  • the exposure signal TRN (m) becomes a high level. Therefore, the exposure is performed on the pixel 100 on the m-th row. At this time, since the selection transistor 109 is in the ON state, the pixel signal is read from the pixel 100.
  • the camera exposure signal SEL_BRT, the exposure signal TRN (m), the first drive signal BRT (m), and the selection signal SEL (m) become low levels and return to the initial state.
  • the camera address circuit 13 sets the second drive signal BRT (l) to a high level. Further, the camera exposure signal SEL_BRT, the selection signal SEL (l), and the first reset signal RST (l) become high levels. Therefore, the reset transistor 105 and the selection transistor 109 in the pixel 100 on the first row are turned on. At this time, since the second power supply line 302 and the third power supply line 303 are connected by the switch 322, the second reset voltage VRST2 is supplied to the floating diffusion FD. That is, the floating diffusion FD in the pixel 100 in the first row is reset to the second reset voltage VRST2.
  • the first reset signal RST (l) becomes a low level
  • the exposure signal TRN (l) becomes a high level. Therefore, the overflow transistor 102 in the pixel 100 in the first row is turned on.
  • the second reset voltage VRST2 is supplied to the avalanche photodiode 101. That is, the avalanche photodiode 101 in the pixel 100 on the first row is reset to the second reset voltage VRST2.
  • the second drive signal BRT (l), the second reset signal RST (l), and the selection signal SEL (l) become low level and return to the initial state.
  • the pixels 100 in the k to k + ⁇ rows selected as the first pixels are set to the first reset voltage VRST1 by the avalanche photodiode 101 and the floating diffusion FD before the exposure is performed. It has been reset.
  • the pixels 100 in the m to m + ⁇ and l to l + ⁇ rows selected as the second pixels are subjected to the first reset voltage VRST1 by the avalanche photodiode 101 and the floating diffusion FD before the exposure is performed. It has been reset to a second reset voltage VRST2, which is lower than.
  • FIG. 8 is a circuit diagram showing a configuration example of a distance measuring address circuit in the solid-state image sensor according to the first to third embodiments.
  • the ranging address circuit 12 includes an exposure address sub-circuit 405 including N D flip-flops 401, a read address sub circuit 406 including N D flip-flops 402, and N units.
  • the selection circuit 403 and N AND gates 404 are included.
  • the D flip-flop 401, the D flip-flop 402, the selection circuit 403, and the AND gate 404 are provided for each row of the pixel 100.
  • Each D flip-flop 401 receives the first clock signal CK1 at the clock terminal and the third reset signal RST3 at the reset terminal. Further, the D flip-flop 401 is connected in series. For example, the D flip-flop 401 corresponding to the pixel 100 in the first row receives the first shift signal SFT1 at the D terminal, and the Q terminal is the D terminal of the D flip-flop 401 corresponding to the pixel 100 in the second row. It is connected to the first input terminal of the selection circuit 403 corresponding to the pixel 100 in the first row. That is, in the D flip-flop 401, the Q terminal is connected to the D terminal of the subsequent D flip-flop 401 and the first input terminal of the selection circuit 403.
  • Each D flip-flop 402 receives the second clock signal CK2 at the clock terminal and the fourth reset signal RST4 at the reset terminal. Further, the D flip flop 402 is connected in series. For example, the D flip-flop 402 corresponding to the pixel 100 in the first row receives the second shift signal SFT2 at the D terminal, and the Q terminal is the D terminal of the D flip-flop 402 corresponding to the pixel 100 in the second row. It is connected to the second input terminal of the selection circuit 403 corresponding to the pixel 100 in the first row. That is, in the D flip-flop 402, the Q terminal is connected to the D terminal of the D flip-flop 402 in the subsequent stage and the second input terminal of the selection circuit 403.
  • the selection circuit 403 outputs the signal input to the first output terminal or the signal input to the second output terminal to the AND gate 404 according to the input control signal. Specifically, the selection circuit 403 receives the inverted ranging selection signal SEL_TOF as a control signal. For example, the selection circuit 403 outputs the signal input to the first input terminal, that is, the signal output from the Q terminal of the D flip-flop 401 to the AND gate 404 when the distance measurement selection signal SEL_TOF is low level. .. On the other hand, the selection circuit 403 outputs the signal input to the second input terminal, that is, the signal output from the Q terminal of the D flip-flop 402 to the AND gate 404 when the distance measurement selection signal SEL_TOF is at a high level. ..
  • the AND gate 404 logically ANDs the signal output from the selection circuit 403 and the address enable signal Addr, and outputs the first drive signals TOF (1) to TOF (N).
  • FIG. 9 shows the operation sequence of the ranging address circuit. Specifically, FIG. 9 shows the operation of the solid-state image sensor 1 during the light source scan period 1.
  • the distance measuring address circuit 12 selects the pixel 100 in the 2nd to ⁇ + 1st rows as the first pixel.
  • the first shift signal SFT1 Before the light source scan period 1, the first shift signal SFT1 is set to a high level, and the first clock signal CK1 is set to a high level ⁇ times. After that, the first shift signal SFT1 is set to a low level, and the first clock signal CK1 is set to a high level once. Therefore, the signal output from the Q terminal of the D flip-flop 401 corresponding to the pixel 100 on the 2nd to ⁇ + 1st rows becomes a high level.
  • the second shift signal SFT2 is set to a high level, and the second clock signal CK1 is set to a high level once. After that, the second shift signal SFT2 is set to a low level, and the second clock signal CK2 is set to a high level once. Therefore, the signal output from the Q terminal of the D flip-flop 402 corresponding to the pixel 100 in the second row becomes a high level.
  • the address enable signal Addr becomes a high level during the light irradiation period in the light source scan period 1.
  • the selection circuit 403 outputs the signal input to the first input terminal, that is, the signal output from the Q terminal of the D flip-flop 401 to the AND gate 404. To do. Therefore, the first drive signals TOF (2) to TOF (1 + ⁇ ) have a high level.
  • the distance measurement selection signal SEL_TOF and the address enable signal Addr become high levels. Therefore, the selection circuit 403 outputs the signal input to the second input terminal, that is, the high-level signal output from the Q terminal of the D flip-flop 402 to the AND gate 404. Therefore, the first drive signal TOF (2) becomes a high level.
  • the distance measurement selection signal SEL_TOF and the address enable signal Addr become low level, and the second clock signal CK2 becomes high level. That is, the signal output from the Q terminal of the D flip flop 402 corresponding to the pixel 100 in the second row becomes low level, and the signal output from the Q terminal of the D flip flop 402 corresponding to the pixel 100 in the third row becomes low level. However, it becomes a high level.
  • the distance measurement selection signal SEL_TOF and the address enable signal Addr become low level, and the second clock signal CK2 becomes high level.
  • the first drive signal TOF (3) becomes a high level.
  • the first drive signals TOF (4) to TOF ( ⁇ + 1) can be set to a high level line by line.
  • the first drive signals TOF (1) to TOF (N) can be generated in the ranging address circuit 12.
  • the camera address circuit 13 may be configured in the same manner as the distance measuring address circuit 12.
  • the distance measuring address circuit 12 may be realized by other circuit configurations.
  • the multiplexer 14 sets the second reset signal OVF to a high level, turns on the overflow transistor 102, and resets the signal charge in the avalanche photodiode 101 before the pixel 100 is exposed. You may.
  • the multiplexer 14 is further provided with an AND gate and an OR gate, and has the same configuration as the exposure signal TRN, the selection signal SEL, or the first reset signal RST, and has the second reset signal OVF and the count signal. You may generate a CNT.
  • the solid-state image sensor 1 divides the operation for one frame into M light source scan periods, sets the number of rows of the pixel array 11 to N, and sets the first and second pixels for each light source scan period.
  • may be set to N / M.
  • may be set to N / M or less.
  • the exposure and the pixel signal are read out multiple times for the same second pixel, so that a clear camera image is obtained even when the intensity of the irradiation end portion of the light source 4 is low. Can be generated.
  • the pixel 100 in the ⁇ row is selected as the first pixel and the pixel 100 in the 2 ⁇ row is selected as the second pixel during the light source scan period, but the present invention is not limited to this.
  • the pixel 100 of ⁇ row or more or ⁇ row or less may be selected
  • the second pixel the pixel 100 of 2 ⁇ row or more or 2 ⁇ row or less may be selected.
  • the pixels 100 to be selected as the first and second pixels for each light source scan period may be selected by shifting by ⁇ row or more or ⁇ row or less.
  • the pixel 100 may include a photoelectric conversion element such as a photodiode instead of the avalanche photodiode 101.
  • the present disclosure is a solid-state image sensor that can be used for distance measurement and camera image generation, it can be applied to, for example, a distance camera.
  • Solid-state image sensor 4 light source 11 pixel array 12 Distance measurement address circuit 13 Camera address circuit 14 Multiplexer 100 pixels 103 Transfer Transistor 105 reset transistor 109 Selective transistor 201-206 AND gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

ANDゲート(201)は、スキャン期間に含まれる光照射期間において、第1画素が同時露光を行うように出力信号Aを出力する一方、ANDゲート(205)は、光照射期間後の読み出し期間において、第1画素から画素信号が読み出されるように出力信号Eを出力する。また、ANDゲート(206)は、スキャン期間における光照射期間を含む期間において、第2画素から画素信号が読み出されるように出力信号Fを出力する。

Description

固体撮像装置
 本開示は、距離測定およびカメラ画像生成に利用可能な固体撮像装置に関するものである。
 従来、固体撮像装置は画像を高感度、高精細に撮像することに注力されてきたが、それに加えて固体撮像装置からの距離情報も取得できる機能を併せ持つものも近年登場してきた。画像に距離情報が加われば固体撮像装置の撮影対象の3次元的な情報が感知できることになる。例えば、人物を撮影すれば、しぐさ(ジェスチャー)を3次元的に検知できるので、様々な機器の入力装置として使用できる。さらに例示すると、自動車に搭載すれば自車の周囲に存在する物体・人物との距離を認識できるので衝突防止や自動運転などに応用できる。
 固体撮像装置から物体までの距離測定に使用される数々の方法の中に、光を固体撮像装置付近から物体に向けて照射されてから、物体により反射し固体撮像装置に帰還するまでの時間を測定するTOF(Time Of flight)法がある。特許文献1には、固体撮像装置にTOF法を適用して3次元的な情報を得る技術が開示されている。
 特許文献1では、投射光(光パルス信号)が物体で反射した光と、投射光をOFFにした状態で得られた背景光との差分を求め、複数のトランスファゲートによる上記差分の位相差を用いて3次元的な情報を得ている。
特開2004-294420号公報
 しかし、特許文献1では、背景光の強度に対して、ある程度以上の投射光の強度を確保する必要がある。特に、背景光の強い野外や、物体が遠距離にある場合、投射光の強度を高くする必要がある。
 そこで、投射光の拡散角を小さくする(例えば、投射光を水平方向に延びるライン状にする)ことにより、投射光の強度を高めることができる。
 しかし、この方法では、画素エリアにおける、投射光の照射位置に対応する画素、すなわち、所定行の画素からは距離測定のための信号が生成されるが、それ以外の画素からは距離測定のための信号が生成されない。このため、全画素を、同じタイミングで、距離測定のために用いることができず、固体撮像装置の利用効率が低くなる。
 そこで、投射光の照射位置に対応していない画素をカメラ画像の撮像に用いることが考えられる。しかし、距離測定が行われる場合、画素の露光時間が非常に短くなるので、鮮明なカメラ画素を生成するために必要な露光時間を確保することができない。
 本開示はかかる点に鑑みてなされたものであり、その目的は、距離測定およびカメラ画像生成に利用可能な固体撮像装置において、画素を効率よく使用しつつ、鮮明なカメラ画像を作成するために必要な露光時間を確保することができる固体撮像装置を提供することにある。
 本開示の一態様に係る固体撮像装置は、行列状に配置された複数の画素と、前記複数の画素の露光と、前記複数の画素からの画素信号の読み出しとを行うスキャン期間において、前記複数の画素のうち所定数の行に含まれる画素を、距離測定に用いられる第1画素として選択する測距アドレス回路と、前記スキャン期間において、前記複数の画素のうち前記第1画素以外の画素を、カメラ画像作成に用いられる第2画素として選択するカメラアドレス回路と、前記第1画素を駆動する第1駆動回路と、前記第2画素を駆動する第2駆動回路と、を備える。前記第1駆動回路は、前記スキャン期間に含まれる光照射期間において、前記第1画素の同時露光を行う一方、前記光照射期間後の読み出し期間において、前記第1画素からの画素信号の読み出しを行う。前記第2駆動回路は、前記スキャン期間における前記光照射期間を含む期間において、前記第2画素からの画素信号の読み出しを行う。
 距離測定およびカメラ画像生成に利用可能な固体撮像装置において、画素を効率よく使用しつつ、鮮明なカメラ画像を作成するために必要な露光時間を確保することができる。
第1実施形態に係る距離測定装置の構成例を示す概略図。 第1実施形態に係る固体撮像装置の構成例を示す回路図。 第1実施形態に係る画素の構成例を示す回路図。 第1実施形態に係る固体撮像装置の動作シーケンスを示す図。 第2実施形態に係る固体撮像装置の動作シーケンスを示す図。 第3実施形態に係る固体撮像装置の構成例を示す回路図。 第3実施形態に係る固体撮像装置の動作シーケンスを示す図。 測距アドレス回路の構成例を示す回路図。 測距アドレス回路の動作シーケンスを示す図。
 以下、本開示の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物あるいはその用途を制限することを意図するものでは全くない。例えば、具体的なブロック構成や回路構成を開示し、それを参照しながら説明するが、開示した構成はあくまでも一例であり、これに限られるわけではない。
 -距離測定装置の構成-
 図1は第1実施形態に係る距離測定装置の構成例を示す概略図であり、図2は第1実施形態に係る固体撮像装置の構成例を示す回路図であり、図3は第1実施形態に係る画素の構成例を示す回路図である。なお、図2は、固体撮像装置1の説明をしやすくするために、一部を省略して図示している。
 図1に示すように、本実施形態に係る距離測定装置は、固体撮像装置1と、信号処理装置2と、計算機3と、光源4とを備える。
 固体撮像装置1は、画素アレイ11と、測距アドレス回路12と、カメラアドレス回路13と、マルチプレクサ14と、グローバルシャッタ回路15と、列回路16と、水平シフトレジスタ17と、出力アンプ18とを備える。
 画素アレイ11には、画素100が行列状に配置されている。各画素100は、入力される露光信号TRNに従って、露光を行う。また、各画素100は、入力される選択信号SELに従って、露光結果を示す画素信号を垂直信号線121に出力する。なお、以下の説明において、画素アレイ11は、N行(Nは整数)の画素100を含むものとする。
 また、画素アレイ11は、第1画素領域110と第2画素領域111を含む。第1画素領域110には、距離測定に用いられる第1画素が含まれる。第2画素領域111には、カメラ画像に用いられる第2画素が含まれる。第1画素領域110は、光源4における投射光の照射位置に対応する部分であり、複数行の画素100を含む。
 測距アドレス回路12は、例えば、パルス信号を生成する回路等であり、画素アレイ11から複数行の画素100を第1画素として選択するものである。具体的に、測距アドレス回路12は、選択した第1画素の駆動タイミングを示す第1駆動信号TOFを生成し、マルチプレクサ14に出力する。
 カメラアドレス回路13は、例えば、パルス信号を生成する回路等であり、画素アレイ11から第1画素として選択された画素100以外を第2画素として選択するものである。具体的に、カメラアドレス回路13は、測距アドレス回路12に選択された第1画素以外の画素100を第2画素として選択し、第2画素の駆動タイミングを示す第2駆動信号BRTを生成し、マルチプレクサ14に出力する。
 マルチプレクサ14は、複数の駆動信号生成部141を備える。駆動信号生成部141は、画素アレイ11の行ごとに設けられている。駆動信号生成部141は、外部から測距露光信号TRN_TOF、カメラ露光信号TRN_BRT、測距リセット信号RST_TOF、カメラリセット信号RST_BRT、測距選択信号SEL_TOF、カメラ選択信号SEL_BRTの入力を受ける。また、駆動信号生成部141は、露光信号TRNをグローバルシャッタ回路15に出力し、第1リセット信号RSTおよび選択信号SELを、対応する画素100に出力する。なお、図2では、図示を省略しているが、マルチプレクサ14は、画素100の行ごとに、第2リセット信号OVFおよびカウント信号CNTを出力する。また、以下の説明において、k行目の画素に対応する第1駆動信号、第2駆動信号、露光信号、第1リセット信号、第2リセット信号、選択信号、カウント信号、をそれぞれ、第1駆動信号TOF(k)、第2駆動信号BRT(k)、露光信号TRN(k)、第1リセット信号RST(k)、第2リセット信号OVF(k)、選択信号SEL(k)、カウント信号CNT(k)とする。
 グローバルシャッタ回路15は、例えば、画素100の行ごとに設けられており、対応する駆動信号生成部141から露光信号TRNを受けたとき、行方向に並んだ画素100の同時露光を行う。例えば、グローバルシャッタ回路15は、露光信号TRN(k)を受けたとき、k行目に並んだ画素100が同時露光を行うように、露光信号TRN(k)を出力する。なお、グローバルシャッタ回路15が設けられなくてもよく、マルチプレクサ14が画素100に露光信号TRNを直接出力してもよい。
 列回路16は、垂直信号線121を介して、各画素100から出力される画素信号を受ける。列回路16は、各画素100で異なるオフセット成分を除去するCDS(Correlated Double Sampling)処理などを行い、水平シフトレジスタ17に出力する。
 水平シフトレジスタ17は、列回路16から出力される信号を順次出力アンプ18に転送する。
 出力アンプ18は、水平シフトレジスタ17から順次入力される信号を増幅し信号処理装置2に出力する。
 信号処理装置2は、アナログフロントエンド21と、ロジック・メモリ22とを備える。
 アナログフロントエンド21は、固体撮像装置1の出力アンプ18から出力された信号をアナログ形式からデジタル形式に変換する。また、アナログフロントエンド21は、デジタル形式に変換した信号を、ロジック・メモリ22に出力する。なお、アナログフロントエンド21は必要に応じて、出力アンプ18から出力された信号の順序を入れ替えてもよい。
 ロジック・メモリ22は、アナログフロントエンド21から受けた信号に基づき、距離信号およびカメラ画像信号を生成する。生成された距離信号およびカメラ画像信号は、計算機3に出力される。
 計算機3は、例えば、コンピュータ等であり、ロジック・メモリ22から入力される距離信号に基づいて、固体撮像装置1の周囲の三次元情報を構成する。また、計算機3は、ロジック・メモリ22から入力されるカメラ画像信号に基づいて、カメラ画像を生成する。なお、信号処理装置2が距離信号およびカメラ画像信号に基づいて、固体撮像装置1の周囲の三次元情報を構成するとともに、カメラ画像を生成してもよい。
 光源4は、三次元情報を得たい箇所に光を投射する。光源4は、スキャン機構41を備え、行方向に延びるライン状のパルス光を出力する。パルス光の出力時刻や幅は、ロジック・メモリ22によって制御される。
 -画素の構成-
 図3に示すように、画素100は、アバランシェフォトダイオード101と、オーバーフロートランジスタ102と、トランスファゲートトランジスタ103と、リセットトランジスタ105と、カウントトランジスタ106と、メモリキャパシタ107と、増幅トランジスタ108と、選択トランジスタ109とを備える。
 アバランシェフォトダイオード101は、入射光を信号電荷に変換する光電変換を行う。アバランシェフォトダイオード101は、生成した信号電荷を、数倍~数十倍に増幅する。
 オーバーフロートランジスタ102は、ゲートに第2リセット信号OVFを受け、第2リセット信号OVFがハイレベルのとき、アバランシェフォトダイオード101にリセット電圧VRSTを供給する。すなわち、第2リセット信号OVFがハイレベルのとき、アバランシェフォトダイオード101内の電圧は、リセット電圧VRSTにリセットされる。
 トランスファゲートトランジスタ103は、ゲートに露光信号TRNを受け、露光信号TRNがハイレベルのとき、アバランシェフォトダイオード101内の信号電荷をフローティングディフュージョンFDに転送する。すなわち、露光信号TRNがハイレベルのとき、画素100は露光を行う。
 リセットトランジスタ105は、ゲートに第1リセット信号RSTを受け、第1リセット信号RSTがハイレベルのとき、フローティングディフュージョンFDにリセット電圧VRSTを供給する。すなわち、第1リセット信号RSTがハイレベルのとき、フローティングディフュージョンFDはリセット電圧VRSTにリセットされる。
 カウントトランジスタ106は、ゲートにカウント信号CNTを受け、カウント信号CNTがハイレベルのとき、フローティングディフュージョンFDに蓄積された信号電荷をメモリキャパシタ107に転送する。メモリキャパシタ107は、カウントトランジスタ106から転送された信号電荷を蓄積する。すなわち、メモリキャパシタ107には、露光結果に基づいた信号電荷が蓄積される。
 増幅トランジスタ108は、フローティングディフュージョンFDに蓄積された信号電荷に応じた電圧を増幅して選択トランジスタ109に出力する。
 選択トランジスタ109は、ゲートに選択信号SELを受け、選択信号SELがハイレベルのとき、増幅トランジスタ108から受けた電圧に応じた画素信号を垂直信号線121に出力する。すなわち、選択信号SELがハイレベルのとき、画素100から画素信号の読み出しが行われる。
 -マルチプレクサの構成-
 図2に示すように、マルチプレクサ14は、画素100の行ごとに駆動信号生成部141を備える。駆動信号生成部141は、ANDゲート201~206と、ORゲート207~209とを備える。
 ANDゲート201は、第1駆動信号TOFと測距露光信号TRN_TOFとの論理積を算出し、出力信号AとしてORゲート207に出力する。ANDゲート202は、第2駆動信号BRTとカメラ露光信号TRN_BRTとの論理積を算出し、出力信号BとしてORゲート207に出力する。ORゲート207は、出力信号Aと出力信号Bとの論理和を算出し、露光信号TRNとして画素100に出力する。すなわち、第1駆動信号TOFおよび測距露光信号TRN_TOFがハイレベルのとき、または、第2駆動信号BRTおよびカメラ露光信号TRN_BRTがハイレベルのとき、露光信号TRNがハイレベルとなり、画素100は露光を行う。
 ANDゲート203は、第1駆動信号TOFと測距リセット信号RST_TOFとの論理積を算出し、出力信号CとしてORゲート208に出力する。ANDゲート204は、第2駆動信号BRTとカメラリセット信号RST_BRTとの論理積を算出し、出力信号DとしてORゲート208に出力する。ORゲート208は、出力信号Aと出力信号Bとの論理和を算出し、第1リセット信号RSTとして画素100に出力する。すなわち、第1駆動信号TOFと測距リセット信号RST_TOFとがハイレベルのとき、または、第2駆動信号BRTとカメラリセット信号RST_BRTとがハイレベルのとき、第1リセット信号RSTがハイレベルとなり、画素100におけるフローティングディフュージョンFDがリセット電圧VRSTにリセットされる。
 ANDゲート205は、第1駆動信号TOFと測距選択信号SEL_TOFとの論理積を算出し、出力信号EとしてORゲート209に出力する。ANDゲート206は、第2駆動信号BRTとカメラ選択信号SEL_BRTとの論理積を算出し、出力信号FとしてORゲート209に出力する。ORゲート209は、出力信号Eと出力信号Fとの論理和を算出し、選択信号SELとして画素100に出力する。すなわち、第1駆動信号TOFおよび測距選択信号SEL_TOFがハイレベルのとき、または、第2駆動信号BRTおよびカメラ選択信号SEL_BRTがハイレベルのとき、選択信号SELがハイレベルとなり、画素100は画素信号の読み出しを行う。
 -固体撮像装置の動作-
 図4は固体撮像装置の動作シーケンスを示す。具体的に、図4は光源スキャン期間γ,γ+1における固体撮像装置1の動作を示す。
 固体撮像装置1は、1フレーム分の距離画像およびカメラ画像を生成するために、光源スキャン期間γ,γ+1を含むM個の光源スキャン期間における動作を行う。各スキャン期間において、測距アドレス回路12により、光源4の照射位置に対応するα行の画素100が、第1画素として選択される。そして、カメラアドレス回路13により、第1画素以外の画素100が第2画素として選択される。
 図4では、光源スキャン期間γにおいて、画素アレイ11のうち、k~k+α行目の画素100が第1画素として選択され、m~m+α,l~l+α行目の画素100が第2画素として選択されている。また、光源スキャン期間γ+1において、画素アレイ11のうち、k+α+1~k+2α行目の画素が第1画素として選択されている。
 また、各光源スキャン期間は、光照射期間と読み出し期間とに分けられている。
 まず、第1画素の動作について説明する。
 光源スキャン期間γの光照射期間において、測距アドレス回路12は第1駆動信号TOF(k)~TOF(k+α)をハイレベルにする。その後、測距露光信号TRN_TOFがハイレベルとなる。このため、k~k+α行目の画素100に対応する駆動信号生成部141におけるANDゲート201から出力される出力信号Aがハイレベルとなり、露光信号TRN(k)~TRN(k+α)がハイレベルとなる。これにより、k~k+α行目の画素100において、トランスファゲートトランジスタ103がオン状態となり、アバランシェフォトダイオード101からフローティングディフュージョンFDへの信号電荷の転送が開始される。すなわち、第1画素の同時露光が開始される。
 その後、測距露光信号TRN_TOFがローレベルとなり、ANDゲート201から出力される出力信号Aがローレベルとなり、露光信号TRN(k)~TRN(k+α)がローレベルとなる。このため、k~k+α行目の画素100において、トランスファゲートトランジスタ103がオフ状態となり、アバランシェフォトダイオード101からフローティングディフュージョンFDへの信号電荷の転送が停止される。すなわち、第1画素における同時露光が終了する。その後、測距アドレス回路12は、第1駆動信号TOF(k)~TOF(k+α)をローレベルにして、初期状態に戻る。
 光照射期間において、第1画素に対して、以上の動作が複数回行われる。すなわち、本実施形態の固体撮像装置1では、光照射期間において、第1画素の同時露光が複数回行われる。
 次に、光源スキャン期間γの読み出し期間において、測距選択信号SEL_TOFがハイレベルとなる。また、測距アドレス回路12は第1駆動信号TOF(k)をハイレベルにする。このため、k行目の画素100に対応する駆動信号生成部141におけるANDゲート205から出力される出力信号Eがハイレベルとなり、選択信号SEL(k)がハイレベルとなる。これにより、k行目の画素100において、選択トランジスタ109がオン状態となり、画素100から画素信号が出力される。すなわち、k行目の画素100からの画素信号の読み出しが開始される。その後、測距選択信号SEL_TOFおよび第1駆動信号TOF(k)がローレベルとなり、k行目の画素100からの画素信号の出力が停止される。すなわち、k行目の画素100からの画素信号の読み出しが終了する。
 その後、k+1~k+α行目の画素100に対して、以上の動作が順次行われる。すなわち、第1画素からの画素信号の読み出しが、行ごとに行われる。
 その後、固体撮像装置1は、光源スキャン期間γ+1において、光源4の照射位置をk+α+1~k+2α行目の画素100に対応するように変更しつつ、k+α+1~k+2α行目の画素100に対して、以上に説明した動作を同様に行う。すなわち、測距アドレス回路12は、光源スキャン期間ごとに、画素100をα行ずつ、ずらしながら第1画素を選択する。したがって、固体撮像装置1では、スキャン期間ごとに、第1画素として選択する画素100が変更される。
 次に、第2画素の動作について説明する。
 光源スキャン期間γの光照射期間において、カメラアドレス回路13は、第2駆動信号BRT(m)をハイレベルにする。また、カメラ露光信号TRN_BRTおよびカメラ選択信号SEL_BRTがハイレベルとなる。このため、m行目の画素100に対応する駆動信号生成部141におけるANDゲート202から出力される出力信号Bがハイレベルとなり、露光信号TRN(m)がハイレベルとなる。また、m行目の画素100に対応する駆動信号生成部141におけるANDゲート206から出力される出力信号Fがハイレベルとなり、選択信号SEL(m)がハイレベルとなる。これにより、m行目の画素100において、トランスファゲートトランジスタ103および選択トランジスタ109がオン状態となり、m行目の画素100の露光が開始されるとともに、m行目の画素100からの画素信号の読み出しが開始される。その後、カメラアドレス回路13が第2駆動信号BRT(m)をローレベルにするとともに、カメラ露光信号TRN_BRTおよびカメラ選択信号SEL_BRTがローレベルになることにより、m行目の画素100の露光が終了されるとともに、m行目の画素100からの画素信号の読み出しが終了する。
 ここで、カメラ露光信号TRN_BRTがハイレベルとなるカメラ露光時間Tbは、測距露光信号TRN_TOFがハイレベルとなる測距露光時間Taよりも長く設定されている。すなわち、各光源スキャン期間において、第2画素として選択された画素100は、第1画素として選択された画素100よりも長い時間露光することとなる。
 その後、カメラアドレス回路13は、第2駆動信号BRT(l)をハイレベルにする。また、カメラリセット信号RST_BRTがハイレベルとなる。このため、l行目の画素100に対応する駆動信号生成部141におけるANDゲート204から出力される出力信号Dがハイレベルとなり、第1リセット信号RSTがハイレベルとなる。これにより、リセットトランジスタ105がオン状態となり、フローティングディフュージョンFDにリセット電圧VRSTが供給される。すなわち、l行目の画素100のフローティングディフュージョンFDがリセット電圧VRSTにリセットされる。
 その後、m+1~m+α,l+1~l+α行目の画素100に対して、以上に説明した動作が同様に行われる。
 その後、図示は省略するが、カメラアドレス回路13は、光源スキャン期間ごとに、画素100をα行ずつ、ずらしながら第2画素を選択する。すなわち、固体撮像装置1では、スキャン期間ごとに、第2画素として選択する画素100が変更される。
 以上の構成により、画素アレイ11に含まれる、k~k+α行目の画素100は、測距アドレス回路12により、距離測定に用いられる第1画素として選択される。また、画素アレイ11に含まれる、第1画素以外のm~m+α行目の画素100は、カメラアドレス回路13により、カメラ画像生成に用いられる第2画素として選択される。マルチプレクサ14のANDゲート201は、スキャン期間に含まれる光照射期間において、第1画素が同時露光を行うように出力信号Aを出力する一方、マルチプレクサ14のANDゲート205は、光照射期間後の読み出し期間において、第1画素から画素信号が読み出されるように出力信号Eを出力する。また、マルチプレクサ14のANDゲート206は、スキャン期間における光照射期間を含む期間において、第2画素から画素信号が読み出されるように出力信号Fを出力する。すなわち、第1画素は距離測定のために用いられる一方、第2画素はカメラ画像作成のために用いられる。これにより、画素100を無駄なく使用することができる。また、スキャン期間における光照射期間を含む期間において、第1画素を駆動するANDゲート201,206と異なるANDゲート205により、第2画素からの画素信号が読み出される。これにより、第2画素は、第1画素の露光時間よりも長い時間露光を行うことができる。したがって、距離測定およびカメラ画像生成に利用可能な固体撮像装置1において、画素100を効率よく使用しつつ、鮮明なカメラ画像を作成するために必要な露光時間を確保することができる。
 また、測距アドレス回路12は、第1画素の行ごとに、第1画素の駆動タイミングを示す第1駆動信号TOFを出力する。カメラアドレス回路13は、第2画素の行ごとに、第2画素の駆動タイミングを示す第2駆動信号BRTを出力する。マルチプレクサ14は、第1画素の露光タイミングを示す測距露光信号TRN_TOF、第1画素の画素信号の出力タイミングを示す測距選択信号SEL_TOF、第2画素の露光タイミングを示すカメラ露光信号TRN_BRT、および、第2画素の画素信号の出力タイミングを示すSEL_BRTを受け、露光信号TRNおよび選択信号SELを画素100に出力する。第1画素の露光信号TRNは、第1駆動信号TOFと測距露光信号TRN_TOFとの論理積によって生成される。第1画素の選択信号SELは、第1駆動信号TOFと測距選択信号SEL_TOFとの論理積によって生成される。第2画素の露光信号TRNは、第2駆動信号とカメラ露光信号TRN_BRTとの論理積によって生成される。第2画素の選択信号は、第2駆動信号BRTと測距選択信号SEL_BRTとの論理積によって生成される。これにより、第1および第2画素の駆動タイミングを示す信号と、駆動内容ごとの駆動タイミングを示す信号との論理積を行うことにより、画素100の行および駆動内容ごとに、制御信号を生成するための回路を設ける必要がなくなり、固体撮像装置1の面積を抑えることができる。
 なお、本実施形態において、第2画素の露光、および、第2画素からの画素信号の出力は同時に行われているが、異なるタイミングで行われてもよい。
 (第2実施形態)
 図5は第2実施形態に係る固体撮像装置の動作シーケンスを示す。なお、第2実施形態における固体撮像装置は、第1実施形態における固体撮像装置と同じ構成である。図5では、光源スキャン期間γの光照射期間において、第2画素の同時露光が行われた後に、第2画素からの画素信号の読み出しが行われる。
 具体的に、光源スキャン期間γの光照射期間において、カメラアドレス回路13は、第2駆動信号BRT(m)~BRT(m+α)をハイレベルにする。また、カメラ露光信号TRN_BRTがハイレベルとなる。このため、露光信号TRN(m)~TRN(m+α)がハイレベルとなり、m~m+α行目の画素100におけるトランスファゲートトランジスタ103がオン状態となる。すなわち、第2画素の同時露光が開始される。
 その後、カメラ露光信号TRN_BRTがローレベルとなる。このため、露光信号TRN(m)~TRN(m+α)がローレベルとなり、m~m+α行目の画素100におけるトランスファゲートトランジスタ103がオフ状態となる。すなわち、第2画素の同時露光が終了される。
 その後、カメラアドレス回路13は、第2駆動信号BRT(m+1)~BRT(m+α)をローレベルにする。また、カメラ選択信号SEL_BRTがハイレベルとなる。このため、選択信号SEL(m)がハイレベルとなり、m行目の画素100における選択トランジスタ109がオン状態となる。すなわち、m行目の画素100からの画素信号の読み出しが開始される。
 その後、カメラアドレス回路13は、第2駆動信号BRT(m)をローレベルにする。このため、選択信号SEL(m)がローレベルとなり、m行目の画素100における選択トランジスタ109がオフ状態となる。すなわち、m行目の画素100からの画素信号の読み出しが終了する。
 その後、第2画素の同時露光が行われた後に、m+1~m+α行目の画素100に対して、以上に説明した動作が同様に行われる。これにより、鮮明なカメラ画像を生成するために必要な画素信号を第2画素から得ることができる。
 なお、本実施形態において、第2画素の同時露光が終了した後に、m+1~m+α行目の画素100におけるカウント信号CNTをハイレベルにして、カウントトランジスタ106をオン状態にし、フローティングディフュージョンFDからメモリキャパシタ107に信号電荷を転送してもよい。
 (第3実施形態)
 図6は第3実施形態に係る固体撮像装置の構成例を示す回路図である。なお、図6では、説明をしやすくするため、固体撮像装置1の一部を省略して図示している。
 図6に示すように、マルチプレクサ14は、第1電源線301と、第2電源線302と、第3電源線303と、スイッチ321,322とをさらに備える。第3電源線303およびスイッチ321,322は、画素100の行ごとに設けられている。
 マルチプレクサ14は、第1電源線301を介して、第1電源311と接続されており、第1電源311から第1リセット電圧VRST1の供給を受けている。また、マルチプレクサ14は、第2電源線302を介して、第2電源312と接続されており、第2電源312から第2リセット電圧VRST2の供給を受けている。なお、第1リセット電圧VRST1は、第2リセット電圧VRST2より高い電圧である。例えば、第1リセット電圧VRST1は3Vであり、第2リセット電圧VRST2は1.5V~2Vである。
 第1電源線301は、スイッチ321を介して、第3電源線303と接続されており、第2電源線302は、スイッチ322を介して、第3電源線303と接続されている。スイッチ321は、測距アドレス回路12からハイレベルの第1駆動信号TOFを受けたとき、第1電源線301と第3電源線303とを接続する。スイッチ322は、カメラアドレス回路13からハイレベルの第2駆動信号BRTを受けたとき、第2電源線302と第3電源線303とを接続する。なお、図示は省略するが、第3電源線303は、行方向に並んだ画素100におけるオーバーフロートランジスタ102のソースおよびリセットトランジスタ105のソースに接続されている。すなわち、マルチプレクサ14は、図3におけるリセット電圧VRSTに、第1リセット電圧VRST1または第2リセット電圧VRST2の供給を行う。
 図7は本実施形態に係る固体撮像装置の動作シーケンスを示す。具体的に、図7では、光源スキャン期間γにおけるk,m,l行目の画素100の動作シーケンスを示す。
 まず、第1画素の動作を説明する。
 光照射期間において、測距アドレス回路12は、第1駆動信号TOF(k)~TOF(k+α)をハイレベルにする。また、第2リセット信号OVF(k)~OVF(k+α)がハイレベルとなる。このため、k~k+α行目の画素100におけるオーバーフロートランジスタ102がオン状態となる。このとき、スイッチ321により、第1電源線301と第3電源線303とが接続されているため、アバランシェフォトダイオード101に第1リセット電圧VRST1が供給される。すなわち、第1画素におけるアバランシェフォトダイオード101が第1リセット電圧VRST1にリセットされる。
 その後、第2リセット信号OVF(k)~OVF(k+α)がローレベルになるとともに、露光信号TRN(k)~TRN(k+α)がハイレベルとなり、第1画素の同時露光が行われる。
 その後、露光信号TRN(k)~TRN(k+α)がローレベルとなり、カウント信号CNT(k)~CNT(k+α)がハイレベルとなる。すなわち、第1画素におけるメモリキャパシタ107に露光結果に基づいた信号電荷が蓄積される。
 その後、カウント信号CNT(k)~CNT(k+α)がローレベルとなり、測距アドレス回路12は、第1駆動信号TOF(k)~TOF(k+α)をローレベルにする。
 その後、光照射期間において、第1画素に対して、以上の動作が複数回行われる。
 次に、光源スキャン期間γの読み出し期間において、測距選択信号SEL_TOFおよび第1リセット信号RST(k)がハイレベルとなる。また、測距アドレス回路12は第1駆動信号TOF(k)をハイレベルにする。このため、リセットトランジスタ105および選択トランジスタ109がオン状態となる。このとき、スイッチ321により、第1電源線301と第3電源線303とが接続されているため、フローティングディフュージョンFDに第1リセット電圧VRST1が供給される。すなわち、k行目の画素100におけるフローティングディフュージョンFDが第1リセット電圧VRST1にリセットされる。
 その後、第1リセット信号RST(k)がローレベルとなり、カウント信号CNT(k)がハイレベルとなる。このため、カウントトランジスタ106がオン状態となり、メモリキャパシタ107に蓄積された信号電荷がフローティングディフュージョンFDに転送され、フローティングディフュージョンFDの電圧に応じた画素信号が選択トランジスタ109から出力される。すなわち、k行目の画素100からの画素信号の読み出しが行われる。
 その後、カウント信号CNT(k)がローレベルとなり、第1リセット信号RST(k)が一時的にハイレベルとなって、k行目の画素100におけるフローティングディフュージョンFDが第1リセット電圧VRST1にリセットされる。
 その後、測距選択信号SEL_TOFがローレベルとなり、測距アドレス回路12が第1駆動信号TOF(k)をローレベルにして、初期状態に戻る。
 その後、k+1~k+α行目の画素100に対して、以上の動作が、画素100の行ごとに行われる。
 次に、第2画素の動作を説明する。
 光照射期間において、カメラアドレス回路13は、第2駆動信号BRT(m)をハイレベルにする。また、カメラ選択信号SEL_BRTおよび第1リセット信号RST(m)がハイレベルとなる。このため、m行目の画素100におけるリセットトランジスタ105および選択トランジスタ109がオン状態となる。このとき、スイッチ322により、第2電源線302と第3電源線303とが接続されているため、フローティングディフュージョンFDに第2リセット電圧VRST2が供給される。すなわち、m行目の画素100におけるフローティングディフュージョンFDが第2リセット電圧VRST2にリセットされる。
 その後、第1リセット信号RST(m)がローレベルとなり、露光信号TRN(m)がハイレベルとなる。このため、m行目の画素100において露光が行われる。このとき、選択トランジスタ109がオン状態であるため、画素100からの画素信号の読み出しが行われる。
 その後、カメラ露光信号SEL_BRT、露光信号TRN(m)、第1駆動信号BRT(m)および選択信号SEL(m)がローレベルとなり、初期状態に戻る。
 その後、カメラアドレス回路13は、第2駆動信号BRT(l)をハイレベルにする。また、カメラ露光信号SEL_BRT、選択信号SEL(l)および第1リセット信号RST(l)がハイレベルとなる。このため、l行目の画素100におけるリセットトランジスタ105および選択トランジスタ109がオン状態となる。このとき、スイッチ322により、第2電源線302と第3電源線303とが接続されているため、フローティングディフュージョンFDに第2リセット電圧VRST2が供給される。すなわち、l行目の画素100におけるフローティングディフュージョンFDが第2リセット電圧VRST2にリセットされる。
 その後、第1リセット信号RST(l)がローレベルとなり、露光信号TRN(l)がハイレベルとなる。このため、l行目の画素100におけるオーバーフロートランジスタ102がオン状態となる。このとき、スイッチ322により、第2電源線302と第3電源線303とが接続されているため、アバランシェフォトダイオード101に第2リセット電圧VRST2が供給される。すなわち、l行目の画素100におけるアバランシェフォトダイオード101が第2リセット電圧VRST2にリセットされる。
 その後、第2駆動信号BRT(l)、第2リセット信号RST(l)および選択信号SEL(l)がローレベルとなり、初期状態に戻る。
 その後、m+1~m+α,l+1~l+α行目の画素100に対して、以上に動作が、行ごとに行われる。
 以上の構成により、光源スキャン期間γにおいて、第1画素として選択されるk~k+α行目の画素100は、露光が行われる前に、アバランシェフォトダイオード101およびフローティングディフュージョンFDが第1リセット電圧VRST1にリセットされている。また、光源スキャン期間γにおいて、第2画素として選択されるm~m+α,l~l+α行目の画素100は、露光が行われる前に、アバランシェフォトダイオード101およびフローティングディフュージョンFDが第1リセット電圧VRST1よりも低い第2リセット電圧VRST2にリセットされている。これにより、第2画素におけるアバランシェフォトダイオード101の信号電荷の増倍率を抑えることができるため、第2画素に、カメラ画像作成に適した動作を行わせることができる。
 (アドレス回路の構成)
 図8は第1~第3実施形態に係る固体撮像装置における測距アドレス回路の構成例を示す回路図である。図8に示すように、測距アドレス回路12は、N個のDフリップフロップ401を含む露光アドレス用サブ回路405と、N個のDフリップフロップ402を含む読み出しアドレス用サブ回路406と、N個の選択回路403と、N個のANDゲート404とを含む。Dフリップフロップ401、Dフリップフロップ402、選択回路403およびANDゲート404は、画素100の行ごとに設けられている。
 各Dフリップフロップ401は、クロック端子に第1クロック信号CK1を受け、リセット端子に第3リセット信号RST3を受ける。また、Dフリップフロップ401は直列接続されている。例えば、1行目の画素100に対応するDフリップフロップ401は、D端子に第1シフト信号SFT1を受け、Q端子が、2行目の画素100に対応するDフリップフロップ401のD端子、および、1行目の画素100に対応する選択回路403の第1入力端子に接続されている。すなわち、Dフリップフロップ401は、Q端子が、後段のDフリップフロップ401のD端子および選択回路403の第1入力端子に接続される。
 各Dフリップフロップ402は、クロック端子に第2クロック信号CK2を受け、リセット端子に第4リセット信号RST4を受ける。また、Dフリップフロップ402は直列接続されている。例えば、1行目の画素100に対応するDフリップフロップ402は、D端子に第2シフト信号SFT2を受け、Q端子が、2行目の画素100に対応するDフリップフロップ402のD端子、および、1行目の画素100に対応する選択回路403の第2入力端子に接続されている。すなわち、Dフリップフロップ402は、Q端子が、後段のDフリップフロップ402のD端子および選択回路403の第2入力端子に接続される。
 選択回路403は、入力された制御信号に応じて、第1出力端子に入力された信号または第2出力端子に入力された信号を、ANDゲート404に出力する。具体的に、選択回路403は、制御信号として、反転された測距選択信号SEL_TOFを受ける。例えば、選択回路403は、測距選択信号SEL_TOFがローレベルのときは、第1入力端子に入力された信号、すなわち、Dフリップフロップ401のQ端子から出力される信号をANDゲート404に出力する。一方、選択回路403は、測距選択信号SEL_TOFがハイレベルのときは、第2入力端子に入力された信号、すなわち、Dフリップフロップ402のQ端子から出力される信号をANDゲート404に出力する。
 ANDゲート404は、選択回路403から出力された信号と、アドレスイネーブル信号Addrとの論理積を行い、第1駆動信号TOF(1)~TOF(N)を出力する。
 図9は測距アドレス回路の動作シーケンスを示す。具体的に、図9は光源スキャン期間1における固体撮像装置1の動作を示す。図9では、測距アドレス回路12により、2~α+1行目の画素100が第1画素として選択される。
 光源スキャン期間1の前において、第1シフト信号SFT1をハイレベルにし、第1クロック信号CK1をα回ハイレベルにする。その後、第1シフト信号SFT1をローレベルにし、第1クロック信号CK1を1回ハイレベルにする。このため、2~α+1行目の画素100に対応するDフリップフロップ401のQ端子から出力される信号がハイレベルとなる。
 また、第2シフト信号SFT2をハイレベルにし、第2クロック信号CK1を1回ハイレベルにする。その後、第2シフト信号SFT2をローレベルにし、第2クロック信号CK2を1回ハイレベルにする。このため、2行目の画素100に対応するDフリップフロップ402のQ端子から出力される信号がハイレベルとなる。
 光源スキャン期間1における光照射期間において、アドレスイネーブル信号Addrがハイレベルとなる。このとき、測距選択信号SEL_TOFがローレベルであるため、選択回路403は、第1入力端子に入力された信号、すなわち、Dフリップフロップ401のQ端子から出力される信号をANDゲート404に出力する。したがって、第1駆動信号TOF(2)~TOF(1+α)がハイレベルとなる。
 その後、アドレスイネーブル信号Addrがハイレベルとなるタイミングに、第1駆動信号TOF(2)~TOF(1+α)がハイレベルとなる。
 光源スキャン期間1の読み出し期間において、測距選択信号SEL_TOFおよびアドレスイネーブル信号Addrがハイレベルとなる。このため、選択回路403は、第2入力端子に入力された信号、すなわち、Dフリップフロップ402のQ端子から出力されるハイレベルの信号をANDゲート404に出力する。したがって、第1駆動信号TOF(2)がハイレベルとなる。
 その後、測距選択信号SEL_TOFおよびアドレスイネーブル信号Addrがローレベルとなり、第2クロック信号CK2がハイレベルとなる。すなわち、2行目の画素100に対応するDフリップフロップ402のQ端子から出力される信号が、ローレベルとなり、3行目の画素100に対応するDフリップフロップ402のQ端子から出力される信号が、ハイレベルとなる。
 その後、測距選択信号SEL_TOFおよびアドレスイネーブル信号Addrがローレベルとなり、第2クロック信号CK2がハイレベルとなる。このとき、第1駆動信号TOF(3)がハイレベルとなる。
 その後、同様の動作を行うことにより、第1駆動信号TOF(4)~TOF(α+1)を1行ごとにハイレベルにすることができる。
 以上の構成により、測距アドレス回路12において、第1駆動信号TOF(1)~TOF(N)を生成することができる。
 なお、本実施形態において、カメラアドレス回路13を測距アドレス回路12と同様に構成してもよい。
 また、測距アドレス回路12は、その他の回路構成により実現されてもよい。
 (その他の実施形態)
 以上のように、本出願において開示する技術の例示として、実施形態について説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 なお、上記各実施形態において、マルチプレクサ14は、画素100が露光する前に、第2リセット信号OVFをハイレベルにして、オーバーフロートランジスタ102をオン状態にして、アバランシェフォトダイオード101内の信号電荷をリセットしてもよい。
 また、上記各実施形態において、マルチプレクサ14に、ANDゲートおよびORゲートをさらに備え、露光信号TRN、選択信号SEL、または、第1リセット信号RSTと同様の構成で、第2リセット信号OVFおよびカウント信号CNTを生成してもよい。
 また、上記各実施形態において、固体撮像装置1は、1フレーム分の動作をM個の光源スキャン期間に分け、画素アレイ11の行数をNとし、光源スキャン期間ごとに第1および第2画素として選択する画素100をα行ずつ、ずらす場合、αをN/Mに設定してもよい。また、αをN/M以下に設定してもよい。この場合、1フレーム分の動作において、同一の第2画素に対して、複数回、露光および画素信号の読み出しが行われるため、光源4の照射端部の強度が小さいときでも、鮮明なカメラ画像を生成することができる。
 また、上記各実施形態において、光源スキャン期間に、α行の画素100が第1画素として選択され、2α行の画素100が第2画素として選択されるが、これに限られない。例えば、第1画素として、α行以上またはα行以下の画素100が選択されてもよいし、第2画素として、2α行以上または2α行以下の画素100が選択されてもよい。
 また、光源スキャン期間ごとに第1および第2画素として選択する画素100をα行以上またはα行以下ずつ、ずらして選択してもよい。
 また、上記各実施形態において、画素100は、アバランシェフォトダイオード101に代えて、フォトダイオード等の光電変換素子を備えてもよい。
 本開示は、距離測定とカメラ画像生成に利用可能な固体撮像装置であるため、例えば、距離カメラ等に適用することができる。
 1 固体撮像装置 
 4 光源 
 11 画素アレイ 
 12 測距アドレス回路 
 13 カメラアドレス回路 
 14 マルチプレクサ 
 100 画素 
 103 トランスファゲートトランジスタ 
 105 リセットトランジスタ 
 109 選択トランジスタ 
 201~206 ANDゲート

Claims (8)

  1.  行列状に配置された複数の画素と、
     前記複数の画素の露光と、前記複数の画素からの画素信号の読み出しとを行うスキャン期間において、前記複数の画素のうち所定数の行に含まれる画素を、距離測定に用いられる第1画素として選択する測距アドレス回路と、
     前記スキャン期間において、前記複数の画素のうち前記第1画素以外の画素を、カメラ画像作成に用いられる第2画素として選択するカメラアドレス回路と、
     前記第1画素を駆動する第1駆動回路と、
     前記第2画素を駆動する第2駆動回路と、
    を備え、
     前記第1駆動回路は、前記スキャン期間に含まれる光照射期間において、前記第1画素の同時露光を行う一方、前記光照射期間後の読み出し期間において、前記第1画素からの画素信号の読み出しを行い、
     前記第2駆動回路は、前記スキャン期間における前記光照射期間を含む期間において、前記第2画素からの画素信号の読み出しを行う
     ことを特徴とする固体撮像装置。
  2.  請求項1記載の固体撮像装置において、
     前記測距アドレス回路は、前記スキャン期間ごとに、前記複数の画素のうち前記第1画素として選択する行を変更することを特徴とする固体撮像装置。
  3.  請求項1または2記載の固体撮像装置において、
     前記測距アドレス回路は、前記第1画素のうち露光させる行を示す第1駆動信号を出力し、
     前記第1駆動回路は、前記測距アドレス回路から前記第1駆動信号を受けるとともに、前記第1画素を露光させるタイミングを示す測距露光信号を受け、前記第1駆動信号と前記測距露光信号との論理積を行い、前記第1画素に出力する
     ことを特徴とする固体撮像装置。
  4.  請求項1~3記載のいずれか1項記載の固体撮像装置において、
     前記画素は、アバランシェフォトダイオードを含み、
     前記第2画素は、前記第1画素の電荷蓄積領域をリセットするための第1リセット電圧と異なる第2リセット電圧により、電荷蓄積領域がリセットされることを特徴とする固体撮像装置。
  5.  請求項1~4記載のいずれか1項記載の固体撮像装置において、
     前記第2駆動回路は、前記スキャン期間における前記光照射期間を含む期間において、前記第2画素の露光と、前記第2画素からの画素信号の読み出しとを、前記第2画素の行ごとに行うことを特徴とする固体撮像装置。
  6.  請求項1~4記載のいずれか1項記載の固体撮像装置において、
     前記第2駆動回路は、前記スキャン期間における前記光照射期間を含む期間において、前記第2画素の同時露光を行い、前記第2画素からの画素信号の読み出しを、前記第2画素の行ごとに行うことを特徴とする固体撮像装置。
  7.  請求項1~6記載のいずれか1項記載の固体撮像装置と、
     行方向に延びるライン状の照射光を照射可能な光源と
     を備える撮像装置であって、
     前記測距アドレス回路は、前記照射光の照射位置に対応する画素を前記第1画素として選択することを特徴とする撮像装置。
  8.  請求項7記載の撮像装置において、
     前記光源は、前記スキャン期間ごとに、列方向に前記照射光を移動させ、
     前記測距アドレス回路は、前記スキャン期間ごとに、前記第1画素として選択する画素を変更することを特徴とする撮像装置。
PCT/JP2020/001700 2019-03-27 2020-01-20 固体撮像装置 WO2020195046A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080020889.3A CN113574408A (zh) 2019-03-27 2020-01-20 固体摄像装置
JP2021508122A JP7199016B2 (ja) 2019-03-27 2020-01-20 固体撮像装置
US17/482,253 US20220006941A1 (en) 2019-03-27 2021-09-22 Solid-state imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-061424 2019-03-27
JP2019061424 2019-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/482,253 Continuation US20220006941A1 (en) 2019-03-27 2021-09-22 Solid-state imaging device

Publications (1)

Publication Number Publication Date
WO2020195046A1 true WO2020195046A1 (ja) 2020-10-01

Family

ID=72608710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001700 WO2020195046A1 (ja) 2019-03-27 2020-01-20 固体撮像装置

Country Status (4)

Country Link
US (1) US20220006941A1 (ja)
JP (1) JP7199016B2 (ja)
CN (1) CN113574408A (ja)
WO (1) WO2020195046A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム
JP2017163539A (ja) * 2016-03-04 2017-09-14 キヤノン株式会社 撮像素子、撮像装置及び移動体
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 距離測定装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906202B2 (ja) * 2003-12-15 2007-04-18 株式会社東芝 固体撮像装置およびそれを利用した撮像システム
US7664387B2 (en) * 2006-09-01 2010-02-16 Nokia Corporation Exposure time selection in a transmission apparatus with a camera
US8994877B2 (en) * 2008-07-30 2015-03-31 Semiconductor Components Industries, Llc Method and system for synchronizing a flash to an imager
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
JP2010109607A (ja) * 2008-10-29 2010-05-13 Olympus Corp 固体撮像装置
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
JP5635937B2 (ja) * 2011-03-31 2014-12-03 本田技研工業株式会社 固体撮像装置
JP5447430B2 (ja) * 2011-04-27 2014-03-19 株式会社ニコン 撮像装置
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
JP6309459B2 (ja) * 2012-02-15 2018-04-11 ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーHeptagon Micro Optics Pte.Ltd. ストライプ照明の飛行時間型カメラ
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
EP3015882B1 (en) * 2013-06-27 2020-12-09 Panasonic Semiconductor Solutions Co., Ltd. Distance measuring device
EP3188471A4 (en) * 2014-08-29 2017-08-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device
JP6452354B2 (ja) * 2014-09-01 2019-01-16 キヤノン株式会社 撮像装置
US9425233B2 (en) * 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
US10182181B2 (en) * 2014-12-23 2019-01-15 Intel Corporation Synchronization of rolling shutter camera and dynamic flash light
US9608027B2 (en) * 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
US20160290790A1 (en) * 2015-03-31 2016-10-06 Google Inc. Method and apparatus for increasing the frame rate of a time of flight measurement
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
WO2017022218A1 (ja) * 2015-08-04 2017-02-09 パナソニックIpマネジメント株式会社 固体撮像装置
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
JPWO2017150246A1 (ja) * 2016-02-29 2018-12-27 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
EP3451655B1 (en) * 2017-08-31 2020-10-21 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム
JP2017163539A (ja) * 2016-03-04 2017-09-14 キヤノン株式会社 撮像素子、撮像装置及び移動体
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 距離測定装置

Also Published As

Publication number Publication date
JPWO2020195046A1 (ja) 2020-10-01
JP7199016B2 (ja) 2023-01-05
CN113574408A (zh) 2021-10-29
US20220006941A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
JP6755799B2 (ja) 撮像装置、及びそれに用いられる固体撮像装置
JP6485674B1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP6480712B2 (ja) 撮像装置及びその制御方法
US9838611B2 (en) Image capturing apparatus for obtaining normal image and range image and control method thereof
JP7096658B2 (ja) 固体撮像素子及び撮像装置
CN103997612A (zh) 固态成像装置及其驱动方法
US20170187936A1 (en) Image sensor configuration
JP6806553B2 (ja) 撮像装置、撮像装置の駆動方法及び撮像システム
JPS5815375A (ja) 固体撮像装置
US8553121B2 (en) Imaging apparatus and control method thereof
JP2006101483A5 (ja)
WO2020195046A1 (ja) 固体撮像装置
WO2020027221A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6530598B2 (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
JP6909050B2 (ja) 固体撮像素子及び撮像装置
JP7277242B2 (ja) 撮像装置およびその制御方法
JP7361514B2 (ja) 撮像素子および撮像装置
JP6485725B1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP7203364B2 (ja) 固体撮像装置、距離測定装置および距離測定方法
JP7281718B2 (ja) 光検出器、固体撮像装置、及び、距離測定装置
JP2015192341A (ja) 撮像システム
JP7299711B2 (ja) 光電変換装置及びその駆動方法
JP6320132B2 (ja) 撮像システム
JP2015210435A (ja) 撮像装置
WO2018124044A1 (ja) 撮像素子、撮像装置、カメラ、及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777687

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20777687

Country of ref document: EP

Kind code of ref document: A1