WO2024009343A1 - 光検出装置 - Google Patents

光検出装置 Download PDF

Info

Publication number
WO2024009343A1
WO2024009343A1 PCT/JP2022/026565 JP2022026565W WO2024009343A1 WO 2024009343 A1 WO2024009343 A1 WO 2024009343A1 JP 2022026565 W JP2022026565 W JP 2022026565W WO 2024009343 A1 WO2024009343 A1 WO 2024009343A1
Authority
WO
WIPO (PCT)
Prior art keywords
period
selects
pixels
pulse signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/026565
Other languages
English (en)
French (fr)
Inventor
泰二 池田
チン ディン
ノアム エシェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202280097632.7A priority Critical patent/CN119452233A/zh
Priority to PCT/JP2022/026565 priority patent/WO2024009343A1/ja
Priority to US18/865,995 priority patent/US20250324177A1/en
Publication of WO2024009343A1 publication Critical patent/WO2024009343A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00Measuring the characteristics of individual optical pulses or of optical pulse trains
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Definitions

  • the present technology relates to a photodetection device. Specifically, the present invention relates to a photodetection device that counts the number of photons.
  • solid-state image sensors in which a plurality of pixels are arranged are used in imaging devices and the like to capture image data.
  • a photodetection device has been proposed in which each pixel is provided with a SPAD (Single-Photon Avalanche Diode), a waveform shaping section that generates a pulse signal, and a counter that counts the number of pulses (see, for example, Patent Document 1). ).
  • SPAD Single-Photon Avalanche Diode
  • a waveform shaping section that generates a pulse signal
  • a counter that counts the number of pulses
  • the linearity of the composite signal is ensured by adding pixels when one of the two pixel counters is saturated.
  • the maximum count value of each pixel cannot be increased, and the dynamic range cannot be expanded. If the resolution of each counter of each pixel is increased, the dynamic range can be expanded and the image quality can be improved, but this is not preferable because the circuit scale of the counter increases.
  • This technology was created in view of this situation, and its purpose is to improve the image quality in a photodetection device that counts the number of pulses with a counter.
  • the present technology has been developed to solve the above-mentioned problems, and its first aspect includes a first sensor section that generates a first pulse signal in response to incident photons; a second sensor unit that generates a second pulse signal in response to a second pulse signal; and a second sensor unit that counts a count value in synchronization with any of a plurality of signals including the first and second pulse signals, and indicates the count value.
  • a first counter that outputs a first digital signal and a first carry flag indicating whether an overflow has occurred;
  • the photodetector includes a second counter that counts a count value and outputs a second digital signal indicating the count value. This has the effect of expanding the resolution of the counter.
  • a first multiplexer that selects one of the first and second pulse signals and outputs the selected one to the first counter as a first output signal; further comprising a second multiplexer that selects either the flag or the second pulse signal and outputs it to the second counter as a second output signal, the first counter
  • the second counter may count in synchronization with the second output signal. This brings about the effect that the number of pulses is counted in synchronization with the output signal of the multiplexer.
  • the first multiplexer selects the first pulse signal when a low illuminance mode is set in which the illuminance does not exceed the predetermined value, and selects the first pulse signal when the illuminance is higher than the predetermined value.
  • the second multiplexer alternately selects the first and second pulse signals when the high-light mode is set, and selects the second pulse signal when the low-light mode is set. If the high-intensity mode is selected and the high-intensity mode is set, the first carry flag may be selected. This brings about the effect that the resolution of the counter is expanded at times of high illuminance.
  • the illuminance is higher than the predetermined value based on the first and second digital signals, and either the high illuminance mode or the low illuminance mode is set. It may further include a determiner. This brings about the effect that the illuminance is determined within the pixel.
  • At least one of the first and second counters outputs a specific bit of the digital signal to the determiner, and the determiner outputs the specific bit based on the specific bit.
  • Either the high illumination mode or the low illumination mode may be set. This has the effect of simplifying the determiner.
  • the first sensor section is disposed on one of the first and second pixels of the same color among the plurality of pixels arranged in the pixel array section, and the second sensor section is disposed on the other side. may be arranged. This brings about the effect of suppressing the difference in count values for each pixel.
  • a microlens may be further provided that guides the incident light to a plurality of pixels of the same color including the first and second pixels. This brings about the effect that the phase difference can be easily detected.
  • the first and second sensor sections further include a control circuit that controls the first and second sensor sections, and each of the first and second sensor sections includes an avalanche photodiode and an avalanche photodiode.
  • a recharge transistor that performs recharging to return the cathode potential of the battery to a predetermined potential; the control circuit controls a count period, which is an interval at which the recharge is performed, to one of a plurality of cycles; If the count period is a long period longer than the predetermined period, the first pulse signal is selected, and if the count period is a short period shorter than the predetermined period, the first and second pulse signals are selected.
  • the second multiplexer selects the second pulse signal when the count period is the long period, and selects the first pulse signal when the count period is the short period.
  • a carry flag may be selected. This brings about the effect of reducing power consumption.
  • the first and second counters may determine whether or not the counting period of the first and second counters is enabled within one of the long period and the short period.
  • the first and second sensor sections each include a logic gate that turns off the recharge transistor when it is determined that counting is invalidated. It may further include. This brings about the effect that counting is controlled to be valid or invalid depending on the illuminance.
  • the first sensor section is arranged in one of the first and second pixels among the plurality of pixels arranged in the pixel array section, and the second sensor section is arranged in the other one.
  • the control circuit switches the count period a plurality of times within a frame period for capturing one frame, and the first and second multiplexers switch the selected count period within the frame period. The switching may be performed multiple times. This brings about the effect of reducing power consumption.
  • control circuit may sequentially select a plurality of rows of the pixel array section and start exposure. This brings about the effect of improving the frame rate.
  • control circuit selects all pixels in the pixel array section at the start of the frame period to simultaneously start exposure, and selects all the pixels immediately before the end of the frame period. Exposure may be terminated at the same time. This brings about the effect of suppressing rolling shutter distortion.
  • control circuit may sequentially select a plurality of rows of the pixel array section and start exposure during the frame period. This brings about the effect of improving the frame rate.
  • control circuit selects all the pixels during the frame period and ends the exposure at the same time, switches the count period after completing reading of all the pixels, and then selects all the pixels. You may select them and start exposure at the same time. This brings about the effect of suppressing rolling shutter distortion.
  • control circuit simultaneously selects and exposes one of the first and second rows that share a signal line that transmits the digital signal, and during reading of the one digital signal, The other of the first and second rows may be selected and exposed at the same time. This brings about the effect of improving the frame rate.
  • a first logic gate that outputs a result of a logical operation on the first and second pulse signals as a first operation result; a first multiplexer that selects one of a plurality of signals including the calculation result and outputs it to the first counter as a first output signal; a second multiplexer that selects one and outputs it to the second counter as a second output signal; the first counter counts in synchronization with the first output signal; The second counter may count in synchronization with the second output signal.
  • the first and second sensor sections further include a control circuit that controls the first and second sensor sections, and each of the first and second sensor sections includes an avalanche photodiode and an avalanche photodiode.
  • a recharge transistor that performs recharging to return the cathode potential of the battery to a predetermined potential; the control circuit controls a count period, which is an interval at which the recharge is performed, to one of a plurality of cycles; If the count period is a long period longer than the predetermined period, the first pulse signal is selected, and if the count period is a short period shorter than the predetermined period, the first and second pulse signals are selected.
  • the second multiplexer selects the second pulse signal when the count period is the long period, and selects the first pulse signal when the count period is the short period.
  • a carry flag may be selected. This brings about the effect of reducing power consumption.
  • a third sensor section that generates a third pulse signal in response to incident photons
  • a fourth sensor section that generates a fourth pulse signal in response to incident photons.
  • a second logic gate that outputs the result of the logic operation on the third and fourth pulse signals as a second operation result
  • a second logic gate that outputs the result of the logic operation on the respective outputs of the first and second logic gates.
  • a third logic gate that outputs a third operation result, a second carry flag indicating whether an overflow has occurred, and a third logic gate that outputs either the third pulse signal or the second operation result.
  • a third multiplexer that outputs an output signal; a third digital signal that counts a count value in synchronization with the third output signal; a third digital signal that indicates the count value; and a third carry signal that indicates whether an overflow has occurred.
  • a third counter that outputs a flag; a fourth multiplexer that outputs either the third carry flag or the fourth pulse signal as a fourth output signal;
  • the first multiplexer further includes a fourth counter that synchronously counts a count value and outputs a fourth digital signal indicating the count value, and the first multiplexer is configured to synchronize the first pulse signal with the first pulse signal. Either the calculation result or the third calculation result may be selected, and the second counter may further generate the second carry flag. This brings about the effect that addition of 4 pixels or 2 pixels becomes possible.
  • the first multiplexer selects the first pulse signal when the non-additive low illuminance mode in which the illuminance does not exceed the predetermined value is set; When a higher non-additive high-intensity mode is set, the first pulse signal and the first calculation result are alternately selected, and when the addition mode is set, the first calculation result is selected.
  • the second multiplexer selects the second pulse signal when the non-additive low-light mode is set, and selects the first carry signal when the non-additive high-light mode is set. If a flag is selected and the addition mode is set, the first carry flag may be selected. This brings about the effect that the resolution of the counter is expanded during high illuminance or during pixel addition.
  • a part of the first sensor part and a part of the second sensor part are arranged on a predetermined pixel chip, and the rest of the first sensor part and the part of the second sensor part are arranged on a predetermined pixel chip.
  • the remaining two sensor units and the first and second counters may be arranged on a predetermined circuit chip. This brings about the effect that it becomes easy to increase the number of pixels.
  • the first sensor section is further provided with a control circuit that controls the plurality of pixels, and the first sensor section is arranged in one of the first and second pixels among the plurality of pixels, and the first sensor section is arranged in the other one of the first and second pixels.
  • the second sensor section may be disposed, and the control circuit may control some of the plurality of pixels to generate a pulse signal. This brings about the effect of reducing read time and data amount.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to a first embodiment of the present technology.
  • FIG. 1 is a block diagram showing an example of a configuration of a solid-state image sensor according to a first embodiment of the present technology.
  • FIG. 2 is a circuit diagram showing an example of a configuration of a pixel block in the first embodiment of the present technology.
  • FIG. 2 is a circuit diagram showing a configuration example of a counter in the first embodiment of the present technology. It is a figure showing an example of operation of a control circuit in a 1st embodiment of this art.
  • FIG. 3 is a diagram illustrating an example of a state of a pixel block in a low-light mode in the first embodiment of the present technology.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to a first embodiment of the present technology.
  • FIG. 1 is a block diagram showing an example of a configuration of a solid-state image sensor according to a first embodiment of the
  • FIG. 3 is a diagram illustrating an example of a state of a pixel block when pixel A is exposed in high-intensity mode in the first embodiment of the present technology.
  • FIG. 7 is a diagram illustrating an example of the state of a pixel block when pixel B is exposed in high-intensity mode in the first embodiment of the present technology.
  • 5 is a timing chart illustrating an example of the operation of the solid-state image sensor in a low-light mode in the first embodiment of the present technology.
  • 5 is a timing chart illustrating an example of the operation of the solid-state image sensor in high-illuminance mode in the first embodiment of the present technology. It is a flow chart which shows an example of operation of a solid-state image sensing device in a 1st embodiment of this art.
  • FIG. 7 is a circuit diagram showing an example of a configuration of a pixel block in a second embodiment of the present technology. It is an example of the timing chart when switching from low illuminance mode to high illuminance mode in the 2nd embodiment of this technology. It is an example of the timing chart when switching from high illuminance mode to low illuminance mode in the 2nd embodiment of this technology.
  • FIG. 7 is a circuit diagram showing an example of a configuration of a pixel block in a third embodiment of the present technology. It is an example of the timing chart when switching from low illuminance mode to high illuminance mode in the 3rd embodiment of this technology.
  • FIG. 7 is a diagram showing an example of arrangement of pixels within a pixel block in a fourth embodiment of the present technology.
  • FIG. 7 is a diagram showing an example of arrangement of pixels in a quad Bayer array according to a fourth embodiment of the present technology.
  • FIG. 7 is a diagram illustrating an example of arrangement of pixels within a pixel block in a fifth embodiment of the present technology.
  • FIG. 7 is a circuit diagram showing an example of a configuration of a pixel block in a sixth embodiment of the present technology. It is a figure showing an example of operation of a control circuit in a 6th embodiment of this art.
  • FIG. 12 is a timing chart showing an example of the operation of the solid-state image sensor during a long period count period in the sixth embodiment of the present technology.
  • 13 is a timing chart showing an example of the operation of the solid-state image sensor during the exposure period of pixel A in the short cycle count period in the sixth embodiment of the present technology.
  • 12 is a timing chart showing an example of the operation of the solid-state image sensor during the exposure period of pixel B in the short cycle count period in the sixth embodiment of the present technology. It is a figure showing an example of operation of a control circuit in a modification of a 6th embodiment of this art.
  • FIG. 7 is a circuit diagram showing an example of a configuration of a pixel block in a seventh embodiment of the present technology.
  • FIG. 12 is a timing chart showing an example of the operation of the solid-state image sensor during the exposure period of pixel A in the short cycle count period in the seventh embodiment of the present technology.
  • 12 is a timing chart showing an example of the operation of the solid-state image sensor during the exposure period of pixel B in the short cycle count period in the seventh embodiment of the present technology.
  • 12 is a timing chart showing an example of the operation of the solid-state image sensor during a long period count period in the seventh embodiment of the present technology.
  • FIG. 12 is a diagram illustrating an example of a count cycle within a 1V period of a predetermined row in the eighth embodiment of the present technology.
  • 12 is a timing chart showing an example of exposure and readout operations of a solid-state image sensor according to a ninth embodiment of the present technology.
  • FIG. 12 is a circuit diagram showing an example of a configuration of a pixel block in a thirteenth embodiment of the present technology. It is a figure showing an example of operation of a control circuit in a 13th embodiment of this technology.
  • FIG. 12 is a circuit diagram showing an example of a configuration of a pixel block in a fourteenth embodiment of the present technology. 12 is a timing chart showing an example of the operation of the solid-state image sensor in addition mode in the fourteenth embodiment of the present technology.
  • FIG. 12 is a diagram illustrating an example of arrangement of pixels within a pixel block in a fifteenth embodiment of the present technology.
  • FIG. 12 is a circuit diagram showing an example of a configuration of a pixel block in a fifteenth embodiment of the present technology. It is a figure showing an example of operation of a control circuit in a 15th embodiment of this technology. It is a figure showing an example of operation of a control circuit in a 16th embodiment of this technology.
  • First embodiment (example of expanding the counter during high illuminance) 2.
  • Second embodiment (example of determining illuminance and expanding the counter) 3.
  • Third embodiment (example of expanding a counter based on specific bits) 4.
  • Fourth embodiment (example where two pixels of the same color expand the counter when the illuminance is high) 5.
  • Fifth embodiment (example where two pixels under the microlens expand the counter at high illuminance) 6.
  • Sixth embodiment (example of expanding the counter when the count cycle is short) 7.
  • Seventh embodiment (example of expanding the counter during short cycles and enabling or disabling counting) 8.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device 100 according to an embodiment of the present technology.
  • the imaging device 100 captures image data, and includes an imaging lens 110, a solid-state imaging device 200, a recording section 120, and an imaging control section 130.
  • the imaging device 100 for example, a smartphone, a digital camera, a personal computer, or a vehicle-mounted camera is assumed.
  • the imaging device 100 is an example of a photodetecting device described in the claims.
  • the imaging lens 110 focuses incident light and guides it to the solid-state imaging device 200.
  • the solid-state imaging device 200 captures image data under the control of the imaging control unit 130.
  • This solid-state image sensor 200 supplies captured image data to the recording unit 120 via a signal line 209.
  • the recording unit 120 records image data.
  • the imaging control unit 130 controls the solid-state imaging device 200 to capture image data.
  • the imaging control unit 130 supplies, for example, a synchronization signal such as a vertical synchronization signal to the solid-state image sensor 200 via a signal line 139.
  • the imaging device 100 may further include an interface, and may transmit image data to the outside through the interface, or may further include a display section, and may display image data on the display section.
  • FIG. 2 is a block diagram showing a configuration example of the solid-state image sensor 200 in the first embodiment of the present technology.
  • This solid-state image sensor 200 includes a control circuit 210, a pixel array section 220, and a signal processing section 230. These circuits are placed on a single semiconductor chip.
  • a plurality of pixels are arranged in a two-dimensional grid in the pixel array section 220.
  • a set of pixels arranged in a predetermined direction horizontal direction, etc.
  • a set of pixels arranged in a direction perpendicular to the row will be referred to as a column.
  • the pixel array section 220 is divided into a plurality of pixel blocks 300.
  • a plurality of pixels are arranged in each pixel block 300.
  • two pixels are arranged in the column direction in the pixel block 300.
  • each pixel within the pixel block 300 can also be arranged in a row direction or in a diagonal direction.
  • the control circuit 210 sequentially selects rows in synchronization with a vertical synchronization signal.
  • the pixel counts the number of times photons are incident within the exposure period and outputs a digital signal representing the counted value to the signal processing unit 230 as a pixel signal.
  • a mode signal MODE that designates one of a plurality of modes including a high-illuminance mode and a low-illuminance mode is input to the control circuit 210.
  • the high-illuminance mode is a mode set during high illuminance when the illuminance is higher than a predetermined value
  • the low-illuminance mode is a mode set during low illuminance when the illuminance is below a predetermined value.
  • a determination circuit that performs photometry to determine whether the illuminance is higher than a predetermined value and sets the mode is located inside the solid-state image sensor 200 after the pixel array section 220 (such as the signal processing section 230) or the solid-state image sensor. It is arranged outside the element 200.
  • the user can also manually set the high-illuminance mode and low-illuminance mode. In this case, the determination circuit becomes unnecessary.
  • the signal processing unit 230 performs various signal processing on image data (frame) in which pixel signals are arranged. This signal processing section 230 outputs the processed frame to the recording section 120.
  • FIG. 3 is a circuit diagram showing a configuration example of the pixel block 300 in the first embodiment of the present technology. Pixels 301 and 302 are arranged in this pixel block 300.
  • the pixel 301 includes a sensor section 310, a multiplexer 351, and a counter 360.
  • the pixel 302 includes a sensor section 330, a multiplexer 352, and a counter 370.
  • the sensor section 310 includes pMOS transistors 311 and 312, a SPAD 313, and a pulse shaping section 314.
  • PMOS transistors 311 and 312 are connected in series between the cathode of SPAD 313 and power supply voltage VDD, with pMOS transistor 311 on the power supply side.
  • An enable signal EN_A from the control circuit 210 is input to the gate of the pMOS transistor 311, and a predetermined bias voltage BIAS is applied to the gate of the pMOS transistor 312.
  • the pixel 301 When the enable signal EN_A is at a low level, the pixel 301 is enabled, and the cathode potential of the SPAD 313 drops in response to the incidence of photons. On the other hand, when the enable signal EN_A is at a high level, the pixel 301 is disabled, and the cathode potential does not drop even if a photon is incident.
  • the pulse shaping unit 314 detects a drop in the cathode potential of the SPAD 313, shapes the waveform, and generates the pulse signal PLS_A. This pulse shaping section 314 supplies the pulse signal PLS_A to the multiplexer 351.
  • the sensor section 330 includes pMOS transistors 331 and 332, a SPAD 333, and a pulse shaping section 334, and has the same circuit configuration as the sensor section 310.
  • the enable signal EN_B from the control circuit 210 is input to the gate of the pMOS transistor 331, and the pulse shaping section 334 generates a pulse signal PLS_B and supplies it to the multiplexers 351 and 352.
  • the multiplexer 351 selects one of the pulse signals PLS_A and PLS_B according to the selection signal IN_SEL from the control circuit 210 and outputs it to the counter 360 as an output signal OUT_A. For example, when the selection signal IN_SEL is "1", the pulse signal PLS_A is selected, and when the selection signal IN_SEL is "0", the pulse signal PLS_B is selected.
  • the counter 360 counts a count value in synchronization with the output signal OUT_A, and outputs a digital signal CNT_A indicating the count value to the signal processing unit 230. Further, this counter 360 generates a carry flag CF indicating whether or not the count result exceeds the range that can be expressed by the digital signal CNT_A (that is, an overflow has occurred), and outputs it to the multiplexer 352.
  • the multiplexer 352 selects either the pulse signal PLS_B or the carry flag CF according to the selection signal CNT_SEL from the control circuit 210, and outputs it to the counter 370 as an output signal OUT_B. For example, when the selection signal CNT_SEL is "1", the carry flag CF is selected, and when the selection signal CNT_SEL is "0", the pulse signal PLS_B is selected.
  • the counter 370 counts a count value in synchronization with the output signal OUT_B, and outputs a digital signal CNT_B indicating the count value to the signal processing section 230.
  • the sensor unit 310 generates the pulse signal PLS_A in response to incident photons.
  • the sensor unit 330 generates a pulse signal PLS_B in response to incident photons.
  • Multiplexer 351 selects either pulse signal PLS_A or PLS_B and outputs it to counter 360 as output signal OUT_A.
  • the counter 360 counts a count value in synchronization with the output signal OUT_A, and outputs a digital signal CNT_A indicating the count value and a carry flag CF indicating whether an overflow has occurred.
  • the multiplexer 352 selects either the pulse signal PLS_B or the carry flag CF and outputs it to the counter 370 as the output signal OUT_B.
  • the counter 370 counts a count value in synchronization with the output signal OUT_B, and outputs a digital signal CNT_B indicating the count value.
  • sensor units 310 and 330 are examples of the first and second sensor units described in the claims.
  • Multiplexers 351 and 352 are examples of first and second multiplexers recited in the claims.
  • Counters 360 and 370 are examples of first and second counters recited in the claims.
  • a sensor section, multiplexer, and counter are added depending on the number of pixels. Furthermore, if the number of pixels is M (M is an integer), the carry flag of the m (m is an integer from 0 to M-1) counter is transferred to the m+1 counter via the m+1 multiplexer. is input.
  • FIG. 4 is a circuit diagram showing an example of the configuration of counters 360 and 370 in the first embodiment of the present technology.
  • Counter 360 includes flip-flops 361 to 364, and counter 370 includes flip-flops 371 to 374.
  • Each of the flip-flops 361 to 364 holds the input signal input to the input terminal D and outputs it from the output terminal Q in synchronization with the signal input to the clock terminal.
  • the output signal OUT_A from the multiplexer 351 is input to the clock terminal of the flip-flop 361. Further, the inverting output terminal xQ of the flip-flop 361 is connected to its input terminal D and the clock terminal of the flip-flop 362.
  • the inverting output terminal xQ of flip-flop 362 is connected to its input terminal D and to the clock terminal of flip-flop 363.
  • the inverting output terminal xQ of flip-flop 363 is connected to its input terminal D and to the clock terminal of flip-flop 364.
  • the inverting output terminal xQ of flip-flop 364 is connected to its input terminal D. Further, a carry flag CF is output from the inverting output terminal xQ of the flip-flop 364 to the multiplexer 352.
  • the bits from the respective output terminals Q of the flip-flops 361 to 364 are output as the first to fourth digit bits of the digital signal CNT_A.
  • the circuit configuration of counter 370 is similar to counter 360 except that carry flag CF is not output.
  • each of the counters 360 and 370 is not limited to the circuit configuration illustrated in the figure as long as it can count in synchronization with the signals from the multiplexers 351 and 352.
  • FIG. 5 is a diagram illustrating an example of the operation of the control circuit 210 in the first embodiment of the present technology.
  • One of two pixels (pixels 301 and 302) in pixel block 300 is designated as pixel A, and the other is designated as pixel B.
  • the control circuit 210 sets the selection signal IN_SEL to "1" and the selection signal CNT_SEL to "0". As a result, pixel A selects pulse signal PLS_A, and pixel B selects pulse signal PLS_B. Further, the control circuit 210 sets both enable signals EN_A and EN_B to "0" (ie, enable). With these controls, both pixels A and B are exposed.
  • the control circuit 210 sets the selection signal IN_SEL to "1" and sets the selection signal CNT_SEL to "1". As a result, the pulse signal PLS_A is selected in the pixel A, and the carry flag CF is selected in the pixel B. Further, the control circuit 210 sets the enable signal EN_A to "0" (enable) and sets the enable signal EN_B to "1" (ie, disable).
  • the control circuit 210 sets the selection signal IN_SEL to "0” and sets the selection signal CNT_SEL to "1". As a result, the pulse signal PLS_B is selected in the pixel A, and the carry flag CF is selected in the pixel B. Further, the control circuit 210 sets the enable signal EN_A to "1” (disable) and sets the enable signal EN_B to "0" (enable).
  • FIG. 6 is a diagram illustrating an example of the state of the pixel block 300 in the low-light mode in the first embodiment of the present technology.
  • multiplexer 351 selects pulse signal PLS_A
  • multiplexer 352 selects pulse signal PLS_B.
  • the counter 360 counts in synchronization with the output signal OUT_A (ie, pulse signal PLS_A)
  • the counter 370 counts in synchronization with the output signal OUT_B (ie, pulse signal PLS_B).
  • the number of pulses for each pixel is counted. Assuming that the resolution of the counter for each pixel is N bits (N is an integer), the maximum value of each count value is 2N .
  • FIG. 7 is a diagram illustrating an example of the state of a pixel block when pixel A is exposed in high-intensity mode in the first embodiment of the present technology.
  • multiplexer 351 selects pulse signal PLS_A during the exposure period of pixel A
  • multiplexer 352 selects carry flag CF from counter 360.
  • the counter 360 counts in synchronization with the output signal OUT_A (pulse signal PLS_A)
  • the counter 370 counts in synchronization with the output signal OUT_B (ie, carry flag CF).
  • FIG. 8 is a diagram illustrating an example of the state of a pixel block when pixel B is exposed in high-intensity mode in the first embodiment of the present technology.
  • multiplexer 351 selects pulse signal PLS_B and multiplexer 352 selects carry flag CF from counter 360 within the exposure period of pixel B. Further, the counter 360 counts in synchronization with the output signal OUT_A (pulse signal PLS_B), and the counter 370 counts in synchronization with the output signal OUT_B (ie, carry flag CF).
  • counters 360 and 370 are connected in series, and when an overflow occurs in the preceding counter 360, the subsequent counter 370 counts. In this manner, counters 360 and 370 are shared by two pixels in pixel block 300 during high illuminance.
  • the signal processing unit 230 At high illuminance, the signal processing unit 230 generates a 2N-bit digital signal for each of pixels A and B, with the output of the counter 360 (digital signal CNT_A) as the upper bit string and the output of the counter 370 (digital signal CNT_B) as the lower bit string. get.
  • the resolution of the counter for each pixel is expanded to 2N bits, and the maximum value of each count value is expanded to 22N . This makes it possible to expand the dynamic range and improve the image quality of image data during high illuminance.
  • FIG. 9 is a timing chart showing an example of the operation of the solid-state image sensor 200 in the low-light mode in the first embodiment of the present technology. It is assumed that the low illuminance mode is set at timing T0.
  • the control circuit 210 sets enable signals EN_A and EN_B to high level, sets selection signal IN_SEL to high level, and sets selection signal CNT_SEL to low level.
  • a pulse signal PLS_A is generated at timing T1, etc., and the counter 360 counts up the digital signal CNT_A in synchronization with the pulse signal.
  • a pulse signal PLS_B is generated at timing T2 or the like, and the counter 370 counts up the digital signal CNT_B in synchronization with the pulse signal. As illustrated in the figure, in the low illuminance mode, two pixels are exposed at the same time, and the number of pulses is counted in parallel for each pixel.
  • FIG. 10 is a timing chart showing an example of the operation of the solid-state image sensor in high-illuminance mode in the first embodiment of the present technology. It is assumed that the high illuminance mode is set at timing T10. It is assumed that pixel A is exposed within a period from timing T10 to T12, and pixel B is exposed within a period from timing T12 to T14. Similarly, after timing T14, pixels A and B are exposed alternately.
  • the control circuit 210 sets the enable signal EN_A to a high level and sets the enable signal EN_B to a low level. Furthermore, the control circuit 210 sets the selection signals IN_SEL and CNT_SEL to high level. Pulse signal PLS_A is generated after timing T10, and counter 360 counts up digital signal CNT_A in synchronization with the pulse signal.
  • the counter 370 counts up the digital signal CNT_B in synchronization with the carry flag.
  • the control circuit 210 sets the enable signal EN_A to a low level and sets the enable signal EN_B to a high level. Further, the control circuit 210 sets the selection signal IN_SEL to a low level and sets the selection signal CNT_SEL to a high level. Pulse signal PLS_B is generated after timing T12, and counter 360 counts up digital signal CNT_A in synchronization with the pulse signal.
  • the counter 370 counts up the digital signal CNT_B in synchronization with the carry flag.
  • FIG. 11 is a flowchart illustrating an example of the operation of the solid-state image sensor 200 in the first embodiment of the present technology. This operation is started, for example, when low light mode is set.
  • a counter within each pixel counts the number of pulses for all pixels (step S901).
  • the signal processing unit 230 performs signal processing to generate a frame (step S902).
  • a circuit outside the pixel determines whether the illumination is high based on the frame (step S903). For example, when the total value or average value of the count values of all pixels is greater than or equal to a threshold value, it is determined that the illuminance is high.
  • step S903 If the illuminance is not high (step S903: No), the solid-state image sensor 200 sets the low illuminance mode and executes step S901 and subsequent steps.
  • step S903 if the illuminance is high (step S903: Yes), the solid-state image sensor 200 sets the high illuminance mode, and the counter in the pixel counts the number of pulses at pixel A (step S904). Next, in pixel B, a counter within that pixel counts the number of pulses (step S905). The signal processing unit 230 performs signal processing to generate a frame (step S906). After step S906, the solid-state image sensor 200 repeats steps S903 and subsequent steps.
  • the solid-state image sensor 200 determines whether the illuminance is high for each frame, but the configuration is not limited to this, and the solid-state image sensor 200 determines whether the illuminance is high when two or more frames are captured after changing the mode. It is also possible to determine whether or not.
  • the counter 370 counts in synchronization with the carry flag from the counter 360 in the high illuminance mode, so the dynamic range can be expanded during high illuminance.
  • Second embodiment> In the first embodiment described above, the circuit outside the pixel determines whether or not the illuminance is high, but this determination can also be made within the pixel.
  • the solid-state image sensor 200 in the second embodiment differs from the first embodiment in that a determiner for determining whether or not the illuminance is high is arranged within the pixel block 300.
  • FIG. 12 is a circuit diagram showing a configuration example of a pixel block 300 in the second embodiment of the present technology.
  • the pixel block 300 of this second embodiment differs from the first embodiment in that it further includes a determiner 380.
  • the determiner 380 is shared by two pixels in the pixel block 300.
  • the digital signals CNT_A and CNT_B from the counters 360 and 370 are input to the determiner 380.
  • This determiner 380 determines whether the illuminance is high or not based on these digital signals.
  • the determiner 380 calculates the total value or average value of the count values of all pixels or some representative pixels (pixels near the center, etc.) in the pixel block 300, and the value is greater than or equal to the threshold value. It is determined that the illuminance is high if it is, and it is determined that the illuminance is low if it is less than the threshold.
  • the determiner 380 determines for each pixel whether the count value is greater than or equal to the threshold value, and determines the illuminance based on the results.
  • the determiner 380 determines that the illuminance is high if the number of pixels whose count value is greater than or equal to the threshold value is equal to or greater than the number of pixels whose count value is less than the threshold value.
  • the determiner 380 determines that the illuminance is low if the number of pixels whose count value is less than the threshold value is greater than or equal to the number of pixels whose count value is greater than or equal to the threshold value.
  • the determiner 380 determines that the illuminance is high when one or more pixels have a count value equal to or greater than the threshold value.
  • the determiner 380 determines that the illuminance is low when the number of pixels whose count value is less than the threshold value is one or more.
  • the determiner 380 controls enable signals EN_A and EN_B and selection signals IN_SEL and CNT_SEL based on the determination result.
  • the method of controlling these signals is the same as in the first embodiment.
  • each pixel block 300 since it is determined whether each pixel block 300 has high illuminance, appropriate control can be performed according to the illuminance of each pixel.
  • FIG. 13 is an example of a timing chart when switching from low-illuminance mode to high-illuminance mode in the second embodiment of the present technology. Assume that the above-mentioned (2-3) is used as a method for determining whether the illuminance is high. It is assumed that the low illuminance mode is set for the pixel block 300 of interest, and the count value (CNT_B) of pixel B becomes equal to or greater than the threshold value at timing T0.
  • the determiner 380 determines that the illuminance is high, and switches to the high illuminance mode at timing T1 after reading out the count value. In the high-illuminance mode, pixel A is exposed from timing T1 to T2, and pixel B is exposed after timing T2. Note that the illuminance is determined individually for each pixel block other than the pixel block of interest.
  • FIG. 14 is an example of a timing chart when switching from high-illuminance mode to low-illuminance mode in the second embodiment of the present technology. It is assumed that the high-illuminance mode is set for the pixel block 300 of interest, and that each count value (CNT_A and CNT_B) of pixels A and B is less than the threshold value. The determiner 380 determines that the illuminance is low, and switches to the low illuminance mode at timing T10.
  • the determiner 380 compares the count value and the threshold value, but in this configuration, the higher the resolution of the counters 360 and 370, the larger the circuit scale of the determiner 380 becomes. There is a risk.
  • the solid-state image sensor 200 in the third embodiment differs from the second embodiment in that the determiner 380 determines whether the illuminance is high or not based on a specific bit of the digital signal.
  • FIG. 15 is a circuit diagram showing a configuration example of a pixel block 300 in the third embodiment of the present technology.
  • the pixel block 300 of this third embodiment differs from the second embodiment in that counters 360 and 370 supply specific bits of the digital signal to a determiner 380.
  • the n-th bits QAn and QBn are output.
  • the determiner 380 determines whether the illuminance is high or not based on those bits. Depending on whether each of QAn and QBn is "1", it is determined whether the count value is equal to or greater than the threshold value 2n .
  • the circuit scale of the determiner 380 can be reduced compared to the first embodiment. Furthermore, the number of wires from the counters 360 and 370 to the determiner 380 can be reduced compared to the second embodiment.
  • the counters 360 and 370 may supply not specific bits but higher-order bits (such as the upper 2 bits of 4 bits) to the determiner 380, and the determiner 380 may make a determination based on those bits. can.
  • FIG. 16 is an example of a timing chart when switching from low-illuminance mode to high-illuminance mode in the third embodiment of the present technology. Assume that the above-mentioned (2-3) is used as a method for determining whether the illuminance is high. It is assumed that the low illuminance mode is set for the pixel block 300 of interest, and the count value (CNT_B) of pixel B becomes "1" with QAn at timing T0.
  • the determiner 380 determines that the illuminance is high, and switches to the high illuminance mode at timing T1 after reading the count value. In the high-illuminance mode, pixel A is exposed from timing T1 to T2, and pixel B is exposed after timing T2.
  • FIG. 17 is an example of a timing chart when switching from high-illuminance mode to low-illuminance mode in the third embodiment of the present technology. It is assumed that the high-illuminance mode is set for the pixel block 300 of interest, and both QAn and QBn are "0". Since all of the count values are less than the threshold 2n , the determiner 380 determines that the illuminance is low, and switches to the low illuminance mode at timing T10.
  • the determiner 380 determines whether or not the illuminance is high based on the specific bits from the counters 360 and 370.
  • the circuit scale of the determiner 380 can be reduced more than the configuration.
  • FIG. 18 is a diagram showing an example arrangement of each pixel within the pixel block 300 in the fourth embodiment of the present technology.
  • a plurality of pixels are arranged in a Bayer array.
  • a color filter (not shown) and a microlens (not shown) are arranged for each pixel.
  • the color filter transmits any of the colors red, green, and blue.
  • the pixels on which the color filters of each color are arranged are referred to as an r pixel, a g pixel, and a b pixel, respectively.
  • two g pixels are arranged diagonally in two rows and two columns, and the rest are r pixels and b pixels.
  • r pixel 303, g pixel, r pixel 304, and g pixel are arranged in the column direction.
  • a sensor section 310, a multiplexer 351, and a counter 360 are arranged in the r pixel 303, and a sensor section 330, a multiplexer 352, and a counter 370 are arranged in the r pixel 304.
  • the count value of each pixel can be made to be approximately the same.
  • two pixels of the same color can also be arranged in the pixel block 300 in a quad Bayer arrangement.
  • the second or third embodiment can be applied to the fourth embodiment.
  • the determiner 380 can accurately determine the illuminance.
  • the count values of each pixel can be made to be approximately the same.
  • a microlens was arranged for each pixel, but in order to realize image plane phase difference AF (Auto Focus) in this configuration, in addition to the r pixel, g pixel, and b pixel, a microlens is arranged for each pixel. Furthermore, it is necessary to further arrange pixels for phase difference detection.
  • the solid-state image sensor 200 in this fifth embodiment differs from the fourth embodiment in that a plurality of pixels are arranged directly under the microlens.
  • FIG. 20 is a diagram showing an example arrangement of each pixel within the pixel block 300 in the fifth embodiment of the present technology.
  • pixels are arranged in a quad Bayer array.
  • a microlens 221 is arranged for every four adjacent pixels of the same color to guide incident light to those pixels.
  • Multiple pixels at the bottom of microlens 221 (such as r pixels 303 and 304) share counters 360 and 370.
  • the circuit at the subsequent stage of the pixel calculates the difference between the peaks of the image in which pixel signals are arranged on the left side (or upper side) of the microlens 221 and the image on which the pixel signals are arranged on the right side (or lower side) of the microlens 221.
  • the distance is detected as a phase difference.
  • a focus lens (not shown) is driven according to the phase difference. Thereby, image plane phase difference AF can be realized without arranging pixels for phase difference detection.
  • the two pixels that share the counters 360 and 370 are arranged below the microlens 221, so that image plane phase difference AF can be easily realized.
  • the count period of the pulse signal is kept constant, but this count period can also be changed during imaging.
  • the solid-state imaging device 200 in this sixth embodiment differs from the first embodiment in that the count period is switched during imaging.
  • FIG. 21 is a circuit diagram showing a configuration example of a pixel block 300 in the sixth embodiment of the present technology.
  • the sensor section 310 includes a recharge transistor 321, a clip transistor 322, a SPAD 313, pMOS transistors 323 and 324, an nMOS transistor 325, and a buffer 326.
  • the sensor section 330 includes a recharge transistor 341, a clip transistor 342, and a SPAD 333, pMOS transistors 343 and 344, an nMOS transistor 345, and a buffer 346.
  • the recharge transistor 321 and the clip transistor 322 are connected in series between the cathode of the SPAD 313 and the power supply voltage VDD, with the recharge transistor 321 on the power supply side.
  • the recharge transistor 321 performs recharging to return the cathode potential of the SPAD 313 to the power supply voltage VDD in accordance with the control signal XRE_A from the control circuit 210.
  • the count period which is the interval at which recharging is performed, is controlled by the control circuit 210. If one or more photons are incident within this count period, one pulse is generated.
  • the clip transistor 322 disconnects the SPAD 313 from the connection node between the recharge transistor 321 and the clip transistor 322 in accordance with the control signal CLP_A from the control circuit 210.
  • the SPAD 313 is disconnected from the connection node immediately before the start of recharge, and the SPAD 313 is connected to that node within the recharge period. This clip transistor 322 allows reduction of cathode capacitance.
  • the pMOS transistors 323 and 324 and the nMOS transistor 325 are connected in series between the power supply voltage VDD and the ground node, with the pMOS transistor 323 on the power supply side and the nMOS transistor 325 on the ground side.
  • a control signal INI_A from the control circuit 210 is input to the gates of the pMOS transistor 323 and the nMOS transistor 325. Further, the gate of the pMOS transistor 324 is connected to a connection node between the recharge transistor 321 and the clip transistor 322.
  • the buffer 326 outputs a signal of the potential of the connection node between the pMOS transistor 324 and the nMOS transistor 325 to the multiplexer 351 as a pulse signal PLS_A. Note that a two-stage inverter can be inserted instead of the buffer 326.
  • the circuit configuration of the sensor section 330 is similar to that of the sensor section 310. However, control signals XRE_B, CLP_B and INI_B are input.
  • the control circuit 210 controls the count cycle to either a long cycle longer than a predetermined time or a short cycle shorter than the predetermined time. By switching the count period during imaging, the number of pulses can be counted even when the frequency of light is higher than in the first embodiment. Furthermore, if the frequencies are the same, the count value can be made smaller than in the first embodiment. Therefore, the number of bits of digital signals and power consumption can be reduced.
  • FIG. 22 is a diagram illustrating an example of the operation of the control circuit 210 in the sixth embodiment of the present technology.
  • the control circuit 210 sets the selection signal IN_SEL to "1" and sets the selection signal CNT_SEL to "0".
  • pixel A selects pulse signal PLS_A
  • pixel B selects pulse signal PLS_B.
  • the control circuit 210 sets both enable signals EN_A and EN_B to "0" (enable). With these controls, both pixels A and B are exposed.
  • the control circuit 210 sets the selection signal IN_SEL to "1" and sets the selection signal CNT_SEL to "1". As a result, the pulse signal PLS_A is selected in the pixel A, and the carry flag CF is selected in the pixel B. Further, the control circuit 210 sets the enable signal EN_A to "0" (enable) and sets the enable signal EN_B to "1" (disable).
  • the control circuit 210 sets the selection signal IN_SEL to "0” and sets the selection signal CNT_SEL to "1". As a result, the pulse signal PLS_B is selected in the pixel A, and the carry flag CF is selected in the pixel B. Further, the control circuit 210 sets the enable signal EN_A to "1” (disable) and sets the enable signal EN_B to "0" (enable).
  • FIG. 23 is a timing chart showing an example of the operation of the solid-state image sensor 200 during the long-cycle count period in the sixth embodiment of the present technology.
  • the count cycle is controlled to be a long cycle within the period from timing T0 to T1.
  • control signal XRE_A is controlled to low level, and the first recharge is performed.
  • second and third recharges are performed. After that, recharging is repeated periodically.
  • These recharge intervals ie, count periods) are controlled to be long periods.
  • the control circuit 210 sets the selection signal IN_SEL to high level and sets the selection signal CNT_SEL to low level.
  • the digital signals CNT_A and CNT_B count up every count period when a photon is incident.
  • FIG. 24 is a timing chart showing an example of the operation of the solid-state image sensor during the exposure period of pixel A in the short cycle count period in the sixth embodiment of the present technology.
  • the count period is controlled to be short.
  • the short cycle count period is controlled to be, for example, 10% or less of the total period.
  • the control circuit 210 sets the selection signal IN_SEL to high level, sets the selection signal CNT_SEL to high level, and enables only pixel A with the enable signal.
  • the digital signal CNT_A counts up every count period when a photon is incident.
  • FIG. 25 is a timing chart showing an example of the operation of the solid-state image sensor during the exposure period of pixel B in the short cycle count period in the sixth embodiment of the present technology.
  • the control circuit 210 sets the selection signal IN_SEL to a low level, sets the selection signal CNT_SEL to a high level, and enables only the pixel B using the enable signal.
  • the digital signal CNT_B counts up every count period when a photon is incident.
  • the count period is switched, the number of bits of the digital signal and the power consumption can be reduced compared to the case where the count period is not switched.
  • the solid-state imaging device 200 switches the count cycle to one of two cycles, but it can also switch to one of three or more cycles.
  • the solid-state imaging device 200 in this modification of the sixth embodiment differs from the sixth embodiment in that the count period is switched to one of three or more periods.
  • FIG. 26 is a diagram illustrating an example of the operation of the control circuit 210 in a modification of the sixth embodiment of the present technology.
  • the count period is switched to one of three or more periods.
  • the count period is switched to any one of periods P1, P2, P3, and P4. It is assumed that P1 is the longest, P2 is shorter than P1, P3 is shorter than P2, and P4 is the shortest.
  • P1 and P2 be a long period group
  • P3 and P4 be a short period group
  • P1 may be a long-period group
  • P2, P3, and P4 may be short-period groups.
  • the control circuit 210 When switching the count period to one of the long period groups, the control circuit 210 sets the selection signal IN_SEL to "1" and the selection signal CNT_SEL to “0". The control circuit 210 also exposes both pixels A and B. On the other hand, when switching the count period to one of the short period groups, the control circuit 210 sets the selection signal IN_SEL to "1” and the selection signal CNT_SEL to "1". Further, the control circuit 210 exposes only one of the pixels A and B, and switches the exposure target at regular intervals.
  • the count cycle can be switched to any of three or more cycles.
  • the control circuit 210 controls the count period to either a long period or a short period, but when the illuminance is high and the pulse number is counted in a long period, the count value becomes saturated. There is a risk of
  • the solid-state image sensor 200 in the seventh embodiment differs from the sixth embodiment in that counting is enabled or disabled when the count period is long based on the digital signals of pixels A and B. .
  • FIG. 27 is a circuit diagram showing an example of the configuration of the pixel block 300 in the seventh embodiment of the present technology.
  • the pixel block 300 of the seventh embodiment differs from the sixth embodiment in that it further includes resistance elements 328 and 348, OR (logical sum) gates 327 and 347, and a determiner 381.
  • the resistance element 328 is inserted between the SPAD 313 and the clip transistor 322, and the resistance element 348 is inserted between the SPAD 333 and the clip transistor 342. These resistance elements are inserted as necessary.
  • the determiner 381 determines whether or not to enable counting of each of the counters 360 and 370 within a period where the count period is a long period, based on the digital signals CNT_A and CNT_B within a period where the count period is a short period. It is something.
  • the selection signal CNT_SEL from the control circuit 210 and the digital signals CNT_A and CNT_B from the counters 360 and 370 are input to the determiner 381.
  • This determiner 381 obtains digital signals CNT_A and CNT_B generated during a period in which the selection signal CNT_SEL is at a high level (that is, the count period is short). Then, the determiner 381 determines whether or not the illuminance is high based on these digital signals.
  • the determiner 381 determines the illuminance using any of the determination methods (1), (2-1), and (2-3) described above.
  • the determiner 381 determines that the illuminance is high when there is one or more pixels in which the value of the upper bit of the digital signal is greater than or equal to the threshold value.
  • the determiner 381 determines that the illuminance is high when there is one or more pixels in which the value of the most significant bit (MSB: Most Significant Bit) of the digital signal is at a high level.
  • the determiner 381 supplies an enable signal DIS to the OR gates 327 and 347.
  • the enable signal DIS is controlled to a low level (enabled) during a period in which the count cycle is short. This enables counting of counters 360 and 370.
  • the determiner 381 When determining that the illuminance is high, the determiner 381 sets the enable signal DIS to a high level (disabled) within a period in which the selection signal CNT_SEL is at a high level (that is, the count period is short). This invalidates the counts of counters 360 and 370 during a period in which the count cycle is long. On the other hand, when determining that the illuminance is low, the determiner 381 leaves the enable signal DIS at a low level and enables the counting of the counters 360 and 370.
  • FIG. 28 is a timing chart showing an example of the operation of the solid-state image sensor 200 during the exposure period of pixel A in the short-cycle count period in the seventh embodiment of the present technology.
  • FIG. 29 is a timing chart showing an example of the operation of the solid-state image sensor 200 during the exposure period of pixel B in the short-cycle count period in the seventh embodiment of the present technology.
  • the same control as in the sixth embodiment is performed. Further, during a period in which the count cycle is short, the counts of the counters 360 and 370 are effectively controlled by the enable signal DIS at a low level (enable).
  • FIG. 30 is a timing chart showing an example of the operation of the solid-state image sensor during the long-cycle count period in the seventh embodiment of the present technology. It is assumed that the determiner 381 determines that the illuminance is high based on a digital signal within a short cycle period. In this case, the determiner 381 sets the enable signal DIS to a high level (disable). As a result, as illustrated in the figure, the counts of the counters 360 and 370 are invalidated during a period in which the count period is a long period.
  • the determiner 381 determines whether or not to enable counting of each of the counters 360 and 370 within a period when the count period is short, based on the digital signals CNT_A and CNT_B during the period when the count period is long. It is also possible to judge. In this case, counting within a short cycle period is disabled during low illuminance. Whether or not the illuminance is low is determined by any of the determination methods (1), (2-2), and (2-4) described above.
  • the determiner 381 determines that the illuminance is low when there is one or more pixels in which the value of the upper bit of the digital signal within the long count period is less than the threshold value.
  • the determiner 381 determines that the illuminance is low when there is one or more pixels in which the MSB value of the digital signal becomes low level within a period with a long count cycle.
  • the fourth or fifth embodiment can be applied to the seventh embodiment.
  • a modification of the sixth embodiment can be applied to the seventh embodiment.
  • the determiner 381 enables or disables counting within a period with a long counting cycle based on the digital signals CNT_A and CNT_B. Numerical saturation can be prevented.
  • the control circuit 210 controls the count cycle to either a long cycle or a short cycle, but the count cycle is switched within a 1V period for imaging one frame. You can.
  • the solid-state imaging device 200 in this eighth embodiment differs from the sixth embodiment in that the count period is switched within a 1V period. Note that the 1V period is an example of a frame period described in the claims.
  • FIG. 31 is a diagram illustrating an example of a count cycle within a 1V period of a predetermined row in the eighth embodiment of the present technology.
  • the control circuit 210 switches the count period within a 1V period from timing T0 to T4.
  • the count cycle is controlled to be a long cycle within the period from timing T0 to T1. Then, the control circuit 210 switches the count period to a short period at timing T1. Pixel A is exposed within a period from timing T1 to T2, and pixel B is exposed within a period from timing T2 to T3. The control circuit 210 switches the count period to a long period at timing T3. Thereafter, similar control is repeatedly executed until timing T4.
  • the signal processing unit 230 acquires long-cycle and short-cycle digital signals for each pixel within a 1V period.
  • the signal processing unit 230 calculates the statistics (average value and total value) of each digital signal in each period as a pixel signal for each pixel, and outputs a frame in which these pixel signals are arranged.
  • each of the fourth, fifth, and seventh embodiments can be applied to the eighth embodiment. Further, a modification of the sixth embodiment can be applied to the eighth embodiment.
  • control circuit 210 since the control circuit 210 switches the count period within the 1V period, blur can be suppressed.
  • the control circuit 210 switches the count period within a 1V period, but at this time, exposure can be controlled using a rolling shutter method.
  • the solid-state image sensor 200 in this ninth embodiment differs from the eighth embodiment in that exposure is controlled by a rolling shutter method.
  • FIG. 32 is a timing chart showing an example of exposure and readout operations of the solid-state image sensor 200 in the ninth embodiment of the present technology. It is assumed that two pixels sharing counters 360 and 370 are arranged in a column direction, for example.
  • the control circuit 210 sequentially selects a plurality of rows in the pixel array section 220 and starts exposure by resetting the counter. During exposure, the signal processing unit 230 reads only the most significant bit (MSB) of the digital signal of the selected row a predetermined number of times during exposure.
  • MSB most significant bit
  • control circuit 210 sequentially selects a plurality of rows in the pixel array section 220 and stops the counter, thereby ending the exposure.
  • the signal processing unit 230 sequentially reads digital signals from each of the plurality of rows. Furthermore, the control circuit 210 switches the count period within the 1V period.
  • the count period on the first line is controlled to be a long period within the period from timing T1 to T8, and the count period on the second line is controlled to be a long period within the period from timing T2 to T9 immediately after timing T1. controlled by.
  • the first row is exposed from timing T1 to T7.
  • the second row is exposed from timing T2 to T8. In this way, a rolling shutter method is used that sequentially exposes each row.
  • the MSB of the first row is read from timing T3 to T4 and from timing T5 to T6 during exposure.
  • the MSB of the second row is read in a predetermined period from timing T4 and a predetermined period from timing T6. All bits of the digital signal on the first row are read out within the period from timing T7 to T8, and all bits of the digital signal on the second row are read out within the period from timing T8 to T9.
  • the control circuit 210 switches the counter cycles of the first and second rows to short cycles.
  • Pixel A (in other words, the first row) is exposed within the period from timing T9 to T10, and all bits of that row are read out within the period from timing T10 to T11.
  • the MSB of the first row is read out.
  • Pixel B (in other words, the second row) is exposed within the period from timing T11 to T12, and all bits of that row are read out within the period from timing T12 to T13. Further, during exposure, the MSB of the second row is read out a predetermined number of times.
  • the signal processing unit 230 Based on each read MSB, the signal processing unit 230 obtains a bit string indicating the number of times the MSB changes from "1" to "0" (that is, the number of overflows) as the upper bits. Then, the signal processing unit 230 uses the bit string obtained by reading all the bits as the lower bits, and obtains a digital signal consisting of upper bits and lower bits for each pixel. This allows the number of bits of the digital signal to be expanded.
  • the frame rate can be improved more than when using the global shutter method, which will be described later.
  • each of the fourth, fifth, and seventh embodiments can be applied to the ninth embodiment. Further, a modification of the sixth embodiment can be applied to the ninth embodiment.
  • the frame rate can be improved compared to the case of the global shutter method.
  • FIG. 33 is a timing chart showing an example of exposure and readout operations of the solid-state image sensor 200 in the tenth embodiment of the present technology.
  • the control circuit 210 simultaneously selects all rows (that is, all pixels) and starts exposure. Then, at timing T3 immediately before the end of the 1V period, the control circuit 210 selects all rows simultaneously and ends the exposure. From timing T3 to the end of the 1V period, the signal processing unit 230 sequentially reads out all bits of the digital signals of each of the plurality of rows.
  • control circuit 210 switches the count period within the 1V period. Upon switching, the control circuit 210 controls exposure using a rolling shutter method. For example, at timing T1, the count period is switched to a short period, and rows including pixels A are sequentially exposed. After timing T2, rows including pixels B are sequentially exposed.
  • the signal processing unit 230 sequentially reads the MSB of each row a predetermined number of times. At the end of exposure, the signal processing unit 230 sequentially reads out the digital signals of each row.
  • each of the fourth, fifth, and seventh embodiments can be applied to the tenth embodiment. Further, a modification of the sixth embodiment can be applied to the tenth embodiment.
  • control circuit 210 controls exposure using the global shutter method at the start and end of the 1V period, rolling shutter distortion can be suppressed.
  • the control circuit 210 performs exposure control using a rolling shutter method in the middle of the 1V period, but this control may cause rolling shutter distortion.
  • the solid-state image sensor 200 in the eleventh embodiment differs from the tenth embodiment in that exposure is controlled using a global shutter method even within the 1V period.
  • FIG. 34 is a timing chart showing an example of exposure and readout operations of the solid-state image sensor 200 in the eleventh embodiment of the present technology.
  • the control circuit 210 simultaneously selects all rows (all pixels) to start exposure, and at timing T1 within the 1V period, selects all pixels simultaneously and ends the exposure.
  • the signal processing unit 230 sequentially reads out the MSB of each row a predetermined number of times. Then, from timing T1 to timing T2, the signal processing unit 230 sequentially reads out the digital signals of each row.
  • the control circuit 210 switches the count period to a short period at timing T2, selects all the rows including the pixel A (that is, odd-numbered rows), and simultaneously starts exposure, and at timing T3, selects those rows simultaneously. to end the exposure.
  • the signal processing unit 230 sequentially reads out the MSB of each row a predetermined number of times. Then, from timing T3 to timing T4, the signal processing unit 230 sequentially reads out the digital signals of each row.
  • the control circuit 210 selects all of the rows (that is, even-numbered rows) including pixels B and starts exposure at the same time, and at timing T5, selects those rows simultaneously and ends the exposure.
  • the signal processing unit 230 sequentially reads out the MSB of each row a predetermined number of times.
  • the signal processing unit 230 sequentially reads out the digital signals of each row. After timing T6, similar control is repeatedly executed.
  • each of the fourth, fifth, and seventh embodiments can be applied to the eleventh embodiment. Further, a modification of the sixth embodiment can be applied to the eleventh embodiment.
  • control circuit 210 since the control circuit 210 controls exposure using the global shutter method even in the middle of the 1V period, rolling shutter distortion can be further suppressed.
  • Twelfth embodiment In the eleventh embodiment described above, the control circuit 210 starts the next exposure after reading of all rows is completed, but with this configuration, it is difficult to further improve the frame rate.
  • the solid-state image sensing device 200 according to the twelfth embodiment differs from the eleventh embodiment in that exposure and readout during a short cycle count period are performed in a complementary manner.
  • FIG. 35 is a timing chart showing an example of exposure and readout operations of the solid-state image sensor 200 in the twelfth embodiment of the present technology.
  • control up to timing T2 when the count period switches to a short cycle is the same as in the eleventh embodiment.
  • signal lines (not shown) for transmitting digital signals to the signal processing section 230 are wired in the column direction. Each pixel A (or pixel B) in the column that shares this signal line is exposed in half.
  • the control circuit 210 exposes half of the pixels A at the same time. Since the pixels A are arranged in odd-numbered rows, half of the odd-numbered rows (first row, fifth row, etc.) are exposed at the same time. Then, within the period from timing T4 to T5, the control circuit 210 simultaneously exposes the remaining half of the pixels A (the third row, the seventh row, etc.).
  • the control circuit 210 simultaneously exposes half of the pixels B. Since the pixels B are arranged in even-numbered rows, half of the even-numbered rows (second row, sixth row, etc.) are exposed. Then, within the period from timing T8 to T9, the control circuit 210 exposes the remaining half of the pixels B (4th row, 8th row, etc.).
  • the signal processing unit 230 sequentially reads the MSB of each row a predetermined number of times. Furthermore, within the period from timing T3 to timing T5, the signal processing unit 230 sequentially reads out half of the pixels A row by row. The remaining half of the pixel A can be exposed during these readout periods.
  • the signal processing unit 230 sequentially reads out the remaining half of the pixels A row by row. Half of the pixel B can be exposed during these readout periods.
  • the signal processing unit 230 sequentially reads out half of the pixels B row by row. The remaining half of the pixel B can be exposed during these readout periods. After timing T9, the signal processing unit 230 sequentially reads out the remaining half of the pixels B row by row.
  • the frame rate can be further improved by exposing the remaining half of the pixel A (or pixel B) while reading out half of the pixel A (or pixel B).
  • each of the fourth, fifth, and seventh embodiments can be applied to the twelfth embodiment. Further, a modification of the sixth embodiment can be applied to the twelfth embodiment.
  • control circuit 210 exposes the remaining half, making it possible to further improve the frame rate. can.
  • the solid-state image sensor 200 according to the thirteenth embodiment differs from the first embodiment in that pixel addition is performed.
  • FIG. 36 is a circuit diagram showing a configuration example of a pixel block 300 in the thirteenth embodiment of the present technology.
  • the pixel block 300 of the thirteenth embodiment differs from the first embodiment in that it further includes a logic gate that performs a logic operation for pixel addition.
  • an OR gate 391 is used as a logic gate.
  • the OR gate 391 outputs the logical sum of the pulse signals PLS_A and PLS_B to the multiplexer 351. Note that the logical operation on the two pulse signals is not limited to logical sum. If the pulse signal falls in response to the incidence of photons, an AND (logical product) gate is inserted in place of the OR gate 391. Alternatively, a logical difference can be calculated using a NOT gate instead of the OR gate 391.
  • OR gate 391 is an example of the first logic gate described in the claims.
  • FIG. 37 is a diagram illustrating an example of the operation of the control circuit 210 in the thirteenth embodiment of the present technology.
  • one of a plurality of modes including addition mode and non-addition mode is set.
  • the addition mode is a mode in which the respective pulse signals of two pixels in the pixel block 300 are added
  • the non-addition mode is a mode in which these signals are not added.
  • the control circuit 210 sets the selection signal IN_SEL to "1" and sets the selection signal CNT_SEL to "0". As a result, pixel A selects pulse signal PLS_A, and pixel B selects pulse signal PLS_B. Further, the control circuit 210 sets enable signals EN_A and EN_B to "0" (enable).
  • the control circuit 210 sets the selection signal IN_SEL to "0" and the selection signal CNT_SEL to "1". As a result, in pixel A, the logical sum of pulse signals PLS_A and PLS_B is selected, and in pixel B, the carry flag is selected. Further, the control circuit 210 sets enable signals EN_A and EN_B to "0" (enable).
  • each of the fourth and fifth embodiments can be applied to the thirteenth embodiment.
  • a modification of the sixth embodiment can be applied to the thirteenth embodiment.
  • the pixel block 300 since the pixel block 300 adds the pulse signals PLS_A and PLS_B in the addition mode, the sensitivity can be improved compared to the case of non-addition.
  • the count period of the pulse signal is kept constant, but this count period can also be changed during imaging.
  • the solid-state imaging device 200 according to the fourteenth embodiment differs from the thirteenth embodiment in that the count period is changed during imaging.
  • FIG. 38 is a circuit diagram showing a configuration example of a pixel block 300 in the fourteenth embodiment of the present technology.
  • the sensor section 310 includes a recharge transistor 321, a clip transistor 322, a SPAD 313, pMOS transistors 323 and 324, an nMOS transistor 325, and a buffer 326.
  • the sensor section 330 includes a recharge transistor 341, a clip transistor 342, and a SPAD 333, pMOS transistors 343 and 344, an nMOS transistor 345, and a buffer 346.
  • circuit configurations of these sensor units 310 and 330 are similar to the sixth embodiment illustrated in FIG. 21.
  • control circuit 210 can switch the count period in the non-addition mode.
  • the counters are connected in series as in the sixth embodiment, and the resolution of the counters is expanded.
  • FIG. 39 is a timing chart showing an example of the operation of the solid-state image sensor 200 in the addition mode in the fourteenth embodiment of the present technology.
  • the control circuit 210 sets the selection signal IN_SEL to a low level and sets the selection signal CNT_SEL to a high level. As a result, pixel A selects the logical sum, and pixel B selects the carry flag.
  • the digital signal CNT_A counts up, and when the digital signal CNT_A is saturated at timing T3, the digital signal CNT_B counts up.
  • each of the fourth, fifth, seventh to twelfth embodiments can be applied to the fourteenth embodiment. Further, a modification of the sixth embodiment can be applied to the fourteenth embodiment.
  • the fourteenth embodiment of the present technology since the count period is switched in the non-addition mode, the number of bits of the digital signal and the power consumption can be reduced compared to the case where the count period is not switched. Can be done.
  • the solid-state image sensor 200 adds two pixels, but it is also possible to add three or more pixels.
  • the solid-state imaging device 200 in the fifteenth embodiment differs from the thirteenth embodiment in that four pixels are added.
  • FIG. 40 is a diagram showing an example of arrangement of each pixel in the pixel block 300 in the fifteenth embodiment of the present technology.
  • pixels are arranged in a quad Bayer arrangement.
  • a microlens 221 is arranged for every four adjacent pixels of the same color to guide incident light to those pixels.
  • the four pixels at the bottom of the microlens 221 (such as r pixels 303, 304, 305, and 306) share a counter.
  • FIG. 41 is a circuit diagram showing a configuration example of a pixel block 300 in the fifteenth embodiment of the present technology.
  • the pixel block 300 of the fifteenth embodiment includes multiplexers 353 to 356 instead of multiplexers 351 and 352, and further includes sensor sections 315 and 335, OR gates 392 and 393, and counters 365 and 375.
  • the sensor unit 315 generates a pulse signal PLS_C in response to incident photons.
  • the sensor unit 335 generates a pulse signal PLS_D in response to incident photons.
  • the circuit configurations of these sensor sections are similar to the sensor section 310. Note that the sensor sections 315 and 335 are examples of the third and fourth sensor sections described in the claims.
  • OR gate 392 outputs the logical sum of the pulse signals PLS_C and PLC_D to the multiplexer 355 and the OR gate 393.
  • OR gate 393 outputs the logical sum of the respective outputs of OR gates 391 and 392 to multiplexer 353. Note that the logical operation on the two pulse signals is not limited to logical sum. If the pulse signal falls in response to the incidence of photons, AND gates are inserted in place of the OR gates 391 to 393. Alternatively, a logical difference can be calculated using a NOT gate instead of an OR gate.
  • OR gates 392 and 393 are examples of the second and third logic gates described in the claims.
  • the multiplexer 353 selects one of the logical sum of the OR gate 393, the pulse signal PLS_A, and the logical sum of the OR gate 391 according to the selection signal IN_SEL1 from the control circuit 210, and outputs it to the counter 360 as an output signal OUT_A. It is something. For example, when the selection signal IN_SEL1 is "2", the logical sum of the OR gate 393 is selected, when it is "1", the pulse signal PLS_A is selected, and when the selection signal IN_SEL1 is "0", the logical sum of the OR gate 391 is selected. Ru. Note that the multiplexer 353 is an example of a first multiplexer described in the claims.
  • the counter 360 of the fifteenth embodiment supplies the carry flag as CF_A to the multiplexer 354.
  • the multiplexer 354 selects either the carry flag CF_A or the pulse signal PLS_B according to the selection signal CNT_SEL1 from the control circuit 210, and outputs it to the counter 370 as an output signal OUT_B. For example, when selection signal CNT_SEL1 is "1”, carry flag CF_A is selected, and when selection signal CNT_SEL1 is "0", pulse signal PLS_B is selected. Note that the multiplexer 354 is an example of a second multiplexer described in the claims.
  • the counter 370 of the fifteenth embodiment further generates a carry flag and supplies it to the multiplexer 355 as CF_B.
  • the multiplexer 355 selects one of the carry flag CF_B, the pulse signal PLS_C, and the logical sum of the OR gate 392 according to the selection signal IN_SEL2 from the control circuit 210, and outputs it to the counter 365 as an output signal OUT_C. .
  • the selection signal IN_SEL2 is "2”
  • the carry flag CF_B is selected, when it is "1”
  • the pulse signal PLS_C is selected, and when it is "0”
  • the logical sum of the OR gate 392 is selected.
  • the multiplexer 355 is an example of a third multiplexer described in the claims.
  • the counter 365 counts a count value in synchronization with the output signal OUT_C, and outputs a digital signal CNT_C indicating the count value to the signal processing section 230. Further, this counter 365 generates a carry flag CF_C indicating whether or not an overflow has occurred, and outputs it to the multiplexer 356. Note that the counter 365 is an example of a third counter described in the claims.
  • the multiplexer 356 selects either the carry flag CF_C or the pulse signal PLS_D according to the selection signal CNT_SEL2 from the control circuit 210, and outputs it to the counter 375 as an output signal OUT_D. For example, when selection signal CNT_SEL2 is "1", carry flag CF_C is selected, and when selection signal CNT_SEL2 is "0", pulse signal PLS_D is selected. Note that the multiplexer 356 is an example of a fourth multiplexer described in the claims.
  • the counter 375 counts a count value in synchronization with the output signal OUT_D, and outputs a digital signal CNT_D indicating the count value to the signal processing section 230. Note that the counter 375 is an example of a fourth counter described in the claims.
  • the pixel block 300 in the figure functions as the r pixels 303 to 306 illustrated in FIG. 40.
  • FIG. 42 is a diagram illustrating an example of the operation of the control circuit 210 in the fifteenth embodiment of the present technology.
  • one of a plurality of modes including a non-addition mode, a two-pixel addition mode, and a four-pixel addition mode is set.
  • the 2-pixel addition mode is a mode in which two pixels each out of the four pixels in the pixel block 300 are added
  • the 4-pixel addition mode is a mode in which all four pixels are added.
  • the non-addition mode is a mode in which each pixel is not added. Note that the configuration may be such that the addition mode can be switched between one of the 2-pixel addition mode and the 4-pixel addition mode.
  • the control circuit 210 sets the selection signal IN_SEL1 to “1", the selection signal CNT_SEL1 to “0”, the selection signal IN_SEL2 to “1", and the selection signal CNT_SEL2 to "0". .
  • multiplexer 353 selects pulse signal PLS_A
  • multiplexer 354 selects pulse signal PLS_B
  • multiplexer 355 selects pulse signal PLS_C
  • multiplexer 356 selects pulse signal PLS_D.
  • the control circuit 210 sets the enable signals of all pixels to "0" (enable).
  • the control circuit 210 sets the selection signal IN_SEL1 to “0”, sets the selection signal CNT_SEL1 to “1”, sets the selection signal IN_SEL2 to “0”, and sets the selection signal CNT_SEL2 to “1”. ”.
  • multiplexer 353 selects the logical sum of pulse signals PLS_A and PLS_B, and multiplexer 354 selects carry flag CF_A.
  • Multiplexer 355 selects the logical sum of pulse signals PLS_C and PLS_D, and multiplexer 356 selects carry flag CF_C. Further, the control circuit 210 sets the enable signals of all pixels to "0" (enable).
  • the control circuit 210 sets the selection signal IN_SEL1 to “2", the selection signal CNT_SEL1 to “1”, the selection signal IN_SEL2 to “2”, and the selection signal CNT_SEL2 to "1”. ”.
  • multiplexer 353 selects the logical sum of pulse signals PLS_A, PLS_B, PLS_C, and PLS_D, and multiplexer 354 selects carry flag CF_A.
  • Multiplexer 355 selects carry flag CF_B, and multiplexer 356 selects carry flag CF_C.
  • the control circuit 210 sets the enable signals of all pixels to "0" (enable).
  • the circuit at the subsequent stage of the pixel (signal processing unit 230, etc.) generates an image in which pixel signals are arranged on the left side (or upper side) of each microlens 221, and an image where pixel signals are arranged on the right side (or lower side) of each microlens 221.
  • the distance between each peak is detected as a phase difference.
  • a focus lens (not shown) is driven according to the phase difference. Thereby, image plane phase difference AF can be realized.
  • the pixel block 300 adds the pulse signals PLS_A, PLS_B, PLS_C, and PLS_D in the four-pixel addition mode, so that sensitivity can be further improved.
  • the resolution of the counter is kept constant in the non-addition mode, but with this configuration, the resolution of the counter may be insufficient in the case of high illuminance.
  • the solid-state image sensor 200 in the sixteenth embodiment differs from the thirteenth embodiment in that the resolution of the counter is expanded at high illumination in the non-addition mode.
  • the circuit configuration of the pixel block 300 in the sixteenth embodiment is the same as that in the thirteenth embodiment illustrated in FIG. 36.
  • FIG. 43 is a diagram illustrating an example of the operation of the control circuit 210 in the thirteenth embodiment of the present technology.
  • any one of a plurality of modes including a non-additive low illuminance mode, a non-additive high illuminance mode, and an additive mode is set.
  • the addition mode is a mode in which the respective pulse signals of two pixels in the pixel block 300 are added, and the non-addition low illuminance mode and the non-addition high illuminance mode are modes in which these signals are not added.
  • non-additive low illuminance mode is a mode that is set when the illuminance is low, below a predetermined value
  • non-additive high illuminance mode is a mode that is set when the illuminance is high, which is higher than a predetermined value
  • control contents of the non-additional low-light mode of the sixteenth embodiment are similar to the control contents of the low-light mode of the first embodiment illustrated in FIG.
  • the control contents of the non-additional high-intensity mode of the sixteenth embodiment are similar to the control contents of the high-intensity mode of the first embodiment illustrated in FIG.
  • the control contents of the addition mode of the sixteenth embodiment are similar to the control contents of the addition mode of the thirteenth embodiment illustrated in FIG.
  • the resolution of the counter is expanded during high illuminance in the non-addition mode, so the dynamic range can be expanded during high illuminance.
  • the circuit within the solid-state image sensor 200 is arranged on a single semiconductor chip, but with this configuration, it is difficult to reduce the circuit scale for each chip.
  • the solid-state imaging device 200 according to the seventeenth embodiment differs from the first embodiment in that circuits are distributed and arranged on two stacked chips.
  • FIG. 44 is a circuit diagram showing a configuration example of the pixel block 300 in the seventeenth embodiment of the present technology.
  • a solid-state image sensor 200 in this seventeenth embodiment includes a pixel chip 201 and a circuit chip 202 that are stacked. These chips are electrically connected through connections such as vias. Note that in addition to vias, connection can also be made by Cu--Cu junctions or bumps. Connection can also be made by other methods (magnetic coupling, etc.). Further, although two chips are stacked, three or more layers can also be stacked.
  • SPADs 313 and 333 are arranged on the pixel chip 201, and the remaining circuits and elements are arranged on the circuit chip 202.
  • the clip transistors 322 and 342 are arranged on the pixel chip 201 as illustrated in FIG. 45.
  • the seventeenth embodiment of the present technology since the layered structure is adopted, it is possible to easily increase the number of pixels.
  • the control circuit 210 causes all pixels in the pixel array section 220 to output pulse signals, but with this configuration, it is difficult to reduce the readout time and the amount of data. .
  • the solid-state imaging device 200 according to the eighteenth embodiment differs from the first embodiment in that the control circuit 210 causes some pixels in the pixel array section 220 to output pulse signals.
  • FIG. 46 is a diagram illustrating an example of a region to be controlled in the eighteenth embodiment of the present technology.
  • a region 225 such as a ROI (Region of Interest) is set as a control target.
  • the area 225 is set by a user's operation or by executing various applications.
  • the control circuit 210 enables the pixels in the area 225 among all the pixels by an enable signal and causes them to output a pulse signal. As a result, the time required for reading and the amount of data to be read can be reduced compared to the case where all pixels are controlled.
  • control circuit 210 causes some pixels to output pulse signals, so that the readout time and data amount can be reduced.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. You can.
  • FIG. 47 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
  • an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
  • the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
  • the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, follow-up based on the following distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, follow-up based on the following distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
  • the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 48 is a diagram showing an example of the installation position of the imaging section 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle 12100.
  • An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
  • Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
  • An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 47 shows an example of the imaging range of the imaging units 12101 to 12104.
  • An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
  • the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. In particular, by determining the three-dimensional object that is closest to the vehicle 12100 on its path and that is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as the vehicle 12100, it is possible to extract the three-dimensional object as the preceding vehicle. can.
  • a predetermined speed for example, 0 km/h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
  • the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
  • the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
  • the display unit 12062 is controlled to display the .
  • the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the imaging device 100 in FIG. 1 can be applied to the imaging unit 12031.
  • the present technology can also have the following configuration.
  • a first counter that outputs a flag; and a second counter that counts a count value in synchronization with either the first carry flag or the second pulse signal and outputs a second digital signal indicating the count value.
  • Device a first sensor unit that generates a first pulse signal in response to incident photons
  • a second sensor unit that generates a second pulse signal in response to incident photons
  • a first digital signal that counts a count value in synchronization with any of a plurality of signals including the first and second pulse signals, and indicates the count value, and a first carry indicating whether an overflow has
  • the first multiplexer selects one of the first and second pulse signals and outputs it to the first counter as a first output signal; further comprising a second multiplexer that selects either the first carry flag or the second pulse signal and outputs the selected one to the second counter as a second output signal, The first counter counts in synchronization with the first output signal, The photodetecting device according to (1), wherein the second counter counts in synchronization with the second output signal.
  • the first multiplexer selects the first pulse signal when a low illuminance mode is set in which illuminance does not exceed a predetermined value, and selects the first pulse signal when a high illuminance mode is set in which illuminance is higher than the predetermined value.
  • the second multiplexer selects the second pulse signal when the low-light mode is set, and selects the first carry flag when the high-light mode is set.
  • the photodetecting device described above (4) Further comprising a determining device that determines whether the illuminance is higher than the predetermined value based on the first and second digital signals and sets either the high illuminance mode or the low illuminance mode.
  • at least one of the first and second counters outputs a specific bit of the digital signal to the determiner;
  • the first sensor section is disposed on one of the first and second pixels of the same color among the plurality of pixels arranged in the pixel array section, and the second sensor section is disposed on the other.
  • the photodetector according to any one of (1) to (5).
  • Each of the first and second sensor sections includes: an avalanche photodiode, and a recharge transistor for recharging the cathode potential of the avalanche photodiode back to a predetermined potential,
  • the control circuit controls a count period, which is an interval at which the recharging is performed, to one of a plurality of periods,
  • the first multiplexer selects the first pulse signal when the count period is a long period longer than a predetermined period, and selects the first pulse signal when the count period is a short period shorter than the predetermined period.
  • the second multiplexer selects the second pulse signal when the count period is the long period, and selects the first carry flag when the count period is the short period.
  • the first sensor section is arranged in one of the first and second pixels among the plurality of pixels arranged in the pixel array section, and the second sensor section is arranged in the other,
  • the control circuit switches the count period multiple times within a frame period for capturing one frame
  • (11) The photodetection device according to (10), wherein the control circuit sequentially selects a plurality of rows of the pixel array section and starts exposure.
  • the control circuit selects all pixels in the pixel array section at the start of the frame period and starts exposure at the same time, and selects all the pixels immediately before the end of the frame period and ends the exposure at the same time.
  • a first logic gate that outputs a result of a logic operation on the first and second pulse signals as a first operation result; a first multiplexer that selects one of a plurality of signals including the first pulse signal and the first calculation result and outputs the selected signal to the first counter as a first output signal; further comprising a second multiplexer that selects either the first carry flag or the second pulse signal and outputs the selected one to the second counter as a second output signal, The first counter counts in synchronization with the first output signal, The photodetecting device according to (1), wherein the second counter counts in synchronization with the second output signal.
  • each of the first and second sensor sections includes: an avalanche photodiode, and a recharge transistor for recharging the cathode potential of the avalanche photodiode back to a predetermined potential,
  • the control circuit controls a count period, which is an interval at which the recharging is performed, to one of a plurality of periods,
  • the first multiplexer selects the first pulse signal when the count period is a long period longer than a predetermined period, and selects the first pulse signal when the count period is a short period shorter than the predetermined period.
  • the second multiplexer selects the second pulse signal when the count period is the long period, and selects the first carry flag when the count period is the short period.
  • the photodetection device according to (16) above. (18) a third sensor unit that generates a third pulse signal in response to incident photons; a fourth sensor unit that generates a fourth pulse signal in response to incident photons; a second logic gate that outputs a result of a logic operation on the third and fourth pulse signals as a second operation result; a third logic gate that outputs a result of a logic operation on each output of the first and second logic gates as a third operation result; a third multiplexer that outputs either a second carry flag indicating whether an overflow has occurred, the third pulse signal, or the second calculation result as a third output signal; a third counter that counts a count value in synchronization with the third output signal and outputs a third digital signal indicating the count value and a third carry flag indicating whether an overflow has occurred;
  • the first multiplexer selects the first pulse signal when a non-additive low illuminance mode in which illuminance does not exceed the predetermined value is set, and selects the first pulse signal in a non-additive high illuminance mode in which illuminance is higher than the predetermined value.
  • the first pulse signal and the first calculation result are alternately selected, and when the addition mode is set, the first calculation result is selected.
  • the second multiplexer selects the second pulse signal when the non-additive low-light mode is set, and selects the first carry flag when the non-additive high-light mode is set.
  • the photodetecting device according to (16) wherein the first carry flag is selected when the addition mode is set.
  • a part of the first sensor part and a part of the second sensor part are arranged on a predetermined pixel chip, The remainder of the first sensor section, the remainder of the second sensor section, and the first and second counters are arranged in a predetermined circuit chip according to any one of (1) to (19) above.
  • Photodetection device. (21) further comprising a control circuit that controls the plurality of pixels; The first sensor section is arranged in one of the first and second pixels among the plurality of pixels, and the second sensor section is arranged in the other, The photodetection device according to any one of (1) to (20), wherein the control circuit controls some of the plurality of pixels to generate a pulse signal.
  • imaging device 110 imaging lens 120 recording unit 130 imaging control unit 200 solid-state imaging device 201 pixel chip 202 circuit chip 210 control circuit 220 pixel array unit 221 microlens 230 signal processing unit 300 pixel block 301, 302 pixels 303, 304, 305, 306 r pixel 310, 330, 315, 335 sensor section 311, 312, 323, 324, 331, 332, 343, 344 pMOS transistor 313, 333 SPAD 314, 334 Pulse shaping section 321, 341 Recharge transistor 322, 342 Clip transistor 325, 345 NMOS transistor 326, 346 Buffer 327, 347, 391 to 393 OR (logical sum) gate 328, 348 Resistance element 351 to 356 Multiplexer 360, 365 , 370, 375 Counter 361-364, 371-374 Flip-flop 380, 381 Determiner 12031 Imaging unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

カウンタでパルス数を計数する光検出装置において、画質を向上させる。 第1のセンサ部は、光子の入射に応じて第1のパルス信号を生成する。第2のセンサ部は、光子の入射に応じて第2のパルス信号を生成する。第1のカウンタは、第1および第2のパルス信号を含む複数の信号のいずれかに同期して計数値を計数し、当該計数値を示す第1のデジタル信号とオーバーフローが生じたか否かを示す第1のキャリーフラグとを出力する。第2のカウンタは、第1のキャリーフラグと第2のパルス信号とのいずれかに同期して計数値を計数し、当該計数値を示す第2のデジタル信号を出力する。

Description

光検出装置
 本技術は、光検出装置に関する。詳しくは、光子数を計数する光検出装置に関する。
  従来より、撮像装置などにおいて、画像データを撮像するために複数の画素を配列した固体撮像素子が用いられている。例えば、SPAD(Single-Photon Avalanche Diode)と、パルス信号を生成する波形整形部とパルス数を計数するカウンタとを画素ごとに設けた光検出装置が提案されている(例えば、特許文献1参照。)。この光検出装置では、2画素の一方のカウンタが飽和した際に、2画素のそれぞれのパルス信号の合成信号を他方のカウンタで計数している。
特開2019-140537号公報
 上述の従来技術では、2画素の一方のカウンタが飽和した際に画素加算することにより、合成信号の線形性の確保を図っている。しかしながら、上述の光検出装置では、画素のそれぞれの最大カウント値を増大することができず、ダイナミックレンジを拡大することができない。画素のそれぞれのカウンタの分解能を高くすれば、ダイナミックレンジを拡大し、画質を向上させることができるが、カウンタの回路規模が大きくなるため、好ましくない。
 本技術はこのような状況に鑑みて生み出されたものであり、カウンタでパルス数を計数する光検出装置において、画質を向上させることを目的とする。
 本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、光子の入射に応じて第1のパルス信号を生成する第1のセンサ部と、光子の入射に応じて第2のパルス信号を生成する第2のセンサ部と、上記第1および第2のパルス信号を含む複数の信号のいずれかに同期して計数値を計数し、当該計数値を示す第1のデジタル信号とオーバーフローが生じたか否かを示す第1のキャリーフラグとを出力する第1のカウンタと、上記第1のキャリーフラグと上記第2のパルス信号とのいずれかに同期して計数値を計数し、当該計数値を示す第2のデジタル信号を出力する第2のカウンタとを具備する光検出装置である。これにより、カウンタの分解能が拡張されるという作用をもたらす。
 また、この第1の側面において、上記第1および第2のパルス信号のいずれかを選択して上記第1のカウンタに第1の出力信号として出力する第1のマルチプレクサと、上記第1のキャリーフラグと上記第2のパルス信号とのいずれかを選択して上記第2のカウンタに第2の出力信号として出力する第2のマルチプレクサとをさらに具備し、上記第1のカウンタは、上記第1の出力信号に同期して計数し、上記第2のカウンタは、上記第2の出力信号に同期して計数してもよい。これにより、マルチプレクサの出力信号に同期してパルス数が計数されるという作用をもたらす。
 また、この第1の側面において、上記第1のマルチプレクサは、照度が所定値を超えない低照度モードが設定された場合には上記第1のパルス信号を選択し、照度が上記所定値より高い高照度モードが設定された場合には上記第1および第2のパルス信号を交互に選択し、上記第2のマルチプレクサは、上記低照度モードが設定された場合には上記第2のパルス信号を選択し、上記高照度モードが設定された場合には上記第1のキャリーフラグを選択してもよい。これにより、高照度時にカウンタの分解能が拡張されるという作用をもたらす。
 また、この第1の側面において、上記第1および第2のデジタル信号に基づいて照度が上記所定値より高いか否かを判定して上記高照度モードおよび上記低照度モードのいずれかを設定する判定器をさらに具備してもよい。これにより、画素内で照度が判定されるという作用をもたらす。
 また、この第1の側面において、上記第1および第2のカウンタの少なくとも一方は、デジタル信号のうち特定のビットを上記判定器に出力し、上記判定器は、上記特定のビットに基づいて上記高照度モードおよび上記低照度モードのいずれかを設定してもよい。これにより、判定器が簡素化されるという作用をもたらす。
 また、この第1の側面において、画素アレイ部に配列された複数の画素のうち同色の第1および第2の画素の一方に上記第1のセンサ部が配置され、他方に上記第2のセンサ部が配置されてもよい。これにより、画素ごとの計数値の差分が抑制されるという作用をもたらす。
 また、この第1の側面において、上記第1および第2の画素を含む同色の複数の画素に入射光を導くマイクロレンズをさらに具備してもよい。これにより、位相差の検出が容易になるという作用をもたらす。
 また、この第1の側面において、上記第1および第2のセンサ部を制御する制御回路をさらに具備し、上記第1および第2のセンサ部のそれぞれは、アバランシェフォトダイオードと、上記アバランシェフォトダイオードのカソード電位を所定電位まで戻すリチャージを行うリチャージトランジスタとを備え、上記制御回路は、上記リチャージを行う間隔であるカウント周期を複数の周期のいずれかに制御し、上記第1のマルチプレクサは、上記カウント周期が所定周期より長い長周期である場合には上記第1のパルス信号を選択し、上記カウント周期が上記所定周期より短い短周期である場合には上記第1および第2のパルス信号を交互に選択し、上記第2のマルチプレクサは、上記カウント周期が上記長周期である場合には上記第2のパルス信号を選択し、上記カウント周期が上記短周期である場合には上記第1のキャリーフラグを選択してもよい。これにより、消費電力が削減されるという作用をもたらす。
 また、この第1の側面において、カウント周期が上記長周期および上記短周期の一方の期間内に上記第1および第2のカウンタのそれぞれの計数を有効にするか否かを上記第1および第2のデジタル信号に基づいて判定する判定器をさらに具備し、上記第1および第2のセンサ部のそれぞれは、計数を無効にすると判定された場合には上記リチャージトランジスタをオフ状態にする論理ゲートをさらに備えてもよい。これにより、照度に応じて計数が有効または無効に制御されるという作用をもたらす。
 また、この第1の側面において、画素アレイ部に配列された複数の画素のうち第1および第2の画素の一方に上記第1のセンサ部が配置され、他方に上記第2のセンサ部が配置され、上記制御回路は、1フレームを撮像するためのフレーム期間内に上記カウント周期の切り替えを複数回に亘って行い、上記第1および第2のマルチプレクサは、上記フレーム期間内に選択先の切り替えを複数回に亘って行ってもよい。これにより、消費電力が削減されるという作用をもたらす。
 また、この第1の側面において、上記制御回路は、上記画素アレイ部の複数の行を順に選択して露光を開始させてもよい。これにより、フレームレートが向上するという作用をもたらす。
 また、この第1の側面において、上記制御回路は、上記フレーム期間の開始時に上記画素アレイ部の全画素を選択して同時に露光を開始させ、上記フレーム期間の終了直前に全画素を選択して同時に露光を終了させてもよい。これにより、ローリングシャッター歪みが抑制されるという作用をもたらす。
 また、この第1の側面において、上記制御回路は、上記フレーム期間中に上記画素アレイ部の複数の行を順に選択して露光を開始させてもよい。これにより、フレームレートが向上するという作用をもたらす。
 また、この第1の側面において、上記制御回路は、上記フレーム期間中に上記全画素を選択して同時に露光を終了させ、上記全画素の読出し完了後に上記カウント周期を切り替えてから上記全画素を選択して同時に露光を開始させてもよい。これにより、ローリングシャッター歪みが抑制されるという作用をもたらす。
 また、この第1の側面において、上記制御回路は、デジタル信号を伝送する信号線を共有する第1および第2の行の一方を同時に選択して露光させ、上記一方のデジタル信号の読出し中に上記第1および第2の行の他方を同時に選択して露光させてもよい。これにより、フレームレートが向上するという作用をもたらす。
 また、この第1の側面において、上記第1および第2のパルス信号に対する論理演算の結果を第1の演算結果として出力する第1の論理ゲートと、上記第1のパルス信号と上記第1の演算結果とを含む複数の信号のいずれかを選択して上記第1のカウンタに第1の出力信号として出力する第1のマルチプレクサと、上記第1のキャリーフラグと上記第2のパルス信号とのいずれかを選択して上記第2のカウンタに第2の出力信号として出力する第2のマルチプレクサとをさらに具備し、上記第1のカウンタは、上記第1の出力信号に同期して計数し、上記第2のカウンタは、上記第2の出力信号に同期して計数してもよい。これにより、画素加算が可能になるという作用をもたらす。
 また、この第1の側面において、上記第1および第2のセンサ部を制御する制御回路をさらに具備し、上記第1および第2のセンサ部のそれぞれは、アバランシェフォトダイオードと、上記アバランシェフォトダイオードのカソード電位を所定電位まで戻すリチャージを行うリチャージトランジスタとを備え、上記制御回路は、上記リチャージを行う間隔であるカウント周期を複数の周期のいずれかに制御し、上記第1のマルチプレクサは、上記カウント周期が所定周期より長い長周期である場合には上記第1のパルス信号を選択し、上記カウント周期が上記所定周期より短い短周期である場合には上記第1および第2のパルス信号を交互に選択し、上記第2のマルチプレクサは、上記カウント周期が上記長周期である場合には上記第2のパルス信号を選択し、上記カウント周期が上記短周期である場合には上記第1のキャリーフラグを選択してもよい。これにより、消費電力が削減されるという作用をもたらす。
 また、この第1の側面において、光子の入射に応じて第3のパルス信号を生成する第3のセンサ部と、光子の入射に応じて第4のパルス信号を生成する第4のセンサ部と、上記第3および第4のパルス信号に対する論理演算の結果を第2の演算結果として出力する第2の論理ゲートと、上記第1および第2の論理ゲートのそれぞれの出力に対する論理演算の結果を第3の演算結果として出力する第3の論理ゲートと、オーバーフローが生じたか否かを示す第2のキャリーフラグと上記第3のパルス信号と上記第2の演算結果とのいずれかを第3の出力信号として出力する第3のマルチプレクサと、上記第3の出力信号に同期して計数値を計数し、当該計数値を示す第3のデジタル信号とオーバーフローが生じたか否かを示す第3のキャリーフラグとを出力する第3のカウンタと、上記第3のキャリーフラグと上記第4のパルス信号とのいずれかを第4の出力信号として出力する第4のマルチプレクサと、上記第4の出力信号に同期して計数値を計数し、当該計数値を示す第4のデジタル信号を出力する第4のカウンタとをさらに具備し、上記第1のマルチプレクサは、上記第1のパルス信号と上記第1の演算結果と上記第3の演算結果とのいずれかを選択し、上記第2のカウンタは、上記第2のキャリーフラグをさらに生成してもよい。これにより、4画素または2画素の加算が可能になるという作用をもたらす。
 また、この第1の側面において、上記第1のマルチプレクサは、照度が所定値を超えない非加算低照度モードが設定された場合には上記第1のパルス信号を選択し、照度が上記所定値より高い非加算高照度モードが設定された場合には上記第1のパルス信号と上記1の演算結果とを交互に選択し、加算モードが設定された場合には上記第1の演算結果を選択し、上記第2のマルチプレクサは、上記非加算低照度モードが設定された場合には上記第2のパルス信号を選択し、上記非加算高照度モードが設定された場合には上記第1のキャリーフラグを選択し、上記加算モードが設定された場合には上記第1のキャリーフラグを選択してもよい。これにより、高照度時または画素加算時にカウンタの分解能が拡張されるという作用をもたらす。
 また、この第1の側面において、上記第1のセンサ部の一部と上記第2のセンサ部の一部とは、所定の画素チップに配置され、上記第1のセンサ部の残りと上記第2のセンサ部の残りと上記第1および第2のカウンタは、所定の回路チップに配置されてもよい。これにより、多画素化が容易になるという作用をもたらす。
 また、この第1の側面において、複数の画素を制御する制御回路をさらに具備し、上記複数の画素のうち第1および第2の画素の一方に上記第1のセンサ部が配置され、他方に上記第2のセンサ部が配置され、上記制御回路は、上記複数の画素の一部を制御してパルス信号を生成させてもよい。これにより、読出し時間やデータ量が削減されるという作用をもたらす。
本技術の第1の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第1の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第1の実施の形態におけるカウンタの一構成例を示す回路図である。 本技術の第1の実施の形態における制御回路の動作の一例を示す図である。 本技術の第1の実施の形態における低照度モードの画素ブロックの状態の一例を示す図である。 本技術の第1の実施の形態における高照度モードで画素Aを露光時の画素ブロックの状態の一例を示す図である。 本技術の第1の実施の形態における高照度モードで画素Bを露光時の画素ブロックの状態の一例を示す図である。 本技術の第1の実施の形態における低照度モードの固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第1の実施の形態における高照度モードの固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第1の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第2の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第2の実施の形態における低照度モードから高照度モードに切り替わる際のタイミングチャートの一例である。 本技術の第2の実施の形態における高照度モードから低照度モードに切り替わる際のタイミングチャートの一例である。 本技術の第3の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第3の実施の形態における低照度モードから高照度モードに切り替わる際のタイミングチャートの一例である。 本技術の第3の実施の形態における高照度モードから低照度モードに切り替わる際のタイミングチャートの一例である。 本技術の第4の実施の形態における画素ブロック内の各画素の配置例を示す図である。 本技術の第4の実施の形態におけるクアッドベイヤー配列の各画素の配置例を示す図である。 本技術の第5の実施の形態における画素ブロック内の各画素の配置例を示す図である。 本技術の第6の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第6の実施の形態における制御回路の動作の一例を示す図である。 本技術の第6の実施の形態における長周期カウント期間の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第6の実施の形態における短周期カウント期間のうち画素Aの露光期間の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第6の実施の形態における短周期カウント期間のうち画素Bの露光期間の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第6の実施の形態の変形例における制御回路の動作の一例を示す図である。 本技術の第7の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第7の実施の形態における短周期カウント期間のうち画素Aの露光期間の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第7の実施の形態における短周期カウント期間のうち画素Bの露光期間の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第7の実施の形態における長周期カウント期間の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第8の実施の形態における所定行の1V期間内のカウント周期の一例を示す図である。 本技術の第9の実施の形態における固体撮像素子の露光、読出し動作の一例を示すタイミングチャートである。 本技術の第10の実施の形態における固体撮像素子の露光、読出し動作の一例を示すタイミングチャートである。 本技術の第11の実施の形態における固体撮像素子の露光、読出し動作の一例を示すタイミングチャートである。 本技術の第12の実施の形態における固体撮像素子の露光、読出し動作の一例を示すタイミングチャートである。 本技術の第13の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第13の実施の形態における制御回路の動作の一例を示す図である。 本技術の第14の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第14の実施の形態における加算モード時の固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第15の実施の形態における画素ブロック内の各画素の配置例を示す図である。 本技術の第15の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第15の実施の形態における制御回路の動作の一例を示す図である。 本技術の第16の実施の形態における制御回路の動作の一例を示す図である。 本技術の第17の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第17の実施の形態における画素ブロックの別の例を示す回路図である。 本技術の第18の実施の形態における制御対象の領域の一例を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
 以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
 1.第1の実施の形態(高照度時にカウンタを拡張する例)
 2.第2の実施の形態(照度を判定してカウンタを拡張する例)
 3.第3の実施の形態(特定のビットに基づいてカウンタを拡張する例)
 4.第4の実施の形態(同色の2画素が高照度時にカウンタを拡張する例)
 5.第5の実施の形態(マイクロレンズ下の2画素が高照度時にカウンタを拡張する例)
 6.第6の実施の形態(カウント周期が短周期の際にカウンタを拡張する例)
 7.第7の実施の形態(短周期の際にカウンタを拡張し、計数を有効または無効にする例)
 8.第8の実施の形態(1フレーム内でカウント周期を切り替え、短周期の際にカウンタを拡張する例)
 9.第9の実施の形態(ローリングシャッター方式を用い、短周期の際にカウンタを拡張する例)
 10.第10の実施の形態(フレームの開始、終了時にグローバルシャッター方式を用い、短周期の際にカウンタを拡張する例)
 11.第11の実施の形態(グローバルシャッター方式を用い、短周期の際にカウンタを拡張する例)
 12.第12の実施の形態(グローバルシャッター方式を用いて露光中に読み出し、短周期の際にカウンタを拡張する例)
 13.第13の実施の形態(画素加算時にカウンタを拡張する例)
 14.第14の実施の形態(画素加算時、または、カウンタ周期が短周期のときにカウンタを拡張する例)
 15.第15の実施の形態(4画素の画素加算時にカウンタを拡張する例)
 16.第16の実施の形態(画素加算時、または、高照度時にカウンタを拡張する例)
 17.第17の実施の形態(積層構造を用い、高照度時にカウンタを拡張する例)
 18.第18の実施の形態(一部の画素を制御し、高照度時にカウンタを拡張する例)
 19.移動体への応用例
 <1.第1の実施の形態>
 [撮像装置の構成例]
 図1は、本技術の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像するものであり、撮像レンズ110、固体撮像素子200、記録部120および撮像制御部130を備える。撮像装置100としては、例えば、スマートフォン、デジタルカメラ、パーソナルコンピュータや車載カメラが想定される。なお、撮像装置100は、特許請求の範囲に記載の光検出装置の一例である。
 撮像レンズ110は、入射光を集光して固体撮像素子200に導くものである。固体撮像素子200は、撮像制御部130の制御に従って画像データを撮像するものである。この固体撮像素子200は、撮像した画像データを記録部120に信号線209を介して供給する。記録部120は、画像データを記録するものである。
 撮像制御部130は、固体撮像素子200を制御して画像データを撮像させるものである。この撮像制御部130は、例えば、垂直同期信号などの同期信号を固体撮像素子200に信号線139を介して供給する。
 なお、撮像装置100は、インターフェースをさらに備え、そのインターフェースにより画像データを外部に送信してもよいし、表示部をさらに備え、表示部に画像データを表示してもよい。
 [固体撮像素子の構成例]
 図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、制御回路210、画素アレイ部220および信号処理部230を備える。これらの回路は、単一の半導体チップに配置される。
 画素アレイ部220には、複数の画素が二次元格子状に配列される。以下、所定方向(水平方向など)に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を列と称する。
 また、画素アレイ部220は、複数の画素ブロック300に分割される。それぞれの画素ブロック300には、複数の画素が配列される。例えば、画素ブロック300には、列方向に2画素が配列されるものとする。なお、画素ブロック300内の各画素を、行方向や斜め方向に配列することもできる。
 制御回路210は、垂直同期信号に同期して行を順に選択するものである。画素は、露光期間内に光子が入射された回数を計数して、その計数値を示すデジタル信号を画素信号として信号処理部230に出力するものである。
 また、制御回路210には、高照度モードおよび低照度モードを含む複数のモードのいずれかを指定するモード信号MODEが入力される。高照度モードは、照度が所定値よりも高い高照度時に設定されるモードであり、低照度モードは、照度が所定値以下の低照度時に設定されるモードである。測光して照度が所定値よりも高いか否かを判定し、モードを設定する判定回路は、固体撮像素子200の内部のうち画素アレイ部220の後段(信号処理部230など)や、固体撮像素子200の外部に配置される。
 なお、高照度モードや低照度モードをユーザが手動操作により設定することもできる。この場合には、判定回路が不要になる。
 信号処理部230は、画素信号を配列した画像データ(フレーム)に対して、各種の信号処理を実行するものである。この信号処理部230は、処理後のフレームを記録部120に出力する。
 [画素の構成例]
 図3は、本技術の第1の実施の形態における画素ブロック300の一構成例を示す回路図である。この画素ブロック300には、画素301および302が配列される。画素301は、センサ部310、マルチプレクサ351およびカウンタ360を備える。画素302は、センサ部330、マルチプレクサ352およびカウンタ370を備える。
 センサ部310は、pMOSトランジスタ311および312と、SPAD313およびパルス整形部314を備える。pMOSトランジスタ311および312は、pMOSトランジスタ311を電源側として、SPAD313のカソードと、電源電圧VDDとの間において直列に接続される。pMOSトランジスタ311のゲートには、制御回路210からのイネーブル信号EN_Aが入力され、pMOSトランジスタ312のゲートには、所定のバイアス電圧BIASが印加される。
 イネーブル信号EN_Aがローレベルの場合に画素301はイネーブルとなり、光子の入射に応じてSPAD313のカソード電位が降下する。一方、イネーブル信号EN_Aがハイレベルの場合に画素301はディセーブルとなり、光子が入射されてもカソード電位は降下しない。
 パルス整形部314は、SPAD313のカソード電位の降下を検出し、波形を整形してパルス信号PLS_Aを生成するものである。このパルス整形部314は、パルス信号PLS_Aをマルチプレクサ351に供給する。
 センサ部330は、pMOSトランジスタ331および332と、SPAD333およびパルス整形部334を備え、その回路構成は、センサ部310と同様である。ただし、pMOSトランジスタ331のゲートには制御回路210からのイネーブル信号EN_Bが入力され、パルス整形部334は、パルス信号PLS_Bを生成してマルチプレクサ351および352に供給する。
 マルチプレクサ351は、制御回路210からの選択信号IN_SELに従って、パルス信号PLS_AおよびPLS_Bのいずれかを選択し、出力信号OUT_Aとしてカウンタ360に出力するものである。例えば、選択信号IN_SELが「1」の場合にパルス信号PLS_Aが選択され、選択信号IN_SELが「0」の場合にパルス信号PLS_Bが選択される。
 カウンタ360は、出力信号OUT_Aに同期して計数値を計数し、その計数値を示すデジタル信号CNT_Aを信号処理部230に出力するものである。また、このカウンタ360は、デジタル信号CNT_Aで表現可能な範囲を計数結果が超えた(すなわち、オーバーフローが生じた)か否かを示すキャリーフラグCFを生成し、マルチプレクサ352に出力する。
 マルチプレクサ352は、制御回路210からの選択信号CNT_SELに従って、パルス信号PLS_BおよびキャリーフラグCFのいずれかを選択し、出力信号OUT_Bとしてカウンタ370に出力するものである。例えば、選択信号CNT_SELが「1」の場合にキャリーフラグCFが選択され、選択信号CNT_SELが「0」の場合にパルス信号PLS_Bが選択される。
 カウンタ370は、出力信号OUT_Bに同期して計数値を計数し、その計数値を示すデジタル信号CNT_Bを信号処理部230に出力するものである。
 まとめると、センサ部310は、光子の入射に応じてパルス信号PLS_Aを生成する。センサ部330は、光子の入射に応じてパルス信号PLS_Bを生成する。マルチプレクサ351は、パルス信号PLS_AおよびPLS_Bのいずれかを選択し、出力信号OUT_Aとしてカウンタ360に出力する。カウンタ360は、出力信号OUT_Aに同期して計数値を計数し、その計数値を示すデジタル信号CNT_Aと、オーバーフローしたか否かを示すキャリーフラグCFを出力する。
 また、マルチプレクサ352は、パルス信号PLS_BおよびキャリーフラグCFのいずれかを選択し、出力信号OUT_Bとしてカウンタ370に出力する。カウンタ370は、出力信号OUT_Bに同期して計数値を計数し、その計数値を示すデジタル信号CNT_Bを出力する。
 なお、センサ部310および330は、特許請求の範囲に記載の第1および第2のセンサ部の一例である。マルチプレクサ351および352は、特許請求の範囲に記載の第1および第2のマルチプレクサの一例である。カウンタ360および370は、特許請求の範囲に記載の第1および第2のカウンタの一例である。
 また、画素ブロック300内に2画素を配列しているが、3画素以上を配列することもできる。この場合、画素数に応じて、センサ部、マルチプレクサおよびカウンタが追加される。また、画素数をM(Mは整数)個とすると、m(mは、0乃至M-1の整数)個目のカウンタのキャリーフラグが、m+1個目のマルチプレクサを介してm+1個目のカウンタに入力される。
 [カウンタの構成例]
 図4は、本技術の第1の実施の形態におけるカウンタ360および370の一構成例を示す回路図である。カウンタ360は、フリップフロップ361乃至364を備え、カウンタ370は、フリップフロップ371乃至374を備える。
 フリップフロップ361乃至364のそれぞれは、クロック端子に入力された信号に同期して、入力端子Dに入力された入力信号を保持し、出力端子Qから出力する。
 フリップフロップ361のクロック端子には、マルチプレクサ351からの出力信号OUT_Aが入力される。また、フリップフロップ361の反転出力端子xQは、その入力端子Dとフリップフロップ362のクロック端子とに接続される。フリップフロップ362の反転出力端子xQは、その入力端子Dとフリップフロップ363のクロック端子とに接続される。フリップフロップ363の反転出力端子xQは、その入力端子Dとフリップフロップ364のクロック端子とに接続される。フリップフロップ364の反転出力端子xQは、その入力端子Dに接続される。また、フリップフロップ364の反転出力端子xQからマルチプレクサ352へ、キャリーフラグCFが出力される。
 フリップフロップ361乃至364のそれぞれの出力端子Qからのビットは、デジタル信号CNT_Aの第1桁から第4桁までのビットとして出力される。
 カウンタ370の回路構成は、キャリーフラグCFが出力されない点以外は、カウンタ360と同様である。
 なお、カウンタ360および370の分解能を4ビットとしているが、これらのカウンタの分解能は、4ビットに限定されない。また、カウンタ360および370のそれぞれの回路構成は、マルチプレクサ351や352からの信号に同期して計数することができるものであれば、同図に例示した回路構成に限定されない。
 [固体撮像素子の動作例]
 図5は、本技術の第1の実施の形態における制御回路210の動作の一例を示す図である。画素ブロック300内の2画素(画素301および302)の一方を画素Aとし、他方を画素Bとする。
 低照度モードが設定された場合に制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「0」にする。これにより、画素Aではパルス信号PLS_Aが選択され、画素Bではパルス信号PLS_Bが選択される。また、制御回路210はイネーブル信号EN_AおよびEN_Bの両方を「0」(すなわち、イネーブル)にする。これらの制御により、画素AおよびBの両方が露光される。
 一方、高照度モードが設定された場合には、画素AおよびBの一方のみが露光され、露光対象は一定時間ごとに切り替えられる。画素Aの露光期間内に制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「1」にする。これにより、画素Aではパルス信号PLS_Aが選択され、画素BではキャリーフラグCFが選択される。また、制御回路210はイネーブル信号EN_Aを「0」(イネーブル)にし、イネーブル信号EN_Bを「1」(すなわち、ディセーブル)にする。
 また、画素Bの露光期間内に制御回路210は、選択信号IN_SELを「0」にし、選択信号CNT_SELを「1」にする。これにより、画素Aではパルス信号PLS_Bが選択され、画素BではキャリーフラグCFが選択される。また、制御回路210はイネーブル信号EN_Aを「1」(ディセーブル)にし、イネーブル信号EN_Bを「0」(イネーブル)にする。
 図6は、本技術の第1の実施の形態における低照度モードの画素ブロック300の状態の一例を示す図である。低照度モードが設定された場合には、マルチプレクサ351がパルス信号PLS_Aを選択し、マルチプレクサ352がパルス信号PLS_Bを選択する。また、カウンタ360は、出力信号OUT_A(すなわち、パルス信号PLS_A)に同期して計数し、カウンタ370は、出力信号OUT_B(すなわち、パルス信号PLS_B)に同期して計数する。このように、低照度モードにおいては、画素ごとに、その画素のパルス数が計数される。画素ごとのカウンタの分解能をN(Nは、整数)ビットとすると、それぞれの計数値の最大値は、2となる。
 図7は、本技術の第1の実施の形態における高照度モードで画素Aを露光時の画素ブロックの状態の一例を示す図である。高照度モードにおいて画素Aの露光期間内にマルチプレクサ351がパルス信号PLS_Aを選択し、マルチプレクサ352がカウンタ360からのキャリーフラグCFを選択する。また、カウンタ360は、出力信号OUT_A(パルス信号PLS_A)に同期して計数し、カウンタ370は、出力信号OUT_B(すなわち、キャリーフラグCF)に同期して計数する。
 図8は、本技術の第1の実施の形態における高照度モードで画素Bを露光時の画素ブロックの状態の一例を示す図である。高照度モードにおいて画素Bの露光期間内にマルチプレクサ351がパルス信号PLS_Bを選択し、マルチプレクサ352がカウンタ360からのキャリーフラグCFを選択する。また、カウンタ360は、出力信号OUT_A(パルス信号PLS_B)に同期して計数し、カウンタ370は、出力信号OUT_B(すなわち、キャリーフラグCF)に同期して計数する。
 図6および図7に例示したように、高照度モードが設定されると、カウンタ360および370が直列に接続され、前段のカウンタ360でオーバーフローが生じた際に、後段のカウンタ370が計数する。このように、高照度時は、画素ブロック300内の2画素によりカウンタ360および370が共有されることになる。
 高照度時に信号処理部230は、カウンタ360の出力(デジタル信号CNT_A)を上位ビット列とし、カウンタ370の出力(デジタル信号CNT_B)を下位ビット列とした2Nビットのデジタル信号を画素AおよびBのそれぞれについて取得する。カウント頻度の高くなる高照度時に、画素ごとのカウンタの分解能は2Nビットに拡張され、それぞれの計数値の最大値は、22Nに拡張される。これにより、高照度時にダイナミックレンジを拡大して、画像データの画質を向上させることができる。
 図9は、本技術の第1の実施の形態における低照度モードの固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT0において、低照度モードが設定されたものとする。
 制御回路210は、イネーブル信号EN_AおよびEN_Bをハイレベルにし、選択信号IN_SELをハイレベルにし、選択信号CNT_SELをローレベルにする。タイミングT1などにおいてパルス信号PLS_Aが生成され、そのパルス信号に同期してカウンタ360がデジタル信号CNT_Aをカウントアップする。タイミングT2などにおいてパルス信号PLS_Bが生成され、そのパルス信号に同期してカウンタ370がデジタル信号CNT_Bをカウントアップする。同図に例示するように、低照度モードにおいては、2画素が同時に露光され、各画素で並列にパルス数が計数される。
 図10は、本技術の第1の実施の形態における高照度モードの固体撮像素子の動作の一例を示すタイミングチャートである。タイミングT10において、高照度モードが設定されたものとする。タイミングT10からT12までの期間内に画素Aが露光されるものとし、タイミングT12からT14までの期間内に画素Bが露光されるものとする。タイミングT14以降も同様に、画素AおよびBが交互に露光される。
 タイミングT10からT12までの期間内に制御回路210は、イネーブル信号EN_Aをハイレベルにし、イネーブル信号EN_Bをローレベルにする。また、制御回路210は、選択信号IN_SELおよびCNT_SELをハイレベルにする。タイミングT10以降にパルス信号PLS_Aが生成され、そのパルス信号に同期してカウンタ360がデジタル信号CNT_Aをカウントアップする。
 そして、タイミングT11でデジタル信号CNT_Aがオーバーフローすると、キャリーフラグに同期してカウンタ370がデジタル信号CNT_Bをカウントアップする。
 そして、タイミングT12からT14までの期間内に制御回路210は、イネーブル信号EN_Aをローレベルにし、イネーブル信号EN_Bをハイレベルにする。また、制御回路210は、選択信号IN_SELをローレベルにし、選択信号CNT_SELをハイレベルにする。タイミングT12以降にパルス信号PLS_Bが生成され、そのパルス信号に同期してカウンタ360がデジタル信号CNT_Aをカウントアップする。
 そして、タイミングT13でデジタル信号CNT_Aがオーバーフローすると、キャリーフラグに同期してカウンタ370がデジタル信号CNT_Bをカウントアップする。
 図11は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すフローチャートである。この動作は、例えば、低照度モードが設定されたときに開始される。
 全画素で、画素内のカウンタがパルス数を計数する(ステップS901)。信号処理部230は、信号処理を行ってフレームを生成する(ステップS902)。
 画素の外部の回路(信号処理部230など)は、フレームに基づいて高照度であるか否かを判断する(ステップS903)。例えば、全画素の計数値の合計値や平均値が、閾値以上の場合に高照度と判断される。
 高照度でない場合(ステップS903:No)、固体撮像素子200は、低照度モードを設定し、ステップS901以降を実行する。
 一方、高照度である場合(ステップS903:Yes)、固体撮像素子200は、高照度モードを設定し、画素Aで、その画素内のカウンタがパルス数を計数する(ステップS904)。次に画素Bで、その画素内のカウンタがパルス数を計数する(ステップS905)。信号処理部230は、信号処理を行ってフレームを生成する(ステップS906)。ステップS906の後に固体撮像素子200は、ステップS903以降を繰り返す。
 なお、固体撮像素子200は、フレームごとに高照度であるか否かを判定しているが、この構成に限定されず、モードを切り替えてから2フレーム以上を撮像した際に高照度であるか否かを判定することもできる。
 このように、本技術の第1の実施の形態によれば、高照度モードにおいてカウンタ360からのキャリーフラグに同期してカウンタ370が計数するため、高照度時にダイナミックレンジを拡大することができる。
 <2.第2の実施の形態>
 上述の第1の実施の形態では、画素の外部の回路が高照度であるか否かを判定していたが、その判定を画素内で行うこともできる。この第2の実施の形態における固体撮像素子200は、高照度であるか否かを判定する判定器を画素ブロック300内に配置した点において第1の実施の形態と異なる。
 図12は、本技術の第2の実施の形態における画素ブロック300の一構成例を示す回路図である。この第2の実施の形態の画素ブロック300は、判定器380をさらに備える点において第1の実施の形態と異なる。判定器380は、画素ブロック300内の2画素で共有される。
 判定器380には、カウンタ360および370からのデジタル信号CNT_AおよびCNT_Bが入力される。この判定器380は、それらのデジタル信号に基づいて、高照度であるか否かを判定する。
 (1)例えば、判定器380は、画素ブロック300内の全画素、または、一部の代表画素(中央付近の画素など)の計数値の合計値や平均値を算出し、その値が閾値以上の場合に高照度と判定し、閾値未満の場合に低照度と判定する。
 (2)あるいは、判定器380は、画素ごとに、計数値か閾値以上である否かを判断し、それらの結果に基づいて照度を判定する。
 (2-1)判定方法(2)において例えば、判定器380は、計数値が閾値以上の画素数が、計数値が閾値未満の画素数以上であれば、高照度と判定する。
 (2-2)または、判定器380は、計数値が閾値未満の画素数が、計数値が閾値以上の画素数以上であれば、低照度と判定する。
 (2-3)もしくは、判定器380は、計数値が閾値以上の画素が1つ以上の際に、高照度と判定する。
 (2-4)または、判定器380は、計数値が閾値未満の画素が1つ以上の際に、低照度と判定する。
 判定器380は、判定結果に基づいて、イネーブル信号EN_AおよびEN_Bと、選択信号IN_SELおよびCNT_SELとを制御する。これらの信号の制御方法は、第1の実施の形態と同様である。
 同図に例示するように、画素ブロック300のそれぞれが高照度であるか否かを判定するため、画素ごとの照度に応じた適切な制御を行うことができる。
 図13は、本技術の第2の実施の形態における低照度モードから高照度モードに切り替わる際のタイミングチャートの一例である。高照度であるか否かの判定方法として、前述の(2-3)が用いられるものとする。着目した画素ブロック300について低照度モードが設定され、画素Bの計数値(CNT_B)がタイミングT0で閾値以上になったものとする。
 判定器380は、高照度であると判断し、計数値の読出しの後のタイミングT1で、高照度モードに切り替える。高照度モードにおいては、タイミングT1からT2までに画素Aが露光され、タイミングT2以降に画素Bが露光される。なお、着目した画素ブロック以外の画素ブロックのそれぞれにおいても、個別に照度が判定される。
 図14は、本技術の第2の実施の形態における高照度モードから低照度モードに切り替わる際のタイミングチャートの一例である。着目した画素ブロック300について高照度モードが設定され、画素AおよびBの各計数値(CNT_AおよびCNT_B)がいずれも閾値未満であったものとする。判定器380は、低照度であると判断し、タイミングT10で、低照度モードに切り替える。
 このように、本技術の第2の実施の形態によれば、画素ブロック300内の判定器380が高照度であるか否かを判定するため、画素ブロック300ごとの照度に応じた適切な制御を行うことができる。
 <3.第3の実施の形態>
 上述の第2の実施の形態では、判定器380が、計数値と閾値とを比較していたが、この構成では、カウンタ360および370の分解能が高いほど、判定器380の回路規模が増大するおそれがある。この第3の実施の形態における固体撮像素子200は、デジタル信号の特定のビットに基づいて判定器380が高照度か否かを判定する点において第2の実施の形態と異なる。
 図15は、本技術の第3の実施の形態における画素ブロック300の一構成例を示す回路図である。この第3の実施の形態の画素ブロック300は、カウンタ360および370がデジタル信号の特定のビットを判定器380に供給する点において第2の実施の形態と異なる。
 計数値と比較する閾値を2(nは、整数)とし、カウンタ360および370をバイナリカウンタとすると、n桁目のビットQAnおよびQBnが出力される。判定器380は、それらのビットに基づいて高照度であるか否かを判定する。QAnおよびQBnのそれぞれが「1」であるか否かにより、計数値が閾値2以上であるか否かが判断される。
 ビットQAnおよびQBnが「1」であるか否かを判定すればよいため、第1の実施の形態と比較して判定器380の回路規模を削減することができる。また、カウンタ360および370から判定器380への配線数を第2の実施の形態よりも削減することができる。
 なお、カウンタ360および370が、特定のビットでなく、上位ビット(4ビットのうち上位2ビットなど)を判定器380に供給し、判定器380が、それらのビットに基づいて判定を行うこともできる。
 図16は、本技術の第3の実施の形態における低照度モードから高照度モードに切り替わる際のタイミングチャートの一例である。高照度であるか否かの判定方法として、前述の(2-3)が用いられるものとする。着目した画素ブロック300について低照度モードが設定され、画素Bの計数値(CNT_B)がタイミングT0でQAnが「1」になったものとする。
 計数値が閾値2以上になったため、判定器380は、高照度であると判断し、計数値の読出しの後のタイミングT1で、高照度モードに切り替える。高照度モードにおいては、タイミングT1からT2までに画素Aが露光され、タイミングT2以降に画素Bが露光される。
 図17は、本技術の第3の実施の形態における高照度モードから低照度モードに切り替わる際のタイミングチャートの一例である。着目した画素ブロック300について高照度モードが設定され、QAnおよびQBnのいずれも「0」であったものとする。計数値がいずれも閾値2未満であるため、判定器380は、低照度であると判断し、タイミングT10で、低照度モードに切り替える。
 このように、本技術の第3の実施の形態によれば、カウンタ360および370からの特定のビットに基づいて判定器380が高照度であるか否かを判定するため、第2の実施の形態よりも判定器380の回路規模を削減することができる。
 <4.第4の実施の形態>
 上述の第1の実施の形態では、カウンタ360および370を共有する2画素を列方向に隣接して配列していたが、ベイヤー配列で配列する場合、列方向に隣接する2画素は互いにカラーフィルタの色が異なる。しかしながら、カラーフィルタの色ごとに透過率が異なるため、カウンタ360および370を共有する場合、画素ブロック300内の2画素は同色であることが好ましい。この第4の実施の形態における固体撮像素子200は、画素ブロック300内に同色の画素を配列した点において第1の実施の形態と異なる。
 図18は、本技術の第4の実施の形態における画素ブロック300内の各画素の配置例を示す図である。画素アレイ部220において、複数の画素はベイヤー配列される。また、画素ごとに、カラーフィルタ(不図示)およびマイクロレンズ(不図示)が配置される。カラーフィルタは、red、greenおよびblueのいずれかの色を透過する。各色のカラーフィルタを配置した画素をそれぞれ、r画素、g画素およびb画素とする。ベイヤー配列では、2行×2列において、斜め方向に2つのg画素が配置され、残りにr画素およびb画素が配置される。
 例えば、r画素303、g画素、r画素304、g画素が列方向に配列される。r画素303には、センサ部310、マルチプレクサ351およびカウンタ360が配置され、r画素304には、センサ部330、マルチプレクサ352およびカウンタ370が配置される。
 同図に例示するように、同色の2画素を画素ブロック300内に配列したため、各画素の計数値を同程度にすることができる。
 なお、図19に例示するように、クアッドベイヤー配列において、同色の2画素を画素ブロック300内に配列することもできる。
 なお、第4の実施の形態に第2または第3の実施の形態を適用することができる。この場合、各画素の計数値を同程度にすることができるため、判定器380は、照度を正確に判断することができる。
 このように、本技術の第4の実施の形態によれば、画素ブロック300内に2画素を同色にしたため、各画素の計数値を同程度にすることができる。
 <5.第5の実施の形態>
 上述の第4の実施の形態では、画素ごとにマイクロレンズを配置していたが、この構成において像面位相差AF(Auto Focus)を実現するには、r画素、g画素およびb画素の他に、位相差検出用の画素をさらに配置する必要がある。この第5の実施の形態における固体撮像素子200は、マイクロレンズの直下に複数の画素を配置した点において第4の実施の形態と異なる。
 図20は、本技術の第5の実施の形態における画素ブロック300内の各画素の配置例を示す図である。この第5の実施の形態では、クアッドベイヤー配列により画素が配列される。また、同色の隣接する4画素ごとに、それらの画素に入射光を導くマイクロレンズ221が配置される。マイクロレンズ221の下部の複数の画素(r画素303および304など)は、カウンタ360および370を共有する。
 画素の後段の回路(信号処理部230など)は、マイクロレンズ221のそれぞれの左側(または上側)の画素信号を配列した像と、右側(または下側)を配列した像とのそれぞれのピーク間の距離を位相差として検出する。その位相差に応じてフォーカスレンズ(不図示)が駆動される。これにより、位相差検出用の画素を配置しなくとも、像面位相差AFを実現することができる。
 なお、第5の実施の形態に第2または第3の実施の形態を適用することができる。
 このように、本技術の第5の実施の形態によれば、カウンタ360および370を共有する2画素をマイクロレンズ221の下部に配置したため、像面位相差AFを容易に実現することができる。
 <6.第6の実施の形態>
 上述の第1の実施の形態では、パルス信号のカウント周期を一定としていたが、このカウント周期を撮像中に切り替えることもできる。この第6の実施の形態における固体撮像素子200は、撮像中にカウント周期を切り替える点において第1の実施の形態と異なる。
 図21は、本技術の第6の実施の形態における画素ブロック300の一構成例を示す回路図である。この第6の実施の形態においてセンサ部310は、リチャージトランジスタ321、クリップトランジスタ322およびSPAD313と、pMOSトランジスタ323および324とnMOSトランジスタ325とバッファ326とを備える。
 また、センサ部330は、リチャージトランジスタ341、クリップトランジスタ342およびSPAD333と、pMOSトランジスタ343および344とnMOSトランジスタ345とバッファ346とを備える。
 リチャージトランジスタ321およびクリップトランジスタ322は、リチャージトランジスタ321を電源側として、SPAD313のカソードと電源電圧VDDとの間において直列に接続される。
 リチャージトランジスタ321は、制御回路210からの制御信号XRE_Aに従って、SPAD313のカソード電位を、電源電圧VDDまで戻すリチャージを行うものである。リチャージを行う間隔であるカウント周期は、制御回路210により制御される。このカウント周期内に、1回以上の光子の入射があった場合に、1パルスが生成される。
 クリップトランジスタ322は、制御回路210からの制御信号CLP_Aに従って、リチャージトランジスタ321およびクリップトランジスタ322の接続ノードから、SPAD313を切り離すものである。リチャージ開始前の直前に接続ノードからSPAD313が切り離され、リチャージ期間内に、そのノードにSPAD313が接続される。このクリップトランジスタ322により、カソード容量を削減することができる。
 pMOSトランジスタ323および324と、nMOSトランジスタ325とは、pMOSトランジスタ323を電源側とし、nMOSトランジスタ325を接地側として、電源電圧VDDと接地ノードとの間において直列に接続される。pMOSトランジスタ323およびnMOSトランジスタ325のゲートには、制御回路210からの制御信号INI_Aが入力される。また、pMOSトランジスタ324のゲートは、リチャージトランジスタ321およびクリップトランジスタ322の接続ノードに接続される。
 バッファ326は、pMOSトランジスタ324およびnMOSトランジスタ325の接続ノードの電位の信号をパルス信号PLS_Aとしてマルチプレクサ351に出力するものである。なお、バッファ326の代わりに、2段のインバータを挿入することもできる。
 センサ部330の回路構成は、センサ部310と同様である。ただし、制御信号XRE_B、CLP_BおよびINI_Bが入力される。
 制御回路210は、所定時間より長い長周期と、その所定時間以下の短周期とのいずれかにカウント周期を制御する。撮像中にカウント周期を切り替えることにより、光の周波数が第1の実施の形態よりも高い場合であってもパルス数を計数することができる。また、周波数が同一であれば、第1の実施の形態よりも計数値を小さくすることができる。このため、デジタル信号のビット数や消費電力を削減することができる。
 図22は、本技術の第6の実施の形態における制御回路210の動作の一例を示す図である。カウント周期を長周期にする場合、制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「0」にする。これにより、画素Aではパルス信号PLS_Aが選択され、画素Bではパルス信号PLS_Bが選択される。また、制御回路210はイネーブル信号EN_AおよびEN_Bの両方を「0」(イネーブル)にする。これらの制御により、画素AおよびBの両方が露光される。
 一方、カウント周期を短周期にする場合、画素AおよびBの一方のみが露光され、露光対象は一定時間ごとに切り替えられる。画素Aの露光期間内に制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「1」にする。これにより、画素Aではパルス信号PLS_Aが選択され、画素BではキャリーフラグCFが選択される。また、制御回路210はイネーブル信号EN_Aを「0」(イネーブル)にし、イネーブル信号EN_Bを「1」(ディセーブル)にする。
 また、画素Bの露光期間内に制御回路210は、選択信号IN_SELを「0」にし、選択信号CNT_SELを「1」にする。これにより、画素Aではパルス信号PLS_Bが選択され、画素BではキャリーフラグCFが選択される。また、制御回路210はイネーブル信号EN_Aを「1」(ディセーブル)にし、イネーブル信号EN_Bを「0」(イネーブル)にする。
 図23は、本技術の第6の実施の形態における長周期カウント期間の固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT0からT1までの期間内に、カウント周期が長周期に制御される。タイミングT0から所定期間内において、制御信号XRE_Aがローレベルに制御され、最初のリチャージが行われる。また、タイミングT11やT12において、2回目、3回目のリチャージが行われる。以降も周期的にリチャージが繰り返される。これらのリチャージの間隔(すなわち、カウント周期)は、長周期に制御される。
 タイミングT0からT1までの期間内に制御回路210は、選択信号IN_SELをハイレベルにし、選択信号CNT_SELをローレベルにする。これにより、カウント周期ごとに、光子が入射された際にデジタル信号CNT_AやCNT_Bがカウントアップする。
 図24は、本技術の第6の実施の形態における短周期カウント期間のうち画素Aの露光期間の固体撮像素子の動作の一例を示すタイミングチャートである。タイミングT1以降に、カウント周期が短周期に制御される。なお、短周期カウント期間は、例えば、全期間の10%以下となるように制御される。
 タイミングT1からT2までの期間内に制御回路210は、選択信号IN_SELをハイレベルにし、選択信号CNT_SELをハイレベルにし、イネーブル信号により画素Aのみをイネーブルにする。これにより、カウント周期ごとに、光子が入射された際にデジタル信号CNT_Aがカウントアップする。
 図25は、本技術の第6の実施の形態における短周期カウント期間のうち画素Bの露光期間の固体撮像素子の動作の一例を示すタイミングチャートである。タイミングT2以降に制御回路210は、選択信号IN_SELをローレベルにし、選択信号CNT_SELをハイレベルにし、イネーブル信号により画素Bのみをイネーブルにする。これにより、カウント周期ごとに、光子が入射された際にデジタル信号CNT_Bがカウントアップする。
 なお、第6の実施の形態に、第4または第5の実施の形態を適用することができる。
 このように、本技術の第6の実施の形態によれば、カウント周期を切り替えるため、カウント周期を切り替えない場合と比較してデジタル信号のビット数と消費電力とを削減することができる。
 [変形例]
 上述の第6の実施の形態では、固体撮像素子200は、カウント周期を、2つの周期のいずれかに切り替えていたが、3つ以上の周期のいずれかに切り替えることもできる。この第6の実施の形態の変形例における固体撮像素子200は、3つ以上の周期のいずれかにカウント周期を切り替える点において第6の実施の形態と異なる。
 図26は、本技術の第6の実施の形態の変形例における制御回路210の動作の一例を示す図である。第6の実施の形態の変形例では、カウント周期が3つ以上の周期のいずれかに切り替えられる。例えば、カウント周期は、周期P1、P2、P3およびP4のいずれかに切り替えられる。P1が最も長く、P2はP1よりも短く、P3はP2より短く、P4は最も短いものとする。
 これらの4つは、所定周期より長い長周期群のグループと、その所定周期より短い短周期群のグループとに区分される。各グループ内の周期の数は、1つ以上である。例えば、P1およびP2を長周期群とし、P3およびP4を短周期群とする。なお、P1を長周期群とし、P2、P3およびP4を短周期群とすることもできる。
 カウント周期を長周期群のいずれかに切り替えた場合に制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「0」にする。また、制御回路210は、画素AおよびBの両方を露光させる。一方、カウント周期を短周期群のいずれかに切り替えた場合に制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「1」にする。また、制御回路210は、画素AおよびBの一方のみを露光させ、露光対象を一定時間ごとに切り替える。
 このように、本技術の第6の実施の形態の変形例によれば、カウント周期を3つ以上の周期のいずれかに切り替えることができる。
 <7.第7の実施の形態>
 上述の第6の実施の形態では、制御回路210がカウント周期を長周期と短周期とのいずれかに制御していたが、照度が高い場合に長周期でパルス数を計数すると計数値が飽和するおそれがある。この第7の実施の形態における固体撮像素子200は、画素AおよびBのデジタル信号に基づいて、カウント周期が長周期の際の計数を有効または無効にする点において第6の実施の形態と異なる。
 図27は、本技術の第7の実施の形態における画素ブロック300の一構成例を示す回路図である。この第7の実施の形態の画素ブロック300は、抵抗素子328および348と、OR(論理和)ゲート327および347と、判定器381とをさらに備える点において第6の実施の形態と異なる。
 抵抗素子328は、SPAD313およびクリップトランジスタ322の間に挿入され、抵抗素子348は、SPAD333およびクリップトランジスタ342の間に挿入される。これらの抵抗素子は、必要に応じて挿入される。
 判定器381は、カウント周期が長周期の期間内にカウンタ360および370のそれぞれの計数を有効にするか否かを、カウント周期が短周期の期間内のデジタル信号CNT_AおよびCNT_Bに基づいて判定するものである。
 判定器381には、制御回路210からの選択信号CNT_SELと、カウンタ360および370からのデジタル信号CNT_AおよびCNT_Bとが入力される。この判定器381は、選択信号CNT_SELがハイレベル(すなわち、カウント周期が短周期)の期間内に生成されたデジタル信号CNT_AおよびCNT_Bを取得する。そして、判定器381は、それらのデジタル信号に基づいて高照度であるか否かを判定する。
 例えば、判定器381は、前述の(1)、(2-1)、(2-3)のいずれかの判定方法により照度を判定する。
 (3)あるいは、判定器381は、デジタル信号の上位ビットの値が閾値以上の画素が1つ以上である場合に高照度であると判定する。
 (4)もしくは、判定器381は、デジタル信号の最上位ビット(MSB:Most Significant Bit)の値がハイレベルになった画素が1つ以上である場合に高照度であると判定する。
 また、判定器381は、ORゲート327および347へ、イネーブル信号DISを供給する。カウント周期が短周期の期間内は、イネーブル信号DISがローレベル(イネーブル)に制御される。これにより、カウンタ360および370の計数が有効になる。
 高照度であると判定した場合に判定器381は、選択信号CNT_SELがハイレベル(すなわち、カウント周期が短周期)の期間内に、イネーブル信号DISをハイレベル(ディセーブル)にする。これにより、カウント周期が長周期の期間内のカウンタ360および370の計数が無効になる。一方、低照度であると判定した場合に判定器381は、イネーブル信号DISをローレベルのままにし、カウンタ360および370の計数を有効にする。
 図28は、本技術の第7の実施の形態における短周期カウント期間のうち画素Aの露光期間の固体撮像素子200の動作の一例を示すタイミングチャートである。
 図29は、本技術の第7の実施の形態における短周期カウント期間のうち画素Bの露光期間の固体撮像素子200の動作の一例を示すタイミングチャートである。
 図28および図29に例示したように、第7の実施の形態では、第6の実施の形態と同様の制御が行われる。また、カウント周期が短周期の期間では、ローレベル(イネーブル)のイネーブル信号DISにより、カウンタ360および370の計数が有効に制御される。
 図30は、本技術の第7の実施の形態における長周期カウント期間の固体撮像素子の動作の一例を示すタイミングチャートである。判定器381は、短周期の期間内のデジタル信号に基づいて高照度であると判定したものとする。この場合に判定器381は、イネーブル信号DISをハイレベル(ディセーブル)にする。これにより、同図に例示するように、カウント周期が長周期の期間内のカウンタ360および370の計数が無効になる。
 同図に例示したように、高照度の際に、長周期での計数を無効にすることにより、分解能が拡張されないときの計数値の飽和を防止することができる。
 なお、判定器381は、カウント周期が短周期の期間内にカウンタ360および370のそれぞれの計数を有効にするか否かを、カウント周期が長周期の期間内のデジタル信号CNT_AおよびCNT_Bに基づいて判定することもできる。この場合、低照度の際に短周期の期間内の計数が無効に制御される。低照度であるか否は、前述の(1)、(2-2)、(2-4)のいずれかの判定方法により判定される。
 (5)あるいは、判定器381は、カウント周期が長周期の期間内のデジタル信号の上位ビットの値が閾値未満の画素が1つ以上である場合に低照度であると判定する。
 (6)もしくは、判定器381は、カウント周期が長周期の期間内のデジタル信号のMSBの値がローレベルになった画素が1つ以上である場合に低照度であると判定する。
 また、第7の実施の形態に第4または第5の実施の形態を適用することができる。また、第7の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第7の実施の形態によれば、判定器381が、デジタル信号CNT_AおよびCNT_Bに基づいて、カウント周期が長周期の期間内の計数を有効または無効にするため、計数値の飽和を防止することができる。
 <8.第8の実施の形態>
 上述の第6の実施の形態では、制御回路210がカウント周期を長周期と短周期とのいずれかに制御していたが、カウント周期の切り替えは1フレームを撮像するための1V期間内であってもよい。この第8の実施の形態における固体撮像素子200は、1V期間内にカウント周期を切り替える点において第6の実施の形態と異なる。なお、1V期間は、特許請求の範囲に記載のフレーム期間の一例である。
 図31は、本技術の第8の実施の形態における所定行の1V期間内のカウント周期の一例を示す図である。この第8の実施の形態において、制御回路210は、タイミングT0からT4までの1V期間内にカウント周期を切り替える。
 例えば、タイミングT0からT1までの期間内に、カウント周期は長周期に制御される。そして、制御回路210は、タイミングT1でカウント周期を短周期に切り替える。タイミングT1からT2までの期間内に画素Aが露光され、タイミングT2からT3までの期間内に画素Bが露光される。制御回路210は、タイミングT3でカウント周期を長周期に切り替える。以下、タイミングT4まで、同様の制御が繰り返し実行される。
 信号処理部230は、1V期間内の長周期、短周期のそれぞれのデジタル信号を画素ごとに取得する。信号処理部230は、各期間のそれぞれのデジタル信号の統計量(平均値や合計値)を画素ごとに画素信号として演算し、それらの画素信号を配列したフレームを出力する。
 同図に例示するように、1V期間内にカウント周期を切り替えることにより、動被写体を撮像する際にブラーの発生を抑制することができる。
 なお、第8の実施の形態に第4、第5、第7の実施の形態のそれぞれを適用することができる。また、第8の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第8の実施の形態によれば、制御回路210が1V期間内にカウント周期を切り替えるため、ブラーを抑制することができる。
 <9.第9の実施の形態>
 上述の第8の実施の形態では、制御回路210が1V期間内にカウント周期を切り替えていたが、その際にローリングシャッター方式により露光制御することができる。この第9の実施の形態における固体撮像素子200は、ローリングシャッター方式により露光制御する点において第8の実施の形態と異なる。
 図32は、本技術の第9の実施の形態における固体撮像素子200の露光、読出し動作の一例を示すタイミングチャートである。カウンタ360および370を共有する2画素は、例えば、列方向に配列されるものとする。
 制御回路210は、画素アレイ部220内の複数の行を順に選択し、カウンタをリセットすることにより露光を開始させる。露光中において、信号処理部230は、所定回数に亘って選択行のデジタル信号の最上位ビット(MSB:Most Significant Bit)のみを露光中に読み出す。
 そして、制御回路210は、画素アレイ部220内の複数の行を順に選択し、カウンタを停止させることにより露光を終了させる。信号処理部230は、複数の行のそれぞれのデジタル信号を順に読み出す。また、制御回路210は、1V期間内にカウント周期を切り替える。
 例えば、同図において、タイミングT1からT8までの期間内に1行目のカウント周期が長周期に制御され、タイミングT1直後のタイミングT2からT9までの期間内に2行目のカウント周期が長周期に制御される。タイミングT1からT7に亘って1行目が露光される。次にタイミングT2からT8に亘って2行目が露光される。このように、行単位で順に露光するローリングシャッター方式が用いられる。
 露光中のタイミングT3からT4までと、タイミングT5からT6までとにおいて1行目のMSBが読み出される。タイミングT4から所定期間と、タイミングT6から所定期間とにおいて2行目のMSBが読み出される。タイミングT7からT8までの期間内に1行目のデジタル信号の全ビットが読み出され、タイミングT8からT9までの期間内に2行目のデジタル信号の全ビットが読み出される。
 そして、タイミングT9で制御回路210は、1行目および2行目のカウンタ周期を短周期に切り替える。タイミングT9からT10までの期間内に画素A(言い換えれば、1行目)が露光され、タイミングT10からT11までの期間内にその行の全ビットが読み出される。また、露光中に、1行目のMSBが読み出される。タイミングT11からT12までの期間内に画素B(言い換えれば、2行目)が露光され、タイミングT12からT13までの期間内にその行の全ビットが読み出される。また、露光中に、所定回数に亘って2行目のMSBが読み出される。
 信号処理部230は、読み出した各MSBに基づいてMSBが「1」から「0」になった回数(すなわち、オーバーフローの回数)を示すビット列を上位ビットとして取得する。そして、信号処理部230は、全ビットの読出しで取得したビット列を下位ビットとして、上位ビットおよび下位ビットからなるデジタル信号を画素ごとに取得する。これにより、デジタル信号のビット数を拡張することができる。
 同図に例示するように、ローリングシャッター方式で露光制御することにより、後述するグローバルシャッター方式の場合よりもフレームレートを向上させることができる。
 なお、第9の実施の形態に、第4、第5、第7の実施の形態のそれぞれを適用することができる。また、第9の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第9の実施の形態によれば、制御回路210がローリングシャッター方式で露光制御するため、グローバルシャッター方式の場合よりもフレームレートを向上させることができる。
 <10.第10の実施の形態>
 上述の第9の実施の形態では、制御回路210がローリングシャッター方式により露光制御していたが、この制御では、ローリングシャッター歪みが生じるおそれがある。この第10の実施の形態における固体撮像素子200は、グローバルシャッター方式により露光制御する点において第9の実施の形態と異なる。
 図33は、本技術の第10の実施の形態における固体撮像素子200の露光、読出し動作の一例を示すタイミングチャートである。
 1V期間の開始のタイミングT0で、制御回路210は、全行(すなわち、全画素)を同時に選択して露光開始させる。そして、1V期間の終了直前のタイミングT3で、制御回路210は、全行を同時に選択して露光終了させる。タイミングT3から1V期間の終了までの間に、信号処理部230は、複数の行のそれぞれのデジタル信号の全ビットを順に読み出す。
 また、1V期間内に制御回路210は、カウント周期を切り替える。切り替えた際に制御回路210は、ローリングシャッター方式で露光制御する。例えば、タイミングT1でカウント周期が短周期に切り替えられ、画素Aを含む行が順に露光される。タイミングT2以降に画素Bを含む行が順に露光される。
 また、露光中に信号処理部230は、所定回数に亘って各行のMSBを順に読み出す。露光終了時に信号処理部230は、各行のデジタル信号を順に読み出す。
 同図に例示するように、1V期間の開始、終了時にグローバルシャッター方式により露光制御するため、ローリングシャッター歪みが抑制される。
 なお、第10の実施の形態に、第4、第5、第7の実施の形態のそれぞれを適用することができる。また、第10の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第10の実施の形態によれば、制御回路210が1V期間の開始、終了時にグローバルシャッター方式で露光制御するため、ローリングシャッター歪みを抑制することができる。
 <11.第11の実施の形態>
 上述の第10の実施の形態では、制御回路210が1V期間の途中でローリングシャッター方式により露光制御していたが、この制御では、ローリングシャッター歪みが生じるおそれがある。この第11の実施の形態における固体撮像素子200は、1V期間内においてもグローバルシャッター方式により露光制御する点において第10の実施の形態と異なる。
 図34は、本技術の第11の実施の形態における固体撮像素子200の露光、読出し動作の一例を示すタイミングチャートである。
 1V期間の開始のタイミングT0で、制御回路210は、全行(全画素)を同時に選択して露光開始させ、1V期間内のタイミングT1で全画素を同時に選択して露光終了させる。この露光中に信号処理部230は、所定回数に亘って各行のMSBを順に読み出す。そして、タイミングT1からT2までの間に信号処理部230は、各行のデジタル信号を順に読み出す。
 制御回路210は、タイミングT2でカウント周期を短周期に切り替え、画素Aを含む行(すなわち、奇数行)の全てを選択して同時に露光を開始させ、タイミングT3で、それらの行を同時に選択して露光終了させる。この露光中に信号処理部230は、所定回数に亘って各行のMSBを順に読み出す。そして、タイミングT3からT4までの間に信号処理部230は、各行のデジタル信号を順に読み出す。
 次に制御回路210は、タイミングT4で画素Bを含む行(すなわち、偶数行)の全てを選択して同時に露光を開始させ、タイミングT5で、それらの行を同時に選択して露光終了させる。この露光中に信号処理部230は、所定回数に亘って各行のMSBを順に読み出す。そして、タイミングT5からT6までの間に信号処理部230は、各行のデジタル信号を順に読み出す。タイミングT6以降は、同様の制御が繰り返し実行される。
 同図に例示するように、1V期間の途中においてもグローバルシャッター方式により露光制御するため、ローリングシャッター歪みがさらに抑制される。
 なお、第11の実施の形態に、第4、第5、第7の実施の形態のそれぞれを適用することができる。また、第11の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第11の実施の形態によれば、制御回路210が1V期間の途中においてもグローバルシャッター方式で露光制御するため、ローリングシャッター歪みをさらに抑制することができる。
 <12.第12の実施の形態>
 上述の第11の実施の形態では、制御回路210は、全行の読出しが完了してから次の露光を開始させていたが、この構成では、フレームレートをさらに向上させることが困難である。この第12の実施の形態における固体撮像素子200は、短周期カウント期間の露光と読出しとを相補的に行う点において第11の実施の形態と異なる。
 図35は、本技術の第12の実施の形態における固体撮像素子200の露光、読出し動作の一例を示すタイミングチャートである。
 第12の実施の形態において、カウント期間が短周期に切り替わるタイミングT2までの制御は、第11の実施の形態と同様である。ここで、デジタル信号を信号処理部230へ伝送する信号線(不図示)は、列方向に配線される。この信号線を共有する、列内の各画素A(または画素B)は、半分ずつ露光される。
 例えば、タイミングT2からT3までの期間内に、制御回路210は、画素Aの半分を同時に露光させる。画素Aは奇数行に配置されるため、奇数行の半分(1行目や5行目など)が同時に露光される。そして、タイミングT4からT5までの期間内に、制御回路210は、画素Aの残り半分(3行目や7行目など)を同時に露光させる。
 次いで、タイミングT6からT7までの期間内に、制御回路210は、画素Bの半分を同時に露光させる。画素Bは偶数行に配置されるため、偶数行の半分(2行目や6行目など)が露光される。そして、タイミングT8からT9までの期間内に、制御回路210は、画素Bの残り半分(4行目や8行目など)を露光させる。
 これらの露光中に信号処理部230は、所定回数に亘って各行のMSBを順に読み出す。また、タイミングT3からT5までの期間内に信号処理部230は、画素Aの半分を行単位で順に読み出す。これらの読出しの期間内に、画素Aの残り半分の露光を行うことができる。
 また、タイミングT5からT7までの期間内に信号処理部230は、画素Aの残り半分を行単位で順に読み出す。これらの読出しの期間内に、画素Bの半分の露光を行うことができる。
 そして、タイミングT7からT9までの期間内に信号処理部230は、画素Bの半分を行単位で順に読み出す。これらの読出しの期間内に、画素Bの残り半分の露光を行うことができる。タイミングT9以降に信号処理部230は、画素Bの残り半分を行単位で順に読み出す。
 同図に例示したように、画素A(または画素B)の半分の読出し中に、残り半分を露光させることにより、フレームレートをさらに向上させることができる。
 なお、第12の実施の形態に、第4、第5、第7の実施の形態のそれぞれを適用することができる。また、第12の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第12の実施の形態によれば、画素A(または画素B)の半分の読出し中に、制御回路210が残り半分を露光させるため、フレームレートをさらに向上させることができる。
 <13.第13の実施の形態>
 上述の第1の実施の形態では、画素ごとにデジタル信号を生成していたが、この構成では、感度をさらに向上させることが困難である。この第13の実施の形態における固体撮像素子200は、画素加算を行う点において第1の実施の形態と異なる。
 図36は、本技術の第13の実施の形態における画素ブロック300の一構成例を示す回路図である。この第13の実施の形態の画素ブロック300は、画素加算のための論理演算を行う論理ゲートをさらに備える点において第1の実施の形態と異なる。光子の入射に応じてパルス信号が立ち上がる場合、論理ゲートとして、ORゲート391が用いられる。
 ORゲート391は、パルス信号PLS_AおよびPLS_Bの論理和をマルチプレクサ351に出力するものである。なお、2つのパルス信号に対する論理演算は、論理和に限定されない。光子の入射に応じてパルス信号が立ち下がる場合は、ORゲート391の代わりに、AND(論理積)ゲートが挿入される。あるいは、ORゲート391の代わりにNOT(否定)ゲートを用いて論理差を演算することもできる。
 なお、ORゲート391は、特許請求の範囲に記載の第1の論理ゲートの一例である。
 図37は、本技術の第13の実施の形態における制御回路210の動作の一例を示す図である。この第13の実施の形態において、加算モードおよび非加算モードを含む複数のモードのいずれかが設定される。加算モードは、画素ブロック300内の2画素のそれぞれのパルス信号を加算するモードであり、非加算モードは、それらの信号を加算しないモードである。
 非加算モードが設定された場合、制御回路210は、選択信号IN_SELを「1」にし、選択信号CNT_SELを「0」にする。これにより、画素Aではパルス信号PLS_Aが選択され、画素Bではパルス信号PLS_Bが選択される。また、制御回路210はイネーブル信号EN_AおよびEN_Bを「0」(イネーブル)にする。
 一方、加算モードが設定された場合、制御回路210は、選択信号IN_SELを「0」にし、選択信号CNT_SELを「1」にする。これにより、画素Aではパルス信号PLS_AおよびPLS_Bの論理和が選択され、画素Bではキャリーフラグが選択される。また、制御回路210はイネーブル信号EN_AおよびEN_Bを「0」(イネーブル)にする。
 同図に例示したように、加算モードでパルス信号PLS_AおよびPLS_Bを加算することにより、非加算の場合と比較して画素数が低減するものの、感度を向上させることができる。
 なお、2画素を加算しているが、後述するように画素ブロック300内に3画素以上を配列し、3画素以上を加算することもできる。
 また、第13の実施の形態に、第4、第5の実施の形態のそれぞれを適用することができる。また、第13の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第13の実施の形態によれば、加算モードで画素ブロック300がパルス信号PLS_AおよびPLS_Bを加算するため、非加算の場合と比較して感度を向上させることができる。
 <14.第14の実施の形態>
 上述の第13の実施の形態では、パルス信号のカウント周期を一定としていたが、このカウント周期を撮像中に切り替えることもできる。この第14の実施の形態における固体撮像素子200は、撮像中にカウント周期を切り替える点において第13の実施の形態と異なる。
 図38は、本技術の第14の実施の形態における画素ブロック300の一構成例を示す回路図である。この第14の実施の形態においてセンサ部310は、リチャージトランジスタ321、クリップトランジスタ322およびSPAD313と、pMOSトランジスタ323および324とnMOSトランジスタ325とバッファ326とを備える。
 また、センサ部330は、リチャージトランジスタ341、クリップトランジスタ342およびSPAD333と、pMOSトランジスタ343および344とnMOSトランジスタ345とバッファ346とを備える。
 これらのセンサ部310および330の回路構成は、図21に例示視した第6の実施の形態と同様である。
 また、第14の実施の形態において、制御回路210は、非加算モードの際に、カウント周期を切り替えることができる。非加算モードにおいてカウント周期が短周期の場合には、第6の実施の形態と同様にカウンタが直列に接続され、カウンタの分解能が拡張される。
 図39は、本技術の第14の実施の形態における加算モード時の固体撮像素子200の動作の一例を示すタイミングチャートである。
 タイミングT0で加算モードが設定されると、制御回路210は、選択信号IN_SELをローレベルにし、選択信号CNT_SELをハイレベルにする。これにより、画素Aでは論理和が選択され、画素Bではキャリーフラグが選択される。
 タイミングT1やT2でパルス信号PLS_AやPLS_Bが生成された際にデジタル信号CNT_Aがカウントアップし、タイミングT3でデジタル信号CNT_Aが飽和すると、デジタル信号CNT_Bがカウントアップする。
 なお、第14の実施の形態に第4、第5、第7から第12までの実施の形態のそれぞれを適用することができる。また、第14の実施の形態に第6の実施の形態の変形例を適用することができる。
 このように、本技術の第14の実施の形態によれば、非加算モードにおいてカウント周期を切り替えるため、カウント周期を切り替えない場合と比較してデジタル信号のビット数と消費電力とを削減することができる。
 <15.第15の実施の形態>
 上述の第13の実施の形態では、固体撮像素子200は、2画素を加算していたが、3画素以上を加算することもできる。この第15の実施の形態における固体撮像素子200は、4画素を加算する点において第13の実施の形態と異なる。
 図40は、本技術の第15の実施の形態における画素ブロック300内の各画素の配置例を示す図である。この第15の実施の形態では、クアッドベイヤー配列により画素が配列される。また、同色の隣接する4画素ごとに、それらの画素に入射光を導くマイクロレンズ221が配置される。マイクロレンズ221の下部の4画素(r画素303、304、305および306など)は、カウンタを共有する。
 図41は、本技術の第15の実施の形態における画素ブロック300の一構成例を示す回路図である。この第15の実施の形態の画素ブロック300は、マルチプレクサ351および352の代わりに、マルチプレクサ353乃至356を備え、センサ部315および335とORゲート392および393とカウンタ365および375とをさらに備える。
 センサ部315は、光子の入射に応じてパルス信号PLS_Cを生成するものである。センサ部335は、光子の入射に応じてパルス信号PLS_Dを生成するものである。これらのセンサ部の回路構成は、センサ部310と同様である。なお、センサ部315および335は、特許請求の範囲に記載の第3および第4のセンサ部の一例である。
 ORゲート392は、パルス信号PLS_CおよびPLC_Dの論理和を、マルチプレクサ355とORゲート393とに出力するものである。ORゲート393は、ORゲート391および392のそれぞれの出力の論理和をマルチプレクサ353に出力するものである。なお、2つのパルス信号に対する論理演算は、論理和に限定されない。光子の入射に応じてパルス信号が立ち下がる場合は、ORゲート391乃至393の代わりに、ANDゲートが挿入される。あるいは、ORゲートの代わりにNOT(否定)ゲートを用いて論理差を演算することもできる。
 なお、ORゲート392および393は、特許請求の範囲に記載の第2および第3の論理ゲートの一例である。
 マルチプレクサ353は、制御回路210からの選択信号IN_SEL1に従って、ORゲート393の論理和と、パルス信号PLS_Aと、ORゲート391の論理和とのいずれかを選択し、出力信号OUT_Aとしてカウンタ360に出力するものである。例えば、選択信号IN_SEL1が「2」の場合にORゲート393の論理和が選択され、「1」の場合にパルス信号PLS_Aが選択され、「0」の場合にORゲート391の論理和が選択される。なお、マルチプレクサ353は、特許請求の範囲に記載の第1のマルチプレクサの一例である。
 また、第15の実施の形態のカウンタ360は、キャリーフラグをCF_Aとしてマルチプレクサ354に供給する。
 マルチプレクサ354は、制御回路210からの選択信号CNT_SEL1に従って、キャリーフラグCF_Aと、パルス信号PLS_Bとのいずれかを選択し、出力信号OUT_Bとしてカウンタ370に出力するものである。例えば、選択信号CNT_SEL1が「1」の場合、キャリーフラグCF_Aが選択され、「0」の場合にパルス信号PLS_Bが選択される。なお、マルチプレクサ354は、特許請求の範囲に記載の第2のマルチプレクサの一例である。
 また、第15の実施の形態のカウンタ370は、キャリーフラグをさらに生成し、CF_Bとしてマルチプレクサ355に供給する。
 マルチプレクサ355は、制御回路210からの選択信号IN_SEL2に従って、キャリーフラグCF_Bと、パルス信号PLS_Cと、ORゲート392の論理和とのいずれかを選択し、出力信号OUT_Cとしてカウンタ365に出力するものである。例えば、選択信号IN_SEL2が「2」の場合にキャリーフラグCF_Bが選択され、「1」の場合にパルス信号PLS_Cが選択され、「0」の場合にORゲート392の論理和が選択される。なお、マルチプレクサ355は、特許請求の範囲に記載の第3のマルチプレクサの一例である。
 カウンタ365は、出力信号OUT_Cに同期して計数値を計数し、その計数値を示すデジタル信号CNT_Cを信号処理部230に出力するものである。また、このカウンタ365は、オーバーフローが生じたか否かを示すキャリーフラグCF_Cを生成し、マルチプレクサ356に出力する。なお、カウンタ365は、特許請求の範囲に記載の第3のカウンタの一例である。
 マルチプレクサ356は、制御回路210からの選択信号CNT_SEL2に従って、キャリーフラグCF_Cと、パルス信号PLS_Dとのいずれかを選択し、出力信号OUT_Dとしてカウンタ375に出力するものである。例えば、選択信号CNT_SEL2が「1」の場合、キャリーフラグCF_Cが選択され、「0」の場合にパルス信号PLS_Dが選択される。なお、マルチプレクサ356は、特許請求の範囲に記載の第4のマルチプレクサの一例である。
 カウンタ375は、出力信号OUT_Dに同期して計数値を計数し、その計数値を示すデジタル信号CNT_Dを信号処理部230に出力するものである。なお、カウンタ375は、特許請求の範囲に記載の第4のカウンタの一例である。
 同図の画素ブロック300は、図40に例示したr画素303乃至306として機能する。
 図42は、本技術の第15の実施の形態における制御回路210の動作の一例を示す図である。この第15の実施の形態において、非加算モード、2画素加算モードおよび4画素加算モードを含む複数のモードのいずれかが設定される。2画素加算モードは、画素ブロック300内の4画素のうち、2画素ずつを加算するモードであり、4画素加算モードは、4画素の全てを加算するモードである。非加算モードは、各画素を加算しないモードである。なお、2画素加算モードおよび4画素加算モードの一方と、加算モードとが切り替えられる構成であってもよい。
 非加算モードが設定された場合に制御回路210は、選択信号IN_SEL1を「1」にし、選択信号CNT_SEL1を「0」にし、選択信号IN_SEL2を「1」にし、選択信号CNT_SEL2を「0」にする。これにより、マルチプレクサ353ではパルス信号PLS_Aが選択され、マルチプレクサ354ではパルス信号PLS_Bが選択され、マルチプレクサ355ではパルス信号PLS_Cが選択され、マルチプレクサ356ではパルス信号PLS_Dが選択される。また、制御回路210は、全画素のイネーブル信号を「0」(イネーブル)にする。
 また、2画素加算モードが設定された場合に制御回路210は、選択信号IN_SEL1を「0」にし、選択信号CNT_SEL1を「1」にし、選択信号IN_SEL2を「0」にし、選択信号CNT_SEL2を「1」にする。これにより、マルチプレクサ353ではパルス信号PLS_AおよびPLS_Bの論理和が選択され、マルチプレクサ354ではキャリーフラグCF_Aが選択される。マルチプレクサ355ではパルス信号PLS_CおよびPLS_Dの論理和が選択され、マルチプレクサ356ではキャリーフラグCF_Cが選択される。また、制御回路210は、全画素のイネーブル信号を「0」(イネーブル)にする。
 また、4画素加算モードが設定された場合に制御回路210は、選択信号IN_SEL1を「2」にし、選択信号CNT_SEL1を「1」にし、選択信号IN_SEL2を「2」にし、選択信号CNT_SEL2を「1」にする。これにより、マルチプレクサ353ではパルス信号PLS_A、PLS_B、PLS_CおよびPLS_Dの論理和が選択され、マルチプレクサ354ではキャリーフラグCF_Aが選択される。マルチプレクサ355ではキャリーフラグCF_Bが選択され、マルチプレクサ356ではキャリーフラグCF_Cが選択される。また、制御回路210は、全画素のイネーブル信号を「0」(イネーブル)にする。
 2画素加算モードにおいて、画素の後段の回路(信号処理部230など)は、マイクロレンズ221のそれぞれの左側(または上側)の画素信号を配列した像と、右側(または下側)を配列した像とのそれぞれのピーク間の距離を位相差として検出する。その位相差に応じてフォーカスレンズ(不図示)が駆動される。これにより、像面位相差AFを実現することができる。
 このように、本技術の第15の実施の形態によれば、4画素加算モードで画素ブロック300がパルス信号PLS_A、PLS_B、PLS_CおよびPLS_Dを加算するため、感度をさらに向上させることができる。
 <16.第16の実施の形態>
 上述の第13の実施の形態では、非加算モードにおいてカウンタの分解能を一定にしていたが、この構成では、高照度の場合にカウンタの分解能が不足することがある。この第16の実施の形態における固体撮像素子200は、非加算モードにおいて高照度時にカウンタの分解能を拡張する点において第13の実施の形態と異なる。
 第16の実施の形態における画素ブロック300の回路構成は、図36に例示した第13の実施の形態と同様である。
 図43は、本技術の第13の実施の形態における制御回路210の動作の一例を示す図である。この第13の実施の形態において、非加算低照度モード、非加算高照度モードおよび加算モードを含む複数のモードのいずれかが設定される。加算モードは、画素ブロック300内の2画素のそれぞれのパルス信号を加算するモードであり、非加算低照度モードおよび非加算高照度モードは、それらの信号を加算しないモードである。また、非加算低照度モードは、照度が所定値以下の低照度時に設定されるモードであり、非加算高照度モードは、照度が所定値より高い高照度時に設定されるモードである。
 第16の実施の形態の非加算低照度モードの制御内容は、図5に例示した第1の実施の形態の低照度モードの制御内容と同様である。第16の実施の形態の非加算高照度モードの制御内容は、図5に例示した第1の実施の形態の高照度モードの制御内容と同様である。第16の実施の形態の加算モードの制御内容は、図36に例示した第13の実施の形態の加算モードの制御内容と同様である。
 このように、本技術の第16の実施の形態によれば、非加算モードにおいて高照度時にカウンタの分解能を拡張するため、高照度時にダイナミックレンジを拡大することができる。
 <17.第17の実施の形態>
 上述の第1の実施の形態では、単一の半導体チップに固体撮像素子200内の回路を配置していたが、この構成では、チップごとの回路規模を削減することが困難である。この第17の実施の形態における固体撮像素子200は、積層した2つのチップに分散して回路を配置した点において第1の実施の形態と異なる。
 図44は、本技術の第17の実施の形態における画素ブロック300の一構成例を示す回路図である。この第17の実施の形態における固体撮像素子200は、積層された画素チップ201および回路チップ202を備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。これらの他の方式(磁気結合など)により接続することもできる。また、2つのチップを積層しているが、3層以上を積層することもできる。
 画素チップ201には、SPAD313および333が配置され、残りの回路や素子は、回路チップ202に配置される。
 同図に例示したように、積層構造にすることにより、チップごとの回路規模を削減し、容易に多画素化することができる。
 なお、第17の実施の形態に第2から第16までの実施の形態のそれぞれを適用することができる。
 図21に例示した回路を積層構造にする場合、図45に例示するようにクリップトランジスタ322および342は、画素チップ201に配置される。
 このように、本技術の第17の実施の形態によれば、積層構造にしたため、容易に多画素化することができる。
 <18.第18の実施の形態>
 上述の第1の実施の形態では、制御回路210は、画素アレイ部220内の全画素にパルス信号を出力させていたが、この構成では、読出し時間やデータ量を削減することが困難である。この第18の実施の形態における固体撮像素子200は、制御回路210が画素アレイ部220内の一部の画素にパルス信号を出力させる点において第1の実施の形態と異なる。
 図46は、本技術の第18の実施の形態における制御対象の領域の一例を示す図である。画素アレイ部220において、ROI(Region of Interest)などの領域225が制御対象として設定される。例えば、ユーザによる操作や、各種のアプリケーションの実行により、領域225が設定される。
 制御回路210は、全画素のうち、領域225内の画素をイネーブル信号により有効にしてパルス信号を出力させる。これにより、全画素を制御する場合と比較して、読出しに要する時間や、読み出すデータ量を削減することができる。
 なお、第18の実施の形態に、第2から第17までの実施の形態のそれぞれを適用することができる。
 このように、本技術の第18の実施の形態によれば、制御回路210が、一部の画素にパルス信号を出力させるため、読出し時間やデータ量を削減することができる。
 <19.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図47は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図47に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図47の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図48は、撮像部12031の設置位置の例を示す図である。
 図48では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図47には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、図1の撮像装置100は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
 なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
 なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
 なお、本技術は以下のような構成もとることができる。
(1)光子の入射に応じて第1のパルス信号を生成する第1のセンサ部と、
 光子の入射に応じて第2のパルス信号を生成する第2のセンサ部と、
 前記第1および第2のパルス信号を含む複数の信号のいずれかに同期して計数値を計数し、当該計数値を示す第1のデジタル信号とオーバーフローが生じたか否かを示す第1のキャリーフラグとを出力する第1のカウンタと、
 前記第1のキャリーフラグと前記第2のパルス信号とのいずれかに同期して計数値を計数し、当該計数値を示す第2のデジタル信号を出力する第2のカウンタと
を具備する光検出装置。
(2)前記第1および第2のパルス信号のいずれかを選択して前記第1のカウンタに第1の出力信号として出力する第1のマルチプレクサと、
 前記第1のキャリーフラグと前記第2のパルス信号とのいずれかを選択して前記第2のカウンタに第2の出力信号として出力する第2のマルチプレクサと
をさらに具備し、
 前記第1のカウンタは、前記第1の出力信号に同期して計数し、
 前記第2のカウンタは、前記第2の出力信号に同期して計数する
前記(1)記載の光検出装置。
(3)前記第1のマルチプレクサは、照度が所定値を超えない低照度モードが設定された場合には前記第1のパルス信号を選択し、照度が前記所定値より高い高照度モードが設定された場合には前記第1および第2のパルス信号を交互に選択し、
 前記第2のマルチプレクサは、前記低照度モードが設定された場合には前記第2のパルス信号を選択し、前記高照度モードが設定された場合には前記第1のキャリーフラグを選択する
前記(2)記載の光検出装置。
(4)前記第1および第2のデジタル信号に基づいて照度が前記所定値より高いか否かを判定して前記高照度モードおよび前記低照度モードのいずれかを設定する判定器をさらに具備する
前記(3)記載の光検出装置。
(5)前記第1および第2のカウンタの少なくとも一方は、デジタル信号のうち特定のビットを前記判定器に出力し、
 前記判定器は、前記特定のビットに基づいて前記高照度モードおよび前記低照度モードのいずれかを設定する
前記(4)記載の光検出装置。
(6)画素アレイ部に配列された複数の画素のうち同色の第1および第2の画素の一方に前記第1のセンサ部が配置され、他方に前記第2のセンサ部が配置される
前記(1)から(5)のいずれかに記載の光検出装置。
(7)前記第1および第2の画素を含む同色の複数の画素に入射光を導くマイクロレンズをさらに具備する
前記(6)記載の光検出装置。
(8)前記第1および第2のセンサ部を制御する制御回路をさらに具備し、
 前記第1および第2のセンサ部のそれぞれは、
 アバランシェフォトダイオードと、
 前記アバランシェフォトダイオードのカソード電位を所定電位まで戻すリチャージを行うリチャージトランジスタと
を備え、
 前記制御回路は、前記リチャージを行う間隔であるカウント周期を複数の周期のいずれかに制御し、
 前記第1のマルチプレクサは、前記カウント周期が所定周期より長い長周期である場合には前記第1のパルス信号を選択し、前記カウント周期が前記所定周期より短い短周期である場合には前記第1および第2のパルス信号を交互に選択し、
 前記第2のマルチプレクサは、前記カウント周期が前記長周期である場合には前記第2のパルス信号を選択し、前記カウント周期が前記短周期である場合には前記第1のキャリーフラグを選択する
前記(2)記載の光検出装置。
(9)カウント周期が前記長周期および前記短周期の一方の期間内に前記第1および第2のカウンタのそれぞれの計数を有効にするか否かを前記第1および第2のデジタル信号に基づいて判定する判定器をさらに具備し、
 前記第1および第2のセンサ部のそれぞれは、計数を無効にすると判定された場合には前記リチャージトランジスタをオフ状態にする論理ゲートをさらに備える
前記(8)記載の光検出装置。
(10)画素アレイ部に配列された複数の画素のうち第1および第2の画素の一方に前記第1のセンサ部が配置され、他方に前記第2のセンサ部が配置され、
 前記制御回路は、1フレームを撮像するためのフレーム期間内に前記カウント周期の切り替えを複数回に亘って行い、
 前記第1および第2のマルチプレクサは、前記フレーム期間内に選択先の切り替えを複数回に亘って行う
前記(8)または(9)に記載の光検出装置。
(11)前記制御回路は、前記画素アレイ部の複数の行を順に選択して露光を開始させる
前記(10)記載の光検出装置。
(12)前記制御回路は、前記フレーム期間の開始時に前記画素アレイ部の全画素を選択して同時に露光を開始させ、前記フレーム期間の終了直前に全画素を選択して同時に露光を終了させる
前記(10)記載の光検出装置。
(13)前記制御回路は、前記フレーム期間中に前記画素アレイ部の複数の行を順に選択して露光を開始させる
前記(12)記載の光検出装置。
(14)前記制御回路は、前記フレーム期間中に前記全画素を選択して同時に露光を終了させ、前記全画素の読出し完了後に前記カウント周期を切り替えてから前記全画素を選択して同時に露光を開始させる
前記(12)記載の光検出装置。
(15)前記制御回路は、デジタル信号を伝送する信号線を共有する第1および第2の行の一方を同時に選択して露光させ、前記一方のデジタル信号の読出し中に前記第1および第2の行の他方を同時に選択して露光させる
前記(14)記載の光検出装置。
(16)前記第1および第2のパルス信号に対する論理演算の結果を第1の演算結果として出力する第1の論理ゲートと、
 前記第1のパルス信号と前記第1の演算結果とを含む複数の信号のいずれかを選択して前記第1のカウンタに第1の出力信号として出力する第1のマルチプレクサと、
 前記第1のキャリーフラグと前記第2のパルス信号とのいずれかを選択して前記第2のカウンタに第2の出力信号として出力する第2のマルチプレクサと
をさらに具備し、
 前記第1のカウンタは、前記第1の出力信号に同期して計数し、
 前記第2のカウンタは、前記第2の出力信号に同期して計数する
前記(1)記載の光検出装置。
(17)前記第1および第2のセンサ部を制御する制御回路をさらに具備し、
 前記第1および第2のセンサ部のそれぞれは、
 アバランシェフォトダイオードと、
 前記アバランシェフォトダイオードのカソード電位を所定電位まで戻すリチャージを行うリチャージトランジスタと
を備え、
 前記制御回路は、前記リチャージを行う間隔であるカウント周期を複数の周期のいずれかに制御し、
 前記第1のマルチプレクサは、前記カウント周期が所定周期より長い長周期である場合には前記第1のパルス信号を選択し、前記カウント周期が前記所定周期より短い短周期である場合には前記第1および第2のパルス信号を交互に選択し、
 前記第2のマルチプレクサは、前記カウント周期が前記長周期である場合には前記第2のパルス信号を選択し、前記カウント周期が前記短周期である場合には前記第1のキャリーフラグを選択する
前記(16)記載の光検出装置。
(18)光子の入射に応じて第3のパルス信号を生成する第3のセンサ部と、
 光子の入射に応じて第4のパルス信号を生成する第4のセンサ部と、
 前記第3および第4のパルス信号に対する論理演算の結果を第2の演算結果として出力する第2の論理ゲートと、
 前記第1および第2の論理ゲートのそれぞれの出力に対する論理演算の結果を第3の演算結果として出力する第3の論理ゲートと、
 オーバーフローが生じたか否かを示す第2のキャリーフラグと前記第3のパルス信号と前記第2の演算結果とのいずれかを第3の出力信号として出力する第3のマルチプレクサと、
 前記第3の出力信号に同期して計数値を計数し、当該計数値を示す第3のデジタル信号とオーバーフローが生じたか否かを示す第3のキャリーフラグとを出力する第3のカウンタと、
 前記第3のキャリーフラグと前記第4のパルス信号とのいずれかを第4の出力信号として出力する第4のマルチプレクサと、
 前記第4の出力信号に同期して計数値を計数し、当該計数値を示す第4のデジタル信号を出力する第4のカウンタと
をさらに具備し、
 前記第1のマルチプレクサは、前記第1のパルス信号と前記第1の演算結果と前記第3の演算結果とのいずれかを選択し、
 前記第2のカウンタは、前記第2のキャリーフラグをさらに生成する
前記(16)記載の光検出装置。
(19)前記第1のマルチプレクサは、照度が所定値を超えない非加算低照度モードが設定された場合には前記第1のパルス信号を選択し、照度が前記所定値より高い非加算高照度モードが設定された場合には前記第1のパルス信号と前記1の演算結果とを交互に選択し、加算モードが設定された場合には前記第1の演算結果を選択し、
 前記第2のマルチプレクサは、前記非加算低照度モードが設定された場合には前記第2のパルス信号を選択し、前記非加算高照度モードが設定された場合には前記第1のキャリーフラグを選択し、前記加算モードが設定された場合には前記第1のキャリーフラグを選択する
前記(16)記載の光検出装置。
(20)前記第1のセンサ部の一部と前記第2のセンサ部の一部とは、所定の画素チップに配置され、
 前記第1のセンサ部の残りと前記第2のセンサ部の残りと前記第1および第2のカウンタは、所定の回路チップに配置される
前記(1)から(19)のいずれかに記載の光検出装置。
(21)複数の画素を制御する制御回路をさらに具備し、
 前記複数の画素のうち第1および第2の画素の一方に前記第1のセンサ部が配置され、他方に前記第2のセンサ部が配置され、
 前記制御回路は、前記複数の画素の一部を制御してパルス信号を生成させる
前記(1)から(20)のいずれかに記載の光検出装置。
 100 撮像装置
 110 撮像レンズ
 120 記録部
 130 撮像制御部
 200 固体撮像素子
 201 画素チップ
 202 回路チップ
 210 制御回路
 220 画素アレイ部
 221 マイクロレンズ
 230 信号処理部
 300 画素ブロック
 301、302 画素
 303、304、305、306 r画素
 310、330、315、335 センサ部
 311、312、323、324、331、332、343、344 pMOSトランジスタ
 313、333 SPAD
 314、334 パルス整形部
 321、341 リチャージトランジスタ
 322、342 クリップトランジスタ
 325、345 nMOSトランジスタ
 326、346 バッファ
 327、347、391~393 OR(論理和)ゲート
 328、348 抵抗素子
 351~356 マルチプレクサ
 360、365、370、375 カウンタ
 361~364、371~374 フリップフロップ
 380、381 判定器
 12031 撮像部

Claims (21)

  1.  光子の入射に応じて第1のパルス信号を生成する第1のセンサ部と、
     光子の入射に応じて第2のパルス信号を生成する第2のセンサ部と、
     前記第1および第2のパルス信号を含む複数の信号のいずれかに同期して計数値を計数し、当該計数値を示す第1のデジタル信号とオーバーフローが生じたか否かを示す第1のキャリーフラグとを出力する第1のカウンタと、
     前記第1のキャリーフラグと前記第2のパルス信号とのいずれかに同期して計数値を計数し、当該計数値を示す第2のデジタル信号を出力する第2のカウンタと
    を具備する光検出装置。
  2.  前記第1および第2のパルス信号のいずれかを選択して前記第1のカウンタに第1の出力信号として出力する第1のマルチプレクサと、
     前記第1のキャリーフラグと前記第2のパルス信号とのいずれかを選択して前記第2のカウンタに第2の出力信号として出力する第2のマルチプレクサと
    をさらに具備し、
     前記第1のカウンタは、前記第1の出力信号に同期して計数し、
     前記第2のカウンタは、前記第2の出力信号に同期して計数する
    請求項1記載の光検出装置。
  3.  前記第1のマルチプレクサは、照度が所定値を超えない低照度モードが設定された場合には前記第1のパルス信号を選択し、照度が前記所定値より高い高照度モードが設定された場合には前記第1および第2のパルス信号を交互に選択し、
     前記第2のマルチプレクサは、前記低照度モードが設定された場合には前記第2のパルス信号を選択し、前記高照度モードが設定された場合には前記第1のキャリーフラグを選択する
    請求項2記載の光検出装置。
  4.  前記第1および第2のデジタル信号に基づいて照度が前記所定値より高いか否かを判定して前記高照度モードおよび前記低照度モードのいずれかを設定する判定器をさらに具備する
    請求項3記載の光検出装置。
  5.  前記第1および第2のカウンタの少なくとも一方は、デジタル信号のうち特定のビットを前記判定器に出力し、
     前記判定器は、前記特定のビットに基づいて前記高照度モードおよび前記低照度モードのいずれかを設定する
    請求項4記載の光検出装置。
  6.  画素アレイ部に配列された複数の画素のうち同色の第1および第2の画素の一方に前記第1のセンサ部が配置され、他方に前記第2のセンサ部が配置される
    請求項1記載の光検出装置。
  7.  前記第1および第2の画素を含む同色の複数の画素に入射光を導くマイクロレンズをさらに具備する
    請求項6記載の光検出装置。
  8.  前記第1および第2のセンサ部を制御する制御回路をさらに具備し、
     前記第1および第2のセンサ部のそれぞれは、
     アバランシェフォトダイオードと、
     前記アバランシェフォトダイオードのカソード電位を所定電位まで戻すリチャージを行うリチャージトランジスタと
    を備え、
     前記制御回路は、前記リチャージを行う間隔であるカウント周期を複数の周期のいずれかに制御し、
     前記第1のマルチプレクサは、前記カウント周期が所定周期より長い長周期である場合には前記第1のパルス信号を選択し、前記カウント周期が前記所定周期より短い短周期である場合には前記第1および第2のパルス信号を交互に選択し、
     前記第2のマルチプレクサは、前記カウント周期が前記長周期である場合には前記第2のパルス信号を選択し、前記カウント周期が前記短周期である場合には前記第1のキャリーフラグを選択する
    請求項2記載の光検出装置。
  9.  カウント周期が前記長周期および前記短周期の一方の期間内に前記第1および第2のカウンタのそれぞれの計数を有効にするか否かを前記第1および第2のデジタル信号に基づいて判定する判定器をさらに具備し、
     前記第1および第2のセンサ部のそれぞれは、計数を無効にすると判定された場合には前記リチャージトランジスタをオフ状態にする論理ゲートをさらに備える
    請求項8記載の光検出装置。
  10.  画素アレイ部に配列された複数の画素のうち第1および第2の画素の一方に前記第1のセンサ部が配置され、他方に前記第2のセンサ部が配置され、
     前記制御回路は、1フレームを撮像するためのフレーム期間内に前記カウント周期の切り替えを複数回に亘って行い、
     前記第1および第2のマルチプレクサは、前記フレーム期間内に選択先の切り替えを複数回に亘って行う
    請求項8記載の光検出装置。
  11.  前記制御回路は、前記画素アレイ部の複数の行を順に選択して露光を開始させる
    請求項10記載の光検出装置。
  12.  前記制御回路は、前記フレーム期間の開始時に前記画素アレイ部の全画素を選択して同時に露光を開始させ、前記フレーム期間の終了直前に全画素を選択して同時に露光を終了させる
    請求項10記載の光検出装置。
  13.  前記制御回路は、前記フレーム期間中に前記画素アレイ部の複数の行を順に選択して露光を開始させる
    請求項12記載の光検出装置。
  14.  前記制御回路は、前記フレーム期間中に前記全画素を選択して同時に露光を終了させ、前記全画素の読出し完了後に前記カウント周期を切り替えてから前記全画素を選択して同時に露光を開始させる
    請求項12記載の光検出装置。
  15.  前記制御回路は、デジタル信号を伝送する信号線を共有する第1および第2の行の一方を同時に選択して露光させ、前記一方のデジタル信号の読出し中に前記第1および第2の行の他方を同時に選択して露光させる
    請求項14記載の光検出装置。
  16.  前記第1および第2のパルス信号に対する論理演算の結果を第1の演算結果として出力する第1の論理ゲートと、
     前記第1のパルス信号と前記第1の演算結果とを含む複数の信号のいずれかを選択して前記第1のカウンタに第1の出力信号として出力する第1のマルチプレクサと、
     前記第1のキャリーフラグと前記第2のパルス信号とのいずれかを選択して前記第2のカウンタに第2の出力信号として出力する第2のマルチプレクサと
    をさらに具備し、
     前記第1のカウンタは、前記第1の出力信号に同期して計数し、
     前記第2のカウンタは、前記第2の出力信号に同期して計数する
    請求項1記載の光検出装置。
  17.  前記第1および第2のセンサ部を制御する制御回路をさらに具備し、
     前記第1および第2のセンサ部のそれぞれは、
     アバランシェフォトダイオードと、
     前記アバランシェフォトダイオードのカソード電位を所定電位まで戻すリチャージを行うリチャージトランジスタと
    を備え、
     前記制御回路は、前記リチャージを行う間隔であるカウント周期を複数の周期のいずれかに制御し、
     前記第1のマルチプレクサは、前記カウント周期が所定周期より長い長周期である場合には前記第1のパルス信号を選択し、前記カウント周期が前記所定周期より短い短周期である場合には前記第1および第2のパルス信号を交互に選択し、
     前記第2のマルチプレクサは、前記カウント周期が前記長周期である場合には前記第2のパルス信号を選択し、前記カウント周期が前記短周期である場合には前記第1のキャリーフラグを選択する
    請求項16記載の光検出装置。
  18.  光子の入射に応じて第3のパルス信号を生成する第3のセンサ部と、
     光子の入射に応じて第4のパルス信号を生成する第4のセンサ部と、
     前記第3および第4のパルス信号に対する論理演算の結果を第2の演算結果として出力する第2の論理ゲートと、
     前記第1および第2の論理ゲートのそれぞれの出力に対する論理演算の結果を第3の演算結果として出力する第3の論理ゲートと、
     オーバーフローが生じたか否かを示す第2のキャリーフラグと前記第3のパルス信号と前記第2の演算結果とのいずれかを第3の出力信号として出力する第3のマルチプレクサと、
     前記第3の出力信号に同期して計数値を計数し、当該計数値を示す第3のデジタル信号とオーバーフローが生じたか否かを示す第3のキャリーフラグとを出力する第3のカウンタと、
     前記第3のキャリーフラグと前記第4のパルス信号とのいずれかを第4の出力信号として出力する第4のマルチプレクサと、
     前記第4の出力信号に同期して計数値を計数し、当該計数値を示す第4のデジタル信号を出力する第4のカウンタと
    をさらに具備し、
     前記第1のマルチプレクサは、前記第1のパルス信号と前記第1の演算結果と前記第3の演算結果とのいずれかを選択し、
     前記第2のカウンタは、前記第2のキャリーフラグをさらに生成する
    請求項16記載の光検出装置。
  19.  前記第1のマルチプレクサは、照度が所定値を超えない非加算低照度モードが設定された場合には前記第1のパルス信号を選択し、照度が前記所定値より高い非加算高照度モードが設定された場合には前記第1のパルス信号と前記1の演算結果とを交互に選択し、加算モードが設定された場合には前記第1の演算結果を選択し、
     前記第2のマルチプレクサは、前記非加算低照度モードが設定された場合には前記第2のパルス信号を選択し、前記非加算高照度モードが設定された場合には前記第1のキャリーフラグを選択し、前記加算モードが設定された場合には前記第1のキャリーフラグを選択する
    請求項16記載の光検出装置。
  20.  前記第1のセンサ部の一部と前記第2のセンサ部の一部とは、所定の画素チップに配置され、
     前記第1のセンサ部の残りと前記第2のセンサ部の残りと前記第1および第2のカウンタは、所定の回路チップに配置される
    請求項1記載の光検出装置。
  21.  複数の画素を制御する制御回路をさらに具備し、
     前記複数の画素のうち第1および第2の画素の一方に前記第1のセンサ部が配置され、他方に前記第2のセンサ部が配置され、
     前記制御回路は、前記複数の画素の一部を制御してパルス信号を生成させる
    請求項1記載の光検出装置。
PCT/JP2022/026565 2022-07-04 2022-07-04 光検出装置 Ceased WO2024009343A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280097632.7A CN119452233A (zh) 2022-07-04 2022-07-04 光检测装置
PCT/JP2022/026565 WO2024009343A1 (ja) 2022-07-04 2022-07-04 光検出装置
US18/865,995 US20250324177A1 (en) 2022-07-04 2022-07-04 Photodetection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026565 WO2024009343A1 (ja) 2022-07-04 2022-07-04 光検出装置

Publications (1)

Publication Number Publication Date
WO2024009343A1 true WO2024009343A1 (ja) 2024-01-11

Family

ID=89454527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026565 Ceased WO2024009343A1 (ja) 2022-07-04 2022-07-04 光検出装置

Country Status (3)

Country Link
US (1) US20250324177A1 (ja)
CN (1) CN119452233A (ja)
WO (1) WO2024009343A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025211322A1 (ja) * 2024-04-05 2025-10-09 キヤノン株式会社 光電変換装置、撮像システム、移動体
WO2026014138A1 (ja) * 2024-07-09 2026-01-15 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026083724A1 (ja) * 2024-10-18 2026-04-23 ソニーセミコンダクタソリューションズ株式会社 光検出装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140537A (ja) * 2018-02-09 2019-08-22 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
JP2020145502A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 撮像装置およびその制御方法
JP2021022921A (ja) * 2019-07-29 2021-02-18 キヤノン株式会社 撮像素子、撮像装置、および制御方法
JP2021044782A (ja) * 2019-09-13 2021-03-18 キヤノン株式会社 撮像素子及び撮像装置
JP2021093583A (ja) * 2019-12-09 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022091856A1 (ja) * 2020-10-30 2022-05-05 ソニーセミコンダクタソリューションズ株式会社 受光装置、受光装置の制御方法、および、測距システム
JP2022070170A (ja) * 2020-10-26 2022-05-12 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107980A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 光検出装置および撮像システム
JP7227777B2 (ja) * 2019-02-04 2023-02-22 キヤノン株式会社 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140537A (ja) * 2018-02-09 2019-08-22 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
JP2020145502A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 撮像装置およびその制御方法
JP2021022921A (ja) * 2019-07-29 2021-02-18 キヤノン株式会社 撮像素子、撮像装置、および制御方法
JP2021044782A (ja) * 2019-09-13 2021-03-18 キヤノン株式会社 撮像素子及び撮像装置
JP2021093583A (ja) * 2019-12-09 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2022070170A (ja) * 2020-10-26 2022-05-12 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2022091856A1 (ja) * 2020-10-30 2022-05-05 ソニーセミコンダクタソリューションズ株式会社 受光装置、受光装置の制御方法、および、測距システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025211322A1 (ja) * 2024-04-05 2025-10-09 キヤノン株式会社 光電変換装置、撮像システム、移動体
WO2026014138A1 (ja) * 2024-07-09 2026-01-15 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2026083724A1 (ja) * 2024-10-18 2026-04-23 ソニーセミコンダクタソリューションズ株式会社 光検出装置

Also Published As

Publication number Publication date
CN119452233A (zh) 2025-02-14
US20250324177A1 (en) 2025-10-16

Similar Documents

Publication Publication Date Title
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
JP7171199B2 (ja) 固体撮像装置、及び電子機器
KR102657111B1 (ko) 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법
CN112913224B (zh) 固态成像元件和成像装置
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20240015412A1 (en) Sensor and control method
WO2024009343A1 (ja) 光検出装置
JP7309713B2 (ja) コンパレータ及び撮像装置
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
JP2020088481A (ja) 固体撮像素子、および、撮像装置
US11928848B2 (en) Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system
WO2023062944A1 (ja) 光検出素子、および、光検出装置
WO2022064867A1 (ja) 固体撮像素子、および、撮像装置
WO2021261070A1 (ja) 固体撮像装置及び撮像装置
WO2019026718A1 (en) IMAGING APPARATUS AND ELECTRONIC DEVICE
JP2020099015A (ja) センサ及び制御方法
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
JP2019004382A (ja) 撮像装置
JP2020107932A (ja) 固体撮像素子および撮像装置
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
JP7625528B2 (ja) 固体撮像装置
WO2026022922A1 (ja) 光検出素子、及び光検出装置
WO2025105193A1 (ja) 光検出装置及び光検出システム
JP2018191260A (ja) 固体撮像装置、駆動方法、及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22950138

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18865995

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280097632.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202280097632.7

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22950138

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

WWP Wipo information: published in national office

Ref document number: 18865995

Country of ref document: US