WO2018198691A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2018198691A1
WO2018198691A1 PCT/JP2018/014227 JP2018014227W WO2018198691A1 WO 2018198691 A1 WO2018198691 A1 WO 2018198691A1 JP 2018014227 W JP2018014227 W JP 2018014227W WO 2018198691 A1 WO2018198691 A1 WO 2018198691A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
circuit
pixel
solid
state imaging
Prior art date
Application number
PCT/JP2018/014227
Other languages
English (en)
French (fr)
Inventor
雅樹 榊原
凌平 川崎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017139567A external-priority patent/JP2018186478A/ja
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/605,400 priority Critical patent/US11146751B2/en
Priority to CN201880025947.4A priority patent/CN110546945B/zh
Publication of WO2018198691A1 publication Critical patent/WO2018198691A1/ja
Priority to US17/474,920 priority patent/US11838672B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/50Analogue/digital converters with intermediate conversion to time interval
    • H03M1/56Input signal compared with linear ramp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the present technology relates to a solid-state imaging device, an imaging apparatus, and a control method for the solid-state imaging device. Specifically, the present invention relates to a solid-state imaging device that detects an address event, an imaging apparatus, and a control method for the solid-state imaging device.
  • a synchronous solid-state imaging device that captures image data (frame) in synchronization with a synchronization signal such as a vertical synchronization signal has been used in an imaging apparatus or the like.
  • image data can be acquired only every period of the synchronization signal (for example, 1/60 seconds), so that higher-speed processing can be performed in the fields related to traffic and robots. It becomes difficult to respond when requested. Therefore, an asynchronous solid-state imaging device provided with an address event expression (AER: Address Event Representation) circuit for detecting an address event has been proposed (see, for example, Non-Patent Document 1).
  • AER Address Event Representation
  • the address event means that the light amount of the pixel fluctuates at a certain pixel address, and the fluctuation amount exceeds the threshold value.
  • This address event includes an on event indicating that the amount of light of the pixel fluctuates and exceeds a predetermined upper limit, and an off event indicating that the amount of light falls below a predetermined lower limit.
  • 2-bit data including a detection result of a 1-bit on event and a detection result of a 1-bit off event is generated for each pixel.
  • the format of image data that expresses the presence or absence of an on event and an off event for each pixel in this way by 2-bit data is called an AER format.
  • the above-described asynchronous solid-state image sensor can generate and output data much faster than the synchronous solid-state image sensor. For this reason, for example, in the traffic field, it is possible to execute a process for recognizing an image of a person or an obstacle at high speed, thereby improving safety.
  • the address event expression circuit described above can generate only 2-bit data for each pixel, the image quality of the image data is degraded as compared with a synchronous solid-state imaging device.
  • both an asynchronous solid-state image sensor and a synchronous solid-state image sensor can be provided, but the size, number of parts, and cost increase. Undesirable to do. Thus, there is a problem that it is difficult to capture a high-quality image in a solid-state imaging device that detects an address event.
  • the present technology has been created in view of such a situation, and aims to capture a high-quality image in a solid-state image sensor that detects an address event.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology is a pixel circuit that outputs two analog signals according to the amount of electric charge generated by photoelectric conversion, and the above-described 2
  • a solid-state imaging device having a pixel array unit in which a plurality of pixels including a specific pixel are arranged in a two-dimensional grid, each including two analog-digital converters that convert each of the two analog signals into digital signals with different resolutions; And its control method. As a result, each of the two analog signals is converted into a digital signal with different resolutions.
  • the lower one of the two analog-digital converters detects, as an address event, that the amount of change in the amount of charge exceeds a predetermined threshold based on the analog signal. May be. This brings about the effect that an address event is detected.
  • only one analog-digital converter may be provided in each pixel that does not correspond to the specific pixel in the pixel array section. This brings about the effect that an address event is detected in a specific pixel among the plurality of pixels.
  • the pixel circuit includes a photoelectric conversion unit that converts light into the electric charge, and a current that generates one of the two analog signals by current-voltage conversion with respect to the photocurrent flowing through the photoelectric conversion unit.
  • a voltage conversion unit ; a charge storage unit that stores the charge; a discharge transistor that discharges the charge from the photoelectric conversion unit at the start timing of the exposure period; and the photoelectric conversion unit to the charge storage unit at the end timing.
  • the analog-digital conversion unit is connected to a terminal having a predetermined ground potential, and the substrate provided with the floating diffusion layer and the photoelectric conversion unit is lower than the predetermined ground potential. A potential may be applied. This brings about the effect that charges are less likely to overflow in the floating diffusion layer and the photoelectric conversion unit.
  • the pixel circuit further includes a reset transistor that initializes the voltage of the charge storage unit to a reset level before the end timing, and the pixel signal includes the reset level and the charge.
  • the digital signal may include reset data obtained by converting the reset level and signal data obtained by converting the signal level. As a result, the data obtained by converting the reset level and the data obtained by converting the signal level are output.
  • a correlated double sampling circuit that obtains a difference between the reset data and the signal data and outputs the difference as pixel data may be further provided. This brings about the effect that fixed pattern noise and the like are reduced.
  • the analog-digital converter may hold the reset data and sequentially output the reset data and the signal data to the correlated double sampling circuit when the signal level is converted. . This brings about the effect that the influence of dark current is suppressed.
  • the pixel signal includes first and second reset levels and first and second signal levels
  • the analog-digital converter includes a predetermined reference signal having a slope
  • a comparison unit that compares the pixel signal and outputs a comparison result
  • a data storage unit that stores data including each of the comparison results as the digital signal, the second reset level and the first
  • the slope of the slope when comparing each of the signal levels may be gentler than the slope of comparing each of the first reset level and the second signal level.
  • the first reset level and the second signal level are generated by the pixel circuit with a predetermined sensitivity, and the second reset level and the first signal level are obtained.
  • a drive circuit that generates the pixel circuit with a sensitivity different from the predetermined sensitivity may be further included. As a result, two image data having different resolutions are generated.
  • the lower resolution of the two analog-digital converters includes a differentiation circuit that holds the voltage signal, the held voltage signal, and a threshold value within the predetermined range.
  • a comparator that compares and outputs the comparison result; and a handshake circuit that transmits a request when the address event is detected and initializes the differentiation circuit when a response to the request is received. Good.
  • the detection result of the address event is transferred by handshake.
  • an arbiter that arbitrates the request and returns a response based on the arbitration result can be further provided. This brings about the effect that collision of address events is avoided.
  • a test circuit that outputs a time code of a predetermined number of bits indicating time to one of the two analog-digital converters and detects the presence or absence of a failure for each bit in the time code;
  • a redundant circuit that connects a spare signal line instead of the bit line corresponding to the bit in which a failure occurs in the time code, and the analog-to-digital converter uses the time code to convert the pixel signal to the pixel signal. It can also be converted to a digital signal. This brings about the effect
  • the first and second data storage units holding the different digital signals, and the digital data transferred from the first data storage unit via the first local bit line.
  • a first bidirectional buffer for outputting a signal to a main bit line in accordance with a first control signal; and a second control for the digital signal transferred from the second data storage unit via a second local bit line.
  • a second bidirectional buffer for outputting to the main bit line according to the signal, a column processing unit for reading the digital signal via the main bit line, and a first data storage unit for controlling the digital signal Control to transfer the first digital signal to the first bidirectional buffer via the first local bit line and before the reading of the first digital signal is completed.
  • a pixel circuit that outputs two analog signals corresponding to the amount of charge generated by photoelectric conversion, and converts each of the two analog signals into a digital signal with different resolutions.
  • An image pickup apparatus comprising: a pixel array unit in which a plurality of pixels including specific pixels including two analog-digital converters are arranged in a two-dimensional lattice; and a digital signal processing unit that processes image data including the digital signal It is.
  • the two analog signals are converted into digital signals with different resolutions, and image data is processed in synchronization with the synchronization signal.
  • an excellent effect that a high-quality image can be captured in a solid-state imaging device that detects an address event can be achieved.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 It is a block diagram showing an example of 1 composition of an imaging device in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a solid imaging device in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a pixel array part in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of R (Red) pixel in a 1st embodiment of this art. 2 is a circuit diagram illustrating a configuration example of a pixel circuit, a differential input circuit, a voltage conversion circuit, and a positive feedback circuit according to the first embodiment of the present technology.
  • FIG. 1 1 composition of an imaging device in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a solid imaging device in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a pixel array part in a 1st embodiment of this art. It is a block diagram
  • FIG. 6 is a timing chart illustrating an example of an operation of the solid-state imaging element according to the first embodiment of the present technology. It is a block diagram showing an example of 1 composition of W (White) pixel in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of an address event detection part in a 1st embodiment of this art. It is a circuit diagram showing an example of 1 composition of W pixel in a 1st embodiment of this art.
  • FIG. 6 is a graph illustrating an example of input / output characteristics of a comparator according to the first embodiment of the present technology. It is a block diagram showing an example of 1 composition of an AER logic circuit in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a time code generating part in a 1st embodiment of this art. It is a circuit diagram showing an example of 1 composition of a redundancy circuit in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a time code transfer part in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a cluster in a 1st embodiment of this art.
  • FIG. 3 is a circuit diagram illustrating a configuration example of a buffer circuit according to the first embodiment of the present technology.
  • FIG. It is a circuit diagram showing an example of 1 composition of a flip flop in a 1st embodiment of this art.
  • It is a block diagram showing an example of 1 composition of a column processing part in a 1st embodiment of this art.
  • 3 is a circuit diagram illustrating a configuration example of a row AER block according to the first embodiment of the present technology.
  • FIG. 7 is a flowchart illustrating an example of an AER process according to the first embodiment of the present technology. It is a block diagram showing an example of 1 composition of a data storage part in a 2nd embodiment of this art. It is a circuit diagram showing an example of 1 composition of a latch control circuit in a 2nd embodiment of this art.
  • 12 is a timing chart illustrating an example of a sampling process of a solid-state imaging device according to a second embodiment of the present technology. 12 is a timing chart illustrating an example of an operation after sampling of the solid-state imaging device according to the second embodiment of the present technology. It is a timing chart which shows an example of the reset level sampling process of the solid-state image sensor in the modification of the 2nd embodiment of this art.
  • FIG. 10 is a timing chart illustrating an example of pixel data read control in a comparative example. It is a block diagram which shows an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment of the present technology.
  • the imaging apparatus 100 is an apparatus for imaging image data, and includes an optical unit 110, a solid-state imaging device 200, and a DSP (Digital Signal Processing) circuit 120. Further, the imaging apparatus 100 includes a display unit 130, an operation unit 140, a bus 150, a frame memory 160, a storage unit 170, and a power supply unit 180.
  • a digital camera such as a digital still camera, a smartphone, a personal computer, an in-vehicle camera, or the like having an imaging function is assumed.
  • the optical unit 110 collects light from the subject and guides it to the solid-state imaging device 200.
  • the solid-state imaging device 200 generates image data by photoelectric conversion in synchronization with the vertical synchronization signal VSYNC.
  • the vertical synchronization signal VSYNC is a periodic signal having a predetermined frequency indicating the timing of imaging.
  • the solid-state imaging device 200 supplies the generated image data to the DSP circuit 120 via the signal line 209.
  • the DSP circuit 120 performs predetermined signal processing on the image data from the solid-state imaging device 200.
  • the DSP circuit 120 outputs the processed image data to the frame memory 160 or the like via the bus 150.
  • the DSP circuit 120 is an example of a digital signal processing unit described in the claims.
  • the display unit 130 displays image data.
  • a liquid crystal panel or an organic EL (Electro Luminescence) panel is assumed.
  • the operation unit 140 generates an operation signal in accordance with a user operation.
  • the bus 150 is a common path for the optical unit 110, the solid-state imaging device 200, the DSP circuit 120, the display unit 130, the operation unit 140, the frame memory 160, the storage unit 170, and the power supply unit 180 to exchange data with each other.
  • the frame memory 160 holds image data.
  • the storage unit 170 stores various data such as image data.
  • the power supply unit 180 supplies power to the solid-state imaging device 200, the DSP circuit 120, the display unit 130, and the like.
  • FIG. 2 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the first embodiment of the present technology.
  • the solid-state imaging device 200 includes a DAC (Digital to Analog Converter) 211, a drive circuit 212, a column arbiter 213, a column AER circuit 220, a column address encoder 214, and a time code generator 230.
  • the solid-state imaging device 200 includes a pixel array unit 300, a column processing unit 250, a state machine 215, a row address encoder 216, a row AER circuit 260, and a row arbiter 600.
  • a plurality of pixels are arranged in a two-dimensional lattice pattern.
  • a set of pixels arranged in a predetermined direction in the pixel array unit 300 is referred to as a “row”, and a set of pixels arranged in a direction perpendicular to the row is referred to as a “column”.
  • the DAC 211 generates an analog reference signal that changes in a slope shape by DA (Digital-to-Analog) conversion.
  • the DAC 211 supplies a reference signal to the pixel array unit 300.
  • the drive circuit 212 drives the pixels in the pixel array unit 300 in synchronization with the vertical synchronization signal VSYNC.
  • Each pixel in the pixel array unit 300 generates digital pixel data. Some of the pixels also generate an address event detection result in addition to the pixel data.
  • the address event includes an on event and an off event
  • the detection result includes a detection result of a 1-bit on event and a detection result of a 1-bit off event.
  • the on event means that when the amount of light of the pixel fluctuates to a value larger than a predetermined reference value, the absolute value of the fluctuation amount exceeds a predetermined threshold value.
  • an off event means that when the light amount of a pixel fluctuates to a value smaller than a predetermined reference value, the absolute value of the fluctuation amount exceeds a predetermined threshold value.
  • the reference value is “10” and the threshold is “5”.
  • the variation amount is “+6”, and the absolute value thereof exceeds the threshold value “5”, so that an on event is detected.
  • the variation amount is “ ⁇ 6”, and the absolute value thereof exceeds the threshold value “5”, so that an off event is detected.
  • the pixel supplies pixel data to the column processing unit 250.
  • the pixel transmits and receives a request and a response (hereinafter referred to as “handshake”) to externally output the detection result of the address event with the row AER circuit 260 when the address event is detected. .
  • handshake a request and a response
  • the pixel performs a handshake with the column AER circuit 220.
  • the column arbiter 213 arbitrates a request from the column AER circuit 220 and transmits a response to the column AER circuit 220 based on the arbitration result.
  • the column AER circuit 220 transmits and receives (handshakes) a request and a response for requesting an external output of an address event detection result between each column, the column arbiter 213, and the state machine 215.
  • the column address encoder 214 encodes the address of the column where the address event has occurred and transmits it to the state machine 215.
  • the time code generator 230 generates a time code. This time code indicates a time within a period in which the reference signal changes in a slope shape.
  • the time code generation unit 230 supplies the generated time code to the pixel array unit 300.
  • the column processing unit 250 performs correlated double sampling (CDS: Correlated Double Sampling) processing on the pixel data.
  • Image data composed of processed pixel data is supplied to the DSP circuit 120.
  • the row address encoder 216 encodes the address of the row where the address event has occurred and transmits it to the state machine 215.
  • the row arbiter 600 arbitrates the request from the row AER circuit 260 and transmits a response to the row AER circuit 260 based on the arbitration result.
  • the row AER circuit 260 transmits and receives (handshakes) a request and a response for requesting an external output of an address event detection result between each row, the row arbiter 600, and the state machine 215.
  • the state machine 215 performs handshaking between the column AER circuit 220 and the row AER circuit 260.
  • the state machine 215 receives a request from the column AER circuit 220 and the row AER circuit 260, the state machine 215 decodes data from the column address encoder 214 and the row address encoder 216 to identify the detected address of the address event. Then, the state machine 215 supplies the detection result of the address to the DSP circuit 120.
  • Image data is generated by arranging the detection results of address events for each pixel in a two-dimensional grid.
  • the non-AER format image data from the column processing unit 250 is referred to as “normal image data”, and the AER format image data is referred to as “AER image data”.
  • FIG. 3 is a block diagram illustrating a configuration example of the pixel array unit 300 according to the first embodiment of the present technology.
  • a predetermined number of R (Red) pixels 310, a predetermined number of G (Green) pixels 311, a predetermined number of B (Blue) pixels 312, and a predetermined number of W (White) pixels 400 are arranged in a two-dimensional lattice pattern.
  • the time code transfer unit 500 is arranged between the odd and even columns every two columns.
  • the R pixel 310 receives red light and generates pixel data by photoelectric conversion.
  • the G pixel 311 receives green light and generates pixel data, and the B pixel 312 receives blue light and generates pixel data.
  • the W pixel 400 receives white light and generates pixel data.
  • the W pixel 400 detects an address event.
  • the time code transfer unit 500 transfers time codes. Details of the time code transfer unit 500 will be described later.
  • FIG. 4 is a block diagram illustrating a configuration example of the R pixel 310 according to the first embodiment of the present technology.
  • the R pixel 310 includes a pixel circuit 330 and an ADC 320.
  • the ADC 320 includes a comparison circuit 321 and a data storage unit 370.
  • the comparison circuit 321 includes a differential input circuit 340, a voltage conversion circuit 350, and a positive feedback circuit 360.
  • the configurations of the G pixel 311 and the B pixel 312 are the same as those of the R pixel 310.
  • the pixel circuit 330 generates a reset level or a signal level as a pixel signal SIG by photoelectric conversion.
  • the reset level is a voltage when FD (Floating Diffusion) is initialized after the start of exposure
  • the signal level is a voltage according to the exposure amount at the end of exposure.
  • the pixel circuit 330 sequentially supplies the reset level and the signal level to the differential input circuit 340.
  • the ADC 320 performs AD conversion of the pixel signal SIG (reset level or signal level) into a digital signal.
  • Data obtained by AD converting the reset level is hereinafter referred to as “P-phase data”.
  • data obtained by AD converting the signal level is hereinafter referred to as “D-phase data”.
  • the P-phase data is an example of reset data described in the claims
  • the D-phase data is an example of signal data described in the claims.
  • the differential input circuit 340 in the ADC 320 compares the reference signal REF from the DAC 211 with the pixel signal SIG from the pixel circuit 330.
  • the differential input circuit 340 supplies a comparison result signal indicating the comparison result to the voltage conversion circuit 350.
  • the voltage conversion circuit 350 converts the voltage of the comparison result signal from the differential input circuit 340 and outputs it to the positive feedback circuit 360.
  • the positive feedback circuit 360 adds a part of the output to the input (comparison result signal) and outputs the result to the data storage unit 370 as the output signal VCO.
  • the data storage unit 370 holds a time code when the output signal VCO is inverted.
  • the data storage unit 370 outputs a time code corresponding to the reset level as P-phase data, and outputs a time code corresponding to the signal level as D-phase data.
  • FIG. 5 is a circuit diagram illustrating a configuration example of the pixel circuit 330, the differential input circuit 340, the voltage conversion circuit 350, and the positive feedback circuit 360 according to the first embodiment of the present technology.
  • the pixel circuit 330 includes a reset transistor 331, a capacitor 332, a gain control transistor 333, an FD (FloatingFDiffusion) 334, a transfer transistor 335, a photodiode 336, and a discharge transistor 337.
  • a reset transistor 331, the gain control transistor 333, the transfer transistor 335, and the discharge transistor 337 for example, an N-type MOS (Metal-Oxide-Semiconductor) transistor is used.
  • the photodiode 336 generates electric charge by photoelectric conversion.
  • the discharge transistor 337 discharges the charge accumulated in the photodiode 336 at the start of exposure according to the drive signal OFG from the drive circuit 212.
  • the transfer transistor 335 transfers charges from the photodiode 336 to the FD 334 at the end of exposure according to the transfer signal TX from the drive circuit 212.
  • the FD 334 accumulates the transferred charges and generates a voltage corresponding to the accumulated charge amount.
  • the FD 334 is an example of a charge storage unit described in the claims.
  • the reset transistor 331 initializes the FD 334 in accordance with the reset signal RST from the drive circuit 212.
  • the gain control transistor 333 controls the analog gain with respect to the voltage of the FD 334 in accordance with the control signal FDG from the drive circuit 212.
  • the amount of signal handled by the R pixel 310 that is, the saturation signal amount can be increased.
  • the gain control transistor 333 and the reset transistor 331 are connected in series, and one end of the capacitor 332 is connected to a connection point between the gain control transistor 333 and the reset transistor 331.
  • gain control transistor 333 and the capacitor 332 are provided as needed for gain control, and may be configured without these.
  • the differential input circuit 340 includes PMOS (Positive channel MOS) transistors 341, 344, and 346, and NMOS (Negative channel MOS) transistors 342, 343, and 345.
  • PMOS Positive channel MOS
  • NMOS Negative channel MOS
  • the NMOS transistors 342 and 345 constitute a differential pair, and the sources of these transistors are commonly connected to the drain of the NMOS transistor 343.
  • the drain of the NMOS transistor 342 is connected to the drain of the PMOS transistor 341 and the gates of the PMOS transistors 341 and 344.
  • the drain of the NMOS transistor 345 is connected to the drain of the PMOS transistor 344, the gate of the PMOS transistor 346, and the drain of the reset transistor 331.
  • the reference signal REF is input to the gate of the NMOS transistor 342.
  • a predetermined bias voltage Vb is applied to the gate of the NMOS transistor 343, and a predetermined ground voltage is applied to the source of the NMOS transistor 343.
  • the gate of the NMOS transistor 345 is connected to the gain control transistor 333 and the FD 334 and the transfer transistor 335.
  • the PMOS transistors 341 and 344 constitute a current mirror circuit.
  • a power supply voltage VDDH is applied to the sources of the PMOS transistors 341, 344 and 346.
  • the power supply voltage VDDH is higher than the power supply voltage VDDL.
  • the drain of the PMOS transistor 346 is connected to the voltage conversion circuit 350.
  • the pixel circuit 330 and the NMOS transistors 342, 343, and 345 are formed on the pixel wafer 305.
  • the source potential of the NMOS transistor 343 serving as the current source and the bias of the substrate of the pixel wafer 305 are intentionally changed.
  • the DAC 211 By dropping the DAC 211 to an off level (0 V, ground level, etc.) within a time outside the A / D conversion period, no current flows through the comparison circuit 321, so that power consumption can be reduced.
  • the potential at the drain of the NMOS transistor 343 as the current source and the drains of the NMOS transistors 342 and 345 for amplification becomes the ground due to the drop to the off level. This means that the charge accumulates to the 0V level, and the charge here overflows to the photodiode 336 of the pixel circuit 330.
  • the voltage conversion circuit 350 includes an NMOS transistor 351.
  • a power supply voltage VDDL is applied to the gate of the NMOS transistor 351.
  • the drain of the NMOS transistor 351 is connected to the drain of the PMOS transistor 346, and the source is connected to the positive feedback circuit 360.
  • the power supply voltage VDDH can be converted into a lower power supply voltage VDDL, and a circuit that operates at a low voltage can be arranged in the subsequent stage.
  • the voltage conversion circuit 350 converts the power supply voltage VDDH to the power supply voltage VDDL, the present invention is not limited to this configuration.
  • the power supply voltages VDDH and VDDL may be the same voltage, and the voltage conversion circuit 350 may be unnecessary.
  • the positive feedback circuit 360 includes PMOS transistors 361, 362, 365, and 366, and NMOS transistors 363, 364, and 367.
  • PMOS transistors 361 and 362 are connected in series to power supply voltage VDDL.
  • the drive signal INI2 from the drive circuit 212 is input to the gate of the PMOS transistor 361.
  • the drain of the PMOS transistor 362 is connected to the source of the NMOS transistor 351, the drain of the NMOS transistor 363, and the gates of the PMOS transistor 365 and the NMOS transistor 364.
  • the ground voltage is applied to the source of the NMOS transistor 363, and the drive signal INI1 from the drive circuit 212 is input to the gate.
  • PMOS transistors 365 and 366 are connected in series to the power supply voltage VDDL.
  • the drain of the PMOS transistor 366 is connected to the gate of the PMOS transistor 362 and the drains of the NMOS transistors 364 and 367.
  • a control signal TESTVCO from the drive circuit 212 is input to the gates of the PMOS transistor 366 and the NMOS transistor 367.
  • An output signal VCO is output from the drains of the NMOS transistors 364 and 367.
  • a ground voltage is applied to the sources of the NMOS transistors 364 and 367.
  • each of the pixel circuit 330, the differential input circuit 340, the voltage conversion circuit 350, and the positive feedback circuit 360 is not limited to the circuit illustrated in FIG. 5 as long as it has the function described with reference to FIG.
  • FIG. 6 is a block diagram illustrating a configuration example of the data storage unit 370 according to the first embodiment of the present technology.
  • the data storage unit 370 includes a latch control circuit 380 and the same number of latch circuits 390 as the number of bits D (D is an integer) of the D-phase data.
  • the latch control circuit 380 holds the value of the output signal VCO (logical value “0” or “1”) in one of the latch circuits 390 in accordance with the control signal xWORD from the drive circuit 212.
  • the control signal xWORD is a signal obtained by inverting the control signal WORD.
  • the latch circuit 390 holds the value of the output signal VCO according to the control of the latch control circuit 380.
  • Latch circuit 390 is connected to time code transfer unit 500 via local bit line LBL L.
  • FIG. 7 is a block diagram illustrating a configuration example of the latch control circuit 380 and the latch circuit 390 according to the first embodiment of the present technology.
  • the latch control circuit 380 includes a NOR gate 381 and inverters 382 and 383.
  • the NOR gate 381 outputs a negative logical sum of the control signal xWORD and the output signal VCO to the inverter 382.
  • the inverter 382 inverts the output value from the NOR gate 381 and outputs the inverted value to the latch circuit 390 as the latch control signal T.
  • the inverter 383 inverts the output signal VCO and outputs the inverted signal to the latch circuit 390 as the latch input signal L.
  • the latch circuit 390 includes a switch 391 and inverters 392 and 393.
  • the switch 391 opens and closes a path between the inverter 392 and the local bit line LBL L according to the latch control signal T from the latch control circuit 380.
  • the local bit line LBL L is connected to the time code transfer unit 500.
  • the inverter 392 inverts the signal from the inverter 393 in accordance with the latch input signal L from the latch control circuit 380.
  • the inverter 392 outputs the inverted signal to the input terminal of the inverter 393 and the switch 391.
  • the inverter 393 inverts the signal from the inverter 392 and outputs it to the input terminal of the inverter 392.
  • latch control circuit 380 and the latch circuit 390 are not limited to the circuit illustrated in FIG. 7 as long as they have equivalent functions.
  • FIG. 8 is a timing chart showing an example of the operation of the solid-state imaging device 200 according to the first embodiment of the present technology.
  • the drive circuit 212 initializes the FD from the reset signal RST.
  • the 1V period is the period of the vertical synchronization signal VSYNC. Further, it is assumed that exposure of all the pixels is started before the timing t10.
  • the DAC 211 decreases the reference signal REF in a slope shape over a certain period from the timing t11.
  • the data bus is data of a repeater circuit in the time code transfer unit 500.
  • the latch control circuit 380 continues to write data transmitted from the outside via the local bit line LBL to the latch circuit 390, and the output signal VCO is inverted at timing t12, which is the intersection of the slope of the output signal VCO and the potential of the FD 334. And stop writing.
  • the data is read at timing t13 and held in the memory in the time code transfer unit 500. This data becomes a digital value (P-phase data) obtained by converting the reset level including the voltage value of the FD 334 and the circuit offset.
  • the P-phase data is read and held in the memory in the column processing unit 250.
  • the drive circuit 212 transmits the transfer signal TX to transfer the charge to the FD 334 at the timing t14 at the end of exposure in all pixels.
  • the DAC 211 decreases the reference signal REF in a slope shape over a certain period from the timing t15.
  • the latch control circuit 380 continues to write the data transmitted via the local bit line LBL to the latch circuit 390, and the output signal VCO is inverted at the timing t16 to stop the writing.
  • the data is read at timing t17 and held in the memory in the time code transfer unit 500. This data becomes D-phase data obtained by converting the signal level.
  • the column processing unit 250 obtains the difference between the P-phase data and the D-phase data as net pixel data for each column.
  • the drive circuit 212 discharges the charges of the photodiodes 336 in all the pixels by transmitting the drive signal OFG.
  • the exposure start timing and the exposure end timing are the same for all the pixels, and such exposure control is called a global shutter.
  • the 1V period ends.
  • the control signal FDG is controlled in the same manner as the reset signal RST. For this reason, when the reset signal RST is always at a high level, the conversion efficiency of the FD 334 is lowered (in other words, the capacity of the FD 334 is increased). Accordingly, it can be avoided that the FD 334 cannot receive the electric charge generated in the photodiode 336 when the electric charge is excessively increased.
  • FIG. 9 is a block diagram illustrating a configuration example of the W pixel 400 according to the first embodiment of the present technology.
  • the W pixel 400 includes an ADC 405, a pixel circuit 410, and an address event detection unit 430.
  • the pixel circuit 410 generates a pixel signal SIG (reset level or signal level) and outputs it to the ADC 405, and also generates a voltage signal Vp and outputs it to the address event detection unit 430.
  • the voltage signal Vp is a voltage signal generated by performing current-voltage conversion on a photocurrent corresponding to the amount of charge generated by photoelectric conversion.
  • the ADC 405 converts the pixel signal SIG into a digital signal (P-phase data or D-phase data).
  • the configuration of the ADC 405 is the same as that of the ADC 320 in the R pixel 310.
  • the ADC 405 converts the pixel signal SIG into, for example, a 15-bit digital signal under the control of the drive circuit 212 and outputs the converted signal to the time code transfer unit 500.
  • the address event detection unit 430 detects, based on the voltage signal Vp, that the absolute value of the fluctuation amount of the light reception amount (charge amount) in the W pixel 400 exceeds a predetermined threshold as an address event.
  • the address event detection unit 430 detects an address event, it performs handshaking with the row AER circuit 260 and then performs handshaking with the column AER circuit 220.
  • the detection result of the address event is, for example, 2 bits, and the number of bits is smaller than that of the digital signal from the ADC 405.
  • the W pixel 400 is provided with two ADCs of the ADC 405 and the address event detection unit 430 that is an ADC having a lower resolution than the ADC 405.
  • the address event detection unit 430 is an example of an analog-digital converter described in the claims.
  • FIG. 10 is a block diagram illustrating a configuration example of the address event detection unit 430 according to the first embodiment of the present technology.
  • the address event detection unit 430 includes a buffer 440, a differentiation circuit 450, a comparator 460, and an AER logic circuit 470.
  • the buffer 440 is constituted by, for example, a source follower, and is used for impedance conversion with respect to the voltage signal Vp.
  • the differentiation circuit 450 is constituted by, for example, a switched capacitor circuit, and acquires a differential signal corresponding to a change in Vp with respect to a reference value when reset.
  • the differentiation circuit 450 supplies the differential signal to the comparator 460.
  • Comparator 460 compares the level of the differential signal with each of threshold values Vthon and Vthoff.
  • the comparator 460 outputs the comparison result with the threshold value Vthon to the AER logic circuit 470 as VCH, and outputs the comparison result with the threshold value Vthoff to the AER logic circuit 470 as VCL.
  • the threshold value Vthon is set to a value higher than the threshold value Vthoff.
  • the differential signal exceeds the threshold value Vthon, it means that the amount of fluctuation of the light reception amount of the W pixel 400 exceeds a value corresponding to the threshold value Vthon.
  • the fact that the differential signal falls below the threshold value Vthoff means that the absolute value of the fluctuation amount of the received light amount of the W pixel 400 exceeds the value corresponding to the threshold value Vthoff. For this reason, an on event is detected among the address events when the differential signal exceeds the threshold value Vthon, and an off event is detected when it falls below the threshold value Vthoff.
  • the AER logic circuit 470 performs handshaking based on the comparison results VCH and VCL.
  • the AER logic circuit 470 detects the presence or absence of an address event, and performs handshaking with the row AER circuit 260 when an address event occurs.
  • the AER logic circuit 470 performs handshaking with the column AER circuit 220, and resets the differentiation circuit 450 by the reset signal xrst.
  • the AER logic circuit 470 is an example of a handshake circuit described in the claims.
  • FIG. 11 is a circuit diagram illustrating a configuration example of the W pixel 400 according to the first embodiment of the present technology.
  • the pixel circuit 410 includes a reset transistor 411, a capacitor 412, a gain control transistor 413, an FD 414, a transfer transistor 415, a logarithmic response unit 422, a photodiode 418, and a discharge transistor 419.
  • the configurations of the reset transistor 411, the capacitor 412, the gain control transistor 413, the FD 414, the transfer transistor 415, the photodiode 418, and the discharge transistor 419 are the same as the elements of the same name in the R pixel 310.
  • the logarithmic response unit 422 includes NMOS transistors 416, 417, and 420, and a PMOS transistor 421.
  • the NMOS transistors 416 and 417 are connected in series between the connection point of the transfer transistor 415 and the discharge transistor 419 and the photodiode 418.
  • the PMOS transistor 421 and the NMOS transistor 420 are connected in series between the power supply and the ground terminal.
  • the bias voltage Vbcus is applied to the gate of the NMOS transistor 416
  • the bias voltage Vlog is applied to the gate of the PMOS transistor 421.
  • the gate of the NMOS transistor 420 is connected to the connection point between the NMOS transistor 417 and the photodiode 418
  • the gate of the NMOS transistor 417 is connected to the connection point between the NMOS transistor 420 and the PMOS transistor 421 and the buffer 440. With such connection, the photocurrent flowing through the photodiode 418 is logarithmically converted to the voltage Vp.
  • elements other than the PMOS transistor 421 in the pixel circuit 410, NMOS transistors 423 and 424 of the differential pair of the ADC 405, and NMOS transistor 425 of the current source are provided on the pixel wafer 406.
  • the source potential of the NMOS transistor 425 serving as the current source and the bias of the substrate of the pixel wafer 406 are intentionally changed.
  • the buffer 440 includes PMOS transistors 441 and 442 connected in series between the power supply and the ground terminal.
  • the gate of the PMOS transistor 442 on the ground side is connected to the pixel circuit 410, and the bias voltage Vbsf is applied to the gate of the PMOS transistor 441 on the power supply side.
  • the connection point between the PMOS transistors 441 and 442 is connected to the differentiation circuit 450. By this connection, impedance conversion with respect to Vp is performed.
  • the differentiation circuit 450 includes capacitors 451 and 453, PMOS transistors 452 and 454, and an NMOS transistor 455.
  • One end of the capacitor 451 is connected to the buffer 440, and the other end is connected to one end of the capacitor 453 and the gate of the PMOS transistor 454.
  • the reset signal xrst is input to the gate of the PMOS transistor 452, and the source and drain are connected to both ends of the capacitor 453.
  • the PMOS transistor 454 and the NMOS transistor 455 are connected in series between the power supply and the ground terminal.
  • the other end of the capacitor 453 is connected to a connection point between the PMOS transistor 454 and the NMOS transistor 455.
  • a bias voltage Vba is applied to the gate of the NMOS transistor 455 on the ground side, and the connection point between the PMOS transistor 454 and the NMOS transistor 455 is also connected to the comparator 460. With such connection, a differential signal is generated and output to the comparator 460.
  • the differential signal is initialized by the reset signal xrst.
  • the comparator 460 includes PMOS transistors 461 and 463 and NMOS transistors 462 and 464.
  • the PMOS transistor 461 and the NMOS transistor 462 are connected in series between the power supply and the ground terminal, and the PMOS transistor 463 and the NMOS transistor 464 are also connected in series between the power supply and the ground terminal.
  • the gates of the PMOS transistors 461 and 463 are connected to the differentiation circuit 450.
  • a bias voltage Vbon for generating the threshold value Vthon is applied to the gate of the NMOS transistor 462, and a bias voltage Vboff for generating the threshold value Vthoff is applied to the gate of the NMOS transistor 464.
  • connection point between the PMOS transistor 461 and the NMOS transistor 462 is connected to the AER logic circuit 470, and the voltage at this connection point is output as the comparison result VCH.
  • the connection point between the PMOS transistor 463 and the NMOS transistor 464 is also connected to the AER logic circuit 470, and the voltage at this connection point is output as the comparison result VCL.
  • the comparator 460 outputs a high level comparison result VCH when the differential signal exceeds the threshold value Vthon, and outputs a low level comparison result VCL when the differential signal falls below the threshold value Vthoff.
  • FIG. 12 is a graph illustrating an example of input / output characteristics of the comparator 460 according to the first embodiment of the present technology.
  • the vertical axis indicates the level of the output signal (VCH or VCL) of the comparator 460
  • the horizontal axis indicates the level of the input signal (differential signal) of the comparator 460.
  • the solid line indicates the locus of the comparison result VCH
  • the alternate long and short dash line indicates the locus of the comparison result VCL.
  • the comparison result VCH changes from the low level to the high level. An on event is detected.
  • the absolute value of the negative light amount difference with respect to the reference exceeds a value corresponding to the threshold value Vthoff, the comparison result VCL changes from the high level to the low level, and an off event is detected.
  • the DSP circuit 120 processes the detection result of each address event of the W pixel 400 in various applications. Possible applications include in-vehicle and artificial intelligence image recognition input devices and monitoring applications.
  • the solid-state imaging device 200 outputs a signal when an address event occurs to the vehicle control system at high speed in real time.
  • information that can be obtained only in the period of the vertical synchronization signal in the conventional solid-state imaging device can be detected as a signal of the changed portion without waiting for the period to elapse. For this reason, it is possible to improve the safety by speeding up the feedback up to an instruction to avoid a person or an obstacle.
  • normal image data For artificial intelligence, not high-resolution normal image data, but low-resolution meaningful information (for example, logarithm-compressed luminance difference) is input to reduce the amount of computation by executing processing at high speed. There is a merit that can be. Since normal image data can also be obtained, for example, by using the result of signal processing using LSTM (Long Short Term Memory) for the AER image data of event-driven output and the normal image data together. Highly accurate image recognition can be realized.
  • LSTM Long Short Term Memory
  • FIG. 13 is a block diagram illustrating a configuration example of the AER logic circuit 470 according to the first embodiment of the present technology.
  • the AER logic circuit 470 includes NMOS transistors 471 to 473, 475 to 478, 480 and 481, PMOS transistors 474 and 479, and a capacitor 482.
  • NMOS transistors 471 and 472 are connected in series.
  • the comparison result VCH is input to the gates of the NMOS transistors 472 and 473, and the response AckYp1 is input to the gate of the NMOS transistor 471.
  • the sources of the NMOS transistors 472 and 473 are grounded, and a request ReqHXp1 is output from the drain of the NMOS transistor 471 to the column AER circuit 220.
  • Request ReqYp 1 is output from the drain of NMOS transistor 473 to row AER circuit 260.
  • the PMOS transistor 474 and the NMOS transistor 475 are connected in series between the power supply and the ground terminal.
  • the comparison result VCL is input to the gate of the PMOS transistor 474, and the bias voltage Vbaer is applied to the gate of the NMOS transistor 475.
  • NMOS transistors 476 and 477 are connected in series.
  • the gates of NMOS transistors 477 and 478 are connected to the connection point of PMOS transistor 474 and NMOS transistor 475.
  • the response AckYp1 is input to the gate of the NMOS transistor 476.
  • the sources of the NMOS transistors 477 and 478 are grounded, and a request ReqLXp1 is output from the drain of the NMOS transistor 476 to the column AER circuit 220.
  • Request ReqYp 1 is output from the drain of NMOS transistor 478 to row AER circuit 260.
  • the PMOS transistor 479 and the NMOS transistors 480 and 481 are connected in series between the power supply and the ground terminal.
  • a bias voltage Vbrst is applied to the gate of the PMOS transistor 479.
  • the response AckYp1 is input to the gate of the NMOS transistor 480, and the response AckXp1 is input to the gate of the NMOS transistor 481.
  • One end of the capacitor 482 is connected to the power supply, and the other end is connected to a connection point between the PMOS transistor 479 and the NMOS transistor 480.
  • the voltage at the connection point between the PMOS transistor 479 and the NMOS transistor 480 is output to the differentiation circuit 450 as the reset signal xrst.
  • the AER logic circuit 470 transmits a low-level request ReqYp1 to the row AER circuit 260.
  • the AER logic circuit 470 transmits a low level request ReqHXp1 to the column AER circuit 220.
  • the AER logic circuit 470 outputs a low level reset signal xrst to the differentiation circuit 450.
  • the AER logic circuit 470 transmits a low-level request ReqYp1 to the row AER circuit 260.
  • the AER logic circuit 470 transmits a low level request ReqLXp1 to the column AER circuit 220.
  • the AER logic circuit 470 outputs a low level reset signal xrst to the differentiation circuit 450.
  • FIG. 14 is a block diagram illustrating a configuration example of the time code generation unit 230 according to the first embodiment of the present technology.
  • the time code generation unit 230 includes a test circuit 231, a redundancy circuit 240, a binary / gray conversion unit 232, a binary counter 233, a receiver 235, and a plurality of drivers 236.
  • the receiver 235 receives the master clock MCK from the pixel array unit 300.
  • the receiver 235 supplies the received master clock MCK to the binary counter 233.
  • the binary counter 233 counts binary count values in synchronization with the master clock MCK.
  • the binary counter 233 includes a plurality of stages of flip-flops 234.
  • the master clock MCK is input to the clock terminal of the first flip-flop 234.
  • the inverted output of the preceding flip-flop 234 is input to the clock terminals of the second and subsequent flip-flops 234. Further, the inverted output of the flip-flop 234 of each stage is output to the input terminal of that stage and also output to the binary / gray conversion unit 232 as the corresponding digit bit.
  • the binary / gray conversion unit 232 converts the binary count value from the binary counter 233 into a gray code.
  • the binary gray conversion unit 232 supplies the gray code to the redundancy circuit 240.
  • the redundant circuit 240 connects a spare signal line in place of the signal line corresponding to the failed bit according to the control of the test circuit 231.
  • at least one spare signal line is connected between the redundant circuit 240 and the test circuit 231. For example, when the gray code is 15 bits, 16 signal lines including one spare line are connected.
  • the test circuit 231 detects the presence / absence of a failure of the corresponding signal line for each bit of the Gray code at the time of startup or the like.
  • a failure detected by the test circuit 231 a disconnection or a short circuit of the wiring, a malfunction of the latch circuit, or the like is assumed.
  • the test circuit 231 controls the redundant circuit 240 when a failure occurs, and connects a spare signal line instead of the failed signal line.
  • the test circuit 231 outputs the gray code as a time code.
  • Driver 236 is provided for each bit in the time code.
  • the driver 236 outputs the corresponding bit FFin [k] (k is an integer equal to or greater than 0) in the time code to the pixel array unit 300.
  • time code generation unit 230 is provided with signal lines for transmitting the requests ReqHXp1 and ReqLXp1 and the response AckXp1.
  • FIG. 15 is a circuit diagram illustrating a configuration example of the redundant circuit 240 according to the first embodiment of the present technology.
  • the redundant circuit 240 includes a plurality of switches 241.
  • the number of switches 241 is the same as the number of bits of the gray code (time code).
  • the switch 241 includes one input terminal and two output terminals.
  • a signal line INA [k] for transmitting the k-th bit of the time code from the binary / gray conversion unit 232 is connected to the input terminal of the k-th switch 241.
  • the signal line OUT [0] is connected to the left output terminal of the “0” th switch 241.
  • the right output terminal of the kth switch 241 and the left output terminal of the (k + 1) th switch 241 are connected, and these output terminals are also connected to the signal line OUT [k].
  • a spare signal line OUT [15] is connected to the output terminal on the right side of the last switch 241.
  • the switch 241 switches the connection destination of the input terminal according to the control of the test circuit 231. In the initial state, the input terminals of all the switches 241 are connected to the left output terminal. When the k-th bit fails, the switch 241 after k switches the connection destination of the input terminal to the right output terminal. For example, when a failure occurs at the “1” bit among the 15 bits, the “1” to “14” switch 241 switches the connection destination to the right side. Thus, the signal lines INA [1] to INA [14] are connected to the signal lines OUT [2] to OUT [15], and the failed signal line OUT [1] is disconnected from the input terminal.
  • the test circuit 231 detects the presence or absence of a failure at startup, and the redundant circuit 240 switches based on the detection result. Note that the present invention is not limited to this method.
  • the test circuit 231 may detect the presence / absence of a failure in advance before starting and describe the detection result in a nonvolatile memory.
  • the redundancy circuit 240 may read out the detection result from the memory at the time of activation and perform switching.
  • FIG. 16 is a block diagram illustrating a configuration example of the time code transfer unit 500 according to the first embodiment of the present technology.
  • the time code transfer unit 500 includes a cluster 510, inverters 571 and 572, and a plurality of flip-flops 573.
  • the number of flip-flops 573 is the same as the number of latch circuits 390 (256, etc.) in a certain transmission / reception unit.
  • the configuration of the cluster 510 will be described later.
  • the inverter 571 inverts the master clock MCK from the column processing unit 250.
  • the inverter 571 supplies the inverted clock signal xMCK to the inverter 572 and the cluster 510.
  • the inverter 572 inverts the clock signal xMCK and outputs the inverted signal to the respective clock terminals of the flip-flop 573 as the master clock MCK.
  • the flip-flop 573 holds the bit FFout [k] from the cluster 510 in synchronization with the master clock MCK.
  • the flip-flop 573 outputs the held bits to the column processing unit 250.
  • FIG. 17 is a block diagram illustrating a configuration example of the cluster 510 according to the first embodiment of the present technology.
  • the cluster 510 includes a plurality of unit blocks 520 and inverters 511 to 517.
  • the number of unit blocks 520 is the same as the number of bits in a transmission / reception unit (for example, 16 bits obtained by adding 1 redundant bit to 15 bits).
  • the inverter 511 inverts the clock signal xMCK from the inverter 571 and supplies it as a master clock MCK to each of the unit blocks 520 and the time code generator 230.
  • the inverter 513 inverts the read enable signal REN L from the drive circuit 212.
  • the read enable signal REN L is a signal that instructs reading of pixel data of the left pixel of the time code transfer unit 500.
  • the inverter 512 inverts the signal from the inverter 513 and supplies it to each of the unit blocks 520.
  • the inverter 515 inverts the read enable signal REN R from the drive circuit 212.
  • the read enable signal REN R is a signal that instructs reading of pixel data of the right pixel of the time code transfer unit 500.
  • the inverter 514 inverts the signal from the inverter 515 and supplies it to each of the unit blocks 520.
  • the inverter 517 inverts the write enable signal WEN from the drive circuit 212.
  • the write enable signal WEN is a signal for instructing writing of a time code.
  • the inverter 516 inverts the signal from the inverter 517 and supplies it to each of the unit blocks 520.
  • the unit block 520 reads pixel data or writes a time code in accordance with the read enable signals REN L and REN R and the write enable signal WEN.
  • FIG. 18 is a block diagram illustrating a configuration example of the unit block 520 according to the first embodiment of the present technology.
  • This unit block 520 includes inverters 521, 522, 524 and 527, PMOS transistors 523 and 528, buffers 525 and 526, and a flip-flop 550.
  • the inverter 521 inverts the master clock MCK from the inverter 511. This inverter 521 supplies the inverted signal to the inverter 522.
  • the inverter 522 inverts the signal from the inverter 521 and supplies it as a master clock MCK to the clock terminal of the flip-flop 550.
  • the flip-flop 550 holds the corresponding bit FFin [k] in the time code from the time code generator 230 in synchronization with the master clock MCK.
  • the flip-flop 550 supplies the held bits to the buffers 525 and 526 as FFout [k].
  • the PMOS transistor 523 precharges the local bit line LBL L [k] in accordance with the signal xPC L obtained by inverting the control signal PC L from the drive circuit 212.
  • the control signal PC L is a signal for instructing the precharging of the local bit lines LBL L [k], for example, the precharge is designated immediately before reading the bits via the local bit line LBL L [k]
  • the initial voltage inside the latch circuit 390 fluctuates depending on the impedance ratio between the output (T) of the inverter 382 and the switch 391. It is possible to prevent the signal of the local bit line LBL L [k] from being overwritten. Further, the area of the latch circuit 390 can be minimized.
  • the inverter 524 inverts the bit read through the local bit line LBL L [k] according to the high-level read enable signal REN L, and uses the flip-flop 573 as the k-th bit (FFout [k]) of the pixel data. Is output to the column processing unit 250.
  • the buffer 525 outputs the bit output from the flip-flop 550 to the local bit line LBL L [k] according to the high level write enable signal WEN.
  • These inverter 524 and buffer 525 form a bidirectional buffer circuit 530.
  • a terminal connected to the local bit line LBL L of the buffer circuit 530 is R_IO
  • a terminal connected to the flip-flop 550 is W_IO.
  • PMOS transistor 528 in accordance with a signal xPC R obtained by inverting the control signal PC R from the driving circuit 212 is configured to precharge the local bit line LBL R [k].
  • the control signal PC R is a signal for instructing the precharging of the local bit lines LBL R [k], for example, the precharge is designated immediately before reading the bits via the local bit line LBL R [k]
  • the inverter 527 inverts the bit read through the local bit line LBL R [k] according to the high level read enable signal REN R , and uses the column processing unit via the flip-flop 573 as the k-th bit of the pixel data. This is output to 250.
  • the buffer 526 outputs the bit output from the flip-flop 550 to the local bit line LBL R [k] according to the high level write enable signal WEN.
  • FIG. 19 is a circuit diagram illustrating a configuration example of the buffer circuit 530 according to the first embodiment of the present technology.
  • Buffer circuit 530 includes inverters 531 and 540, a NAND gate 532, a NOR gate 533, PMOS transistors 534, 536 and 537, and NMOS transistors 535, 538 and 539.
  • the inverter 531 inverts the write enable signal WEN and outputs it to the NOR gate 533.
  • the NAND gate 532 outputs a negative logical product of the write enable signal WEN and the input bit from the terminal W_IO to the gate of the PMOS transistor 534.
  • the NOR gate 533 outputs a negative logical sum of the signal from the inverter 531 and the input bit from the terminal W_IO to the gate of the NMOS transistor 535.
  • the PMOS transistor 534 and the NMOS transistor 535 are connected in series between the power supply and the ground terminal.
  • a connection point between the PMOS transistor 534 and the NMOS transistor 535 is connected to the terminal R_IO and the gates of the PMOS transistor 537 and the NMOS transistor 538.
  • the inverter 540 inverts the read enable signal REN L and outputs it to the gate of the PMOS transistor 536.
  • PMOS transistors 536 and 537 and NMOS transistors 538 and 539 are connected in series between the power supply and the ground terminal.
  • the read enable signal REN L is input to the gate of the NMOS transistor 539.
  • the buffer circuit 530 inverts the bit read from the terminal R_IO in accordance with the read enable signal REN L and outputs the inverted signal from the terminal W_IO. Further, the buffer circuit 530 outputs the bit input from the terminal W_IO from the terminal R_IO according to the write enable signal WEN.
  • FIG. 20 is a circuit diagram illustrating a configuration example of the flip-flop 550 according to the first embodiment of the present technology.
  • the flip-flop 550 includes PMOS transistors 551, 553, 554, 556, and 559, and NMOS transistors 552, 555, 557, 558, 560, and 561.
  • the PMOS transistor 551 and the NMOS transistor 552 are connected in series between the power supply and the ground terminal. The gates of these transistors are connected to the D terminal.
  • the PMOS transistors 553 and 554 and the NMOS transistor 555 are connected in series between the power supply and the ground terminal.
  • the gates of the PMOS transistor 553 and the NMOS transistor 555 are connected to the connection point between the PMOS transistor 551 and the NMOS transistor 552.
  • the gate of the PMOS transistor 554 is connected to the clock terminal CK.
  • the PMOS transistor 556 and the NMOS transistors 557 and 558 are connected in series between the power supply and the ground terminal.
  • the gates of the PMOS transistor 556 and the NMOS transistor 558 are connected to the clock terminal CK.
  • the gate of the NMOS transistor 557 is connected to the connection point between the PMOS transistor 554 and the NMOS transistor 555.
  • the PMOS transistor 559 and the NMOS transistors 560 and 561 are connected in series between the power supply and the ground terminal.
  • the gates of PMOS transistor 559 and NMOS transistor 561 are connected to the connection point of PMOS transistor 556 and NMOS transistor 557.
  • the gate of the NMOS transistor 560 is connected to the clock terminal CK.
  • the flip-flop 550 outputs the input of the D terminal to Q at the rising edge of the clock signal input to the clock terminal CK, and sets the node of Q to High-Z at the falling edge. It is possible to hold the signal.
  • the above-described configuration enables the buffer circuit 530 to write data to the Q wiring node.
  • FIG. 21 is a block diagram illustrating a configuration example of the column processing unit 250 according to the first embodiment of the present technology.
  • the column processing unit 250 includes an inverter 253 for each signal line, and includes a redundant circuit 251 and a CDS circuit 252 for each column.
  • the inverter 253 inverts the bit from the pixel array unit 300. Each inverter 253 transmits the inverted bit to the corresponding redundant circuit 251.
  • the configuration of the redundant circuit 251 is the same as that of the redundant circuit 240 illustrated in FIG.
  • the CDS circuit 252 performs CDS processing for calculating the difference between the P-phase data and the D-phase data in the corresponding column as net pixel data.
  • the CDS circuit 252 outputs pixel data to the DSP circuit 120.
  • FIG. 22 is a block diagram illustrating a configuration example of the row AER circuit 260 according to the first embodiment of the present technology.
  • the row AER circuit 260 includes a row AER block 270 for each row.
  • the row AER block 270 performs a handshake between the corresponding row, the row arbiter 600, and the state machine 215.
  • FIG. 23 is a circuit diagram illustrating a configuration example of the row AER block 270 according to the first embodiment of the present technology.
  • Row AER block 270 includes a PMOS transistor 271, NMOS transistors 272 and 273, a NOR gate 276, and inverters 274 and 275.
  • the PMOS transistor 271 and the NMOS transistors 272 and 273 are connected in series between the power supply and the ground terminal.
  • a control signal LOAD from the state machine 215 is input to the gates of the PMOS transistor 271 and the NMOS transistor 272.
  • This control signal LOAD is a signal for instructing reading of the detection result of the address event.
  • xCHIP_ACK obtained by inverting the response CHIP_ACK from the state machine 215 is input to the gate of the NMOS transistor 273.
  • the NOR gate 276 outputs a negative logical sum of two input values to the row arbiter 600 as a request ReqYa1.
  • the response CHIP_ACK from the state machine 215 is input to one of the input terminals of the NOR gate 276.
  • the other input terminal of the NOR gate 276 is connected to a connection point between the PMOS transistor 271 and the NMOS transistor 272 and a signal line for transmitting the request ReqYp1 from the pixel array unit 300.
  • the inverter 275 inverts the response AckYa1 from the row arbiter 600 and outputs it to the inverter 274.
  • the inverter 274 inverts the signal from the inverter 275 and outputs it as a response AckYp1 to the pixel array unit 300.
  • the row AER block 270 when the low level request ReqYp1 is input, the row AER block 270 outputs the low level request ReqYa1 if the response CHIP_ACK is high level. Further, the row AER block 270 delays the high-level response AckYa1 and outputs it as the response AckYp1.
  • FIG. 24 is a block diagram illustrating a configuration example of the column AER circuit 220 according to the first embodiment of the present technology.
  • the column AER circuit 220 includes a column AER block 221 for each column.
  • the column AER block 221 performs handshaking between the corresponding column, the state machine 215, and the column arbiter 213.
  • FIG. 25 is a block diagram illustrating a configuration example of the column AER block 221 according to the first embodiment of the present technology.
  • the column AER block 221 includes an H-side column AER block 222, an L-side column AER block 223, and an OR gate 224.
  • the H side column AER block 222 performs handshake when a low level request ReqHXp1 is input.
  • the H side column AER block 222 outputs a signal obtained by delaying the high level response AckHXa1 to the OR gate 224.
  • the L side column AER block 223 performs handshake when a low level request ReqLXp1 is input.
  • the L side column AER block 223 outputs a signal obtained by delaying the high level response AckLXa1 to the OR gate 224.
  • the low-level request from the pixel array unit 300 is inverted by the H-side column AER block 222 and the L-side column AER block 223.
  • the configurations of the H side column AER block 222 and the L side column AER block 223 are the same as those of the row AER block 270 illustrated in FIG. Note that the configuration of the AER blocks in these rows and columns is not limited to the circuit illustrated in FIG. 23 as long as handshaking can be performed.
  • the OR gate 224 outputs a logical sum of signals from the H side column AER block 222 and the L side column AER block 223 as a response AckXp1.
  • FIG. 26 is a block diagram illustrating a configuration example of the row arbiter 600 according to the first embodiment of the present technology.
  • Arbiter block 610 arbitrates requests from the first line and requests from the second line.
  • the arbiter block 610 performs handshake with the arbiter block 652 and outputs a response to the first or second line based on the arbitration result.
  • the arbiter block 650 arbitrates requests from the third line and requests from the fourth line.
  • the arbiter block 650 performs handshake with the arbiter block 652 and outputs a response to the third or fourth line based on the arbitration result.
  • the arbiter block 651 arbitrates requests from the 5th line and requests from the 6th line.
  • the arbiter block 651 performs handshake with the arbiter block 653, and outputs a response to the fifth or sixth line based on the arbitration result.
  • the arbiter block 652 arbitrates a request from the arbiter block 610 and a request from the arbiter block 650.
  • the arbiter block 652 performs a handshake with the arbiter block 654 and outputs a response to the arbiter block 610 or 650 based on the arbitration result.
  • the arbiter block 653 arbitrates between the request from the arbiter block 651 and the request from the seventh line.
  • the arbiter block 653 performs handshake with the arbiter block 654 and outputs a response to the arbiter block 651 or the seventh line based on the arbitration result.
  • the arbiter block 654 arbitrates between the request from the arbiter block 652 and the request from the arbiter block 653.
  • the arbiter block 654 delays the response to the earlier request by the inverters 601 and 602 and supplies it to the arbiter block 652 or 653.
  • the configuration of the column arbiter 213 is the same as that of the row arbiter 600. Further, the configurations of these arbiters are not limited to the configuration illustrated in FIG. 26 as long as requests can be arbitrated.
  • FIG. 27 is a circuit diagram illustrating a configuration example of the arbiter block 610 according to the first embodiment of the present technology.
  • the arbiter block 610 includes PMOS transistors 611, 614, 615 to 617, 620, 622, 625 and 626, NMOS transistors 612, 613, 618, 619, 623, 624 and 627 and an inverter 621.
  • PMOS transistors 611 and 614 are connected in parallel to the power supply.
  • NMOS transistors 612 and 613 are connected in series between the drains of PMOS transistors 611 and 614 and the ground terminal.
  • the request ReqXa1 from the first row is input to the gates of the PMOS transistor 611 and the NMOS transistor 613.
  • PMOS transistors 615 and 616 are connected in series with the power supply.
  • the request ReqXa1 is input to the gate of the PMOS transistor 615, and the request ReqXa2 from the second row is input to the gate of the PMOS transistor 616.
  • PMOS transistors 617 and 620 are connected in parallel to the power supply.
  • NMOS transistors 618 and 619 are connected in series between the drains of PMOS transistors 617 and 620 and the ground terminal.
  • the gates of the PMOS transistor 617 and the NMOS transistor 618 are connected to the drains of the PMOS transistors 611 and 614.
  • the request ReqXa2 is input to the gates of the PMOS transistor 620 and the NMOS transistor 619.
  • the drains of the PMOS transistors 617 and 620 are connected to the gates of the PMOS transistor 614 and the NMOS transistor 612.
  • connection point of the NMOS transistors 612 and 613, the drain of the PMOS transistor 616, and the connection point of the NMOS transistors 618 and 619 are connected to a signal line that transmits the request ReqXb1.
  • This request ReqXb1 is output to the upper arbiter block 652.
  • the inverter 621 inverts the response AckXb1 from the upper arbiter block 652. This inverter 621 outputs the inverted signal to the gates of the PMOS transistor 625 and the NMOS transistor 624.
  • the PMOS transistors 625 and 626 and the NMOS transistor 627 are connected in series between the power supply and the ground terminal.
  • the PMOS transistor 622 and the NMOS transistor 623 are connected in series between the connection point of the PMOS transistors 625 and 626 and the ground terminal.
  • the source and drain of the NMOS transistor 624 are connected to a connection point between the PMOS transistor 622 and the NMOS transistor 623 and a connection point between the PMOS transistor 626 and the NMOS transistor 627.
  • the gates of the PMOS transistor 622 and the NMOS transistor 623 are connected to the drains of the PMOS transistors 611 and 614.
  • the gates of PMOS transistor 626 and NMOS transistor 627 are connected to the drains of PMOS transistors 617 and 620.
  • a connection point between the PMOS transistor 622 and the NMOS transistor 623 is connected to a signal line that transmits a response AckXa1 to the first row.
  • a connection point between the PMOS transistor 626 and the NMOS transistor 627 is connected to a signal line that transmits a response AckXa2 to the second row.
  • the arbiter block 610 when receiving the request ReqXb1 or the request ReqXb2, the arbiter block 610 outputs the request ReqXb1. Upon receiving the response AckXb1, the arbiter block 610 outputs a response corresponding to the earlier arrival of the request ReqXb1 and the request ReqXb2.
  • the configuration of the arbiter blocks 650 to 654 is the same as that of the arbiter block 610 illustrated in FIG.
  • FIG. 28 is a timing chart illustrating an example of a handshake in the first embodiment of the present technology.
  • the row AER block 270 returns a high-level response AckYp1 if the response CHIP_ACK is high.
  • the W pixel 400 When the response AckYp1 is received, the W pixel 400 outputs a low-level request ReqHXp1 when an on event occurs. When an off event occurs, a low-level request ReqLXp1 is output.
  • the column AER block 221 When the request ReqHXp1 is received, the column AER block 221 returns a high-level response AckXp1 if the response CHIP_ACK is high. Upon receiving the response AckXp1, the W pixel 400 generates a low level reset signal xrst and initializes the requests ReqYp1 and ReqHXp1 to a high level.
  • the column AER block 221 outputs a low-level request CHIP_REQ.
  • the state machine 215 transfers the address event detection result to the DSP circuit 120 and returns a low-level response CHIP_ACK.
  • the row AER block 270 initializes the response AckYp1 to the low level if the request ReqYp1 is at the high level.
  • the column AER block 221 initializes the response AckXp1 to the low level if the request ReqHXp1 is at the high level.
  • the W pixel 400 When the response AckXp1 is initialized, the W pixel 400 initializes the reset signal xrst to the high level, and the column AER block 221 initializes the request CHIP_REQ to the high level. Further, the state machine 215 initializes the response CHIP_ACK to a high level.
  • FIG. 29 is a flowchart illustrating an example of an imaging process according to the first embodiment of the present technology. This imaging process is started, for example, when an application for imaging normal image data is executed.
  • the solid-state imaging device 200 determines whether or not it is the rising timing of VSYNC (step S911). When it is the rising timing of VSYNC (step S911: Yes), each of the pixels in the solid-state imaging device 200 converts the reset level into P-phase data immediately before the end of exposure (step S912). Then, at the end of exposure, the pixel transfers the charge to the FD (step S913), and converts the signal level into D-phase data (step S914). Then, the solid-state imaging device 200 performs CDS processing (step S915). In the case before the rise timing of VSYNC (step S911: No), or after step S915, the solid-state imaging device 200 repeatedly executes step S911 and subsequent steps.
  • FIG. 30 is a flowchart illustrating an example of the AER process according to the first embodiment of the present technology. This AER process is started, for example, when an application for AER is executed.
  • the W pixel 400 in the solid-state imaging device 200 determines whether or not the light amount difference exceeds the value + Th corresponding to the threshold value Vthon (step S921).
  • the W pixel 400 determines whether or not the light amount difference is less than a value ⁇ Th corresponding to the threshold value Vthoff (step S922).
  • the W pixel 400 detects an off event (step S923).
  • the W pixel 400 detects an on event (step S924).
  • step S923 or S924 the W pixel 400 transfers the address event detection result by handshake (step S925), and repeatedly executes step S921 and subsequent steps. If the light amount difference is greater than or equal to -Th (step S922: No), the W pixel 400 repeatedly executes step S921 and subsequent steps.
  • the W pixel 400 since the W pixel 400 detects an address event and converts the pixel signal into a digital signal, the image quality including the digital signal is detected while detecting the address event. Normal image data can be generated.
  • each of the pixels such as the R pixel 310 transfers the P-phase data to the column processing unit 250 after the conversion of the reset level to the P-phase data, and then changes the signal level to D. It was converted to phase data.
  • the sampling period from the start of conversion of the reset level to the end of conversion of the signal level becomes longer by the transfer time of the P-phase data, and the influence of dark current can be sufficiently suppressed. It may not be possible.
  • the solid-state imaging device 200 of the second embodiment is different from the first embodiment in that the sampling period is shortened to suppress the influence of dark current.
  • FIG. 31 is a block diagram illustrating a configuration example of the data storage unit 370 according to the second embodiment of the present technology.
  • the data storage unit 370 of the second embodiment includes a latch circuit 390 for holding both the P-phase data and the D-phase data, and is provided with a latch control circuit 385 for each latch circuit 390. This is different from the embodiment.
  • a latch control circuit 385 and a latch circuit 390 for 30 bits are provided.
  • FIG. 32 is a circuit diagram illustrating a configuration example of the latch control circuit 385 according to the second embodiment of the present technology.
  • the latch control circuit 385 includes a composite gate 386 and a NAND gate 387.
  • the composite gate 386 performs a logical operation on the control signals xWORD and xLATELL from the drive circuit 212 and the signal xVCO from the inverter 371.
  • the composite gate 386 outputs a negative logical sum of the logical product of the control signals xWORD and xVCO and the control signal xLATESELL to the latch circuit 390 as the latch control signal T.
  • the NAND gate 387 outputs a negative logical product of the control signal LATSELL from the drive circuit 212 and the output signal VCO from the positive feedback circuit 360 to the latch circuit 390 as a latch control signal L.
  • FIG. 33 is a timing chart illustrating an example of sampling processing of the solid-state imaging device 200 according to the second embodiment of the present technology.
  • the pixel performs a process of converting the reset level into P-phase data from timing t11 to timing t12.
  • the pixel holds the internal latch circuit 390 without outputting the P-phase data, and subsequently performs a process of converting the signal level into D-phase data from timing t13 to timing t14.
  • FIG. 34 is a timing chart illustrating an example of an operation after sampling of the solid-state imaging device 200 according to the second embodiment of the present technology.
  • the drive circuit 212 outputs the P-phase data by the control signal LATSELL [0].
  • the drive circuit 212 outputs D-phase data in response to the control signal LATSELL [1].
  • the drive circuit 212 outputs the P-phase data by the control signal LATSELL [0].
  • the drive circuit 212 outputs D-phase data in response to the control signal LATSELL [1].
  • the signal level sampling can be started immediately after the reset level sampling. Thereby, a sampling period can be shortened and the influence of dark current can be suppressed.
  • each of the pixels such as the R pixel 310 AD-converts a plurality of signal levels with the same exposure time.
  • the dynamic range may be insufficient under natural light or the like. is there.
  • a method of generating pixel data of short exposure and pixel data of long exposure and combining them is used.
  • this method has a problem that the total exposure time of the long exposure and the short exposure becomes long.
  • the solid-state imaging device 200 according to the modification of the second embodiment is different from the second embodiment in that the dynamic range is expanded while suppressing an increase in exposure time.
  • FIG. 35 is a timing chart illustrating an example of reset level sampling processing of the solid-state imaging device 200 according to the modification of the second embodiment of the present technology.
  • the pixel performs the first reset level conversion process from the timing t11 to the timing t12.
  • the pixel holds the first P-phase data by the control signals WEN and LATSEL [0], and the drive circuit 212 changes the control signal FDG from the high level to the low level to reduce the sensitivity of the pixel.
  • the pixel performs the second reset level conversion process from timing t13 to timing t14.
  • the second P-phase data is held by the control signals WEN and LATSEL [1].
  • the DAC 211 makes the slope of the slope of the reference signal REF gentler than the first time.
  • the second reset level is AD-converted with a higher resolution than the first time due to the decrease in sensitivity and the change in slope slope.
  • the solid-state imaging device 200 performs both the sensitivity control by the control signal FDG and the slope inclination control, but may be configured to perform only one of them.
  • FIG. 36 is a timing chart illustrating an example of signal level sampling processing of the solid-state imaging device 200 according to the modification of the second embodiment of the present technology.
  • the pixel holds the first and second P-phase data, and the first signal level conversion process is performed from timing t15 to timing t16.
  • the pixel further holds the first D-phase data by the control signals WEN and LATSEL [2], and the drive circuit 212 changes the control signal FDG from the low level to the high level to set the pixel sensitivity to the first reset level sampling. Return to the hour value.
  • the pixel performs the second signal level conversion process from timing t17 to timing t18.
  • the second D-phase data is held by the control signals WEN and LATSEL [3].
  • the DAC 211 returns the slope of the reference signal REF to the value at the time of the first reset level sampling. By improving the sensitivity and changing the slope of the slope, the second signal level is AD-converted with a lower resolution than the first.
  • the pixel may be exposed only once, and it is not necessary to perform both the long exposure and the short exposure, so that an increase in the exposure time can be suppressed.
  • FIG. 37 is a timing chart illustrating an example of an operation after sampling of the solid-state imaging device 200 according to the modification of the second embodiment of the present technology.
  • the drive circuit 212 outputs the first P-phase data, and at timing t20, the drive circuit 212 outputs the second P-phase data.
  • the driving circuit 212 outputs the first D-phase data, and at timing t22, the driving circuit 212 can output the second D-phase data.
  • the column processing unit 250 outputs the difference between the first P-phase data and the second D-phase data as low-resolution net pixel data, and the difference between the second P-phase data and the first D-phase data. Are output as high-resolution net pixel data. Then, the DSP circuit 120 synthesizes them to generate composite image data with an expanded dynamic range.
  • the solid-state imaging device 200 since the solid-state imaging device 200 generates two pieces of image data having different resolutions, the dynamic range is expanded by combining them. Can do.
  • FIG. 38 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the third embodiment of the present technology.
  • the solid-state imaging device 200 according to the third embodiment includes a pixel chip 306 and a circuit chip 307 that are stacked.
  • a plurality of pixel circuits such as the pixel circuit 330 are arranged in a two-dimensional lattice pattern.
  • each circuit other than the pixel circuit is arranged.
  • a plurality of ADCs such as the ADC 320 and the time code transfer unit 500 are arranged.
  • FIG. 39 is a block diagram illustrating a configuration example of the data storage unit 370 according to the third embodiment of the present technology.
  • a front-stage latch circuit 710 and a rear-stage latch circuit 720 are arranged for each bit.
  • the pixel data is 16 bits
  • 16 sets of the front latch circuit 710 and the rear latch circuit 720 are arranged.
  • the pre-stage latch circuit 710 holds a time code when the output signal VCO from the comparison circuit 321 is inverted.
  • the pre-stage latch circuit 710 includes inverters 711 to 714.
  • the inverter 711 inverts the k-th bit of the time code and outputs it to the inverter 713 when the output signal VCO is at a high level and the inverted signal xVCO of the output signal VCO is at a low level.
  • the inverter 712 inverts the signal from the inverter 713 and outputs it to the inverter 713 when the output signal VCO is at a low level and the inverted signal xVCO of the output signal VCO is at a high level.
  • the inverter 713 inverts the signal from the inverter 711 or the inverter 312 and outputs it to the inverter 714.
  • the inverter 714 inverts the signal from the inverter 713 and outputs it to the subsequent latch circuit 720.
  • the post-latch circuit 720 holds a signal from the pre-latch circuit 710 under the control of the column processing unit 250.
  • the post-stage latch circuit 720 includes an NMOS transistor 721, a PMOS transistor 722, and inverters 723 to 725.
  • the NMOS transistor 721 and the PMOS transistor 722 are connected in parallel between the pre-stage latch circuit 710 and the input terminals of the inverters 723 and 725.
  • a latch control signal TR_k from the column processing unit 250 is input to the gate of the NMOS transistor 721, and an inverted signal xTR_k of the latch control signal TR_k is input to the gate of the PMOS transistor 722.
  • the latch control signal TR_k is input at a predetermined timing immediately after the k-th bit of the time code is updated, for example.
  • the inverter 723 inverts signals from the NMOS transistor 721 and the PMOS transistor 722 and outputs the inverted signal to the inverter 724.
  • the inverter 724 inverts the signal from the inverter 723 and outputs the inverted signal to the inverter 725 when the latch control signal TR_k is at low level and the inverted signal xTR_k is at high level.
  • the inverter 725 inverts the input signal when the control signal WORD_m [k] (m is 0 or 1) from the drive circuit 212 is high level and the inverted signal xWORD_m [k] is low level. This is output to the line LBL L [k].
  • m indicates which of the left pixel data and the right pixel data is read out.
  • the control signal WORD_0 [k] is supplied.
  • the control signal WORD_1 [k] is supplied.
  • the local bit line LBL L [k] is an example of the first local bit line recited in the claims
  • the local bit line LBL R [k] is the second local bit recited in the claims. It is an example of a line.
  • FIG. 40 is a block diagram illustrating a configuration example of the unit block 520 in the time data transfer unit 500 according to the third embodiment of the present technology.
  • the output terminal of the flip-flop 550 is connected to the subsequent flip-flop 573 via the main bit line MBL.
  • the left bidirectional buffer including the inverter 524 and the buffer 525 is inserted between the main bit line MBL and the left rear latch circuit 720.
  • the right bidirectional buffer including the buffer 526 and the inverter 527 is inserted between the main bit line MBL and the subsequent latch circuit 720 corresponding to the right pixel.
  • the input terminal of the inverter 524 and the output terminal of the buffer 525 are connected to the subsequent latch circuit 720 via the local bit line LBL L [k].
  • the input terminal of the inverter 527 and the output terminal of the buffer 526 are connected to the subsequent latch circuit 720 corresponding to the right pixel via the local bit line LBL R [k].
  • FIG. 41 is a timing chart illustrating an example of pixel data readout control according to the third embodiment of the present technology.
  • the driving circuit 212 supplies a low-level control signal xWORD_0 [15] for transferring pixel data to the left bidirectional buffer.
  • the left data storage unit 370 changes the local bit line LBL L [15] from, for example, a low level to a high level, and the data is transferred to the left bidirectional buffer.
  • the local bit line LBL L [15] may transition from a high level to a low level.
  • the 14th bit to the 0th bit are also transferred in parallel via the local bit lines LBL L [14] to LBL L [0]. 0-bit transfer is omitted.
  • the column processing unit 250 supplies a control signal REN L for reading the left pixel data over a predetermined pulse period from immediately before the timing t51.
  • the left bidirectional buffer outputs data to the main bit line MBL, and the main bit line MBL transitions to a high level before the control signal REN L falls.
  • the column processing unit 250 reads the left pixel data (for example, 16 bits) in synchronization with the master clock MCK via the main bit line MBL.
  • Reading of the left pixel data is completed by timing t53. Over the period from timing t52 to timing t54 before the completion of reading the left pixel data, the drive circuit 212 outputs a low-level control signal xWORD_1 [15] for transferring the pixel data to the right bidirectional buffer. Supply. According to the control signal xWORD_1 [15], the right data storage unit 370 changes the local bit line LBL R [15] from, for example, a high level to a low level, and the data is transferred to the right bidirectional buffer. The local bit line LBL R [15] may transition from the low level to the high level.
  • the column processing unit 250 supplies a control signal REN R for reading out the right side pixel data over a predetermined pulse period immediately before the timing t54.
  • the right bidirectional buffer outputs data to the main bit line MBL, and the main bit line MBL transitions to the low level before the control signal REN R falls.
  • the column processing unit 250 reads out right pixel data (for example, 16 bits) in synchronization with the master clock MCK via the main bit line MBL.
  • the bidirectional buffer is connected to the left data storage unit 370 via the local bit line LBL. Further, the bi-directional buffer is also connected to the right data storage unit 370 by branching the local bit line LBL.
  • FIG. 42 is a timing chart illustrating an example of pixel data readout control in the comparative example.
  • the drive circuit 212 supplies the low-level control signal xWORD_0 [15] over a period from the timing t50 to t51.
  • the left data storage unit 370 causes the local bit line LBL L [15] to transition from, for example, a low level to a high level.
  • the column processing unit 250 supplies the control signal REN L over a predetermined pulse period from immediately before the timing t51.
  • the left bidirectional buffer outputs data to the main bit line MBL, and the main bit line MBL transitions to a high level before the control signal REN L falls.
  • the column processing unit 250 reads the left pixel data in synchronization with the master clock MCK via the main bit line MBL.
  • Reading of the left pixel data is completed by timing t53.
  • the drive circuit 212 supplies the low-level control signal xWORD_1 [15] over a period from timing t54 to timing t55 after timing t53.
  • the right data storage unit 370 changes the local bit line LBL R [15] from, for example, a high level to a low level.
  • the local bit line LBL L [k] for transferring the left pixel data and the local bit line LBL R [k] for transferring the right pixel data are set. Wired individually. Therefore, the transfer of the right pixel data to the bidirectional buffer can be started before the reading of the left pixel data is completed. In other words, the transition of the right local bit line LBL R [k] can be concealed within the readout period of the left pixel data. Thereby, pixel data can be read at a higher speed than the comparative example. In addition, since the capacity that can be seen at the time of reading is reduced, the power consumption of the solid-state imaging device 200 can be reduced.
  • the circuits are distributed and arranged in the stacked pixel chip 306 and the circuit chip 307, the light receiving surface is widened compared to the case where the circuits are arranged in a single semiconductor chip. can do.
  • the local bit line LB L [k] and the local bit line LBL R [k] are individually wired, data can be read at high speed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 43 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 44 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 44 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the solid-state imaging device in the imaging units 12101 to 12104 among the configurations described above.
  • the technique according to the present disclosure it is possible to capture high-quality image data while detecting an address event.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a pixel circuit that outputs two analog signals corresponding to the amount of charge generated by photoelectric conversion;
  • Solid-state imaging comprising a pixel array section in which a plurality of pixels including a specific pixel are arranged in a two-dimensional grid, each having two analog-digital converters that convert each of the two analog signals into digital signals with different resolutions. element.
  • the two analog-digital converters having a lower resolution detects, as an address event, that the amount of change in the amount of charge exceeds a predetermined threshold based on the analog signal.
  • Solid-state image sensor comprising a pixel array section in which a plurality of pixels including a specific pixel are arranged in a two-dimensional grid, each having two analog-digital converters that convert each of the two analog signals into digital signals with different resolutions.
  • the solid-state imaging device according to (1) or (2), wherein in the pixel array unit, only one analog-digital converter is provided for each pixel that does not correspond to the specific pixel.
  • the pixel circuit includes: A photoelectric conversion unit that converts light into the charge; A current-voltage converter that generates one of the two analog signals by current-voltage conversion for the photocurrent flowing through the photoelectric converter; A charge storage section for storing the charge; A discharge transistor that discharges the charge from the photoelectric conversion unit at a start timing of the exposure period; A transfer transistor that transfers the charge from the photoelectric conversion unit to the charge storage unit at the end timing;
  • the solid-state imaging device according to any one of (1) to (3), further including an amplification transistor that amplifies a voltage of the floating diffusion layer and outputs the amplified voltage as the other of the two analog signals.
  • the analog-digital converter is connected to a terminal having a predetermined ground potential
  • the solid-state imaging device according to (4) wherein a potential lower than the predetermined ground potential is applied to a substrate provided with the floating diffusion layer and the photoelectric conversion unit.
  • the pixel circuit further includes a reset transistor that initializes the voltage of the charge storage unit to a reset level before the end timing, The pixel signal includes the reset level and a signal level when the charge is transferred,
  • the solid-state imaging device further including a correlated double sampling circuit that obtains a difference between the reset data and the signal data and outputs the difference as pixel data.
  • the pixel signal includes first and second reset levels and first and second signal levels;
  • the analog-digital converter is A comparison unit that compares a predetermined reference signal having a slope with the pixel signal and outputs a comparison result;
  • a data storage unit for storing data consisting of each of the comparison results as the digital signal, The slope of the slope when comparing each of the second reset level and the first signal level is greater than the slope when comparing each of the first reset level and the second signal level.
  • the solid-state imaging device according to (7) or (8), which is loose.
  • the pixel circuit generates the first reset level and the second signal level with a predetermined sensitivity, and the second reset level and the first signal level with a sensitivity different from the predetermined sensitivity.
  • the solid-state imaging device further including a drive circuit that is generated by the pixel circuit.
  • the lower of the two analog-digital converters is A differentiating circuit for holding the voltage signal;
  • a comparator that compares the held voltage signal with a threshold value within the predetermined range and outputs the comparison result;
  • a solid-state imaging device according to any one of (1) to (10), further comprising: a handshake circuit that transmits a request based on the comparison result and initializes the differentiation circuit when a response to the request is received. .
  • the solid-state imaging device further including an arbiter that arbitrates the request and returns a response based on the arbitration result.
  • (13) a test circuit that outputs a time code of a predetermined number of bits indicating time to one of the two analog-digital converters and detects the presence or absence of a failure for each bit in the time code; A redundant circuit for connecting a spare signal line instead of the bit line corresponding to the bit in which the failure has occurred in the time code,
  • the solid-state imaging device according to any one of (1) to (12), wherein the analog-digital converter converts the pixel signal into the digital signal using the time code.
  • first and second data storage units for holding different digital signals;
  • a first bidirectional buffer that outputs the digital signal transferred from the first data storage unit via a first local bit line to a main bit line according to a first control signal;
  • a second bidirectional buffer for outputting the digital signal transferred from the second data storage unit via a second local bit line to the main bit line according to a second control signal;
  • a column processing unit for reading out the digital signal via the main bit line; Controlling the first data storage unit to transfer the digital signal as the first digital signal to the first bidirectional buffer via the first local bit line; and Driving to control the second data storage unit before the reading is completed and to transfer the digital signal as the second digital signal to the second bidirectional buffer via the second local bit line.
  • the solid-state imaging device according to any one of (1) to (13), further including a circuit.
  • a pixel circuit that outputs two analog signals according to the amount of charge generated by photoelectric conversion, and two analog-digital converters that convert the two analog signals into digital signals with different resolutions.
  • a pixel array unit in which a plurality of pixels including a specific pixel are arranged in a two-dimensional lattice;
  • An imaging apparatus comprising: a digital signal processing unit that processes image data including the digital signal.
  • DESCRIPTION OF SYMBOLS 100 Image pick-up device 110 Optical part 120 DSP circuit 130 Display part 140 Operation part 150 Bus 160 Frame memory 170 Memory

Abstract

アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像する。 固体撮像素子は、特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する。その特定画素は、画素回路と2つのアナログデジタル変換器とを備える。画素回路は、光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する。2つのアナログデジタル変換器は、2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法
 本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、アドレスイベントを検出する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
 従来より、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の固体撮像素子が撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、アドレスイベントを検出するアドレスイベント表現(AER:Address Event Representation)回路を設けた非同期型の固体撮像素子が提案されている(例えば、非特許文献1参照。)。ここで、アドレスイベントは、ある画素アドレスにおいて、画素の光量が変動して、その変動量が閾値を超えた旨を意味する。このアドレスイベントは、画素の光量が変動して所定の上限を超えた旨を示すオンイベントと、その光量が所定の下限を下回った旨を示すオフイベントとからなる。非同期型の固体撮像素子では、1ビットのオンイベントの検出結果と1ビットのオフイベントの検出結果とからなる2ビットのデータが画素毎に生成される。このように画素ごとにオンイベントおよびオフイベントのそれぞれの有無を2ビットのデータにより表現する画像データの形式は、AERフォーマットと呼ばれる。
Patrick Lichtsteiner, et al., A 128 128 120 dB 15  μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.
 上述の非同期型の固体撮像素子では、同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、上述のアドレスイベント表現回路では、画素毎に2ビットのデータしか生成することができないため、同期型の固体撮像素子と比較して画像データの画質が低下してしまう。アドレスイベントを検出しつつ、より高画質の画像データを生成するには、非同期型の個体撮像素子と同期型の固体撮像素子との両方を設ければよいが、サイズ、部品点数やコストが増大するために望ましくない。このように、アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像することが困難であるという問題がある。
 本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像することを目的とする。
 本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、上記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する固体撮像素子、および、その制御方法である。これにより、2つのアナログ信号のそれぞれが互いに異なる分解能によりデジタル信号に変換されるという作用をもたらす。
 また、この第1の側面において、2つのアナログデジタル変換器のうち分解能の低い方は、上記アナログ信号に基づいて上記電荷の量の変動量が所定の閾値を超えた旨をアドレスイベントとして検出してもよい。これにより、アドレスイベントが検出されるという作用をもたらす。
 また、この第1の側面において、上記画素アレイ部において、上記特定画素に該当しない画素のそれぞれには、アナログデジタル変換器が1つのみ設けられてもよい。これにより、複数の画素のうち特定の画素においてアドレスイベントが検出されるという作用をもたらす。
 また、この第1の側面において上記画素回路は、光を上記電荷に変換する光電変換部と、上記光電変換部に流れる上記光電流に対する電流電圧変換により上記2つのアナログ信号の一方を生成する電流電圧変換部と、上記電荷を蓄積する電荷蓄積部と、上記露光期間の開始タイミングにおいて上記光電変換部から上記電荷を排出する排出トランジスタと、上記終了タイミングにおいて上記光電変換部から上記電荷蓄積部へ上記電荷を転送する転送トランジスタと、上記浮遊拡散層の電圧を増幅して上記2つのアナログ信号の他方として出力する増幅トランジスタとを備えてもよい。これにより、露光開始時に電荷が排出され、露光終了時に電荷が転送されるという作用をもたらす。
 また、この第1の側面において、上記アナログデジタル変換部は、所定の接地電位の端子に接続され、上記浮遊拡散層および上記光電変換部を設けた基板には、上記所定の接地電位よりも低い電位が印加されてもよい。これにより、浮遊拡散層や光電変換部において電荷が溢れにくくなるという作用をもたらす。
 また、この第1の側面において、上記画素回路は、上記終了タイミングの前に上記電荷蓄積部の電圧をリセットレベルに初期化するリセットトランジスタをさらに備え、上記画素信号は、上記リセットレベルと上記電荷が転送されたときの信号レベルとを含み、上記デジタル信号は、上記リセットレベルを変換したリセットデータと上記信号レベルを変換した信号データとを含んでもよい。これにより、リセットレベルを変換したデータと信号レベルを変換したデータとが出力されるという作用をもたらす。
 また、この第1の側面において、上記リセットデータと上記信号データとの差分を求めて画素データとして出力する相関二重サンプリング回路をさらに具備してもよい。これにより、固定パターンノイズなどが低減されるという作用をもたらす。
 また、この第1の側面において、上記アナログデジタル変換器は、上記リセットデータを保持し、上記信号レベルを変換すると上記リセットデータおよび上記信号データを上記相関二重サンプリング回路に順に出力してもよい。これにより、暗電流の影響が抑制されるという作用をもたらす。
 また、この第1の側面において、上記画素信号は、第1および第2のリセットレベルと第1および第2の信号レベルとを含み、上記アナログデジタル変換器は、スロープを持つ所定の参照信号と上記画素信号とを比較して比較結果を出力する比較部と、上記比較結果のそれぞれからなるデータを上記デジタル信号として記憶するデータ記憶部とを備え、上記第2のリセットレベルと上記第1の信号レベルとのそれぞれを比較するときの上記スロープの傾きは、上記第1のリセットレベルと上記第2の信号レベルとのそれぞれを比較するときの傾きより緩やかであってもよい。これにより、分解能の異なる2枚の画像データが生成されるという作用をもたらす。
 また、この第1の側面において、上記第1のリセットレベルと上記第2の信号レベルとを所定の感度により上記画素回路に生成させ、上記第2のリセットレベルと上記第1の信号レベルとを所定感度と異なる感度により上記画素回路に生成させる駆動回路をさらに具備してもよい。これにより、分解能の異なる2枚の画像データが生成されるという作用をもたらす。
 また、この第1の側面において、上記2つのアナログデジタル変換器のうち分解能の低い方は、上記電圧信号を保持する微分回路と、上記保持された電圧信号と上記所定の範囲内の閾値とを比較して当該比較結果を出力するコンパレータと、上記アドレスイベントが検出されたときにリクエストを送信し、上記リクエストに対する応答を受信したときに上記微分回路を初期化するハンドシェイク回路とを備えてもよい。これにより、アドレスイベントの検出結果がハンドシェイクにより転送されるという作用をもたらす。
 また、この第1の側面において、上記リクエストを調停して当該調停結果に基づいて応答を返信するアービタをさらに具備することもできる。これにより、アドレスイベントの衝突が回避されるという作用をもたらす。
 また、この第1の側面において、時刻を示す所定ビット数の時刻コードを上記2つのアナログデジタル変換器の一方に出力するとともに上記時刻コードにおいてビットごとに故障の有無を検出するテスト回路と、上記時刻コードにおいて故障の生じた上記ビットに対応するビット線の代わりに予備の信号線を接続する冗長回路とをさらに具備し、上記アナログデジタル変換器は、上記時刻コードを用いて上記画素信号を上記デジタル信号に変換することもできる。これにより、固体撮像素子の信頼性が向上するという作用をもたらす。
 また、この第1の側面において、互いに異なる上記デジタル信号を保持する第1および第2のデータ記憶部と、上記第1のデータ記憶部から第1のローカルビット線を介して転送された上記デジタル信号を第1の制御信号に従ってメインビット線へ出力する第1の双方向バッファと、上記第2のデータ記憶部から第2のローカルビット線を介して転送された上記デジタル信号を第2の制御信号に従って上記メインビット線へ出力する第2の双方向バッファと、上記メインビット線を介して上記デジタル信号を読み出す列処理部と、上記第1のデータ記憶部を制御して上記デジタル信号を第1のデジタル信号として上記第1の双方向バッファへ上記第1のローカルビット線を介して転送させる制御と上記第1のデジタル信号の読出し完了前に上記第2のデータ記憶部を制御して上記デジタル信号を第2のデジタル信号として上記第2の双方向バッファへ上記第2のローカルビット線を介して転送させる制御とを行う駆動回路とをさらに具備することもできる。これにより、第1のデジタル信号の読出し完了前に第2の双方向バッファへ第2のデジタル信号が転送されるという作用をもたらす。
 また、本技術の第2の側面は、光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、上記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部と、上記デジタル信号からなる画像データを処理するデジタル信号処理部とを具備する撮像装置である。これにより、2つのアナログ信号が異なる分解能によりデジタル信号に変換されるとともに、同期信号に同期して画像データが処理されるという作用をもたらす。
 本技術によれば、アドレスイベントを検出する固体撮像素子において、高画質の画像を撮像することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第1の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素アレイ部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるR(Red)画素の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素回路、差動入力回路、電圧変換回路および正帰還回路の一構成例を示す回路図である。 本技術の第1の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるラッチ制御回路およびラッチ回路の一構成例を示す回路図である。 本技術の第1の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第1の実施の形態におけるW(White)画素の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるアドレスイベント検出部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるW画素の一構成例を示す回路図である。 本技術の第1の実施の形態におけるコンパレータの入出力特性の一例を示すグラフである。 本技術の第1の実施の形態におけるAERロジック回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における時刻コード発生部の一構成例を示すブロック図である。 本技術の第1の実施の形態における冗長回路の一構成例を示す回路図である。 本技術の第1の実施の形態における時刻コード転送部の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるクラスタの一構成例を示すブロック図である。 本技術の第1の実施の形態における単位ブロックの一構成例を示す回路図である。 本技術の第1の実施の形態におけるバッファ回路の一構成例を示す回路図である。 本技術の第1の実施の形態におけるフリップフロップの一構成例を示す回路図である。 本技術の第1の実施の形態における列処理部の一構成例を示すブロック図である。 本技術の第1の実施の形態における行AER回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における行AERブロックの一構成例を示す回路図である。 本技術の第1の実施の形態における列AER回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における列AERブロックの一構成例を示すブロック図である。 本技術の第1の実施の形態における行アービタの一構成例を示すブロック図である。 本技術の第1の実施の形態におけるアービタブロックの一構成例を示す回路図である。 本技術の第1の実施の形態におけるハンドシェイクの一例を示すタイミングチャートである。 本技術の第1の実施の形態における撮像処理の一例を示すフローチャートである。 本技術の第1の実施の形態におけるAER処理の一例を示すフローチャートである。 本技術の第2の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第2の実施の形態におけるラッチ制御回路の一構成例を示す回路図である。 本技術の第2の実施の形態における固体撮像素子のサンプリング処理の一例を示すタイミングチャートである。 本技術の第2の実施の形態における固体撮像素子のサンプリング後の動作の一例を示すタイミングチャートである。 本技術の第2の実施の形態の変形例における固体撮像素子のリセットレベルサンプリング処理の一例を示すタイミングチャートである。 本技術の第2の実施の形態の変形例における固体撮像素子の信号レベルサンプリング処理の一例を示すタイミングチャートである。 本技術の第2の実施の形態の変形例における固体撮像素子のサンプリング後の動作の一例を示すタイミングチャートである。 本技術の第3の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第3の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第3の実施の形態における時刻コード転送部内の単位ブロックの一構成例を示すブロック図である。 本技術の第3の実施の形態における画素データの読出し制御の一例を示すタイミングチャートである。 比較例における画素データの読出し制御の一例を示すタイミングチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
 1.第1の実施の形態(アドレスイベントを検出しつつ、画素信号をAD変換する例)
 2.第2の実施の形態(アドレスイベントを検出しつつ、短いサンプリング期間でAD変換する例)
 3.第3の実施の形態(積層型の固体撮像素子においてアドレスイベントを検出しつつ、画素信号をAD変換する例)
 4.移動体への応用例
 <1.第1の実施の形態>
 [撮像装置の構成例]
 図1は、本技術の第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像するための装置であり、光学部110、固体撮像素子200およびDSP(Digital Signal Processing)回路120を備える。さらに撮像装置100は、表示部130、操作部140、バス150、フレームメモリ160、記憶部170および電源部180を備える。撮像装置100としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
 光学部110は、被写体からの光を集光して固体撮像素子200に導くものである。固体撮像素子200は、垂直同期信号VSYNCに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号VSYNCは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子200は、生成した画像データをDSP回路120に信号線209を介して供給する。
 DSP回路120は、固体撮像素子200からの画像データに対して所定の信号処理を実行するものである。このDSP回路120は、処理後の画像データをバス150を介してフレームメモリ160などに出力する。なお、DSP回路120は、特許請求の範囲に記載のデジタル信号処理部の一例である。
 表示部130は、画像データを表示するものである。表示部130としては、例えば、液晶パネルや有機EL(Electro Luminescence)パネルが想定される。操作部140は、ユーザの操作に従って操作信号を生成するものである。
 バス150は、光学部110、固体撮像素子200、DSP回路120、表示部130、操作部140、フレームメモリ160、記憶部170および電源部180が互いにデータをやりとりするための共通の経路である。
 フレームメモリ160は、画像データを保持するものである。記憶部170は、画像データなどの様々なデータを記憶するものである。電源部180は、固体撮像素子200、DSP回路120や表示部130などに電源を供給するものである。
 [固体撮像素子の構成例]
 図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、DAC(Digital to Analog Converter)211、駆動回路212、列アービタ213、列AER回路220、列アドレスエンコーダ214および時刻コード発生部230を備える。また、固体撮像素子200は、画素アレイ部300、列処理部250、ステートマシン215、行アドレスエンコーダ216、行AER回路260および行アービタ600を備える。また、画素アレイ部300には、二次元格子状に複数の画素が配列される。以下、画素アレイ部300において所定の方向に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
 DAC211は、DA(Digital to Analog)変換により、スロープ状に変化するアナログの参照信号を生成するものである。このDAC211は、参照信号を画素アレイ部300に供給する。
 駆動回路212は、垂直同期信号VSYNCに同期して画素アレイ部300内の画素を駆動するものである。
 画素アレイ部300内の画素のそれぞれは、デジタルの画素データを生成する。また、画素のうち一部は、画素データに加えて、アドレスイベントの検出結果も生成する。ここで、アドレスイベントは、オンイベントおよびオフイベントを含み、検出結果は、1ビットのオンイベントの検出結果と1ビットのオフイベントの検出結果とを含む。オンイベントは、画素の光量が所定の基準値よりも大きな値に変動した際に、その変動量の絶対値が所定の閾値を超えた旨を意味する。一方、オフイベントは、画素の光量が所定の基準値よりも小さな値に変動した際に、その変動量の絶対値が所定の閾値を超えた旨を意味する。例えば、基準値を「10」とし、閾値を「5」とする。この場合に光量が「16」に変動すると、変動量は「+6」であり、その絶対値が閾値「5」を超えるため、オンイベントが検出される。また、光量が「4」に変動すると、変動量は「-6」であり、その絶対値が閾値「5」を超えるため、オフイベントが検出される。
 画素は、画素データを列処理部250に供給する。また、画素は、アドレスイベントを検出した際に行AER回路260との間で、アドレスイベントの検出結果を外部出力させるためにリクエストおよび応答の送受信(以下、「ハンドシェイク」と称する。)を行う。次に画素は、列AER回路220との間でハンドシェイクを行う。
 列アービタ213は、列AER回路220からのリクエストを調停して調停結果に基づいて応答を列AER回路220に送信するものである。
 列AER回路220は、列のそれぞれと、列アービタ213と、ステートマシン215との間で、アドレスイベントの検出結果の外部出力を要求するリクエストと応答とを送受信(ハンドシェイク)するものである。
 列アドレスエンコーダ214は、アドレスイベントの発生した列のアドレスをエンコードしてステートマシン215に送信するものである。
 時刻コード発生部230は、時刻コードを発生するものである。この時刻コードは、参照信号がスロープ状に変化する期間内の時刻を示す。時刻コード発生部230は、発生した時刻コードを画素アレイ部300に供給する。
 列処理部250は、画素データに対して相関二重サンプリング(CDS:Correlated Double Sampling)処理を行うものである。処理後の画素データからなる画像データは、DSP回路120へ供給される。
 行アドレスエンコーダ216は、アドレスイベントの発生した行のアドレスをエンコードしてステートマシン215に送信するものである。
 行アービタ600は、行AER回路260からのリクエストを調停して調停結果に基づいて応答を行AER回路260に送信するものである。
 行AER回路260は、行のそれぞれと、行アービタ600と、ステートマシン215との間で、アドレスイベントの検出結果の外部出力を要求するリクエストと応答とを送受信(ハンドシェイク)するものである。
 ステートマシン215は、列AER回路220および行AER回路260との間でハンドシェイクを行うものである。このステートマシン215は、列AER回路220および行AER回路260からリクエストを受信すると、列アドレスエンコーダ214および行アドレスエンコーダ216からのデータをデコードして、アドレスイベントの検出されたアドレスを特定する。そして、ステートマシン215は、そのアドレスの検出結果をDSP回路120に供給する。画素毎のアドレスイベントの検出結果を2次元格子状に配列することにより、画像データが生成される。
 以下、列処理部250からのAERフォーマットでない方の画像データを「通常画像データ」と称し、AERフォーマットの画像データを「AER画像データ」と称する。
 [画素アレイ部の構成例]
 図3は、本技術の第1の実施の形態における画素アレイ部300の一構成例を示すブロック図である。この画素アレイ部300において、所定数のR(Red)画素310と、所定数のG(Green)画素311と、所定数のB(Blue)画素312と、所定数のW(White)画素400とが二次元格子状に配列される。また、2列ごとに、奇数列と偶数列との間に時刻コード転送部500が配置される。
 R画素310は、赤色の光を受光して光電変換により画素データを生成するものである。また、G画素311は、緑色の光を受光して画素データを生成するものであり、B画素312は、青色の光を受光して画素データを生成するものである。
 W画素400は、白色の光を受光して画素データを生成するものである。また、W画素400は、アドレスイベントを検出する。
 時刻コード転送部500は、時刻コードを転送するものである。時刻コード転送部500の詳細については後述する。
 [R画素の構成例]
 図4は、本技術の第1の実施の形態におけるR画素310の一構成例を示すブロック図である。このR画素310は、画素回路330とADC320とを備える。ADC320は、比較回路321およびデータ記憶部370を備える。また、比較回路321は、差動入力回路340、電圧変換回路350および正帰還回路360を備える。G画素311およびB画素312の構成は、R画素310と同様である。
 画素回路330は、光電変換によりリセットレベルまたは信号レベルを画素信号SIGとして生成するものである。ここで、リセットレベルは、露光開始時以降にFD(Floating Diffusion)が初期化された時の電圧であり、信号レベルは、露光終了時の露光量に応じた電圧である。画素回路330は、リセットレベルおよび信号レベルを順に差動入力回路340に供給する。
 ADC320は、画素信号SIG(リセットレベルまたは信号レベル)をデジタル信号にAD変換するものである。リセットレベルをAD変換したデータを以下、「P相データ」と称する。また、信号レベルをAD変換したデータを以下、「D相データ」と称する。なお、P相データは、特許請求の範囲に記載のリセットデータの一例であり、D相データは、特許請求の範囲に記載の信号データの一例である。
 ADC320内の差動入力回路340は、DAC211からの参照信号REFと、画素回路330からの画素信号SIGとを比較するものである。この差動入力回路340は、比較結果を示す比較結果信号を電圧変換回路350に供給する。
 電圧変換回路350は、差動入力回路340からの比較結果信号の電圧を変換して正帰還回路360に出力するものである。
 正帰還回路360は、出力の一部を入力(比較結果信号)に加算し、出力信号VCOとしてデータ記憶部370に出力するものである。
 データ記憶部370は、出力信号VCOが反転したときの時刻コードを保持するものである。このデータ記憶部370は、リセットレベルに対応する時刻コードをP相データとして出力し、信号レベルに対応する時刻コードをD相データとして出力する。
 図5は、本技術の第1の実施の形態における画素回路330、差動入力回路340、電圧変換回路350および正帰還回路360の一構成例を示す回路図である。
 画素回路330は、リセットトランジスタ331、容量332、ゲイン制御トランジスタ333、FD(Floating Diffusion)334、転送トランジスタ335、フォトダイオード336および排出トランジスタ337を備える。リセットトランジスタ331、ゲイン制御トランジスタ333、転送トランジスタ335および排出トランジスタ337として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
 フォトダイオード336は、光電変換により電荷を生成するものである。排出トランジスタ337は、駆動回路212からの駆動信号OFGに従って露光開始時にフォトダイオード336に蓄積された電荷を排出させるものである。
 転送トランジスタ335は、駆動回路212からの転送信号TXに従って、露光終了時にフォトダイオード336からFD334へ電荷を転送するものである。
 FD334は、転送された電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。なお、FD334は、特許請求の範囲に記載の電荷蓄積部の一例である。
 リセットトランジスタ331は、駆動回路212からのリセット信号RSTに従って、FD334を初期化するものである。
 ゲイン制御トランジスタ333は、駆動回路212からの制御信号FDGに従って、FD334の電圧に対するアナログゲインを制御するものである。FD334の電圧をアナログゲインにより低減して出力することにより、R画素310の取扱い信号量、すなわち飽和信号量を拡大することができる。
 また、ゲイン制御トランジスタ333とリセットトランジスタ331とは直列に接続され、容量332の一端は、ゲイン制御トランジスタ333とリセットトランジスタ331との接続点に接続される。
 なお、ゲイン制御トランジスタ333および容量332は、ゲイン制御の必要に応じて設けられ、これらを設けない構成とすることもできる。
 差動入力回路340は、PMOS(Positive channel MOS)トランジスタ341、344および346と、NMOS(Negative channel MOS)トランジスタ342、343および345とを備える。
 NMOSトランジスタ342および345は、差動対を構成し、これらのトランジスタのソースは、NMOSトランジスタ343のドレインに共通に接続される。また、NMOSトランジスタ342のドレインは、PMOSトランジスタ341のドレインとPMOSトランジスタ341および344のゲートとに接続される。NMOSトランジスタ345のドレインは、PMOSトランジスタ344のドレインとPMOSトランジスタ346のゲートとリセットトランジスタ331のドレインとに接続される。また、NMOSトランジスタ342のゲートには、参照信号REFが入力される。
 NMOSトランジスタ343のゲートには、所定のバイアス電圧Vbが印加され、NMOSトランジスタ343のソースには、所定の接地電圧が印加される。NMOSトランジスタ345のゲートは、ゲイン制御トランジスタ333およびFD334および転送トランジスタ335に接続される。
 PMOSトランジスタ341および344は、カレントミラー回路を構成する。PMOSトランジスタ341、344および346のソースには、電源電圧VDDHが印加される。この電源電圧VDDHは、電源電圧VDDLよりも高い。また、PMOSトランジスタ346のドレインは、電圧変換回路350に接続される。
 また、画素回路330と、NMOSトランジスタ342、343および345とは、画素ウェハー305上に形成される。
 また、R画素310において,電流源のNMOSトランジスタ343のソース電位と、画素ウェハー305の基板のバイアスは意図的に変更している。DAC211をA/D変換期間外の時間内にオフレベル(0Vやグランドレベルなど)に落としておくことにより、比較回路321に電流が流れなくなるため、消費電力を低減することができる。しかしながら、オフレベルに落としたことにより、電流源のNMOSトランジスタ343のドレインと、増幅用のNMOSトランジスタ342および345のドレインの電位がグランドになる。これは電荷が0Vレベルまでたまることを意味し、ここの電荷が画素回路330のフォトダイオード336へオーバーフローする。これは距離依存と該当部位(電流源のドレインと増幅用のトランジスタのドレイン)とその間のP-Wellの障壁にあまり差がないため、熱励起された電荷がフォトダイオード336まで拡散されることに起因する。これを避けるため、P―Wellの電位を負に引いている。これにより約240ミリボルト(mV)ほど、グランドより負にすることで、該当部位からの電荷のフォトダイオード336への漏れを抑制することができる。
 電圧変換回路350は、NMOSトランジスタ351を備える。このNMOSトランジスタ351のゲートには電源電圧VDDLが印加される。また、NMOSトランジスタ351のドレインは、PMOSトランジスタ346のドレインに接続され、ソースは、正帰還回路360に接続される。この電圧変換回路350により、電源電圧VDDHを、より低い電源電圧VDDLに変換し、低電圧で動作する回路を後段に配置することができる。なお、電圧変換回路350により電源電圧VDDHを電源電圧VDDLに変換する構成としているが、この構成に限定されない。例えば、電源電圧VDDHおよびVDDLを同じ電圧とし、電圧変換回路350が不要な構成としてもよい。
 正帰還回路360はPMOSトランジスタ361、362、365および366と、NMOSトランジスタ363、364および367とを備える。PMOSトランジスタ361および362は、電源電圧VDDLに直列に接続される。また、PMOSトランジスタ361のゲートには、駆動回路212からの駆動信号INI2が入力される。PMOSトランジスタ362のドレインは、NMOSトランジスタ351のソースとNMOSトランジスタ363のドレインと、PMOSトランジスタ365およびNMOSトランジスタ364のゲートとに接続される。
 NMOSトランジスタ363のソースには接地電圧が印加され、ゲートには、駆動回路212からの駆動信号INI1が入力される。
 PMOSトランジスタ365および366は、電源電圧VDDLに直列に接続される。また、PMOSトランジスタ366のドレインは、PMOSトランジスタ362のゲートと、NMOSトランジスタ364および367のドレインとに接続される。PMOSトランジスタ366およびNMOSトランジスタ367のゲートには、駆動回路212からの制御信号TESTVCOが入力される。
 NMOSトランジスタ364および367のドレインからは、出力信号VCOが出力される。また、NMOSトランジスタ364および367のソースには、接地電圧が印加される。
 なお、画素回路330、差動入力回路340、電圧変換回路350および正帰還回路360のそれぞれは、図4で説明した機能を持つのであれば、図5に例示した回路に限定されない。
 [データ記憶部の構成例]
 図6は、本技術の第1の実施の形態におけるデータ記憶部370の一構成例を示すブロック図である。このデータ記憶部370は、ラッチ制御回路380と、D相データのビット数D(Dは、整数)と同じ個数のラッチ回路390とを備える。ラッチ制御回路380は、駆動回路212からの制御信号xWORDに従って、出力信号VCOの値(論理値「0」または「1」)をラッチ回路390のいずれかに保持させるものである。制御信号xWORDは、制御信号WORDを反転した信号である。
 ラッチ回路390は、ラッチ制御回路380の制御に従って、出力信号VCOの値を保持するものである。ラッチ回路390は、ローカルビット線LBLを介して時刻コード転送部500と接続される。
 [ラッチ制御回路およびラッチ回路の構成例]
 図7は、本技術の第1の実施の形態におけるラッチ制御回路380およびラッチ回路390の一構成例を示すブロック図である。このラッチ制御回路380は、NORゲート381と、インバータ382および383とを備える。
 NORゲート381は、制御信号xWORDおよび出力信号VCOの否定論理和をインバータ382に出力するものである。インバータ382は、NORゲート381からの出力値を反転してラッチ制御信号Tとしてラッチ回路390に出力するものである。
 インバータ383は、出力信号VCOを反転してラッチ入力信号Lとしてラッチ回路390に出力するものである。
 また、ラッチ回路390は、スイッチ391と、インバータ392および393を備える。スイッチ391は、ラッチ制御回路380からのラッチ制御信号Tに従って、インバータ392と、ローカルビット線LBLとの間の経路を開閉するものである。このローカルビット線LBLは、時刻コード転送部500に接続される。
 インバータ392は、ラッチ制御回路380からのラッチ入力信号Lに従って、インバータ393からの信号を反転するものである。このインバータ392は、反転した信号をインバータ393の入力端子とスイッチ391とに出力する。
 インバータ393は、インバータ392からの信号を反転してインバータ392の入力端子に出力するものである。
 なお、ラッチ制御回路380およびラッチ回路390は、同等の機能を持つものであれば、図7に例示した回路に限定されない。
 図8は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すタイミングチャートである。1V期間の開始タイミングt10において、駆動回路212は、リセット信号RSTより、FDを初期化する。ここで、1V期間は、垂直同期信号VSYNCの周期である。また、タイミングt10の前において、全画素の露光が開始されているものとする。
 タイミングt11から一定期間に亘って、DAC211は、参照信号REFをスロープ状に減少させる。データバスは、時刻コード転送部500内のリピータ回路のデータである。ローカルビット線LBLを介して外部から送信されてくるデータをラッチ制御回路380は、ラッチ回路390に書き込み続け、出力信号VCOのスロープとFD334の電位との交差点であるタイミングt12において出力信号VCOが反転し、書込みを停止する。次に、そのデータはタイミングt13において読み出され、時刻コード転送部500内のメモリに保持される。このデータが、FD334の電圧値と回路のオフセットとを含むリセットレベルを変換したデジタル値(P相データ)となる。このP相データは読み出されて列処理部250内のメモリに保持される。
 続いて全画素において露光終了時のタイミングt14に駆動回路212は、転送信号TXを送信して電荷をFD334に転送する。また、タイミングt15から一定期間に亘って、DAC211は、参照信号REFをスロープ状に減少させる。ローカルビット線LBLを介して送信されてくるデータをラッチ制御回路380は、ラッチ回路390に書き込み続け、タイミングt16において出力信号VCOが反転し、書込みを停止する。そのデータはタイミングt17において読み出され、時刻コード転送部500内のメモリに保持される。このデータが信号レベルを変換したD相データとなる。
 列処理部250は、列ごとにP相データとD相データとの差分を正味の画素データとして求める。露光開始時のタイミングt18において、駆動回路212は、駆動信号OFGの送信により、全画素においてフォトダイオード336の電荷を排出させる。このように露光開始および露光終了のタイミングは全画素で同時であり、このような露光制御は、グローバルシャッターと呼ばれる。そして、タイミングt19において1V期間が終了する。
 なお、制御信号FDGは、リセット信号RSTと同様に制御される。このため、リセット信号RSTが常にハイレベルになるときには、FD334の変換効率が低下している(言い換えれば、FD334の容量が大きくなっている)。これにより、フォトダイオード336で発生した電荷が多くなり過ぎた際に、FD334で受けきれなくなることを回避することができる。
 [W画素の構成例]
 図9は、本技術の第1の実施の形態におけるW画素400の一構成例を示すブロック図である。このW画素400は、ADC405、画素回路410およびアドレスイベント検出部430を備える。
 画素回路410は、画素信号SIG(リセットレベルまたは信号レベル)を生成してADC405に出力するとともに、電圧信号Vpを生成してアドレスイベント検出部430に出力するものである。ここで、電圧信号Vpは、光電変換により生じた電荷の量に応じた光電流に対して電流電圧変換を行って生成した電圧信号である。
 ADC405は、画素信号SIGをデジタル信号(P相データまたはD相データ)に変換するものである。ADC405の構成は、R画素310内のADC320と同様である。ADC405は、駆動回路212の制御に従って画素信号SIGを、例えば、15ビットのデジタル信号に変換し、時刻コード転送部500に出力する。
 アドレスイベント検出部430は、電圧信号Vpに基づいて、W画素400における受光量(電荷の量)の変動量の絶対値が所定の閾値を超えた旨をアドレスイベントとして検出するものである。このアドレスイベント検出部430は、アドレスイベントを検出したときに、行AER回路260との間でハンドシェイクを行い、次に列AER回路220との間でハンドシェイクを行う。アドレスイベントの検出結果は、例えば、2ビットであり、ADC405からのデジタル信号よりもビット数が少ない。このように、W画素400には、ADC405と、そのADC405よりも分解能の低いADCであるアドレスイベント検出部430との2つのADCが設けられている。なお、アドレスイベント検出部430は、特許請求の範囲に記載のアナログデジタル変換器の一例である。
 [アドレスイベント検出部の構成例]
 図10は、本技術の第1の実施の形態におけるアドレスイベント検出部430の一構成例を示すブロック図である。このアドレスイベント検出部430は、バッファ440、微分回路450、コンパレータ460およびAERロジック回路470を備える。
 バッファ440は、例えば、ソースフォロワにより構成され、電圧信号Vpに対するインピーダンス変換に用いられる。
 微分回路450は、例えば、スイッチトキャパシタ回路により構成され、リセットされたときの基準値に対してVpが変化した分の微分信号を取得するものである。この微分回路450は、微分信号をコンパレータ460に供給する。
 コンパレータ460は、微分信号のレベルを閾値VthonおよびVthoffのそれぞれと比較するものである。このコンパレータ460は、閾値Vthonとの比較結果をVCHとしてAERロジック回路470に出力し、閾値Vthoffとの比較結果をVCLとしてAERロジック回路470に出力する。
 ここで、閾値Vthonは、閾値Vthoffよりも高い値に設定される。微分信号が閾値Vthonを越えることは、W画素400の受光量の変動量が閾値Vthonに対応する値を超えたことを意味する。また、微分信号が閾値Vthoffを下回ることは、W画素400の受光量の変動量の絶対値が閾値Vthoffに対応する値を超えたことを意味する。このため、微分信号が閾値Vthonを超えた場合にアドレスイベントのうちオンイベントが検出され、閾値Vthoffを下回った場合にオフイベントが検出される。
 AERロジック回路470は、比較結果VCHおよびVCLに基づいてハンドシェイクを行うものである。このAERロジック回路470は、アドレスイベントの有無を検出して、アドレスイベントが生じた場合に行AER回路260との間でハンドシェイクを行う。次にAERロジック回路470は、列AER回路220との間でハンドシェイクを行い、リセット信号xrstにより微分回路450をリセットする。なお、AERロジック回路470は、特許請求の範囲に記載のハンドシェイク回路の一例である。
 図11は、本技術の第1の実施の形態におけるW画素400の一構成例を示す回路図である。画素回路410は、リセットトランジスタ411、容量412、ゲイン制御トランジスタ413、FD414、転送トランジスタ415、対数応答部422、フォトダイオード418および排出トランジスタ419を備える。
 リセットトランジスタ411、容量412、ゲイン制御トランジスタ413、FD414、転送トランジスタ415、フォトダイオード418および排出トランジスタ419の構成は、R画素310内の同名の素子と同一である。
 対数応答部422は、NMOSトランジスタ416、417および420と、PMOSトランジスタ421とを備える。NMOSトランジスタ416および417は、転送トランジスタ415および排出トランジスタ419の接続点と、フォトダイオード418との間において、直列に接続される。また、PMOSトランジスタ421およびNMOSトランジスタ420は、電源と接地端子との間において直列に接続される。
 また、NMOSトランジスタ416のゲートにはバイアス電圧Vbcusが印加され、PMOSトランジスタ421のゲートには、バイアス電圧Vblogが印加される。NMOSトランジスタ420のゲートは、NMOSトランジスタ417およびフォトダイオード418の接続点に接続され、NMOSトランジスタ417のゲートは、NMOSトランジスタ420およびPMOSトランジスタ421の接続点とバッファ440とに接続される。このような接続により、フォトダイオード418に流れる光電流は、対数的に電圧Vpに変換される。
 また、画素回路410のうちPMOSトランジスタ421以外の素子と、ADC405のうち差動対のNMOSトランジスタ423および424と、電流源のNMOSトランジスタ425とは、画素ウェハー406上に設けられる。W画素400においても、R画素310と同様に、電流源のNMOSトランジスタ425のソース電位と、画素ウェハー406の基板のバイアスは意図的に変更されている。
 また、バッファ440は、電源および接地端子の間において直列に接続されたPMOSトランジスタ441および442を備える。接地側のPMOSトランジスタ442のゲートは、画素回路410に接続され、電源側のPMOSトランジスタ441のゲートには、バイアス電圧Vbsfが印加される。また、PMOSトランジスタ441および442の接続点は、微分回路450に接続される。この接続により、Vpに対するインピーダンス変換が行われる。
 微分回路450は、容量451および453と、PMOSトランジスタ452および454と、NMOSトランジスタ455とを備える。
 容量451の一端は、バッファ440に接続され、他端は、容量453の一端とPMOSトランジスタ454のゲートとに接続される。PMOSトランジスタ452のゲートにはリセット信号xrstが入力され、ソースおよびドレインは容量453の両端に接続される。PMOSトランジスタ454およびNMOSトランジスタ455は電源と接地端子との間において直列に接続される。また、容量453の他端は、PMOSトランジスタ454およびNMOSトランジスタ455の接続点に接続される。接地側のNMOSトランジスタ455のゲートには、バイアス電圧Vbaが印加され、PMOSトランジスタ454およびNMOSトランジスタ455の接続点はコンパレータ460にも接続される。このような接続により、微分信号が生成されてコンパレータ460に出力される。また、微分信号は、リセット信号xrstにより初期化される。
 コンパレータ460は、PMOSトランジスタ461および463とNMOSトランジスタ462および464とを備える。PMOSトランジスタ461およびNMOSトランジスタ462は、電源と接地端子との間において直列に接続され、PMOSトランジスタ463およびNMOSトランジスタ464も、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ461および463のゲートは、微分回路450に接続される。NMOSトランジスタ462のゲートには閾値Vthonを生成するためのバイアス電圧Vbonが印加され、NMOSトランジスタ464のゲートには閾値Vthoffを生成するためのバイアス電圧Vboffが印加される。
 PMOSトランジスタ461およびNMOSトランジスタ462の接続点は、AERロジック回路470に接続され、この接続点の電圧が比較結果VCHとして出力される。PMOSトランジスタ463およびNMOSトランジスタ464の接続点も、AERロジック回路470に接続され、この接続点の電圧が比較結果VCLとして出力される。このような接続により、微分信号が閾値Vthonを超えた場合にコンパレータ460は、ハイレベルの比較結果VCHを出力し、微分信号が閾値Vthoffを下回った場合にローレベルの比較結果VCLを出力する。
 図12は、本技術の第1の実施の形態におけるコンパレータ460の入出力特性の一例を示すグラフである。同図における縦軸は、コンパレータ460の出力信号(VCHまたはVCL)のレベルを示し、横軸はコンパレータ460の入力信号(微分信号)のレベルを示す。また、実線は、比較結果VCHの軌跡を示し、一点鎖線は、比較結果VCLの軌跡を示す。
 微分信号が「0」レベルのときの光量を基準とし、その基準に対する正の光量差(変動量)が閾値Vthonに対応する値を超えると、比較結果VCHはローレベルからハイレベルに変化してオンイベントが検出される。一方、基準に対する負の光量差の絶対値が閾値Vthoffに対応する値を超えると、比較結果VCLはハイレベルからローレベルに変化してオフイベントが検出される。
 W画素400のそれぞれのアドレスイベントの検出結果をDSP回路120は、様々なアプリケーションにおいて処理する。想定されるアプリケーションとしては、車載、人工知能用の画像認識の入力デバイスや監視用途などがあげられる。
 車載であれば、ドライバに視認させるために表示するのは、垂直同期信号VSYNCに同期して撮像された通常画像データである。一方、固体撮像素子200は、車両制御システムへアドレスイベントが起こったときの信号を高速でリアルタイムに出力する。これにより、従来の固体撮像素子では垂直同期信号の周期でしか取得できなかった情報を、その周期の経過を待たずに変化部分の信号として検出することができる。このため、人や障害物をよけるなどの指示までのフィードバックを高速化して安全性を向上させることができる。
 また、人工知能用としては,高分解能の通常画像データではなく,低分解能の意味ある情報(例えば、対数圧縮の輝度差分)を入力することにより、高速に処理を実行させて演算量を低減することができるメリットがある。また、通常画像データも得られるため、例えば、イベントドリブン出力のAER画像データに対してLSTM(Long Short Term Memory)を用いた信号処理を行った演算結果と通常画像データとを合わせて用いることで精度の高い画像認識を実現することができる。
 監視用途向けでは、通常動作時は、イベントドリブンで動作し、画像にある一定数以上の差分(ある閾値以上のイベント)が発生した場合は、垂直同期信号に同期した高分解能の通常画像データの記録を開始するなどの用途がある。これにより、高分解能のADCを常時動作させずに済むため、消費電力を削減することができる。
 [AERロジック回路の構成例]
 図13は、本技術の第1の実施の形態におけるAERロジック回路470の一構成例を示すブロック図である。このAERロジック回路470は、NMOSトランジスタ471乃至473、475乃至478、480および481と、PMOSトランジスタ474および479と、容量482とを備える。
 NMOSトランジスタ471および472は直列に接続される。NMOSトランジスタ472および473のゲートには、比較結果VCHが入力され、NMOSトランジスタ471のゲートには応答AckYp1が入力される。また、NMOSトランジスタ472および473のソースは接地され、NMOSトランジスタ471のドレインから列AER回路220へリクエストReqHXp1が出力される。NMOSトランジスタ473のドレインから行AER回路260へリクエストReqYp1が出力される。
 PMOSトランジスタ474およびNMOSトランジスタ475は電源と接地端子との間において直列に接続される。また、PMOSトランジスタ474のゲートには比較結果VCLが入力され、NMOSトランジスタ475のゲートには、バイアス電圧Vbaerが印加される。
 NMOSトランジスタ476および477は直列に接続される。NMOSトランジスタ477および478のゲートは、PMOSトランジスタ474およびNMOSトランジスタ475の接続点に接続される。NMOSトランジスタ476のゲートには応答AckYp1が入力される。また、NMOSトランジスタ477および478のソースは接地され、NMOSトランジスタ476のドレインから列AER回路220へリクエストReqLXp1が出力される。NMOSトランジスタ478のドレインから行AER回路260へリクエストReqYp1が出力される。
 PMOSトランジスタ479とNMOSトランジスタ480および481とは、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ479のゲートにはバイアス電圧Vbrstが印加される。NMOSトランジスタ480のゲートには応答AckYp1が入力され、NMOSトランジスタ481のゲートには応答AckXp1が入力される。容量482の一端は、電源に接続され、他端は、PMOSトランジスタ479およびNMOSトランジスタ480の接続点に接続される。また、PMOSトランジスタ479およびNMOSトランジスタ480の接続点の電圧は、リセット信号xrstとして微分回路450へ出力される。
 上述の構成により、ハイレベルの比較結果VCHが入力される(すなわち、オンイベントが検出される)とAERロジック回路470は、ローレベルのリクエストReqYp1を行AER回路260へ送信する。そして、行AER回路260からハイレベルの応答AckYp1を受信するとAERロジック回路470は、ローレベルのリクエストReqHXp1を列AER回路220に送信する。次いで列AER回路220からハイレベルの応答AckXp1を受信するとAERロジック回路470は、ローレベルのリセット信号xrstを微分回路450に出力する。
 また、ローレベルの比較結果VCLが入力される(すなわち、オフイベントが検出される)とAERロジック回路470は、ローレベルのリクエストReqYp1を行AER回路260へ送信する。そして、行AER回路260からハイレベルの応答AckYp1を受信するとAERロジック回路470は、ローレベルのリクエストReqLXp1を列AER回路220に送信する。次いで列AER回路220からハイレベルの応答AckXp1を受信するとAERロジック回路470は、ローレベルのリセット信号xrstを微分回路450に出力する。
 [時刻コード発生部の構成例]
 図14は、本技術の第1の実施の形態における時刻コード発生部230の一構成例を示すブロック図である。この時刻コード発生部230は、テスト回路231と、冗長回路240と、バイナリ・グレイ変換部232と、バイナリカウンタ233と、レシーバ235と、複数のドライバ236とを備える。
 レシーバ235は、画素アレイ部300からのマスタクロックMCKを受け取るものである。このレシーバ235は、受け取ったマスタクロックMCKをバイナリカウンタ233に供給する。
 バイナリカウンタ233は、マスタクロックMCKに同期して2進数の計数値を計数するものである。このバイナリカウンタ233は、複数段のフリップフロップ234を備える。初段のフリップフロップ234のクロック端子にマスタクロックMCKが入力される。2段目以降のフリップフロップ234のクロック端子には、前段のフリップフロップ234の反転出力が入力される。また、それぞれの段のフリップフロップ234の反転出力は、その段の入力端子に出力されるとともに、対応する桁のビットとしてバイナリ・グレイ変換部232にも出力される。
 バイナリ・グレイ変換部232は、バイナリカウンタ233からのバイナリの計数値をグレイコードに変換するものである。バイナリ・グレイ変換部232は、グレイコードを冗長回路240に供給する。
 冗長回路240は、テスト回路231の制御に従って、故障の生じたビットに対応する信号線の代わりに予備の信号線を接続するものである。ここで、冗長回路240およびテスト回路231との間には、少なくとも1本の予備の信号線が結線される。例えば、グレイコードが15ビットである場合には、予備の1本を含む16本の信号線が結線される。
 テスト回路231は、起動時などにおいてグレイコードのビットごとに、対応する信号線の故障の有無を検出するものである。ここで、テスト回路231が検出する故障としては、配線の断線やショート、ラッチ回路の不具合などが想定される。このテスト回路231は、故障が生じた場合に冗長回路240を制御して、故障した信号線の代わりに予備の信号線を接続させる。また、テスト回路231は、グレイコードを時刻コードとして出力する。
 ドライバ236は、時刻コード内のビットごとに設けられる。このドライバ236は、時刻コードのうち対応するビットFFin[k](kは0以上の整数)を画素アレイ部300に出力する。
 また、時刻コード発生部230には、リクエストReqHXp1およびReqLXp1と、応答AckXp1とのそれぞれを伝送する信号線が配線される。
 [冗長回路の構成例]
 図15は、本技術の第1の実施の形態における冗長回路240の一構成例を示す回路図である。この冗長回路240は、複数のスイッチ241を備える。スイッチ241の個数は、グレイコード(時刻コード)のビット数と同数である。また、スイッチ241は、1つの入力端子と、2つの出力端子とを備える。k個目のスイッチ241の入力端子には、バイナリ・グレイ変換部232からの時刻コードのうちkビット目を伝送する信号線INA[k]が接続される。また、「0」個目のスイッチ241の左側の出力端子には、信号線OUT[0]が接続される。また、k個目のスイッチ241の右側の出力端子と、k+1個目のスイッチ241の左側の出力端子とが接続され、それらの出力端子は、信号線OUT[k]にも接続される。最後のスイッチ241の右側の出力端子には、予備の信号線OUT[15]が接続される。
 スイッチ241は、テスト回路231の制御に従って、入力端子の接続先を切り替える。初期状態において、全てのスイッチ241の入力端子は左側の出力端子に接続される。kビット目が故障した場合、k以降のスイッチ241が入力端子の接続先を右側の出力端子に切り替える。例えば、15ビットのうち「1」ビット目で故障が生じた場合、「1」乃至「14」個目のスイッチ241が、接続先を右側に切り替える。これにより、信号線INA[1]乃至INA[14]は、信号線OUT[2]乃至OUT[15]と接続され、故障した信号線OUT[1]は入力端子と切り離される。
 テスト回路231は、起動時に故障の有無の検出を行い、その検出結果をもとに冗長回路240が切り替える。なお、この方法に限定されず、例えば、起動前に予めテスト回路231が故障の有無を検出しておき、不揮発性のメモリに検出結果を記載しておいてもよい。この場合には、冗長回路240は、起動時にメモリから検出結果を読み出して切替えを行えばよい。
 図16は、本技術の第1の実施の形態における時刻コード転送部500の一構成例を示すブロック図である。この時刻コード転送部500は、クラスタ510と、インバータ571および572と、複数のフリップフロップ573とを備える。フリップフロップ573の個数は、一定の送受信単位内のラッチ回路390の個数(256個など)と同数である。クラスタ510の構成については後述する。
 インバータ571は、列処理部250からのマスタクロックMCKを反転するものである。このインバータ571は、反転したクロック信号xMCKをインバータ572およびクラスタ510に供給する。
 インバータ572は、クロック信号xMCKを反転してマスタクロックMCKとして、フリップフロップ573のそれぞれのクロック端子に出力するものである。
 フリップフロップ573は、マスタクロックMCKに同期して、クラスタ510からのビットFFout[k]を保持するものである。このフリップフロップ573は、保持したビットを列処理部250に出力する。
 [クラスタの構成例]
 図17は、本技術の第1の実施の形態におけるクラスタ510の一構成例を示すブロック図である。このクラスタ510は、複数の単位ブロック520と、インバータ511乃至517とを備える。単位ブロック520の個数は、送受信単位のビット数(例えば,15ビットに冗長1ビットを加えた16ビット)と同じである。
 インバータ511は、インバータ571からのクロック信号xMCKを反転してマスタクロックMCKとして単位ブロック520のそれぞれと時刻コード発生部230とに供給するものである。
 インバータ513は、駆動回路212からのリードイネーブル信号RENを反転するものである。このリードイネーブル信号RENは、時刻コード転送部500の左側の画素の画素データの読出しを指示する信号である。インバータ512は、インバータ513からの信号を反転して単位ブロック520のそれぞれに供給するものである。
 インバータ515は、駆動回路212からのリードイネーブル信号RENを反転するものである。このリードイネーブル信号RENは、時刻コード転送部500の右側の画素の画素データの読出しを指示する信号である。インバータ514は、インバータ515からの信号を反転して単位ブロック520のそれぞれに供給するものである。
 インバータ517は、駆動回路212からのライトイネーブル信号WENを反転するものである。このライトイネーブル信号WENは、時刻コードの書込みを指示する信号である。インバータ516は、インバータ517からの信号を反転して単位ブロック520のそれぞれに供給するものである。
 単位ブロック520は、リードイネーブル信号RENおよびRENと、ライトイネーブル信号WENとに従って画素データの読出し、または、時刻コードの書込みを行うものである。
 図18は、本技術の第1の実施の形態における単位ブロック520の一構成例を示すブロック図である。この単位ブロック520は、インバータ521、522、524および527と、PMOSトランジスタ523および528と、バッファ525および526と、フリップフロップ550とを備える。
 インバータ521は、インバータ511からのマスタクロックMCKを反転するものである。このインバータ521は、反転した信号をインバータ522に供給する。インバータ522は、インバータ521からの信号を反転してマスタクロックMCKとしてフリップフロップ550のクロック端子に供給するものである。
 フリップフロップ550は、マスタクロックMCKに同期して、時刻コード発生部230からの時刻コードのうち対応するビットFFin[k]を保持するものである。このフリップフロップ550は、保持したビットをFFout[k]としてバッファ525および526に供給する。
 PMOSトランジスタ523は、駆動回路212からの制御信号PCを反転した信号xPCに従って、ローカルビット線LBL[k]をプリチャージするものである。ここで、制御信号PCは、ローカルビット線LBL[k]のプリチャージを指示する信号であり、例えば、ローカルビット線LBL[k]を介してビットを読み出す直前にプリチャージが指示される。これにより、ラッチ回路390からローカルビット線LBL[k]へ信号を出力する際に、インバータ382の出力(T)とスイッチ391とのインピーダンスの比でラッチ回路390内部の初期電圧が変動し、ローカルビット線LBL[k]の信号が上書きされることを防止することができる。また、ラッチ回路390の面積を最小化することができる。
 インバータ524は、ローカルビット線LBL[k]を介して読み出されたビットを、ハイレベルのリードイネーブル信号RENに従って反転し、画素データのkビット目(FFout[k])としてフリップフロップ573を介して列処理部250に出力するものである。バッファ525は、フリップフロップ550から出力されたビットを、ハイレベルのライトイネーブル信号WENに従ってローカルビット線LBL[k]に出力するものである。これらのインバータ524およびバッファ525により、双方向のバッファ回路530が形成される。このバッファ回路530のローカルビット線LBLに接続された端子をR_IOとし、フリップフロップ550に接続された端子をW_IOとする。
 PMOSトランジスタ528は、駆動回路212からの制御信号PCを反転した信号xPCに従って、ローカルビット線LBL[k]をプリチャージするものである。ここで、制御信号PCは、ローカルビット線LBL[k]のプリチャージを指示する信号であり、例えば、ローカルビット線LBL[k]を介してビットを読み出す直前にプリチャージが指示される。
 インバータ527は、ローカルビット線LBL[k]を介して読み出されたビットを、ハイレベルのリードイネーブル信号RENに従って反転し、画素データのkビット目としてフリップフロップ573を介して列処理部250に出力するものである。バッファ526は、フリップフロップ550から出力されたビットを、ハイレベルのライトイネーブル信号WENに従ってローカルビット線LBL[k]に出力するものである。これらのインバータ527およびバッファ526により、双方向のバッファ回路が形成される。
 [バッファ回路の構成例]
 図19は、本技術の第1の実施の形態におけるバッファ回路530の一構成例を示す回路図である。このバッファ回路530は、インバータ531および540と、NANDゲート532と、NORゲート533と、PMOSトランジスタ534、536および537と、NMOSトランジスタ535、538および539とを備える。
 インバータ531は、ライトイネーブル信号WENを反転してNORゲート533に出力するものである。NANDゲート532は、ライトイネーブル信号WENと、端子W_IOからの入力ビットとの否定論理積をPMOSトランジスタ534のゲートに出力するものである。NORゲート533は、インバータ531からの信号と端子W_IOからの入力ビットとの否定論理和をNMOSトランジスタ535のゲートに出力するものである。
 PMOSトランジスタ534およびNMOSトランジスタ535は、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ534およびNMOSトランジスタ535の接続点が、端子R_IOと、PMOSトランジスタ537およびNMOSトランジスタ538のそれぞれのゲートとに接続される。
 インバータ540は、リードイネーブル信号RENを反転してPMOSトランジスタ536のゲートに出力するものである。
 PMOSトランジスタ536および537とNMOSトランジスタ538および539とは、電源と接地端子との間において直列に接続される。また、NMOSトランジスタ539のゲートには、リードイネーブル信号RENが入力される。
 上述の構成により、バッファ回路530は、リードイネーブル信号RENに従って端子R_IOから読み出されたビットを反転して端子W_IOから出力する。また、バッファ回路530は、ライトイネーブル信号WENに従って端子W_IOから入力されたビットを端子R_IOから出力する。
 [フリップフロップの構成例]
 図20は、本技術の第1の実施の形態におけるフリップフロップ550の一構成例を示す回路図である。このフリップフロップ550は、PMOSトランジスタ551、553、554、556および559と、NMOSトランジスタ552、555、557、558、560および561を備える。
 PMOSトランジスタ551およびNMOSトランジスタ552は、電源と接地端子との間において直列に接続される。これらのトランジスタのゲートは、D端子に接続される。
 PMOSトランジスタ553および554とNMOSトランジスタ555とは、電源と接地端子との間において直列に接続される。PMOSトランジスタ553およびNMOSトランジスタ555のゲートは、PMOSトランジスタ551およびNMOSトランジスタ552の接続点に接続される。また、PMOSトランジスタ554のゲートは、クロック端子CKに接続される。
 PMOSトランジスタ556とNMOSトランジスタ557および558とは、電源と接地端子との間において直列に接続される。PMOSトランジスタ556およびNMOSトランジスタ558のゲートは、クロック端子CKに接続される。また、NMOSトランジスタ557のゲートは、PMOSトランジスタ554およびNMOSトランジスタ555の接続点に接続される。
 PMOSトランジスタ559とNMOSトランジスタ560および561とは、電源と接地端子との間において直列に接続される。PMOSトランジスタ559およびNMOSトランジスタ561のゲートは、PMOSトランジスタ556およびNMOSトランジスタ557の接続点に接続される。また、NMOSトランジスタ560のゲートは、クロック端子CKに接続される。
 上述の構成により、フリップフロップ550は、クロック端子CKに入力されたクロック信号の立ち上がりにてD端子の入力をQへ出力し,立下りにて,QのノードをHigh-ZとすることでQの信号保持することを可能にする。また、上述の構成により、バッファ回路530によるQの配線ノードへのデータ書き込みを可能にする。
 [列処理部の構成例]
 図21は、本技術の第1の実施の形態における列処理部250の一構成例を示すブロック図である。この列処理部250は、信号線ごとにインバータ253を備え、列ごとに冗長回路251およびCDS回路252を備える。
 インバータ253は、画素アレイ部300からのビットを反転するものである。インバータ253のそれぞれは、反転したビットを対応する冗長回路251へ送信する。
 冗長回路251の構成は、図15に例示した冗長回路240と同様である。また、CDS回路252は、対応する列のP相データとD相データとの差分を正味の画素データとして演算するCDS処理を行うものである。このCDS回路252は、画素データをDSP回路120に出力する。
 [行AER回路の構成例]
 図22は、本技術の第1の実施の形態における行AER回路260の一構成例を示すブロック図である。この行AER回路260は、行ごとに、行AERブロック270を備える。行AERブロック270は、対応する行と行アービタ600とステートマシン215との間でハンドシェイクを行うものである。
 [行AERブロックの構成例]
 図23は、本技術の第1の実施の形態における行AERブロック270の一構成例を示す回路図である。この行AERブロック270は、PMOSトランジスタ271と、NMOSトランジスタ272および273と、NORゲート276と、インバータ274および275とを備える。
 PMOSトランジスタ271と、NMOSトランジスタ272および273とは、電源と接地端子との間において直列に接続される。また、PMOSトランジスタ271およびNMOSトランジスタ272のゲートには、ステートマシン215からの制御信号LOADが入力される。この制御信号LOADは、アドレスイベントの検出結果の読出しを指示する信号である。また、NMOSトランジスタ273のゲートには、ステートマシン215からの応答CHIP_ACKを反転したxCHIP_ACKが入力される。
 NORゲート276は、2つの入力値の否定論理和をリクエストReqYa1として行アービタ600に出力するものである。NORゲート276の入力端子の一方には、ステートマシン215からの応答CHIP_ACKが入力される。NORゲート276の入力端子の他方は、PMOSトランジスタ271およびNMOSトランジスタ272の接続点と、画素アレイ部300からのリクエストReqYp1を伝送する信号線とに接続される。
 インバータ275は、行アービタ600からの応答AckYa1を反転してインバータ274に出力するものである。インバータ274は、インバータ275からの信号を反転して応答AckYp1として、画素アレイ部300へ出力するものである。
 上述の構成により、行AERブロック270は、ローレベルのリクエストReqYp1が入力されると、応答CHIP_ACKがハイレベルであれば、ローレベルのリクエストReqYa1を出力する。また、行AERブロック270は、ハイレベルの応答AckYa1を遅延させて応答AckYp1として出力する。
 [列AER回路の構成例]
 図24は、本技術の第1の実施の形態における列AER回路220の一構成例を示すブロック図である。この列AER回路220は、列ごとに列AERブロック221を備える。列AERブロック221は、対応する列と、ステートマシン215と、列アービタ213との間でハンドシェイクを行うものである。
 [列AERブロックの構成例]
 図25は、本技術の第1の実施の形態における列AERブロック221の一構成例を示すブロック図である。この列AERブロック221は、H側列AERブロック222、L側列AERブロック223およびORゲート224を備える。
 H側列AERブロック222は、ローレベルのリクエストReqHXp1が入力されるとハンドシェイクを行うものである。このH側列AERブロック222は、ハイレベルの応答AckHXa1を遅延させた信号をORゲート224に出力する。L側列AERブロック223は、ローレベルのリクエストReqLXp1が入力されるとハンドシェイクを行うものである。このL側列AERブロック223は、ハイレベルの応答AckLXa1を遅延させた信号をORゲート224に出力する。また、H側列AERブロック222およびL側列AERブロック223により、画素アレイ部300からのローレベルのリクエストが反転される。これらのH側列AERブロック222およびL側列AERブロック223の構成は、図23に例示した行AERブロック270と同様である。なお、これらの行や列のAERブロックの構成は、ハンドシェイクを行うことができるものであれば、図23に例示した回路に限定されない。
 ORゲート224は、H側列AERブロック222およびL側列AERブロック223からの信号の論理和を応答AckXp1として出力するものである。
 [行アービタの構成例]
 図26は、本技術の第1の実施の形態における行アービタ600の一構成例を示すブロック図である。この行アービタ600は、アービタブロック610、650乃至654とインバータ601および602とを7行ごとに備える。なお、同図は、垂直のイベントドリブンの画素数を7画素とした場合の図である。例えば、垂直のイベントドリブンの画素数が1000画素であれば、210(=1024)段までカバーする10段のアービタが設けられる。
 アービタブロック610は、1行目からのリクエストと2行目からのリクエストとを調停するものである。このアービタブロック610は、アービタブロック652との間でハンドシェイクを行い、調停結果に基づいて応答を1行目または2行目に出力する。
 アービタブロック650は、3行目からのリクエストと4行目からのリクエストとを調停するものである。このアービタブロック650は、アービタブロック652との間でハンドシェイクを行い、調停結果に基づいて応答を3行目または4行目に出力する。
 アービタブロック651は、5行目からのリクエストと6行目からのリクエストとを調停するものである。このアービタブロック651は、アービタブロック653との間でハンドシェイクを行い、調停結果に基づいて応答を5行目または6行目に出力する。
 アービタブロック652は、アービタブロック610からのリクエストとアービタブロック650からのリクエストとを調停するものである。このアービタブロック652は、アービタブロック654との間でハンドシェイクを行い、調停結果に基づいて応答をアービタブロック610または650に出力する。
 アービタブロック653は、アービタブロック651からのリクエストと7行目からのリクエストとを調停するものである。このアービタブロック653は、アービタブロック654との間でハンドシェイクを行い、調停結果に基づいて応答をアービタブロック651または7行目に出力する。
 アービタブロック654は、アービタブロック652からのリクエストとアービタブロック653からのリクエストとを調停するものである。このアービタブロック654は、早い方のリクエストに対する応答をインバータ601および602で遅延させてアービタブロック652または653に供給する。
 なお、列アービタ213の構成は、行アービタ600と同様である。また、これらのアービタの構成は、リクエストを調停することができるのであれば、図26に例示した構成に限定されない。
 [アービタブロックの構成例]
 図27は、本技術の第1の実施の形態におけるアービタブロック610の一構成例を示す回路図である。このアービタブロック610は、PMOSトランジスタ611、614、615乃至617、620、622、625および626と、NMOSトランジスタ612、613、618、619、623、624および627とインバータ621とを備える。
 PMOSトランジスタ611および614は、電源に並列に接続される。NMOSトランジスタ612および613は、PMOSトランジスタ611および614のドレインと接地端子との間において直列に接続される。また、PMOSトランジスタ611およびNMOSトランジスタ613のゲートには、1行目からのリクエストReqXa1が入力される。
 PMOSトランジスタ615および616は、電源に直列に接続される。また、PMOSトランジスタ615のゲートにはリクエストReqXa1が入力され、PMOSトランジスタ616のゲートには2行目からのリクエストReqXa2が入力される。
 PMOSトランジスタ617および620は、電源に並列に接続される。NMOSトランジスタ618および619は、PMOSトランジスタ617および620のドレインと接地端子との間において直列に接続される。また、PMOSトランジスタ617およびNMOSトランジスタ618のゲートは、PMOSトランジスタ611および614のドレインに接続される。PMOSトランジスタ620およびNMOSトランジスタ619のゲートには、リクエストReqXa2が入力される。PMOSトランジスタ617および620のドレインは、PMOSトランジスタ614およびNMOSトランジスタ612のゲートに接続される。
 また、NMOSトランジスタ612および613の接続点と、PMOSトランジスタ616のドレインと、NMOSトランジスタ618および619の接続点とは、リクエストReqXb1を伝送する信号線に接続される。このリクエストReqXb1は、上位のアービタブロック652に出力される。
 インバータ621は、上位のアービタブロック652からの応答AckXb1を反転するものである。このインバータ621は、反転した信号をPMOSトランジスタ625およびNMOSトランジスタ624のゲートへ出力する。
 PMOSトランジスタ625および626とNMOSトランジスタ627とは、電源と接地端子との間に直列に接続される。また、PMOSトランジスタ622およびNMOSトランジスタ623は、PMOSトランジスタ625および626の接続点と接地端子との間に直列に接続される。NMOSトランジスタ624のソースおよびドレインは、PMOSトランジスタ622およびNMOSトランジスタ623の接続点と、PMOSトランジスタ626およびNMOSトランジスタ627の接続点とに接続される。
 また、PMOSトランジスタ622およびNMOSトランジスタ623のゲートは、PMOSトランジスタ611および614のドレインに接続される。PMOSトランジスタ626およびNMOSトランジスタ627のゲートは、PMOSトランジスタ617および620のドレインに接続される。PMOSトランジスタ622およびNMOSトランジスタ623の接続点は、1行目への応答AckXa1を伝送する信号線に接続される。PMOSトランジスタ626およびNMOSトランジスタ627の接続点は、2行目への応答AckXa2を伝送する信号線に接続される。
 上述の構成により、アービタブロック610は、リクエストReqXb1またはリクエストReqXb2を受け取ると、リクエストReqXb1を出力する。そして、応答AckXb1を受け取るとアービタブロック610は、リクエストReqXb1およびリクエストReqXb2のうち到着の早い方に対応する応答を出力する。
 アービタブロック650乃至654の構成は、図27に例示したアービタブロック610と同様である。
 図28は、本技術の第1の実施の形態におけるハンドシェイクの一例を示すタイミングチャートである。W画素400がローレベルのリクエストReqYp1を出力すると、行AERブロック270は、応答CHIP_ACKがハイレベルであれば、ハイレベルの応答AckYp1を返す。
 応答AckYp1を受け取るとW画素400は、オンイベントが生じた場合にはローレベルのリクエストReqHXp1を出力する。なお、オフイベントが生じた場合にはローレベルのリクエストReqLXp1が出力される。
 リクエストReqHXp1を受け取ると列AERブロック221は、応答CHIP_ACKがハイレベルであれば、ハイレベルの応答AckXp1を返す。応答AckXp1を受け取るとW画素400は、ローレベルのリセット信号xrstを生成してリクエストReqYp1およびReqHXp1とをハイレベルに初期化する。
 また、応答AckXp1を出力すると、列AERブロック221は、ローレベルのリクエストCHIP_REQを出力する。リクエストCHIP_REQを受け取るとステートマシン215は、アドレスイベントの検出結果をDSP回路120に転送し、ローレベルの応答CHIP_ACKを返す。
 応答CHIP_ACKを受け取ると行AERブロック270は、リクエストReqYp1がハイレベルであれば、応答AckYp1をローレベルに初期化する。また、応答CHIP_ACKを受け取ると列AERブロック221は、リクエストReqHXp1がハイレベルであれば、応答AckXp1をローレベルに初期化する。
 応答AckXp1が初期化されるとW画素400は、リセット信号xrstをハイレベルに初期化し、列AERブロック221は、リクエストCHIP_REQをハイレベルに初期化する。また、ステートマシン215は、応答CHIP_ACKをハイレベルに初期化する。
 [固体撮像素子の動作例]
 図29は、本技術の第1の実施の形態における撮像処理の一例を示すフローチャートである。この撮像処理は、例えば、通常画像データの撮像のためのアプリケーションが実行されたときに開始される。
 固体撮像素子200は、VSYNCの立上りのタイミングであるか否かを判断する(ステップS911)。VSYNCの立上りのタイミングである場合に(ステップS911:Yes)、固体撮像素子200内の画素のそれぞれは、露光終了の直前においてリセットレベルをP相データに変換する(ステップS912)。そして、画素は、露光終了時に電荷をFDに転送し(ステップS913)、信号レベルをD相データに変換する(ステップS914)。そして、固体撮像素子200は、CDS処理を実行する(ステップS915)。VSYNCの立上りのタイミング前の場合(ステップS911:No)、または、ステップS915の後に固体撮像素子200は、ステップS911以降を繰り返し実行する。
 図30は、本技術の第1の実施の形態におけるAER処理の一例を示すフローチャートである。このAER処理は、例えば、AERのためのアプリケーションが実行されたときに開始される。
 固体撮像素子200内のW画素400は、光量差が閾値Vthonに対応する値+Thを超えたか否かを判断する(ステップS921)。光量差が+Th以下である場合に(ステップS921:No)、W画素400は、光量差が閾値Vthoffに対応する値-Thを下回ったか否かを判断する(ステップS922)。光量差が-Thより小さい場合に(ステップS922:Yes)、W画素400は、オフイベントを検出する(ステップS923)。一方、光量差が+Thを超えた場合に(ステップS921:Yes)W画素400は、オンイベントを検出する(ステップS924)。
 ステップS923またはS924の後にW画素400は、アドレスイベントの検出結果をハンドシェイクにより転送し(ステップS925)、ステップS921以降を繰り返し実行する。また、光量差が-Th以上の場合(ステップS922:No)、W画素400は、ステップS921以降を繰り返し実行する。
 このように、本技術の第1の実施の形態によれば、W画素400がアドレスイベントを検出するとともに画素信号をデジタル信号に変換するため、アドレスイベントを検出しつつ、デジタル信号からなる高画質の通常画像データを生成することができる。
 <2.第2の実施の形態>
 上述の第1の実施の形態では、R画素310などの画素のそれぞれは、リセットレベルのP相データへの変換終了後に、そのP相データを列処理部250へ転送してから信号レベルをD相データに変換していた。しかし、この処理方法では、リセットレベルの変換開始から、信号レベルの変換終了までのサンプリング期間が、P相データの転送時間の分だけ長くなってしまい、暗電流の影響を十分に抑制することができないおそれがある。この第2の実施の形態の固体撮像素子200は、サンプリング期間を短くして暗電流の影響を抑制した点において第1の実施の形態と異なる。
 図31は、本技術の第2の実施の形態におけるデータ記憶部370の一構成例を示すブロック図である。この第2の実施の形態のデータ記憶部370は、P相データおよびD相データの両方を保持する分のラッチ回路390を備え、ラッチ回路390ごとにラッチ制御回路385を設けた点において第1の実施の形態と異なる。
 例えば、P相データを14ビットとし、D相データを16ビットとする場合、30ビット分のラッチ制御回路385およびラッチ回路390が設けられる。
 図32は、本技術の第2の実施の形態におけるラッチ制御回路385の一構成例を示す回路図である。このラッチ制御回路385は、複合ゲート386とNANDゲート387とを備える。
 複合ゲート386は、駆動回路212からの制御信号xWORDおよびxLATSELLとインバータ371からの信号xVCOとに対して論理演算を行うものである。この複合ゲート386は、制御信号xWORDおよびxVCOの論理積と、制御信号xLATSELLとの否定論理和をラッチ制御信号Tとしてラッチ回路390へ出力する。
 NANDゲート387は、駆動回路212からの制御信号LATSELLと、正帰還回路360からの出力信号VCOとの否定論理積をラッチ制御信号Lとしてラッチ回路390へ出力するものである。
 図33は、本技術の第2の実施の形態における固体撮像素子200のサンプリング処理の一例を示すタイミングチャートである。タイミングt10からの1V期間において、画素は、タイミングt11からタイミングt12までに亘ってリセットレベルをP相データに変換する処理を行う。画素は、P相データを出力せずに内部のラッチ回路390に保持し、続いてタイミングt13からタイミングt14に亘って信号レベルをD相データに変換する処理を行う。
 図34は、本技術の第2の実施の形態における固体撮像素子200のサンプリング後の動作の一例を示すタイミングチャートである。信号レベルのサンプリングが終了したタイミングt14の直後のタイミングt15において駆動回路212は、制御信号LATSELL[0]によりP相データを出力させる。次にタイミングt16において駆動回路212は、制御信号LATSELL[1]によりD相データを出力させる。
 そして、タイミングt17において駆動回路212は、制御信号LATSELL[0]によりP相データを出力させる。次にタイミングt18において駆動回路212は、制御信号LATSELL[1]によりD相データを出力させる。
 このように、本技術の第2の実施の形態では、画素がP相データを保持するため、リセットレベルのサンプリング直後に信号レベルのサンプリングを開始することができる。これにより、サンプリング期間を短くして暗電流の影響を抑制することができる。
 [変形例]
 上述の第2の実施の形態では、R画素310等の画素のそれぞれは、複数の信号レベルを同一の露光時間によりAD変換していたが、自然光の下などでは、ダイナミックレンジが不足するおそれがある。ダイナミックレンジを拡大するには、一般的に、短時間露光の画素データと長時間露光の画素データとを生成し、それらを合成する方法が用いられる。しかし、この方法では、長時間露光と短時間露光との合計の露光時間が長くなってしまうという問題がある。この第2の実施の形態の変形例の固体撮像素子200は、露光時間の増大を抑制しつつ、ダイナミックレンジを拡大した点において第2の実施の形態と異なる。
 図35は、本技術の第2の実施の形態の変形例における固体撮像素子200のリセットレベルサンプリング処理の一例を示すタイミングチャートである。タイミングt10からの1V期間において、画素は、タイミングt11からタイミングt12までに亘って1回目のリセットレベルの変換処理を行う。画素は、制御信号WENおよびLATSEL[0]により1回目のP相データを保持し、駆動回路212は、制御信号FDGをハイレベルからローレベルにして、画素の感度を低下させる。
 画素は、タイミングt13からタイミングt14までに亘って2回目のリセットレベルの変換処理を行う。2回目のP相データは、制御信号WENおよびLATSEL[1]により保持される。2回目の変換処理においてDAC211は、参照信号REFのスロープの傾きを1回目よりも緩やかにする。感度の低下と、スロープの傾きの変更とにより、2回目のリセットレベルは、1回目よりも高い分解能によりAD変換される。
 なお、固体撮像素子200は、制御信号FDGによる感度の制御と、スロープの傾きの制御との両方を行っているが一方のみを行う構成であってもよい。
 図36は、本技術の第2の実施の形態の変形例における固体撮像素子200の信号レベルサンプリング処理の一例を示すタイミングチャートである。1回目および2回目のP相データを画素は保持し、タイミングt15からタイミングt16までに亘って1回目の信号レベルの変換処理を行う。画素は、制御信号WENおよびLATSEL[2]により1回目のD相データをさらに保持し、駆動回路212は、制御信号FDGをローレベルからハイレベルにして、画素の感度を1回目のリセットレベルサンプリング時の値に戻す。
 画素は、タイミングt17からタイミングt18までに亘って2回目の信号レベルの変換処理を行う。2回目のD相データは、制御信号WENおよびLATSEL[3]により保持される。2回目の変換処理においてDAC211は、参照信号REFのスロープの傾きを、1回目のリセットレベルサンプリング時の値に戻す。感度の向上と、スロープの傾きの変更とにより、2回目の信号レベルは、1回目よりも低い分解能によりAD変換される。
 このように、分解能を切り替える方式によれば、画素の露光は1回でよく、長時間露光と短時間露光との両方を行わずに済むため、露光時間の増大を抑制することができる。
 図37は、本技術の第2の実施の形態の変形例における固体撮像素子200のサンプリング後の動作の一例を示すタイミングチャートである。信号レベルのサンプリングが終了したタイミングt18の直後のタイミングt19において駆動回路212は、1回目のP相データを出力させ、タイミングt20において駆動回路212は、2回目のP相データを出力させる。次に、タイミングt21において駆動回路212は、1回目のD相データを出力させ、タイミングt22において駆動回路212は、2回目のD相データを出力せる。
 列処理部250は、1回目のP相データと2回目のD相データとの差分を低解像度の正味の画素データとして出力し、2回目のP相データと1回目のD相データとの差分を高解像度の正味の画素データとして出力する。そして、DSP回路120は、それらを合成してダイナミックレンジを拡大した合成画像データを生成する。
 このように、本技術の第2の実施の形態の変形例によれば、固体撮像素子200が解像度の異なる2枚の画像データを生成するため、それらを合成することによりダイナミックレンジを拡大することができる。
 <3.第3の実施の形態>
 第3の実施の形態では、固体撮像素子200の積層構造と、ローカルビット線LBLおよびLBLを配線した効果とについて詳細に説明する。
 図38は、本技術の第3の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第3の実施の形態の固体撮像素子200は、積層された画素チップ306および回路チップ307を備える。
 画素チップ306には、画素回路330などの複数の画素回路が二次元格子状に配列される。回路チップ307には、画素回路以外の回路のそれぞれが配置される。例えば、ADC320などの複数のADCや、時刻コード転送部500が配置される。
 図39は、本技術の第3の実施の形態におけるデータ記憶部370の一構成例を示すブロック図である。第3の実施の形態のデータ記憶部370は、前段ラッチ回路710および後段ラッチ回路720がビットごとに配置される。例えば、画素データが16ビットである場合には、前段ラッチ回路710および後段ラッチ回路720からなる組が16個配置される。
 前段ラッチ回路710は、比較回路321からの出力信号VCOが反転したときの時刻コードを保持するものである。この前段ラッチ回路710は、インバータ711乃至714を備える。
 インバータ711は、出力信号VCOがハイレベルであり、出力信号VCOの反転信号xVCOがローレベルである場合に、時刻コードの第kビットを反転し、インバータ713に出力するものである。
 インバータ712は、出力信号VCOがローレベルであり、出力信号VCOの反転信号xVCOがハイレベルである場合に、インバータ713からの信号を反転し、インバータ713に出力するものである。
 インバータ713は、インバータ711またはインバータ312からの信号を反転してインバータ714に出力するものである。インバータ714は、インバータ713からの信号を反転して後段ラッチ回路720に出力するものである。
 後段ラッチ回路720は、列処理部250の制御に従って、前段ラッチ回路710からの信号を保持するものである。この後段ラッチ回路720は、NMOSトランジスタ721と、PMOSトランジスタ722と、インバータ723乃至725とを備える。
 NMOSトランジスタ721およびPMOSトランジスタ722は、前段ラッチ回路710とインバータ723および725の入力端子との間に並列に接続される。また、NMOSトランジスタ721のゲートには、列処理部250からのラッチ制御信号TR_kが入力され、PMOSトランジスタ722のゲートには、ラッチ制御信号TR_kの反転信号xTR_kが入力される。このラッチ制御信号TR_kは、例えば、時刻コードのkビット目が更新された直後の所定のタイミングにおいて入力される。
 インバータ723は、NMOSトランジスタ721およびPMOSトランジスタ722からの信号を反転してインバータ724に出力するものである。インバータ724は、ラッチ制御信号TR_kがローレベルで、その反転信号xTR_kがハイレベルである場合に、インバータ723からの信号を反転し、インバータ725へ出力するものである。
 インバータ725は、駆動回路212からの制御信号WORD_m[k](mは0または1)がハイレベルで、その反転信号xWORD_m[k]がローレベルである場合に、入力信号を反転し、ローカルビット線LBL[k]へ出力するものである。
 ここで、mは、左側の画素データと、右側の画素データとのいずれを読み出すかを示す。例えば、左側のローカルビット線LBL[k]から画素データを読み出す際に、制御信号WORD_0[k]が供給される。また、右側のローカルビット線LBL[k]から画素データを読み出す際に、制御信号WORD_1[k]が供給される。なお、ローカルビット線LBL[k]は特許請求の範囲に記載の第1のローカルビット線の一例であり、ローカルビット線LBL[k]は特許請求の範囲に記載の第2のローカルビット線の一例である。
 図40は、本技術の第3の実施の形態における時刻データ転送部500内の単位ブロック520の一構成例を示すブロック図である。フリップフロップ550の出力端子は、メインビット線MBLを介して後段のフリップフロップ573に接続される。また、インバータ524およびバッファ525からなる左側の双方向バッファは、メインビット線MBLと左側の後段ラッチ回路720との間に挿入される。また、バッファ526およびインバータ527からなる右側の双方向バッファは、メインビット線MBLと右側の画素に対応する後段ラッチ回路720との間に挿入される。
 また、インバータ524の入力端子と、バッファ525の出力端子とは、ローカルビット線LBL[k]を介して後段ラッチ回路720に接続される。インバータ527の入力端子と、バッファ526の出力端子とは、ローカルビット線LBL[k]を介して右側の画素に対応する後段ラッチ回路720に接続される。
 図41は、本技術の第3の実施の形態における画素データの読出し制御の一例を示すタイミングチャートである。タイミングt50からt51までの期間に亘って、駆動回路212は、左側の双方向バッファへ画素データを転送させるためのローレベルの制御信号xWORD_0[15]を供給する。この制御信号xWORD_0[15]に従って左側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ローレベルからハイレベルに遷移させ、データは左側の双方向バッファへ転送される。なお、ローカルビット線LBL[15]はハイレベルからローレベルに遷移してもよい。また、ローカルビット線LBL[14]乃至LBL[0]を介して第14ビット乃至第0ビットの転送も並列に行われているが、記載の便宜上、同図では、第14ビット乃至第0ビットの転送は省略されている。
 また、タイミングt51の直前から所定のパルス期間に亘って、列処理部250は、左側の画素データを読み出すための制御信号RENを供給する。この制御信号RENにより左側の双方向バッファはメインビット線MBLへデータを出力し、制御信号RENが立ち下がるまでにメインビット線MBLは、ハイレベルに遷移する。列処理部250は、そのメインビット線MBLを介して、左側の画素データ(例えば、16ビット)をマスタクロックMCKに同期して読み出す。
 左側の画素データの読出しは、タイミングt53までに完了する。この左側の画素データの読出し完了前のタイミングt52からタイミングt54までの期間に亘って、駆動回路212は、右側の双方向バッファへ画素データを転送させるためのローレベルの制御信号xWORD_1[15]を供給する。この制御信号xWORD_1[15]に従って右側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ハイレベルからローレベルに遷移させ、データは右側の双方向バッファへ転送される。なお、ローカルビット線LBL[15]はローレベルからハイレベルに遷移してもよい。
 また、タイミングt54の直前から所定のパルス期間に亘って、列処理部250は、右側の画素データを読み出すための制御信号RENを供給する。この制御信号RENにより右側の双方向バッファはメインビット線MBLへデータを出力し、制御信号RENが立ち下がるまでにメインビット線MBLは、ローレベルに遷移する。列処理部250は、そのメインビット線MBLを介して、右側の画素データ(例えば、16ビット)をマスタクロックMCKに同期して読み出す。
 ここで、ビットごとに、双方向バッファを1つのみ配置し、ローカルビット線LBLを1本のみ配置した比較例を想定する。この比較例では、双方向バッファは、ローカルビット線LBLを介して、左側のデータ記憶部370に接続される。また、ローカルビット線LBLを分岐することにより、双方向バッファは右側のデータ記憶部370にも接続される。
 図42は、比較例における画素データの読出し制御の一例を示すタイミングチャートである。タイミングt50からt51までの期間に亘って、駆動回路212は、ローレベルの制御信号xWORD_0[15]を供給する。この制御信号xWORD_0[15]に従って左側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ローレベルからハイレベルに遷移させる。
 また、タイミングt51の直前から所定のパルス期間に亘って、列処理部250は、制御信号RENを供給する。この制御信号RENにより左側の双方向バッファは、メインビット線MBLへデータを出力し、制御信号RENが立ち下がるまでにメインビット線MBLは、ハイレベルに遷移する。列処理部250は、そのメインビット線MBLを介して、左側の画素データをマスタクロックMCKに同期して読み出す。
 左側の画素データの読出しは、タイミングt53までに完了する。このタイミングt53の後のタイミングt54からタイミングt55までの期間に亘って、駆動回路212は、ローレベルの制御信号xWORD_1[15]を供給する。この制御信号xWORD_1[15]に従って右側のデータ記憶部370は、ローカルビット線LBL[15]を、例えば、ハイレベルからローレベルに遷移させる。
 上述のように、比較例では、左側の画素データの読出し(すなわち、制御信号RENによる時刻コードの転送)が完了しないと、右側の双方向バッファへ画素データを転送させるためのローレベルの制御信号xWORD_1[15]を供給することができない。これは、ローカルビット線LBLがビットごとに1本しかなく、そのローカルビット線LBLを介して左側の画素データと右側の画素データとを順に双方向バッファに転送する必要があるためである。
 これに対して、時刻コード転送部500では、ビットごとに、左側の画素データを転送するローカルビット線LBL[k]と、右側の画素データを転送するローカルビット線LBL[k]とを個別に配線している。このため、左側の画素データの読出しが完了する前に右側の画素データの双方向バッファへの転送を開始することができる。言い換えれば、左側の画素データの読出し期間内に、右側のローカルビット線LBL[k]の遷移を隠蔽することができる。これにより、比較例よりも画素データの読出しを高速に行うことができる。また、読出し時に見える容量も軽減されるため、固体撮像素子200の消費電力を低減することができる。
 このように、本技術の第3の実施の形態では、積層した画素チップ306および回路チップ307に回路を分散して配置したため、単一に半導体チップに配置する場合と比較して受光面を広くすることができる。また、ローカルビット線LB[k]とローカルビット線LBL[k]とを個別に配線したため、データの読出しを高速に行うことができる。
 <4.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図43は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図43に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図43の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図44は、撮像部12031の設置位置の例を示す図である。
 図44では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図44には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12101ないし12104内の固体撮像素子に適用され得る。撮像部12101ないし12104に本開示に係る技術を適用することにより、アドレスイベントを検出しつつ、高画質の画像データを撮像することができる。
 なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
 また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
 なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
 なお、本技術は以下のような構成もとることができる。
(1)光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、
 前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器と
を備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する固体撮像素子。
(2)2つのアナログデジタル変換器のうち分解能の低い方は、前記アナログ信号に基づいて前記電荷の量の変動量が所定の閾値を超えた旨をアドレスイベントとして検出する
前記(1)記載の固体撮像素子。
(3)前記画素アレイ部において、前記特定画素に該当しない画素のそれぞれには、アナログデジタル変換器が1つのみ設けられる
前記(1)または(2)に記載の固体撮像素子。
(4)前記画素回路は、
 光を前記電荷に変換する光電変換部と、
 前記光電変換部に流れる前記光電流に対する電流電圧変換により前記2つのアナログ信号の一方を生成する電流電圧変換部と、
 前記電荷を蓄積する電荷蓄積部と、
 前記露光期間の開始タイミングにおいて前記光電変換部から前記電荷を排出する排出トランジスタと、
 前記終了タイミングにおいて前記光電変換部から前記電荷蓄積部へ前記電荷を転送する転送トランジスタと、
 前記浮遊拡散層の電圧を増幅して前記2つのアナログ信号の他方として出力する増幅トランジスタと
を備える
前記(1)から(3)のいずれかに記載の固体撮像素子。
(5)前記アナログデジタル変換部は、所定の接地電位の端子に接続され、
 前記浮遊拡散層および前記光電変換部を設けた基板には、前記所定の接地電位よりも低い電位が印加される
前記(4)記載の固体撮像素子。
(6)前記画素回路は、前記終了タイミングの前に前記電荷蓄積部の電圧をリセットレベルに初期化するリセットトランジスタをさらに備え、
 前記画素信号は、前記リセットレベルと前記電荷が転送されたときの信号レベルとを含み、
 前記デジタル信号は、前記リセットレベルを変換したリセットデータと前記信号レベルを変換した信号データとを含む
前記(4)または(5)に記載の固体撮像素子。
(7)前記リセットデータと前記信号データとの差分を求めて画素データとして出力する相関二重サンプリング回路をさらに具備する
前記(6)記載の固体撮像素子。
(8)前記アナログデジタル変換器は、前記リセットデータを保持し、前記信号レベルを変換すると前記リセットデータおよび前記信号データを前記相関二重サンプリング回路に順に出力する
前記(7)記載の固体撮像素子。
(9)前記画素信号は、第1および第2のリセットレベルと第1および第2の信号レベルとを含み、
 前記アナログデジタル変換器は、
 スロープを持つ所定の参照信号と前記画素信号とを比較して比較結果を出力する比較部と、
 前記比較結果のそれぞれからなるデータを前記デジタル信号として記憶するデータ記憶部と
を備え、
 前記第2のリセットレベルと前記第1の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第1のリセットレベルと前記第2の信号レベルとのそれぞれを比較するときの傾きより緩やかである
前記(7)または(8)に記載の固体撮像素子。
(10)前記第1のリセットレベルと前記第2の信号レベルとを所定の感度により前記画素回路に生成させ、前記第2のリセットレベルと前記第1の信号レベルとを所定感度と異なる感度により前記画素回路に生成させる駆動回路をさらに具備する
前記(9)記載の固体撮像素子。
(11)前記2つのアナログデジタル変換器のうち分解能の低い方は、
 前記電圧信号を保持する微分回路と、
 前記保持された電圧信号と前記所定の範囲内の閾値とを比較して当該比較結果を出力するコンパレータと、
 前記比較結果に基づいてリクエストを送信し、前記リクエストに対する応答を受信したときに前記微分回路を初期化するハンドシェイク回路と
を備える前記(1)から(10)のいずれかに記載の固体撮像素子。
(12)前記リクエストを調停して当該調停結果に基づいて応答を返信するアービタをさらに具備する前記(11)記載の固体撮像素子。
(13)時刻を示す所定ビット数の時刻コードを前記2つのアナログデジタル変換器の一方に出力するとともに前記時刻コードにおいてビットごとに故障の有無を検出するテスト回路と、
 前記時刻コードにおいて故障の生じた前記ビットに対応するビット線の代わりに予備の信号線を接続する冗長回路とをさらに具備し、
 前記アナログデジタル変換器は、前記時刻コードを用いて前記画素信号を前記デジタル信号に変換する
前記(1)から(12)のいずれかに記載の固体撮像素子。
(14)互いに異なる前記デジタル信号を保持する第1および第2のデータ記憶部と、
 前記第1のデータ記憶部から第1のローカルビット線を介して転送された前記デジタル信号を第1の制御信号に従ってメインビット線へ出力する第1の双方向バッファと、
 前記第2のデータ記憶部から第2のローカルビット線を介して転送された前記デジタル信号を第2の制御信号に従って前記メインビット線へ出力する第2の双方向バッファと、
 前記メインビット線を介して前記デジタル信号を読み出す列処理部と、
 前記第1のデータ記憶部を制御して前記デジタル信号を第1のデジタル信号として前記第1の双方向バッファへ前記第1のローカルビット線を介して転送させる制御と前記第1のデジタル信号の読出し完了前に前記第2のデータ記憶部を制御して前記デジタル信号を第2のデジタル信号として前記第2の双方向バッファへ前記第2のローカルビット線を介して転送させる制御とを行う駆動回路と
をさらに具備する前記(1)から(13)のいずれかに記載の固体撮像素子。
(15)光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部と、
 前記デジタル信号からなる画像データを処理するデジタル信号処理部と
を具備する撮像装置。
(16)光電変換により生じた電荷の量に応じた2つのアナログ信号を画素回路が出力する出力手順と、
 前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換手順と
を具備する固体撮像素子の制御方法。
 100 撮像装置
 110 光学部
 120 DSP回路
 130 表示部
 140 操作部
 150 バス
 160 フレームメモリ
 170 記憶部
 180 電源部
 200 固体撮像素子
 211 DAC
 212 駆動回路
 213 列アービタ
 214 列アドレスエンコーダ
 215 スレートマシン
 216 行アドレスエンコーダ
 220 列AER回路
 221 列AERブロック
 222 H側列AERブロック
 223 L側列AERブロック
 224 ORゲート
 230 時刻コード発生部
 231 テスト回路
 232 バイナリ・グレイ変換部
 233 バイナリカウンタ
 234、550、573 フリップフロップ
 235 レシーバ
 236 ドライバ
 240、251 冗長回路
 241、391 スイッチ
 250 列処理部
 252 CDS回路
 260 行AER回路
 270 行AERブロック
 271、341、344、346、361、362、365、366、421、441、442、452、454、461、463、474、479、523、528、534、536、537、551、553、554、556、559、611、614、615~617、620、622、625、626、722 PMOSトランジスタ
 272、273、342、343、345、351、363、364、367、416、417、420、423~425、455、462、464、471~473、475~478、480、481、535、538、539、552、555、557、558、560、561、612、613、618、619、623、624、627、721 NMOSトランジスタ
 276、381、533 NORゲート
 274、275、371、382、383、392、393、511~517、521、522、524、527、531、540、571、572、601、602、621、711~714、723~725 インバータ
 300 画素アレイ部
 305、406 画素ウェハー
 306 画素チップ
 307 回路チップ
 310 R画素
 311 G画素
 312 B画素
 320、405 ADC
 321 比較回路
 330、410 画素回路
 331、411 リセットトランジスタ
 332、412、451、453、482 容量
 333、413 ゲイン制御トランジスタ
 334、414 FD
 335、415 転送トランジスタ
 336、418 フォトダイオード
 337、419 排出トランジスタ
 340 差動入力回路
 350 電圧変換回路
 360 正帰還回路
 370 データ記憶部
 380、385 ラッチ制御回路
 386 複合ゲート
 387、532 NANDゲート
 390 ラッチ回路
 400 W画素
 422 対数応答部
 430 アドレスイベント検出部
 440 バッファ
 450 微分回路
 460 コンパレータ
 470 AERロジック回路
 500 時刻コード転送部
 510 クラスタ
 520 単位ブロック
 525、526 バッファ
 530 バッファ回路
 600 行アービタ
 610、650~654 アービタブロック
 710 前段ラッチ回路
 720 後段ラッチ回路
 12101~12104 撮像部

Claims (16)

  1.  光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、
     前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器と
    を備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部を具備する固体撮像素子。
  2.  2つのアナログデジタル変換器のうち分解能の低い方は、前記アナログ信号に基づいて前記電荷の量の変動量が所定の閾値を超えた旨をアドレスイベントとして検出する
    請求項1記載の固体撮像素子。
  3.  前記画素アレイ部において、前記特定画素に該当しない画素のそれぞれには、アナログデジタル変換器が1つのみ設けられる
    請求項1記載の固体撮像素子。
  4.  前記画素回路は、
     光を前記電荷に変換する光電変換部と、
     前記光電変換部に流れる前記光電流に対する電流電圧変換により前記2つのアナログ信号の一方を生成する電流電圧変換部と、
     前記電荷を蓄積する電荷蓄積部と、
     前記露光期間の開始タイミングにおいて前記光電変換部から前記電荷を排出する排出トランジスタと、
     前記終了タイミングにおいて前記光電変換部から前記電荷蓄積部へ前記電荷を転送する転送トランジスタと、
     前記浮遊拡散層の電圧を増幅して前記2つのアナログ信号の他方として出力する増幅トランジスタと
    を備える
    請求項1記載の固体撮像素子。
  5.  前記アナログデジタル変換部は、所定の接地電位の端子に接続され、
     前記浮遊拡散層および前記光電変換部を設けた基板には、前記所定の接地電位よりも低い電位が印加される
    請求項4記載の固体撮像素子。
  6.  前記画素回路は、前記終了タイミングの前に前記電荷蓄積部の電圧をリセットレベルに初期化するリセットトランジスタをさらに備え、
     前記画素信号は、前記リセットレベルと前記電荷が転送されたときの信号レベルとを含み、
     前記デジタル信号は、前記リセットレベルを変換したリセットデータと前記信号レベルを変換した信号データとを含む
    請求項4記載の固体撮像素子。
  7.  前記リセットデータと前記信号データとの差分を求めて画素データとして出力する相関二重サンプリング回路をさらに具備する
    請求項6記載の固体撮像素子。
  8.  前記アナログデジタル変換器は、前記リセットデータを保持し、前記信号レベルを変換すると前記リセットデータおよび前記信号データを前記相関二重サンプリング回路に順に出力する
    請求項7記載の固体撮像素子。
  9.  前記画素信号は、第1および第2のリセットレベルと第1および第2の信号レベルとを含み、
     前記アナログデジタル変換器は、
     スロープを持つ所定の参照信号と前記画素信号とを比較して比較結果を出力する比較部と、
     前記比較結果のそれぞれからなるデータを前記デジタル信号として記憶するデータ記憶部と
    を備え、
     前記第2のリセットレベルと前記第1の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第1のリセットレベルと前記第2の信号レベルとのそれぞれを比較するときの傾きより緩やかである
    請求項7記載の固体撮像素子。
  10.  前記第1のリセットレベルと前記第2の信号レベルとを所定の感度により前記画素回路に生成させ、前記第2のリセットレベルと前記第1の信号レベルとを所定感度と異なる感度により前記画素回路に生成させる駆動回路をさらに具備する
    請求項9記載の固体撮像素子。
  11.  前記2つのアナログデジタル変換器のうち分解能の低い方は、
     前記電圧信号を保持する微分回路と、
     前記保持された電圧信号と前記所定の範囲内の閾値とを比較して当該比較結果を出力するコンパレータと、
     前記比較結果に基づいてリクエストを送信し、前記リクエストに対する応答を受信したときに前記微分回路を初期化するハンドシェイク回路と
    を備える請求項1記載の固体撮像素子。
  12.  前記リクエストを調停して当該調停結果に基づいて応答を返信するアービタをさらに具備する請求項11記載の固体撮像素子。
  13.  時刻を示す所定ビット数の時刻コードを前記2つのアナログデジタル変換器の一方に出力するとともに前記時刻コードにおいてビットごとに故障の有無を検出するテスト回路と、
     前記時刻コードにおいて故障の生じた前記ビットに対応するビット線の代わりに予備の信号線を接続する冗長回路とをさらに具備し、
     前記アナログデジタル変換器は、前記時刻コードを用いて前記画素信号を前記デジタル信号に変換する
    請求項1記載の固体撮像素子。
  14.  互いに異なる前記デジタル信号を保持する第1および第2のデータ記憶部と、
     前記第1のデータ記憶部から第1のローカルビット線を介して転送された前記デジタル信号を第1の制御信号に従ってメインビット線へ出力する第1の双方向バッファと、
     前記第2のデータ記憶部から第2のローカルビット線を介して転送された前記デジタル信号を第2の制御信号に従って前記メインビット線へ出力する第2の双方向バッファと、
     前記メインビット線を介して前記デジタル信号を読み出す列処理部と、
     前記第1のデータ記憶部を制御して前記デジタル信号を第1のデジタル信号として前記第1の双方向バッファへ前記第1のローカルビット線を介して転送させる制御と前記第1のデジタル信号の読出し完了前に前記第2のデータ記憶部を制御して前記デジタル信号を第2のデジタル信号として前記第2の双方向バッファへ前記第2のローカルビット線を介して転送させる制御とを行う駆動回路と
    をさらに具備する請求項1記載の固体撮像素子。
  15.  光電変換により生じた電荷の量に応じた2つのアナログ信号を出力する画素回路と、前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換器とを備える特定画素を含む複数の画素が二次元格子状に配列された画素アレイ部と、
     前記デジタル信号からなる画像データを処理するデジタル信号処理部と
    を具備する撮像装置。
  16.  光電変換により生じた電荷の量に応じた2つのアナログ信号を画素回路が出力する出力手順と、
     前記2つのアナログ信号のそれぞれを互いに異なる分解能によりデジタル信号に変換する2つのアナログデジタル変換手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2018/014227 2017-04-25 2018-04-03 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 WO2018198691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/605,400 US11146751B2 (en) 2017-04-25 2018-04-03 Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element
CN201880025947.4A CN110546945B (zh) 2017-04-25 2018-04-03 固态摄像元件、摄像装置和固态摄像元件的控制方法
US17/474,920 US11838672B2 (en) 2017-04-25 2021-09-14 Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017086006 2017-04-25
JP2017-086006 2017-04-25
JP2017-139567 2017-07-19
JP2017139567A JP2018186478A (ja) 2017-04-25 2017-07-19 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/605,400 A-371-Of-International US11146751B2 (en) 2017-04-25 2018-04-03 Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element
US17/474,920 Continuation US11838672B2 (en) 2017-04-25 2021-09-14 Solid-state imaging element, imaging apparatus, and control method of solid-state imaging element

Publications (1)

Publication Number Publication Date
WO2018198691A1 true WO2018198691A1 (ja) 2018-11-01

Family

ID=63919722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014227 WO2018198691A1 (ja) 2017-04-25 2018-04-03 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (2)

Country Link
US (1) US11838672B2 (ja)
WO (1) WO2018198691A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020105313A1 (ja) * 2018-11-19 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2020105314A1 (ja) * 2018-11-19 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
WO2020195770A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法
WO2020195769A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 物体検出装置、物体検出システム及び物体検出方法
WO2021172145A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
US11582406B2 (en) 2018-11-29 2023-02-14 Sony Semiconductor Solutions Corporation Solid-state image sensor and imaging device
US11627268B2 (en) 2018-11-29 2023-04-11 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat A Lenergie Atomique Et Aux Energies Alternatives Capteur d’image piloté par évènements et son procédé de lecture
CN117061889A (zh) * 2022-05-13 2023-11-14 广州印芯半导体技术有限公司 影像传感器、电压电平转换器电路及其操作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120087A (ja) * 2009-12-04 2011-06-16 Canon Inc 撮像装置
WO2016129408A1 (ja) * 2015-02-13 2016-08-18 ソニー株式会社 イメージセンサ、読み出し制御方法、および電子機器
WO2016136448A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 比較器、ad変換器、固体撮像装置、電子機器、比較器の制御方法、データ書込回路、データ読出回路、およびデータ転送回路

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5568880B2 (ja) 2008-04-03 2014-08-13 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP5625284B2 (ja) 2009-08-10 2014-11-19 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP5862126B2 (ja) * 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
EP2665257B1 (en) * 2012-05-16 2014-09-10 Harvest Imaging bvba Image sensor and method for power efficient readout of sub-picture
JP6128493B2 (ja) * 2012-05-29 2017-05-17 パナソニックIpマネジメント株式会社 ランプ生成回路及び固体撮像装置
JP6230260B2 (ja) * 2013-04-24 2017-11-15 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP6399749B2 (ja) * 2013-12-19 2018-10-03 キヤノン株式会社 撮像装置および撮像システム
JP2015130611A (ja) 2014-01-08 2015-07-16 株式会社東芝 アナログデジタル変換器およびイメージセンサ
KR102195409B1 (ko) * 2014-05-29 2020-12-30 삼성전자주식회사 램프 신호 보정 장치와 방법 및 이를 포함하는 이미지 센서
CN110024377B (zh) * 2016-11-24 2022-03-18 索尼半导体解决方案公司 固态成像元件、固态成像装置和固态成像元件的控制方法
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120087A (ja) * 2009-12-04 2011-06-16 Canon Inc 撮像装置
WO2016129408A1 (ja) * 2015-02-13 2016-08-18 ソニー株式会社 イメージセンサ、読み出し制御方法、および電子機器
WO2016136448A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 比較器、ad変換器、固体撮像装置、電子機器、比較器の制御方法、データ書込回路、データ読出回路、およびデータ転送回路

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020105314A1 (ja) * 2018-11-19 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
CN112585954B (zh) * 2018-11-19 2023-12-22 索尼半导体解决方案公司 固态成像元件与成像装置
WO2020105313A1 (ja) * 2018-11-19 2020-05-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
CN112585954A (zh) * 2018-11-19 2021-03-30 索尼半导体解决方案公司 固态成像元件与成像装置
CN112913224A (zh) * 2018-11-19 2021-06-04 索尼半导体解决方案公司 固态成像元件和成像装置
CN112913224B (zh) * 2018-11-19 2023-12-22 索尼半导体解决方案公司 固态成像元件和成像装置
US11523079B2 (en) 2018-11-19 2022-12-06 Sony Semiconductor Solutions Corporation Solid-state imaging element and imaging device
US11832013B2 (en) 2018-11-29 2023-11-28 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11582406B2 (en) 2018-11-29 2023-02-14 Sony Semiconductor Solutions Corporation Solid-state image sensor and imaging device
US11627268B2 (en) 2018-11-29 2023-04-11 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020195769A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 物体検出装置、物体検出システム及び物体検出方法
US11823466B2 (en) 2019-03-27 2023-11-21 Sony Group Corporation Object detection device, object detection system, and object detection method
WO2020195770A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法
WO2021172145A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置

Also Published As

Publication number Publication date
US20210409637A1 (en) 2021-12-30
US11838672B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
CN110546945B (zh) 固态摄像元件、摄像装置和固态摄像元件的控制方法
WO2018198691A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2019146527A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN110024377B (zh) 固态成像元件、固态成像装置和固态成像元件的控制方法
US11950009B2 (en) Solid-state image sensor
US11632505B2 (en) Solid-state image sensor and imaging device
EP3657776B1 (en) Analog-digital converter including miller capacitor, solid-state imaging element including said analog-digital converter, and control method for said analog-digital converter
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2019047383A (ja) 撮像装置、および、固体撮像素子の制御方法
JP2021040294A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019087597A1 (ja) 電圧変換回路、固体撮像素子および電圧変換回路の制御方法
WO2020100427A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN111758251B (zh) 传感器元件和电子器件
JP2021170691A (ja) 撮像素子、制御方法、および電子機器
US11917317B2 (en) Solid-state imaging element and imaging device that detects address event
CN113875226A (zh) 固态摄像元件、摄像装置和固态摄像元件的控制方法
WO2020090311A1 (ja) 固体撮像素子
WO2023112594A1 (ja) 物理量検出装置及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18791786

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18791786

Country of ref document: EP

Kind code of ref document: A1