WO2018096813A1 - 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2018096813A1
WO2018096813A1 PCT/JP2017/036630 JP2017036630W WO2018096813A1 WO 2018096813 A1 WO2018096813 A1 WO 2018096813A1 JP 2017036630 W JP2017036630 W JP 2017036630W WO 2018096813 A1 WO2018096813 A1 WO 2018096813A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
signal
pixel
reset
memory
Prior art date
Application number
PCT/JP2017/036630
Other languages
English (en)
French (fr)
Inventor
雅樹 榊原
頼人 坂野
聡子 飯田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/342,820 priority Critical patent/US11039099B2/en
Priority to JP2018552450A priority patent/JP6997720B2/ja
Priority to CN201780071518.6A priority patent/CN110024377B/zh
Publication of WO2018096813A1 publication Critical patent/WO2018096813A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Definitions

  • the present technology relates to a solid-state imaging device, a solid-state imaging device, and a control method for the solid-state imaging device.
  • the present invention relates to a solid-state imaging device that performs correlated double sampling processing, a solid-state imaging device, and a control method for the solid-state imaging device.
  • correlated double sampling CDS: Correlated Double Sampling
  • a solid-state imaging device has been proposed in which a memory having a capacity corresponding to the number of times is sampled for each pixel in order to perform signal level sampling a plurality of times (for example, see Non-Patent Document 1).
  • the data after CDS processing is B (B is an integer) bits and the number of times of sampling is N (N is an integer of 2 or more)
  • N pieces of data are provided for each pixel outside the pixel array.
  • B-bit memory is provided.
  • data at the time of n (n is an integer from 1 to N) sampling is held in the nth memory.
  • the solid-state imaging device outputs an average value of data read from each of the N memories as final pixel data.
  • the present technology has been created in view of such a situation, and an object thereof is to suppress an increase in memory capacity in a solid-state imaging device that performs correlated double sampling processing.
  • a first aspect of the present technology is a pixel circuit that sequentially generates a predetermined reset level and a plurality of signal levels corresponding to the exposure amount.
  • An analog-to-digital converter that converts each of the plurality of signal data into digital data and outputs it as signal data after converting the predetermined reset level into digital data and outputting the reset data, and a memory for holding the retained data
  • the difference between the reset data and the first output signal data is held in the memory as the held data, and then the held data and the signal data output after the second time are added.
  • a solid-state imaging device comprising an arithmetic circuit for holding the added data in the memory as new holding data; Beauty is its control method. Thereby, there is an effect that data obtained by calculating the difference between the reset data and the signal data output first and the signal data output after the second time are held in the memory.
  • the analog-digital converter converts each of a predetermined number of the signal levels into the signal data
  • the memory has a capacity of the predetermined number of logarithms having a base of 2 and the above-mentioned logarithm. It may be the sum of the difference data size.
  • data is held in a memory having a capacity of the sum of a predetermined number of logarithms with a base of 2 and the difference data size.
  • the pixel circuit generates the same number of the reset levels as the plurality of signal levels, and the arithmetic circuit holds the reset data and the hold each time the reset data is output. Data may be added and the added data may be retained in the memory as new retained data. Thereby, every time reset data is output, the memory is updated with data obtained by adding the reset data and the held data.
  • the exposure time corresponding to each of the plurality of signal levels is different, and the pixel circuit may generate one reset level. This brings about the effect that the number of reset level conversions is one.
  • the analog-digital converter may convert the signal level at an operating frequency corresponding to the exposure time ratio. This brings about the effect that the signal level is converted by the operating frequency corresponding to the ratio of the exposure time.
  • the pixel circuit includes a plurality of photons that share the charge storage unit and a charge storage unit that stores the transferred charge and generates a voltage according to the stored charge amount. You may provide the transfer part which transfers the said electric charge produced
  • the exposure time corresponding to each of the plurality of signal levels is different, and the arithmetic circuit multiplies the reset data and the signal data by the ratio of the exposure time, and then calculates the difference. May be performed. Thereby, the reset data and the signal data are multiplied by the respective ratios of the exposure time.
  • each ratio of the exposure time is a power of 2.
  • the arithmetic circuit may perform a shift operation on the reset data and the signal data. As a result, the shift operation is performed on the reset data and the signal data.
  • the pixel circuits may be arranged in a two-dimensional grid, and the analog-digital converter may be provided for each pixel circuit. This brings about the effect that data is held in a memory provided for each pixel circuit.
  • the semiconductor device further includes two stacked semiconductor substrates, the pixel circuit is disposed on one of the two semiconductor substrates, and the analog-digital converter and the memory include the two semiconductor substrates. It may be arranged on the other side of the semiconductor substrate. Thus, a voltage is generated on one of the two stacked semiconductor substrates, and data is held and AD conversion is performed on the other.
  • the semiconductor device further includes two stacked semiconductor substrates, the pixel circuit and the memory are arranged on one of the two semiconductor substrates, and the analog-digital converter includes the two semiconductor substrates. It may be arranged on the other side of the semiconductor substrate. As a result, data is held on one of the two stacked semiconductor substrates, and AD conversion is performed on the other.
  • the semiconductor device further includes stacked first, second, and third semiconductor substrates, the pixel circuit is disposed on the first semiconductor substrate, and the analog-digital converter includes:
  • the memory may be disposed on the third semiconductor substrate, and the memory may be disposed on the second semiconductor substrate. Thereby, a voltage is generated in the first semiconductor substrate, AD conversion is performed in the second semiconductor substrate, and data is held in the third semiconductor substrate.
  • the pixel circuit that sequentially generates the first and second reset levels and the first and second signal levels corresponding to the exposure amount, the first reset level, Each of the second signal level is converted into first reset data and second signal data with a predetermined resolution, and each of the second reset level and the first signal level is converted into the predetermined resolution.
  • An analog-to-digital converter for converting the second reset data and the first signal data with higher resolution, and obtaining a difference between the first reset data and the second signal data as the first pixel data;
  • a correlated double sampling processing unit that obtains a difference between the second reset data and the first signal data as the second pixel data, and a first that holds the first pixel data Memory, a second memory that holds the second pixel data, and whether the value of the held second pixel data is higher than a predetermined value, and the value of the second pixel data is A determination unit that outputs the held first pixel data when higher than a predetermined value, and outputs the second pixel data when the value of the second pixel data is less than the predetermined value; And a control method thereof.
  • the first pixel data is output when the value of the second pixel data is higher than the predetermined value
  • the second pixel data is output when the value of the second pixel data is less than the predetermined value. It brings about the effect of being.
  • the first reset level and the second signal level are generated by the pixel circuit with a predetermined sensitivity, and the second reset level and the first signal level are obtained.
  • the pixel circuit generates each of the first and second reset levels and the first and second signal levels as pixel signals
  • the analog-digital converter includes: A comparison unit that compares a predetermined reference signal having a slope with the pixel signal over a plurality of times and outputs the comparison result, and data that includes each of the comparison results is the first and second reset data.
  • a data storage unit that stores the data as either the first signal data or the second signal data, and the slope of the slope when comparing the second reset level and the first signal level is It may be more gradual than the slope when comparing each of the first reset level and the second signal level. This brings about the effect that the slope of the slope is changed.
  • the pixel circuits are arranged in a two-dimensional lattice, the analog-digital converter is arranged for each pixel circuit, and the second memory is shared by all the pixel circuits. May be. This brings about the effect that data is held in the shared second memory.
  • a pixel circuit that sequentially generates a predetermined reset level and a plurality of signal levels corresponding to the exposure amount, and the predetermined reset level is converted into digital data to be reset data.
  • An analog-to-digital converter that converts each of the plurality of signal levels into digital data and outputs it as signal data, a memory that holds holding data, the reset data, and the signal data that is output first Is stored in the memory as the retained data, and the retained data that has been retained is added to the signal data output after the second time, and the added data is retained in the memory as new retained data.
  • Digital signal processing for performing predetermined signal processing on the held retained data A solid-state imaging device provided and. Thus, there is an effect that the signal processing is executed on the data obtained by adding the difference between the reset data and the signal data output first and the signal data output after the second time.
  • a pixel circuit that sequentially generates first and second reset levels and first and second signal levels according to an exposure amount, the first reset level, and the first reset level Each of the second signal level is converted into first reset data and second signal data with a predetermined resolution, and each of the second reset level and the first signal level is converted into the predetermined resolution.
  • An analog-to-digital converter for converting the second reset data and the first signal data with higher resolution, and obtaining a difference between the first reset data and the second signal data as the first pixel data;
  • a correlated double sampling processing unit that obtains a difference between the second reset data and the first signal data as the second pixel data, and a first method that holds the first pixel data.
  • a second memory for holding the second pixel data, and determining whether or not the value of the held second pixel data is higher than a predetermined value, the value of the second pixel data is A determination unit that outputs the held first pixel data when higher than a predetermined value, and outputs the second pixel data when the value of the second pixel data is less than the predetermined value;
  • a solid-state imaging device comprising: a digital signal processing unit that performs predetermined signal processing on the output data of the first and second pixel data.
  • FIG. 3 is a block diagram illustrating a configuration example of a latch circuit and a bidirectional buffer according to the first embodiment of the present technology.
  • FIG. It is a block diagram showing an example of 1 composition of an output part in a 1st embodiment of this art.
  • 1 is a block diagram illustrating a configuration example of an arithmetic circuit and a memory according to a first embodiment of the present technology.
  • It is a circuit diagram showing an example of 1 composition of an addition circuit in a 1st embodiment of this art.
  • 6 is a timing chart illustrating an example of reset level sampling processing according to the first embodiment of the present technology.
  • 3 is a timing chart illustrating an example of signal level sampling processing according to the first embodiment of the present technology. It is a block diagram showing an example of 1 composition of a pixel and an output part in a 1st embodiment of this art. It is a figure for explaining CDS processing in each of a 1st embodiment of this art and a comparative example. 3 is a flowchart illustrating an example of a CDS process according to the first embodiment of the present technology. It is a circuit diagram showing an example of 1 composition of a pixel circuit in a 2nd embodiment of this art. It is a block diagram showing an example of 1 composition of an arithmetic circuit and a memory in a 3rd embodiment of this art.
  • 12 is a timing chart illustrating an example of driving a pixel according to the third embodiment of the present technology. It is a figure for demonstrating the 1st time and the 2nd time CDS process in 3rd Embodiment of this technique. It is a figure for demonstrating the 3rd time and the 4th time CDS process in 3rd Embodiment of this technique. It is a figure for explaining CDS processing in each of a 3rd embodiment of this art and a comparative example.
  • 16 is a timing chart illustrating an example of reset level sampling processing according to the fourth embodiment of the present technology.
  • 16 is a timing chart illustrating an example of signal level sampling processing according to the fourth embodiment of the present technology. It is a figure for demonstrating the arithmetic processing containing the CDS process in 4th Embodiment of this technique. It is a block diagram showing an example of 1 composition of an output part in a 5th embodiment of this art. It is a figure for demonstrating the process of the output part in 5th Embodiment of this technique. 22 is a timing chart illustrating an example of reset level sampling processing according to the fifth embodiment of the present technology. 16 is a timing chart illustrating an example of signal level sampling processing according to the fifth embodiment of the present technology. It is a figure for demonstrating the inclination of the slope in 5th Embodiment of this technique.
  • FIG. 22 is a flowchart illustrating an example of a CDS process according to the fifth embodiment of the present technology.
  • FIG. 28 is a circuit diagram illustrating a configuration example of a pixel circuit and a differential input circuit according to a sixth embodiment of the present technology.
  • 22 is a timing chart illustrating an example of reset level sampling processing according to the sixth embodiment of the present technology.
  • 22 is a timing chart illustrating an example of signal level sampling processing according to the sixth embodiment of the present technology. It is a figure for demonstrating the CDS process in 6th Embodiment of this technique.
  • First embodiment (example in which data addition value is held in memory) 2.
  • Second embodiment (example in which added value of data from sub-pixel is held in memory) 3.
  • Third Embodiment (Example in which an addition value of a plurality of data having different exposure times is held in a memory) 4).
  • Fourth embodiment (example in which an addition value of one reset data and a plurality of signal data is held in a memory) 5).
  • Fifth Embodiment (Example in which two data having different resolutions are held in different memories) 6).
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment of the present technology.
  • the imaging apparatus 100 is an apparatus for imaging image data, and includes an optical unit 110, a solid-state imaging device 200, and a DSP (Digital Signal Processing) circuit 120. Further, the imaging apparatus 100 includes a display unit 130, an operation unit 140, a bus 150, a frame memory 160, a storage unit 170, and a power supply unit 180.
  • a digital camera such as a digital still camera, a smartphone or a personal computer having an imaging function is assumed.
  • the optical unit 110 collects light from the subject and guides it to the solid-state imaging device 200.
  • the solid-state imaging device 200 generates image data by photoelectric conversion in synchronization with a vertical synchronization signal.
  • the vertical synchronization signal is a periodic signal having a predetermined frequency indicating the timing of imaging.
  • the solid-state imaging device 200 supplies the generated image data to the DSP circuit 120 via the signal line 209.
  • the DSP circuit 120 performs predetermined signal processing on the image data from the solid-state imaging device 200.
  • the DSP circuit 120 outputs the processed image data to the frame memory 160 or the like via the bus 150.
  • the DSP circuit 120 is an example of a digital signal processing unit described in the claims.
  • the display unit 130 displays image data.
  • a liquid crystal panel or an organic EL (Electro Luminescence) panel is assumed.
  • the operation unit 140 generates an operation signal in accordance with a user operation.
  • the bus 150 is a common path for the optical unit 110, the solid-state imaging device 200, the DSP circuit 120, the display unit 130, the operation unit 140, the frame memory 160, the storage unit 170, and the power supply unit 180 to exchange data with each other.
  • the frame memory 160 holds image data.
  • the storage unit 170 stores various data such as image data.
  • the power supply unit 180 supplies power to the solid-state imaging device 200, the DSP circuit 120, the display unit 130, and the like.
  • FIG. 2 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the first embodiment of the present technology.
  • the solid-state image sensor 200 includes a semiconductor substrate 201.
  • the semiconductor substrate 201 is provided with a DAC (Digital to Analog Converter) 210 and a plurality of time code generators 220.
  • the semiconductor substrate 201 is provided with a vertical drive circuit 230, a pixel array unit 240, a pixel drive circuit 250, a timing generation circuit 260, and an output unit 270.
  • a plurality of pixels are arranged in a two-dimensional lattice pattern.
  • the DAC 210 generates an analog reference signal that changes in a slope shape by DA (Digital-to-Analog) conversion.
  • the DAC 210 supplies a reference signal to the pixel array unit 240.
  • the time code generator 220 generates a time code. This time code indicates a time within a period in which the reference signal changes in a slope shape.
  • the time code generation unit 220 supplies the generated time code to the pixel array unit 240.
  • the timing generation circuit 260 generates various timing signals and supplies them to the vertical drive circuit 230, the output unit 270, and the like.
  • the vertical drive circuit 230 controls the output unit 270 to output pixel data generated in the pixel in synchronization with the timing signal.
  • the pixel driving circuit 250 drives the pixels.
  • the output unit 270 performs signal processing including CDS processing on the pixel data.
  • the output unit 270 outputs the processed pixel data to the DSP circuit 120.
  • FIG. 3 is a block diagram illustrating a configuration example of the pixel array unit 240 according to the first embodiment of the present technology.
  • the pixel array unit 240 includes a plurality of time code transfer units 241 and a plurality of pixels 300.
  • the time code transfer unit 241 is arranged for each time code generation unit 220.
  • the pixels 300 are arranged in a two-dimensional grid.
  • the time code transfer unit 241 transfers the time code from the corresponding time code generation unit 220.
  • the time code transfer unit 241 transfers the time code from the corresponding time code generation unit 220 to the pixel 300, and transfers the time code from the pixel 300 to the output unit 270 as pixel data.
  • the pixel 300 generates pixel data.
  • FIG. 4 is a block diagram illustrating a configuration example of the pixel 300 according to the first embodiment of the present technology.
  • the pixel 300 includes a pixel circuit 310 and an ADC 320.
  • the ADC 320 includes a comparison circuit 321 and a data storage unit 360.
  • the comparison circuit 321 includes a differential input circuit 330, a voltage conversion circuit 340, and a positive feedback circuit 350.
  • the pixel circuit 310 generates a reset level or a signal level as a pixel signal SIG by photoelectric conversion.
  • the reset level is a voltage when FD (Floating Diffusion) is initialized after the start of exposure
  • the signal level is a voltage according to the exposure amount at the end of exposure.
  • the pixel circuit 310 supplies the reset level and the signal level to the differential input circuit 330 in order.
  • the ADC 320 performs AD conversion of the pixel signal SIG (reset level or signal level) into digital data.
  • Data obtained by AD converting the reset level is hereinafter referred to as “P-phase data”.
  • data obtained by AD converting the signal level is hereinafter referred to as “D-phase data”.
  • the P-phase data is an example of reset data described in the claims
  • the D-phase data is an example of signal data described in the claims.
  • the differential input circuit 330 in the ADC 320 compares the reference signal REF from the DAC 210 with the pixel signal SIG from the pixel circuit 310.
  • the differential input circuit 330 supplies a comparison result signal indicating the comparison result to the voltage conversion circuit 340.
  • the voltage conversion circuit 340 converts the voltage of the comparison result signal from the differential input circuit 330 and outputs it to the positive feedback circuit 350.
  • the positive feedback circuit 350 adds a part of the output to the input (comparison result signal) and outputs the result to the data storage unit 360 as the output signal VCO.
  • the data storage unit 360 holds a time code when the output signal VCO is inverted.
  • the data storage unit 360 outputs a time code corresponding to the reset level as P-phase data, and outputs a time code corresponding to the signal level as D-phase data.
  • the ADC 320 is arranged for each pixel circuit 310, the ADC 320 may be arranged for each of the plurality of pixel circuits 310.
  • FIG. 5 is a circuit diagram illustrating a configuration example of the pixel circuit 310, the differential input circuit 330, the voltage conversion circuit 340, and the positive feedback circuit 350 according to the first embodiment of the present technology.
  • the pixel circuit 310 includes a reset transistor 311, an FD 312, a transfer transistor 314, a photodiode 315, and a discharge transistor 316.
  • a reset transistor 311, the transfer transistor 314, and the discharge transistor 316 for example, an N-type MOS (Metal-Oxide-Semiconductor) transistor is used.
  • the photodiode 315 generates electric charge by photoelectric conversion.
  • the discharge transistor 316 discharges the charge accumulated in the photodiode 315 in accordance with the drive signal OFG from the pixel drive circuit 250.
  • the transfer transistor 314 transfers charges from the photodiode 315 to the FD 312 in accordance with the transfer signal TX from the pixel drive circuit 250.
  • the FD 312 accumulates the transferred charges and generates a voltage corresponding to the accumulated charge amount.
  • the FD 312 is an example of a charge storage unit described in the claims.
  • the reset transistor 311 initializes the FD 312 in accordance with the reset signal RST from the pixel driving circuit 250.
  • the differential input circuit 330 includes PMOS (Positive channel MOS) transistors 331, 334, and 336 and NMOS (Negative channel MOS) transistors 332, 333, and 335.
  • PMOS Positive channel MOS
  • NMOS Negative channel MOS
  • the NMOS transistors 332 and 335 constitute a differential pair, and the sources of these transistors are commonly connected to the drain of the NMOS transistor 333.
  • the drain of the NMOS transistor 332 is connected to the drain of the PMOS transistor 331 and the gates of the PMOS transistors 331 and 334.
  • the drain of the NMOS transistor 335 is connected to the drain of the PMOS transistor 334, the gate of the PMOS transistor 336, and the drain of the reset transistor 311.
  • the reference signal REF is input to the gate of the NMOS transistor 332.
  • a predetermined bias voltage Vb is applied to the gate of the NMOS transistor 333, and a predetermined ground voltage is applied to the source of the NMOS transistor 333.
  • This ground voltage VSS is higher than the substrate potential of the NMOS transistor in the pixel circuit 310.
  • PMOS transistors 331 and 334 constitute a current mirror circuit.
  • a power supply voltage VDDH is applied to the sources of the PMOS transistors 331, 334 and 336.
  • the power supply voltage VDDH is higher than the power supply voltage VDDL.
  • the drain of the PMOS transistor 336 is connected to the voltage conversion circuit 340.
  • the voltage conversion circuit 340 includes an NMOS transistor 341.
  • a power supply voltage VDDL is applied to the gate of the NMOS transistor 341.
  • the drain of the NMOS transistor 341 is connected to the drain of the PMOS transistor 336, and the source is connected to the positive feedback circuit 350.
  • the positive feedback circuit 350 includes PMOS transistors 351, 352, 355, and 356, and NMOS transistors 353, 354, and 357.
  • PMOS transistors 351 and 352 are connected in series to power supply voltage VDDL.
  • the drive signal INI2 from the vertical drive circuit 230 is input to the gate of the PMOS transistor 351.
  • the drain of the PMOS transistor 352 is connected to the source of the NMOS transistor 341, the drain of the NMOS transistor 353, and the gates of the PMOS transistor 355 and the NMOS transistor 354.
  • the ground voltage is applied to the source of the NMOS transistor 353, and the drive signal INI1 from the vertical drive circuit 230 is input to the gate.
  • PMOS transistors 355 and 356 are connected in series to the power supply voltage VDDL.
  • the drain of the PMOS transistor 356 is connected to the gate of the PMOS transistor 352 and the drains of the NMOS transistors 354 and 357.
  • a control signal TESTVCO from the vertical drive circuit 230 is input to the gates of the PMOS transistor 356 and the NMOS transistor 357.
  • An output signal VCO is output from the drains of the NMOS transistors 354 and 357.
  • a ground voltage is applied to the sources of the NMOS transistors 354 and 357.
  • each of the pixel circuit 310, the differential input circuit 330, the voltage conversion circuit 340, and the positive feedback circuit 350 is not limited to the circuit illustrated in FIG. 5 as long as it has the functions described in FIG.
  • FIG. 6 is a block diagram illustrating a configuration example of the data storage unit 360 according to the first embodiment of the present technology.
  • the data storage unit 360 includes a latch control circuit 370, latch circuits 380 having the same number of bits D (D is an integer) of D-phase data, D bidirectional buffers 390, and repeaters 361.
  • the latch control circuit 370 holds the value of the output signal VCO (logical value “0” or “1”) in any of the latch circuits 380 in accordance with the control signal xWORD from the vertical drive circuit 230.
  • the control signal xWORD is a signal obtained by inverting the control signal WORD.
  • the latch circuit 380 holds the value of the output signal VCO according to the control of the latch control circuit 370.
  • the bidirectional buffer 390 bidirectionally transfers data between the corresponding latch circuit 380 and the repeater 361 in accordance with the control signal xPRC, the write enable WEN, and the read enable REN from the vertical drive circuit 230.
  • the repeater 361 transfers the time code between the bidirectional buffer 390 and the time code transfer unit 241.
  • FIG. 7 is a block diagram illustrating a configuration example of the latch control circuit 370 according to the first embodiment of the present technology.
  • the latch control circuit 370 includes a NOR gate 371 and inverters 372, 373 and 374.
  • the NOR gate 371 outputs a negative logical sum (NOR) of the control signal xWORD and the output signal VCO to the inverter 372.
  • the inverter 372 inverts the output value from the NOR gate 371 and outputs the inverted value to the latch circuit 380 as the latch control signal T.
  • the inverter 373 inverts the output signal VCO and outputs it to the inverter 374.
  • the inverter 374 inverts the output value of the inverter 373 and outputs it as a latch input signal L to the latch circuit 380.
  • latch control circuit 370 is not limited to the circuit illustrated in FIG. 7 as long as it has an equivalent function.
  • FIG. 8 is a block diagram illustrating a configuration example of the latch circuit 380 and the bidirectional buffer 390 according to the first embodiment of the present technology.
  • the latch circuit 380 includes a switch 381 and inverters 382 and 383.
  • the switch 381 opens and closes a path between the inverter 382 and the bit line LBL according to the latch control signal T from the latch control circuit 370.
  • the bit line LBL is connected to the bidirectional buffer 390.
  • the inverter 382 inverts the signal from the inverter 383 in accordance with the latch input signal L from the latch control circuit 370.
  • the inverter 382 outputs the inverted signal to the input terminal of the inverter 383 and the switch 381.
  • the inverter 383 inverts the signal from the inverter 382 and outputs it to the input terminal of the inverter 382.
  • the bidirectional buffer 390 includes an NMOS transistor 391, an inverter 392, and a buffer 393.
  • the control signal xPRC from the vertical drive circuit 230 is input to the gate of the NMOS transistor 391.
  • the drain of the NMOS transistor 391 is connected to the power supply, and the source is connected to the bit line LBL.
  • the control signal xPRC is set to a low level when data is transferred to the bidirectional buffer 390, and the bit line LBL is once set to a high level. Thereafter, a signal is read from the latch circuit 380.
  • the inverter 392 inverts the signal from the bit line LBL in accordance with the read enable REN and outputs it to the bit line MBL and the input terminal of the buffer 393.
  • This bit line MBL is connected to a repeater 361.
  • the buffer 393 outputs a signal from the inverter 392 or the bit line MBL to the bit line LBL and the input terminal of the inverter 392 in accordance with the write enable WEN.
  • latch circuit 380 and the bidirectional buffer 390 are not limited to the circuit illustrated in FIG. 8 as long as they have equivalent functions.
  • FIG. 9 is a block diagram illustrating a configuration example of the output unit 270 according to the first embodiment of the present technology.
  • the output unit 270 includes a calculation unit 271 and a memory array 272.
  • an arithmetic circuit 280 is arranged for each pixel 300.
  • a memory 273 is provided for each pixel 300.
  • the number of pixels 300 in the horizontal direction is H (H is an integer of 2 or more) and the number of pixels 300 in the vertical direction is V (V is an integer of 2 or more)
  • the number of each of the arithmetic circuit 280 and the memory 273 is H ⁇ V.
  • Each of the arithmetic circuits 280 is associated with different pixels 300 on a one-to-one basis.
  • the memory 273 is also associated with the different pixels 300 on a one-to-one basis.
  • the arithmetic circuit 280 performs CDS processing on the digital data (P-phase data or D-phase data) from the corresponding pixel 300.
  • the arithmetic circuit 280 holds data in the corresponding memory 273 in the CDS process.
  • the memory 273 outputs the held data to the DSP circuit 120 as pixel data.
  • Cm ROUNDUP (log 2 N) + B
  • Cm the memory capacity, and the unit is, for example, a bit.
  • B is the number of bits of the difference (that is, net pixel data) between the P-phase data and the D-phase data.
  • N is the number of signal level samplings.
  • ROUNDUP () is a function that rounds up and returns an integer value.
  • the memory capacity Cm is 15 bits from the above equation. If the number of pixels 300 is H ⁇ V, the total capacity of the entire memory array 272 is Cm ⁇ H ⁇ V bits.
  • the ADC 320 When the ADC 320 is arranged for each K (K is an integer of 2 or more) pixel circuits 310, the arithmetic circuit 280 and the memory 273 are also provided for each K pixel.
  • FIG. 10 is a block diagram illustrating a configuration example of the arithmetic circuit 280 and the memory 273 according to the first embodiment of the present technology.
  • the arithmetic circuit 280 includes a selector 281 and a multi-stage addition circuit 282. When the number of times of sampling N is 2, the number of stages of the adding circuit 282 is the same as the number of bits B (for example, 14) of the pixel data.
  • the memory 273 includes a plurality of memory cells 274 that hold one bit. The number of memory cells 274 is B + 1. When the number of samplings N is 3 or more, the number of stages of the adding circuit 282 and the memory capacity of the memory 273 increase according to the number of samplings.
  • the selector 281 selects one of the logical values “1” and “0” in accordance with the subtraction control signal SUB from the timing generation circuit 260 and outputs it as the carry input signal Xin [0] to the first stage addition circuit 282. It is.
  • the addition circuit 282 performs addition processing.
  • a carry input signal Xin [0] from the selector 281 and DATA [0] of the 0th bit of DATA from the corresponding pixel 300 are input to the addition circuit 282 in the first stage.
  • a carry output signal Cout [b] and b-th DATA [b] from the previous stage are input to the addition circuit 282 in the b-th stage (b is an integer from 0 to B ⁇ 1).
  • the initialization signal INI and the subtraction control signal SUB from the timing generation circuit 260 are input to all the addition circuits 282.
  • the b-th stage addition circuit 282 holds the output signal Sout [b] in the b-th memory cell 274.
  • the b-th stage addition circuit 282 outputs a carry signal Cout [b] to the subsequent stage addition circuit 282.
  • the final stage adder circuit 282 holds the carry output signal Cout [B ⁇ 1] in the last memory cell 274.
  • FIG. 11 is a circuit diagram showing a configuration example of the adder circuit 282 according to the first embodiment of the present technology.
  • the adder circuit 282 includes an inverter 283, selectors 284 and 286, and a full adder 285.
  • the inverter 283 inverts DATA [0] and supplies it to the selector 284.
  • the selector 284 selects either DATA [0] or the inverted value from the inverter 283 in accordance with the subtraction control signal SUB and inputs it to the input terminal A of the full adder 285.
  • the selector 286 selects either Sout [0] held in the corresponding memory cell 274 or the logical value “0” in accordance with the initialization signal INI, and inputs it to the input terminal B of the full adder 285. is there.
  • the full adder 285 performs addition of the same binary digits in consideration of carry.
  • the full adder 285 is provided with the aforementioned input terminals A and B, an input terminal X, and output terminals S and C.
  • a carry input signal Xin [0] is input to the input terminal X.
  • An output signal Sout [0] is output from the output terminal S to the corresponding memory cell 274.
  • From the output terminal C the carry output signal Cout [0] is output to the input terminal X of the full adder 285 at the subsequent stage.
  • the truth table of the full adder 285 is the same as that of a general full adder.
  • the configuration of the addition circuit 282 in the second and subsequent stages is the same as that in the first stage.
  • the arithmetic circuit 280 inverts the sign of the first P-phase data (reset level) and stores it in the memory 273 in accordance with the initialization signal INI and the subtraction control signal SUB. Then, according to the subtraction control signal SUB, the arithmetic circuit 280 inverts the sign of the second and subsequent P-phase data, adds the inverted value and the data held in the memory 273, and updates the memory 273 with the added value. To do.
  • the arithmetic circuit 280 adds the first D-phase data (signal level) and the data held in the memory 273, and updates the memory 273 with the added value.
  • the sign of the P-phase data is inverted, the difference between the first D-phase data and the P-phase data is calculated. Since the P-phase data includes fixed pattern noise and reset noise, these can be removed by calculating the difference.
  • the arithmetic circuit 280 adds the second and subsequent D-phase data and the data held in the memory 273, and updates the memory 273 with the added value. By this addition, a value equivalent to a value obtained by averaging the results of the two CDS processes is obtained. Note that the arithmetic circuit 280 is not limited to the circuits illustrated in FIGS. 10 and 11 as long as the circuit has the above-described function.
  • FIG. 12 is a timing chart illustrating an example of reset level sampling processing according to the first embodiment of the present technology.
  • the pixel drive circuit 250 supplies a reset signal RST.
  • the FD is initialized.
  • the 1V period is the period of the vertical synchronization signal. Further, it is assumed that exposure of all the pixels is started immediately before the 1V period.
  • the vertical drive circuit 230 supplies drive signals INI2 and INI1 in order. Also, the supply of the output signal VCO is started.
  • the DAC 210 decreases the reference signal REF in a slope shape.
  • the vertical drive circuit 230 sets the control signal TESTVCO to the low level, and the timing generation circuit 260 supplies the write enable WEN set to enable.
  • the first reset level is AD converted (in other words, sampled).
  • the positive feedback circuit 350 outputs the output signal VCO based on the comparison result between the reference signal REF and the reset level.
  • the value of the output signal VCO is sequentially held in the same number of latch circuits 380 as the number of bits D (for example, 15) of the D-phase data. Those held values are transferred to the bidirectional buffer 390 via the D bit lines LBL. A black portion on the bit line LBL indicates data when the output signal VCO is inverted.
  • the timing generation circuit 260 outputs the control signal WORD and outputs the read enable REN set to enable.
  • the P-phase data is transferred from the bidirectional buffer 390 to the repeater 361 via the D bit lines MBL.
  • the second reset level is AD-converted between timing t16 and timing t17 by the same control as the first time.
  • FIG. 13 is a timing chart illustrating an example of signal level sampling processing according to the first embodiment of the present technology.
  • the vertical drive circuit 230 supplies drive signals INI2 and INI1 in order. Further, at the timing t22 immediately after that, the pixel drive circuit 250 supplies the transfer signal TX to all the pixels. This completes the exposure.
  • the DAC 210 decreases the reference signal REF in a slope shape.
  • the vertical drive circuit 230 sets the control signal TESTVCO to the low level, and the timing generation circuit 260 supplies the write enable WEN set to enable.
  • the first signal level is AD converted (in other words, sampled).
  • the positive feedback circuit 350 outputs the output signal VCO based on the comparison result between the reference signal REF and the signal level.
  • the value of the output signal VCO is sequentially held in the D latch circuits 380. Those held values are transferred to the bidirectional buffer 390 via the D bit lines LBL. A black portion on the bit line LBL indicates data when the output signal VCO is inverted.
  • the timing generation circuit 260 outputs the control signal WORD and outputs the read enable REN set to enable.
  • the D-phase data is transferred from the bidirectional buffer 390 to the repeater 361 via the D bit lines MBL.
  • the second signal level is AD-converted between timing t26 and timing t27 by the same control as the first time.
  • the pixel drive circuit 250 supplies the drive signal OFG to all the pixels. Thereby, the next exposure is started.
  • the reset level and the signal level are sampled twice each. Note that the number of samplings is not limited to two, and may be three or more.
  • FIG. 14 is a block diagram illustrating a configuration example of the pixel 300 and the output unit 270 according to the first embodiment of the present technology.
  • the pixel circuit 310 in the pixel 300 sequentially generates each of the reset level and the signal level N times (for example, “2”) times.
  • the ADC 320 in the pixel 300 converts the reset level and signal level into P-phase data and D-phase data, and outputs them to the output unit 270.
  • the arithmetic circuit 280 in the output unit 270 inverts the sign of the first P-phase data and stores it in the memory 273. Then, the arithmetic circuit 280 inverts the sign of the second and subsequent P-phase data, adds the inverted value and the data held in the memory 273, and updates the memory 273 with the added value.
  • the arithmetic circuit 280 adds the first D-phase data and the data held in the memory 273, and updates the memory 273 with the added value (that is, the difference between the P-phase data and the D-phase data). . Subsequently, the arithmetic circuit 280 adds the second and subsequent D-phase data and the data (difference) held in the memory 273, and updates the memory 273 with the added value. Then, the added value is output from the pixel 300 as pixel data after CDS processing.
  • the data size of P-phase data is, for example, 13 bits
  • the data size of D-phase data is, for example, 15 bits.
  • the number of samplings N of the reset level and the signal level is set to 2, for example.
  • the data size of the difference between the first P-phase data and the first D-phase data is 14 bits.
  • the memory capacity is 15 bits.
  • FIG. 15 is a diagram for explaining the CDS process in each of the first embodiment of the present technology and the comparative example.
  • a in the figure is a figure for demonstrating the CDS process in 1st Embodiment of this technique
  • b in the figure is a figure for demonstrating the CDS process in a comparative example.
  • the arithmetic circuit writes the first P-phase data and D-phase data and the second P-phase data and D-phase data in different memories.
  • the arithmetic circuit 280 inverts the sign of the first P-phase data and causes the memory 273 to hold it. Then, the arithmetic circuit 280 inverts the sign of the second P-phase data, adds the inverted value and the data held in the memory 273, and updates the memory 273 with the added value. Then, the arithmetic circuit 280 adds the first D-phase data and the data held in the memory 273, and updates the memory 273 with the added value. Subsequently, the arithmetic circuit 280 adds the second D-phase data and the data held in the memory 273, and updates the memory 273 with the added value.
  • the arithmetic circuit 280 holds the value obtained by adding the inverted values of the first and second P-phase data and the added value of the first and second D-phase data in the memory 273. In other words, a value obtained by adding the difference between the first P-phase data and the D-phase data and the second difference is held in the memory 273. In this configuration, if the bit number of the difference is 14 bits, the memory capacity for each pixel is 15 bits.
  • the arithmetic circuit inverts the sign of the first P-phase data and holds it in the memory M1, and inverts the sign of the second P-phase data to store the memory. Hold at M2. Then, the arithmetic circuit adds the first D-phase data and the data held in the memory M1, and updates the memory M1 with the added value (difference). Subsequently, the arithmetic circuit adds the second D-phase data and the data held in the memory M2, and updates the memory M2 with the added value (difference). The arithmetic circuit adds the difference held in the memory M1 and the difference held in the memory M2, and outputs the result as pixel data. As described above, since the first difference (14 bits) is held in the memory M1 and the second difference (14 bits) is held in the memory M2, the memory capacity of each memory is 14 bits. That is, the total memory capacity for each pixel requires 28 bits.
  • the comparative example requires a memory capacity of H ⁇ V ⁇ 28 bits, whereas the output unit 270 has a memory capacity of H ⁇ V ⁇ 15 bits.
  • the memory capacity can be greatly reduced.
  • FIG. 16 is a flowchart illustrating an example of the CDS process according to the first embodiment of the present technology.
  • This CDS process is started, for example, when the vertical synchronization signal rises.
  • the pixel 300 generates the first reset level and converts it into P-phase data (step S901).
  • the output unit 270 inverts the sign of the P-phase data and holds it in the memory 273 (step S902).
  • the pixel 300 generates a second reset level and converts it into P-phase data (step S903).
  • the output unit 270 inverts the sign of the second P-phase data, adds it to the data held in the memory 273, and updates the memory 273 with the added value (step S904).
  • the pixel 300 generates the first signal level and converts it to D-phase data (step S905).
  • the output unit 270 adds the first D-phase data and the data held in the memory 273, and updates the memory 273 with the added value (step S906).
  • the pixel 300 generates a second signal level and converts it into D-phase data (step S907).
  • the output unit 270 adds the second D-phase data and the data stored in the memory 273, and updates the memory 273 with the added value. This added value is output as pixel data (step S908).
  • the solid-state imaging device 200 ends the CDS process.
  • the solid-state imaging device 200 since the solid-state imaging device 200 holds the value obtained by adding the B bit difference N times in the memory, the memory capacity per pixel is suppressed to B + log 2 N bits. can do.
  • Second Embodiment> In the first embodiment described above, an FD is provided for each photodiode. However, the number of FDs increases as the number of photodiodes increases. In order to suppress the increase in the number of FDs, for example, a configuration in which a plurality of photodiodes share one FD may be employed.
  • the solid-state imaging device 200 according to the second embodiment is different from the first embodiment in that a plurality of photodiodes share one FD.
  • FIG. 17 is a circuit diagram illustrating a configuration example of the pixel circuit 310 according to the second embodiment of the present technology.
  • the pixel circuit 310 includes reset transistors 311 and FD 312 and four sub-pixel circuits 313.
  • the reset transistor 311 and the FD 312 are shared by these subpixel circuits 313.
  • Each of the sub-pixel circuits 313 includes a transfer transistor 314, a photodiode 315, and a discharge transistor 316.
  • These subpixel circuits 313 are referred to as subpixels a, b, c, and d.
  • the transfer signal TXa and the drive signal OFGa from the pixel drive circuit 250 are input to the subpixel a.
  • the transfer signal TXb and the drive signal OFGb are input to the subpixel b, and the transfer signal TXc and the drive signal OFGc are input to the subpixel c.
  • the sub-pixel d receives the transfer signal TXd and the drive signal OFGd.
  • the transfer transistor 314 in the sub-pixel circuit 313 transfers charge to the FD 312 according to the corresponding transfer signal. Note that the circuit including the four transfer transistors 314 is an example of a transfer unit described in the claims.
  • the pixel drive circuit 250 sequentially supplies drive signals OFGa, OFGb, OFGc, and OFGd to all pixels at the start of exposure, and supplies a reset signal RST. Further, the pixel driving circuit 250 sequentially supplies transfer signals TXa, TXb, TXc, and TXd to all the pixels at the end of exposure. It is assumed that the exposure time of each sub-pixel circuit 313 is the same.
  • the number of subpixel circuits 313 that share the FD 312 is not limited to four, and may be two.
  • the exposure times of the sub-pixel circuits 313 are the same.
  • the dynamic range may be insufficient under natural light or the like.
  • the four sub-pixel circuits 313 may be exposed with different exposure times, and pixel data having a long exposure time and pixel data having a short exposure time may be combined. Such synthesis is called high dynamic range synthesis.
  • the solid-state imaging device 200 of the third embodiment is different from the second embodiment in that high dynamic range synthesis is performed.
  • FIG. 18 is a block diagram illustrating a configuration example of the arithmetic circuit 280 and the memory 273 according to the third embodiment of the present technology.
  • the arithmetic circuit 280 of the third embodiment is different from the second embodiment in that it further includes a shifter 290.
  • the shifter 290 shifts the data DATAin from the pixel array unit 240 to the left (in other words, multiplies by a power of 2) in accordance with the shift control signal SH from the timing generation circuit 260.
  • the shift amount is set to a value corresponding to the exposure time ratio (exposure ratio).
  • the shifter 290 outputs the shifted data to the adder circuit 282 as DATAout.
  • the exposure times of the sub-pixels a, b, c, and d are Ea, Eb, Ec, and Ed.
  • Ea Eb
  • Ec 4
  • the multiplication can be performed by a shift operation. For example, DATAin from the sub-pixel b is shifted to the left by 1 bit. Further, DATAin from the sub-pixel c is shifted left by 2 bits, and DATAin from the sub-pixel d is shifted left by 3 bits. On the other hand, DATAin from the sub-pixel a is not shifted.
  • the exposure ratio is a power of 2
  • the exposure ratio may be set to a value other than a power of 2.
  • the arithmetic circuit 280 may include a multiplier instead of the shifter 290 and multiply the exposure ratio.
  • FIG. 19 is a circuit diagram illustrating a configuration example of the shifter 290 according to the third embodiment of the present technology.
  • the shifter 290 can shift up to 3 bits.
  • the shifter 290 includes B (for example, 15) selectors 291.
  • the b-th selector 291 (b is an integer from 0 to B ⁇ 1) is associated with the b-th bit of DATAin.
  • the selector 291 corresponding to the 0th bit selects either the logical value “0” or DATAin [0] according to the shift control signal SH, and outputs it as DATAout [0].
  • the selector 291 corresponding to the b-th bit selects either DATAin [b-1] or DATAin [b] according to the shift control signal SH and outputs it as DATAout [b].
  • LSB east significant bit
  • LSB east significant bit
  • the shift control signal SH indicates whether to shift left by one bit.
  • the selector 291 corresponding to the b-th bit selects DATAin [b] and outputs it as DATAout [b].
  • the selector 291 corresponding to the b-th bit selects DATAin [b ⁇ 1] or “0” and outputs it as DATAout [b].
  • FIG. 20 is a timing chart illustrating a driving example of the pixel 300 according to the third embodiment of the present technology.
  • the pixel drive circuit 250 outputs a drive signal OFGa at the exposure start timing t41 of the sub-pixel a.
  • the pixel drive circuit 250 sequentially outputs the drive signals OFGb, OFGc, and OFGd. Thereby, exposure is started in order of the sub-pixels a, b, c, and d.
  • the pixel drive circuit 250 outputs the drive signal TXd at the timing t45 when the exposure of the sub-pixel d is completed after the timing t44.
  • the pixel driving circuit 250 sequentially outputs the driving signals TXc, TXb, and TXd. Thereby, the exposure ends in the order of the sub-pixels d, c, b, and a.
  • the ADC 320 outputs P-phase data and D-phase data in the order of the sub-pixels d, c, b, and a.
  • FIG. 21 is a diagram for explaining the first and second CDS processes in the third embodiment of the present technology.
  • the shifter 290 shifts the data to the left by 3 bits (in other words, multiplies by 8), and the adder 292 The sign of the shifted data is inverted and held in the memory 273.
  • the adder 292 is an arithmetic unit including B adder circuits 282.
  • the shifter 290 shifts the data to the left by 3 bits, and the adder 292 adds the shifted data and the data held in the memory 273.
  • the memory 273 is updated with the added value (difference).
  • the shifter 290 shifts the data to the left by 2 bits.
  • the adder 292 inverts the sign of the shifted data, adds the inverted value and the data held in the memory 273, and updates the memory 273 with the added value.
  • the shifter 290 shifts the data to the left by 2 bits, and the adder 292 adds the shifted data and the data held in the memory 273. Then, the memory 273 is updated with the added value.
  • FIG. 22 is a diagram for explaining the third and fourth CDS processes in the third embodiment of the present technology.
  • the shifter 290 shifts the data to the left by 1 bit.
  • the adder 292 inverts the sign of the shifted data, adds the inverted value and the data held in the memory 273, and updates the memory 273 with the added value.
  • the shifter 290 shifts the data to the left by 1 bit, and the adder 292 adds the shifted data and the data stored in the memory 273. Then, the memory 273 is updated with the added value.
  • the shifter 290 outputs the data to the adder 292 without shifting.
  • the adder 292 inverts the sign of the data, adds the inverted value and the data stored in the memory 273, and updates the memory 273 with the added value.
  • the shifter 290 outputs the data to the adder 292 without shifting.
  • the adder 292 adds the data and the data held in the memory 273, and updates the memory 273 with the added value.
  • FIG. 23 is a diagram for explaining CDS processing in each of the third embodiment of the present technology and the comparative example.
  • a in the figure is a figure for demonstrating the CDS process in 3rd Embodiment.
  • B in the figure is a figure for demonstrating the CDS process in a comparative example.
  • the shifter 290 multiplies the P-phase data by the exposure ratio (eg, “8”).
  • the adder 292 inverts the sign of the multiplication value and holds it in the memory 273.
  • the shifter 290 multiplies the D-phase data by the exposure ratio.
  • the adder 292 adds the multiplied value and the data stored in the memory 273, and updates the memory 273 with the added value.
  • the adder 292 When the P-phase data from the sub-pixel a having the longer exposure time is input, the adder 292 inverts the sign of the P-phase data and adds the inverted value and the data stored in the memory 273. Then, the memory 273 is updated with the added value. Next, when D-phase data from the sub-pixel a is input, the adder 292 adds the D-phase data and the data held in the memory 273, and updates the memory 273 with the added value.
  • the adder 292 adds the difference between the P-phase data and the D-phase data with the shorter exposure time and the difference with the longer exposure time, and holds them in the same memory 273. Thereby, pixel data with a wide dynamic range can be obtained. If the difference data size is 14 bits, the number N of signal level samplings is 2. Therefore, the memory capacity for each pixel is 15 bits from the above equation.
  • the arithmetic circuit holds the difference between the P-phase data and the D-phase data with the shorter exposure time in the memory M1, and calculates the difference with the longer exposure time.
  • the circuit is held in the memory M2.
  • the arithmetic circuit multiplies the data held in the memory M1 by the exposure ratio, adds it to the data held in the memory M2, and outputs it as pixel data.
  • the difference data size is 14 bits, a memory capacity of 28 bits is required for each pixel.
  • the comparative example requires a memory capacity of H ⁇ V ⁇ 28 bits, whereas the output unit 270 has a memory capacity of H ⁇ V ⁇ 15 bits.
  • the memory capacity can be greatly reduced.
  • the difference between the first B bits and the second and subsequent differences among N exposures with different exposure times are added and held in the memory 273.
  • the memory capacity per pixel can be suppressed to a value of B + log 2 N.
  • the solid-state imaging device 200 performs reset level sampling over the same number of times as signal level sampling.
  • the number of reset level samplings increases, increasing power consumption.
  • the signal level becomes a value obtained by photoelectric conversion of light with high illuminance, and shot noise becomes dominant.
  • the second and subsequent signal levels although there is a correlation of fixed pattern noise with the first reset level, the correlation with the reset noise is poor. Therefore, even if the reset level is sampled once, the influence on the image quality is small.
  • the solid-state imaging device 200 of the fourth embodiment is different from the first embodiment in that the reset level sampling is performed only once.
  • FIG. 24 is a timing chart illustrating an example of reset level sampling processing according to the fourth embodiment of the present technology.
  • the first reset level conversion operation from timing t10 to timing t15 is the same as that in the first embodiment. However, the second and subsequent reset levels are not generated.
  • FIG. 25 is a timing chart illustrating an example of signal level sampling processing according to the fourth embodiment of the present technology.
  • the first signal level conversion operation from timing t21 to timing t25 is the same as in the first embodiment.
  • the pixel driving circuit 250 outputs a reset signal RST.
  • the pixel driving circuit 250 supplies the transfer signal TX.
  • the first exposure time is from the output point of the drive signal OFG in the previous 1V period to the timing t22.
  • the second exposure time is from timing t22 to timing t27. The second exposure time is longer than the first exposure time.
  • the second signal level is AD-converted between timing t28 and timing t29.
  • the slope of the slope of the reference signal REF is the same as in the first time, but the timing generation circuit 260 sets the operating frequency of the clock signal that operates the output unit 270 to 1 according to the exposure ratio. It shall be lower than the first time. Thereby, the voltage value corresponding to 1LSB of AD conversion becomes larger than the first time. That is, the resolution in AD conversion is lowered.
  • the operating frequency of the clock signal when lowering the operating frequency of the clock signal, it may be lowered while maintaining the pulse width, or the pulse width may be changed when lowering.
  • the duty ratio of the clock signal when maintaining the pulse width, the duty ratio of the clock signal also changes as the operating frequency decreases.
  • FIG. 26 is a diagram for describing arithmetic processing including CDS processing according to the fourth embodiment of the present technology.
  • the arithmetic circuit 280 of the fourth embodiment includes a shifter 290 and an adder 292 as in the third embodiment.
  • the arithmetic circuit 280 inverts the sign of the P-phase data and multiplies the sign-inverted P-phase data by the number of times of reading the D phase (N times).
  • the gain (N times) is applied and held in the memory 273.
  • the adder 292 adds the D-phase data and the data held in the memory 273, and updates the memory 273 with the added value.
  • the shifter 290 shifts to the left by the amount of the reduced resolution.
  • data with different resolutions here, the first and second D-phase data
  • the resolution at the time of AD conversion at the reset level is increased, dither is naturally applied, and the digital value is not lost. Therefore, dither processing or the like is not necessary.
  • the adder 292 adds the shifted D-phase data and the data held in the memory 273, and updates the memory 273 with the added value. Since the second P-phase data has a longer exposure time than the second time, shot noise is dominant and the correlation with reset noise is poor. This eliminates the need for the second reset sampling and only requires one reset sampling.
  • the arithmetic circuit 280 performs a process of multiplying the number of samplings as a gain before inputting the P-phase data.
  • the solid-state imaging device 200 since the solid-state imaging device 200 makes the second exposure time longer than the first exposure time, the number of times of reset level sampling can be reduced. Thereby, the power consumption of the solid-state image sensor 200 can be reduced.
  • the ADC 320 AD-converts a plurality of signal levels with the same exposure time.
  • the dynamic range may be insufficient under natural light.
  • a method of generating pixel data of short exposure and pixel data of long exposure and combining them is used.
  • this method has a problem that the total exposure time of the long exposure and the short exposure becomes long.
  • the solid-state imaging device 200 of the fifth embodiment is different from the first embodiment in that the dynamic range is expanded while suppressing an increase in exposure time.
  • FIG. 27 is a block diagram illustrating a configuration example of the output unit 270 according to the fifth embodiment of the present technology.
  • the output unit 270 of the fifth embodiment differs from the first embodiment in that it further includes a shared memory 295.
  • the shared memory 295 is shared by all the arithmetic circuits 280 provided for each pixel.
  • FIG. 28 is a diagram for describing processing of the output unit 270 according to the fifth embodiment of the present technology.
  • the pixel circuit 310 generates the reset level and the signal level twice. Each exposure time of the signal level is the same.
  • the ADC 320 converts the first reset level into P-phase data with a predetermined resolution RL. Then, the ADC 320 converts the second reset level and the first signal level into P-phase data and D-phase data by RH higher than the resolution RL. Subsequently, the ADC 320 converts the second signal level into D-phase data with the resolution RL.
  • the output unit 270 includes a CDS processing unit 296 and a saturation determination unit 297.
  • the CDS processing unit 296 inverts the sign of the first P-phase data and stores it in the memory 273, and inverts the sign of the second P-phase data and stores it in the shared memory 295.
  • the CDS processing unit 296 adds the first D-phase data and the data held in the shared memory 295, and updates the shared memory 295 with the added value.
  • the difference (pixel data) between the second P-phase data and the first D-phase data is held in the shared memory 295.
  • the shared memory 295 is an example of a second memory described in the claims.
  • the CDS processing unit 296 adds the second D-phase data and the data held in the memory 273, and updates the memory 273 with the added value.
  • the difference (pixel data) between the first P-phase data and the second D-phase data is held in the memory 273.
  • the memory 273 is an example of a first memory described in the claims.
  • the saturation determination unit 297 determines whether the data held in the shared memory 295 (pixel data) exceeds the full scale (in other words, is saturated). When saturated, the saturation determination unit 297 initializes the shared memory 295 and outputs the data held in the memory 273 as final pixel data. On the other hand, when not saturated, the saturation determination unit 297 updates the memory 273 with the data held in the shared memory 295, and outputs the updated data in the memory 273 as final pixel data. The saturation determination unit 297 determines whether the data stored in the shared memory 295 exceeds the full scale, but may determine whether the data exceeds a predetermined value less than the full scale. Moreover, the saturation determination part 297 is an example of the determination part as described in a claim.
  • Each of the memory 273 and the shared memory 295 holds B (for example, 14) -bit pixel data, so that each memory capacity may be B bits.
  • FIG. 29 is a timing chart illustrating an example of reset level sampling processing according to the fifth embodiment of the present technology.
  • the first and second reset level conversion operations from timing t10 to t17 in the fifth embodiment are the same as those in the first embodiment.
  • the DAC 210 makes the slope of the slope of the reference signal REF gentler than the first time.
  • the second reset level is AD converted with a higher resolution than the first reset level.
  • FIG. 30 is a timing chart illustrating an example of signal level sampling processing according to the fifth embodiment of the present technology.
  • the first and second signal level conversion operations from timing t21 to t28 in the fifth embodiment are the same as those in the first embodiment.
  • the DAC 210 makes the slope of the slope of the reference signal REF gentler than the second time.
  • the first signal level is AD-converted with a higher resolution than the second signal level.
  • FIG. 31 is a diagram for explaining the slope of the slope according to the fifth embodiment of the present technology.
  • the ADC 320 repeats the operation of comparing the reference signal and the pixel signal in synchronization with the clock signal. For this reason, when the slope of the reference signal is made gentle while the frequency of the clock signal is kept constant, the voltage value corresponding to the LSB becomes small. That is, the resolution of the ADC 320 is increased. Further, when the resolution is high, the converted digital value becomes larger than when the resolution is low.
  • the dynamic range of the entire image data is reduced. Can be wide.
  • FIG. 32 is a diagram for explaining the CDS process according to the fifth embodiment of the present technology.
  • a in the figure is a figure for demonstrating the CDS process at the time of low illumination
  • b in the figure is a figure for demonstrating the CDS process at the time of high illuminance.
  • the arithmetic circuit 280 inverts the sign of the first low-resolution P-phase data and holds it in the memory 273, and inverts the sign of the second high-resolution P-phase data. And stored in the shared memory 295.
  • the arithmetic circuit 280 adds the first D-phase data and the data held in the shared memory 295, and updates the shared memory 295 with the added value.
  • the difference net pixel data TEMP
  • the CDS processing unit 296 adds the second D-phase data and the data held in the memory 273, and updates the memory 273 with the added value. As a result, the difference between the first P-phase data and the second D-phase data is held in the memory 273.
  • the memory 273 is an example of a first memory described in the claims.
  • the arithmetic circuit 280 determines whether or not the pixel data TEMP in the shared memory 295 exceeds (saturates) the full scale FS. When not saturated, the arithmetic circuit 280 updates the memory 273 with the data held in the shared memory 295, as illustrated by a in FIG. The updated high resolution data is output as final pixel data. On the other hand, when saturated, the arithmetic circuit 280 initializes the shared memory 295 as illustrated in b in the figure, and outputs the low-resolution data held in the memory 273 as final pixel data.
  • the pixel 300 may be exposed only once, and it is not necessary to perform both the long time exposure and the short time exposure, so that an increase in the exposure time can be suppressed.
  • FIG. 33 is a flowchart illustrating an example of a CDS process according to the fifth embodiment of the present technology.
  • the pixel 300 generates the first reset level and converts it into P-phase data (step S911).
  • the output unit 270 inverts the sign of the P-phase data and holds it in the memory 273 (step S912).
  • the pixel 300 generates a second reset level, converts the slope into a P-phase data with a gentle slope (step S913).
  • the output unit 270 inverts the sign of the second P-phase data and holds it in the shared memory 295 (step S914).
  • the pixel 300 generates the first signal level, and converts it into D-phase data with a gentle slope (step S915).
  • the output unit 270 adds the D-phase data to the data held in the shared memory 295, and updates the shared memory 295 with the added value (step S916).
  • the pixel 300 generates a second signal level and converts it into D-phase data (step S917).
  • the output unit 270 adds the D-phase data to the data held in the memory 273, and updates the memory 273 with the added value (step S918).
  • the output unit 270 determines whether or not the value stored in the shared memory 295 is saturated (step S919). When saturated (step S919: Yes), the output unit 270 initializes the shared memory 295 and outputs the value of the memory 273 as pixel data (step S920). On the other hand, when not saturated (step S919: No), the output unit 270 updates the memory 273 with the stored value of the shared memory 295, and outputs the updated value as pixel data (step S921). After step S920 or S921, the solid-state imaging device 200 ends the CDS process.
  • low resolution pixel data is output at high illuminance
  • high resolution pixel data is output at low illuminance, so that the dynamic range is expanded by one exposure. be able to.
  • the pixel circuit 310 outputs the voltage generated by the FD without amplification, but there is a possibility that the amount of handled saturation signal is insufficient when the illuminance is high. When the handling saturation signal amount is insufficient, it is desirable to reduce the voltage generated by the FD and output data with a reduced voltage.
  • the pixel circuit 310 of the sixth embodiment is different from the fifth embodiment in that the analog voltage generated by the FD is reduced.
  • FIG. 34 is a circuit diagram illustrating a configuration example of the pixel circuit 310 and the differential input circuit 330 according to the sixth embodiment of the present technology.
  • the pixel circuit 310 of the sixth embodiment differs from the fifth embodiment in that it further includes a gain control transistor 317 and a capacitor 318.
  • the gain control transistor 317 for example, an N-type MOS transistor is used.
  • the gain control signal FDG from the pixel drive circuit 250 is input to the gate of the gain control transistor 317.
  • the drain of the gain control transistor 317 is connected to one end of the capacitor 318 and the drain of the reset transistor 311.
  • the source of the gain control transistor 317 is connected to the drains of the PMOS transistor 334 and the NMOS transistor 335 and the gate of the PMOS transistor 336.
  • a substrate voltage is applied to the other end of the capacitor 318.
  • the pixel 300 when the pixel driving circuit 250 supplies the high level gain control signal FDG, the pixel 300 can reduce the voltage of the FD 312 by a predetermined analog gain and output it. As a result, the handling signal amount of the pixel 300, that is, the saturation signal amount is increased.
  • FIG. 35 is a timing chart illustrating an example of reset level sampling processing according to the sixth embodiment of the present technology.
  • the pixel driving circuit 250 supplies the high-level gain control signal FDG during the period from the timing t10 to t16 at the first reset level conversion. Then, the pixel drive circuit 250 supplies the low-level gain control signal FDG after the timing t16 at the time of the second reset level conversion.
  • FIG. 36 is a timing chart illustrating an example of signal level sampling processing according to the sixth embodiment of the present technology.
  • the pixel drive circuit 250 supplies the low-level gain control signal FDG during the period from the timing t21 to t27 at the first signal level conversion. Then, the pixel drive circuit 250 supplies the high-level gain control signal FDG after the timing t27 in the second signal level conversion.
  • FIG. 37 is a diagram for explaining the CDS process according to the sixth embodiment of the present technology.
  • a in the figure is a figure for demonstrating the CDS process at the time of low illumination
  • b in the figure is a figure for demonstrating the CDS process at the time of high illuminance.
  • the CDS processing unit 296 of the sixth embodiment includes a multiplier 293 and an adder 292.
  • the adder 292 inverts the sign of the first low-resolution P-phase data and stores it in the memory 273.
  • the multiplier 293 multiplies the sign of the first high-resolution P-phase data by the digital value Ag.
  • the digital value Ag is set to a value corresponding to the ratio of resolution due to the slope of the slope and the analog gain. If the digital value Ag is a power of 2, the multiplier 293 can be realized by a shifter as in the third embodiment.
  • the adder 292 inverts the sign of the P-phase data after multiplication and holds it in the shared memory 295.
  • the multiplier 293 multiplies the second D-phase data by the digital value Ag.
  • the adder 292 adds the multiplied D-phase data and the data held in the shared memory 295, and updates the shared memory 295 with the added value.
  • the difference net pixel data TEMP
  • the adder 292 adds the second D-phase data and the data held in the memory 273, and updates the memory 273 with the added value.
  • the difference (net pixel data) between the first P-phase data and the second D-phase data is held in the memory 273.
  • the saturation determination unit 297 determines whether or not the pixel data TEMP in the shared memory 295 exceeds the full scale FS (saturates).
  • the processing after the saturation determination of the sixth embodiment is the same as that of the fifth embodiment.
  • the output unit 270 reduces the sensitivity by reducing the voltage of the FD, it is possible to suppress the shortage of the saturation signal amount.
  • the pixel circuit 310, the ADC 320, and the memory 273 are arranged on one semiconductor substrate. However, they can be distributed on a plurality of stacked semiconductor substrates.
  • the solid-state imaging device 200 according to the seventh embodiment is different from the first embodiment in that the pixel circuits 310 and the like are distributed and arranged on a plurality of stacked semiconductor substrates.
  • FIG. 38 is a perspective view illustrating an example of a stacked structure of the solid-state imaging device 200 according to the seventh embodiment of the present technology.
  • the solid-state imaging device 200 according to the seventh embodiment includes an upper substrate 202 and a lower substrate 204 that are stacked. Bonding of the respective substrates is performed by Cu-Cu bonding, TSV (Through-Silicon-Via) technology, or the like.
  • pixel circuits 310 are arranged in a two-dimensional grid. Further, the same number of ADCs 320 and memories 273 as the pixel circuits 310 are arranged on the lower substrate 204. Circuits and elements other than the pixel circuit 310, the ADC 320, and the memory 273 are omitted. “Upper” of the upper substrate 202 indicates a side closer to the optical unit 110.
  • the pixel circuits 310, the ADCs 320, and the memories 273 are arranged in a distributed manner on the stacked upper substrate 202 and lower substrate 204. And the degree of integration can be improved.
  • the memory 273 is disposed on the lower substrate 204, but may be disposed on the upper substrate 202.
  • the solid-state imaging device 200 according to the first modification of the seventh embodiment is different from the seventh embodiment in that the memory 273 is arranged on the upper substrate 202.
  • FIG. 39 is a perspective view illustrating an example of a stacked structure of the solid-state imaging device 200 according to the first modification of the seventh embodiment of the present technology.
  • the pixel circuit 310 and the memory 273 are disposed on the upper substrate 202, and the ADC 320 is disposed on the lower substrate 204. Circuits and elements other than the pixel circuit 310, the ADC 320, and the memory 273 are omitted.
  • the pixel circuit 310 and the memory 273 are arranged on the upper substrate 202 and the ADC 320 is arranged on the lower substrate 204. Mounting density and integration can be improved.
  • the pixel circuit 310, the ADC 320, and the memory 273 are arranged on the two stacked semiconductor substrates. However, they can be distributed on the three semiconductor substrates.
  • the solid-state imaging device 200 according to the second modification of the seventh embodiment is different from the seventh embodiment in that the pixel circuits 310 and the like are distributed and arranged on three stacked semiconductor substrates.
  • FIG. 40 is a perspective view illustrating an example of a stacked structure of the solid-state imaging device 200 according to the second modification example of the seventh embodiment of the present technology.
  • the solid-state imaging device 200 of the second modification example of the seventh embodiment includes an upper substrate 202, an intermediate substrate 203, and a lower substrate 204 that are stacked.
  • pixel circuits 310 are arranged in a two-dimensional grid. Further, the same number of ADCs 320 as the pixel circuits 310 are arranged on the intermediate substrate 203. The same number of memories 273 as the pixel circuits 310 are arranged on the lower substrate 204. Circuits and elements other than the pixel circuit 310, the ADC 320, and the memory 273 are omitted.
  • the pixel circuit 310, the ADC 320, and the memory 273 are distributed and arranged on the three stacked semiconductor substrates.
  • the mounting density and the degree of integration can be further improved.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 41 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 42 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 42 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the solid-state imaging device in the imaging units 12101 to 12104 among the configurations described above.
  • the output unit in the solid-state imaging device holds the added value of the first difference and the second and subsequent D-phase data in the memory.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • (1) a pixel circuit that sequentially generates a predetermined reset level and a plurality of signal levels corresponding to the exposure amount;
  • An analog-to-digital converter that converts each of the plurality of signal data into digital data and outputs it as signal data after converting the predetermined reset level into digital data and outputting it as reset data;
  • Memory for holding data, After the difference between the reset data and the first output signal data is held in the memory as the held data, the held data is added to the signal data output for the second time and thereafter.
  • a solid-state imaging device comprising: an arithmetic circuit for holding the added data in the memory as new holding data.
  • the analog-digital converter converts each of a predetermined number of the signal levels into the signal data,
  • the pixel circuit generates the same number of the reset levels as the plurality of signal levels,
  • the arithmetic circuit adds the reset data and the held data each time the reset data is output, and holds the added data in the memory as new held data in (1) or (2)
  • the exposure time corresponding to each of the plurality of signal levels is different, The solid-state imaging device according to (1) or (2), wherein the pixel circuit generates one reset level.
  • the solid-state imaging device converts the signal level at an operating frequency corresponding to the ratio of the exposure time.
  • the pixel circuit includes: A charge storage unit that stores the transferred charge and generates a voltage according to the amount of stored charge; (1) to (5) comprising: a plurality of photodiodes sharing the charge storage unit; and a transfer unit configured to transfer the charge generated by photoelectric conversion in each of the plurality of photodiodes to the charge storage unit.
  • the solid-state image sensor in any one.
  • the exposure time corresponding to each of the plurality of signal levels is different, The solid-state imaging device according to any one of (1) to (6), wherein the arithmetic circuit calculates the difference after multiplying the reset data and the signal data by each ratio of the exposure time. (8) Each ratio of the exposure time is a power of 2; The solid-state imaging device according to (7), wherein the arithmetic circuit performs a shift operation on the reset data and the signal data. (9) The pixel circuits are arranged in a two-dimensional grid, The solid-state imaging device according to any one of (1) to (8), wherein the analog-digital converter is provided for each of the pixel circuits.
  • the pixel circuit is disposed on one of the two semiconductor substrates, The solid-state imaging device according to any one of (1) to (9), wherein the analog-digital converter and the memory are arranged on the other of the two semiconductor substrates.
  • (11) It further comprises two stacked semiconductor substrates, The pixel circuit and the memory are arranged on one of the two semiconductor substrates, The solid-state imaging device according to any one of (1) to (9), wherein the analog-digital converter is disposed on the other of the two semiconductor substrates.
  • (12) further comprising stacked first, second and third semiconductor substrates;
  • the pixel circuit is disposed on the first semiconductor substrate,
  • the analog-digital converter is disposed on the second semiconductor substrate;
  • the solid-state imaging device according to any one of (1) to (9), wherein the memory is disposed on the third semiconductor substrate.
  • (13) a pixel circuit that sequentially generates first and second reset levels and first and second signal levels corresponding to the exposure amount; Each of the first reset level and the second signal level is converted into first reset data and second signal data with a predetermined resolution, and the second reset level and the first signal level are converted.
  • An analog-to-digital converter that converts each of the above into second reset data and first signal data with a resolution higher than the predetermined resolution; The difference between the first reset data and the second signal data is obtained as first pixel data, and the difference between the second reset data and the first signal data is obtained as the second pixel data.
  • a correlated double sampling processing unit A first memory for holding the first pixel data; A second memory for holding the second pixel data; It is determined whether the value of the held second pixel data is higher than a predetermined value. If the value of the second pixel data is higher than the predetermined value, the held first pixel data is A solid-state imaging device comprising: a determination unit that outputs the second pixel data when the value of the second pixel data is less than the predetermined value.
  • the pixel circuit is caused to generate the first reset level and the second signal level with a predetermined sensitivity, and the second reset level and the first signal level are different from a predetermined sensitivity.
  • the pixel circuit generates the first and second reset levels and the first and second signal levels as pixel signals
  • the analog-digital converter is A comparison unit that compares a predetermined reference signal having a slope with the pixel signal a plurality of times and outputs the comparison result; and A data storage unit for storing data comprising each of the comparison results as one of the first and second reset data and the first and second signal data; The slope of the slope when comparing each of the second reset level and the first signal level is greater than the slope when comparing each of the first reset level and the second signal level.
  • the solid-state imaging device according to (13) or (14), which is loose.
  • the pixel circuits are arranged in a two-dimensional grid, The analog-digital converter is arranged for each pixel circuit, The solid-state imaging device according to any one of (13) to (15), wherein the second memory is shared by all of the pixel circuits.
  • a pixel circuit that sequentially generates a predetermined reset level and a plurality of signal levels according to the exposure amount; An analog-to-digital converter that converts each of the plurality of signal levels into digital data and outputs the signal data after converting the predetermined reset level into digital data and outputting the reset data; Memory for holding data, After the difference between the reset data and the first output signal data is held in the memory as the held data, the held data is added to the signal data output for the second time and thereafter.
  • An arithmetic circuit for holding the added data in the memory as new holding data comprising: a digital signal processing unit that performs predetermined signal processing on the held data. (18) a pixel circuit that sequentially generates first and second reset levels and first and second signal levels corresponding to the exposure amount; Each of the first reset level and the second signal level is converted into first reset data and second signal data with a predetermined resolution, and the second reset level and the first signal level are converted.
  • An analog-to-digital converter that converts each of the above into second reset data and first signal data with a resolution higher than the predetermined resolution; The difference between the first reset data and the second signal data is obtained as first pixel data, and the difference between the second reset data and the first signal data is obtained as the second pixel data.
  • a correlated double sampling processing unit A first memory for holding the first pixel data; A second memory for holding the second pixel data; It is determined whether the value of the held second pixel data is higher than a predetermined value.
  • the held first pixel data is A determination unit that outputs the second pixel data when the value of the second pixel data is less than the predetermined value;
  • a solid-state imaging device comprising: a digital signal processing unit that performs predetermined signal processing on the output data of the first and second pixel data.
  • a control method for a solid-state imaging device comprising: a calculation procedure for storing the processed data in the memory as new stored data.
  • a correlated double sampling processing procedure that is obtained as second pixel data and held in the second memory; It is determined whether the value of the held second pixel data is higher than a predetermined value. If the value of the second pixel data is higher than the predetermined value, the held first pixel data is And a determination procedure for outputting the second pixel data when the value of the second pixel data is less than the predetermined value.

Abstract

相関二重サンプリング処理を行う固体撮像素子においてメモリ容量の増大を抑制する。　画素回路は、所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する。アナログデジタル変換器は、所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力する。演算回路は、リセットデータと最初に出力された信号データとの差分を保持データとしてメモリに保持させた後に当該保持させた保持データと２回目以降に出力された信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる。

Description

固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法
　本技術は、固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、相関二重サンプリング処理を行う固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法に関する。
　従来より、固体撮像素子においては、リセットノイズや固定パターンノイズを低減するために相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理が行われている。このＣＤＳ処理において、信号レベルのサンプリングを複数回に亘って行う目的で、その回数に応じた容量のメモリを画素毎に設ける固体撮像素子が提案されている（例えば、非特許文献１参照。）。この固体撮像素子では、ＣＤＳ処理後のデータがＢ（Ｂは整数）ビットで、サンプリングの回数がＮ（Ｎは２以上の整数）回である場合、画素アレイの外部において画素毎に、Ｎ個のＢビットのメモリが設けられる。そして、ｎ（ｎは１乃至Ｎの整数）回目のサンプリングの際のデータがｎ番目のメモリに保持される。そして、固体撮像素子は、Ｎ個のメモリのそれぞれから読み出したデータの平均値を最終的な画素データとして出力する。
Stuart Kleinfelder, et al., A 10000 Frames/s CMOS Digital Pixel Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS 2001.
　上述の従来技術では、サンプリングの回数が多くなるほど、メモリの個数（Ｎ）が多くなり、それらのメモリからなるメモリアレイのメモリ容量が増大してしまうという問題がある。メモリ容量が大きいほど、コストや実装面積が増大するため、メモリ容量を削減することが望ましい。
　本技術はこのような状況に鑑みて生み出されたものであり、相関二重サンプリング処理を行う固体撮像素子においてメモリ容量の増大を抑制することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、上記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に上記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、保持データを保持するメモリと、上記リセットデータと最初に出力された上記信号データとの差分を上記保持データとして上記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された上記信号データとを加算して当該加算したデータを新たな保持データとして上記メモリに保持させる演算回路とを具備する固体撮像素子、および、その制御方法である。これにより、リセットデータと最初に出力された信号データとの差分と２回目以降に出力された信号データとを演算したデータがメモリに保持されるという作用をもたらす。
　また、この第１の側面において、上記アナログデジタル変換器は、所定数の上記信号レベルのそれぞれを上記信号データに変換し、上記メモリの容量は、底を２とする上記所定数の対数と上記差分のデータサイズとの和であってもよい。これにより、底を２とする所定数の対数と差分のデータサイズとの和の容量のメモリにデータが保持されるという作用をもたらす。
　また、この第１の側面において、上記画素回路は、上記複数の信号レベルと同じ個数の上記リセットレベルを生成し、上記演算回路は、上記リセットデータが出力されるたびに上記リセットデータと上記保持データとを加算して当該加算したデータを新たな保持データとして上記メモリに保持させてもよい。これにより、リセットデータが出力されるたびにリセットデータと保持データとを加算したデータによりメモリが更新されるという作用をもたらす。
　また、この第１の側面において、上記複数の信号レベルのそれぞれに対応する露光時間は異なり、上記画素回路は、１つの上記リセットレベルを生成してもよい。これにより、リセットレベルの変換回数が１回になるという作用をもたらす。
　また、この第１の側面において、上記アナログデジタル変換器は、上記露光時間の比率に応じた動作周波数により上記信号レベルを変換してもよい。これにより、露光時間の比率に応じた動作周波数により信号レベルが変換されるという作用をもたらす。
　また、この第１の側面において、上記画素回路は、転送された電荷を蓄積して当該蓄積された電荷量に応じた電圧を生成する電荷蓄積部と、上記電荷蓄積部を共有する複数のフォトダイオードと上記複数のフォトダイオードのそれぞれにおいて光電変換により生成された上記電荷を上記電荷蓄積部に転送する転送部とを備えてもよい。これにより、電荷蓄積部を共有する画素回路により電圧が生成されるという作用をもたらす。
　また、この第１の側面において、上記複数の信号レベルのそれぞれに対応する露光時間は異なり、上記演算回路は、上記露光時間のそれぞれの比率により上記リセットデータおよび上記信号データを乗算した後に上記差分の演算を行ってもよい。これにより、露光時間のそれぞれの比率によりリセットデータおよび信号データが乗算されるという作用をもたらす。
　また、この第１の側面において、上記露光時間のそれぞれの比率は２のべき乗であり、
　上記演算回路は、上記リセットデータおよび上記信号データに対してシフト演算を行ってもよい。これにより、リセットデータおよび上記信号データに対してシフト演算が実行されるという作用をもたらす。
　また、この第１の側面において、上記画素回路は２次元格子状に配列され、上記アナログデジタル変換器は、上記画素回路ごとに設けられてもよい。これにより、画素回路ごとに設けられたメモリにデータが保持されるという作用をもたらす。
　また、この第１の側面において、積層された２つの半導体基板をさらに具備し、上記画素回路は、上記２つの半導体基板の一方に配置され、上記アナログデジタル変換器および上記メモリは、上記２つの半導体基板の他方に配置されてもよい。これにより、積層された２つの半導体基板の一方で電圧が生成され、他方でデータの保持とＡＤ変換とが行われるという作用をもたらす。
　また、この第１の側面において、積層された２つの半導体基板をさらに具備し、上記画素回路および上記メモリは、上記２つの半導体基板の一方に配置され、上記アナログデジタル変換器は、上記２つの半導体基板の他方に配置されてもよい。これにより、積層された２つの半導体基板の一方でデータが保持され、他方でＡＤ変換が行われるという作用をもたらす。
　また、この第１の側面において、積層された第１、第２および第３の半導体基板をさらに具備し、上記画素回路は、上記第１の半導体基板に配置され、上記アナログデジタル変換器は、上記第２の半導体基板に配置され、上記メモリは、上記第３の半導体基板に配置されてもよい。これにより、第１の半導体基板で電圧が生成され、第２の半導体基板でＡＤ変換が行われ、第３の半導体基板でデータが保持されるという作用をもたらす。
　また、本技術の第２の側面は、第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する画素回路と、上記第１のリセットレベルと上記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、上記第２のリセットレベルと上記第１の信号レベルとのそれぞれを上記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、上記第１のリセットデータと上記第２の信号データとの差分を第１の画素データとして求め、上記第２のリセットデータと上記第１の信号データとの差分を上記第２の画素データとして求める相関二重サンプリング処理部と、上記第１の画素データを保持する第１メモリと、上記第２の画素データを保持する第２メモリと、上記保持された第２の画素データの値が所定値より高いか否かを判定して上記第２の画素データの値が上記所定値より高い場合には上記保持された第１の画素データを出力させ、上記第２の画素データの値が上記所定値に満たない場合には上記第２の画素データを出力させる判定部とを具備する固体撮像素子、および、その制御方法である。これにより、第２の画素データの値が所定値より高い場合には第１の画素データが出力され、第２の画素データの値が所定値に満たない場合には第２の画素データが出力されるという作用をもたらす。
　また、この第２の側面において、上記第１のリセットレベルと上記第２の信号レベルとを所定の感度により上記画素回路に生成させ、上記第２のリセットレベルと上記第１の信号レベルとを所定の感度と異なる感度により上記画素回路に生成させる画素駆動部をさらに具備してもよい。これにより、感度が変更されるという作用をもたらす。
　また、この第２の側面において、上記画素回路は、上記第１および第２のリセットレベルと上記第１および第２の信号レベルとのそれぞれを画素信号として生成し、上記アナログデジタル変換器は、スロープを持つ所定の参照信号と上記画素信号とを複数回に亘って比較して当該比較結果を出力する比較部と、上記比較結果のそれぞれからなるデータを上記第１および第２のリセットデータと上記第１および第２の信号データのいずれかとして記憶するデータ記憶部とを備え、上記第２のリセットレベルと上記第１の信号レベルとのそれぞれを比較するときの上記スロープの傾きは、上記第１のリセットレベルと上記第２の信号レベルとのそれぞれを比較するときの傾きより緩やかであってもよい。これにより、スロープの傾きが変更されるという作用をもたらす。
　また、この第２の側面において、上記画素回路は、二次元格子状に配列され、上記アナログデジタル変換器は、上記画素回路ごとに配置され、上記第２メモリは、上記画素回路の全てに共有されてもよい。これにより、共有された第２メモリにデータが保持されるという作用をもたらす。
　また、本技術の第３の側面は、所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、上記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に上記複数の信号レベルのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、保持データを保持するメモリと、上記リセットデータと最初に出力された上記信号データとの差分を上記保持データとして上記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された上記信号データとを加算して当該加算したデータを新たな保持データとして上記メモリに保持させる演算回路と、上記保持された保持データに対して所定の信号処理を実行するデジタル信号処理部とを具備する固体撮像装置である。これにより、リセットデータと最初に出力された信号データとの差分と２回目以降に出力された信号データとを加算したデータに対して信号処理が実行されるという作用をもたらす。
　また、本技術の第４の側面は、第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順生成する画素回路と、上記第１のリセットレベルと上記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、上記第２のリセットレベルと上記第１の信号レベルとのそれぞれを上記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、上記第１のリセットデータと上記第２の信号データとの差分を第１の画素データとして求め、上記第２のリセットデータと上記第１の信号データとの差分を上記第２の画素データとして求める相関二重サンプリング処理部と、上記第１の画素データを保持する第１メモリと、上記第２の画素データを保持する第２メモリと、上記保持された第２の画素データの値が所定値より高いか否かを判定して上記第２の画素データの値が上記所定値より高い場合には上記保持された第１の画素データを出力させ、上記第２の画素データの値が上記所定値に満たない場合には上記第２の画素データを出力させる判定部と、上記第１および第２の画素データのうち出力されたデータに対して所定の信号処理を実行するデジタル信号処理部とを具備する固体撮像装置である。これにより、第２の画素データの値が所定値より高い場合には第１の画素データに対して信号処理が実行され、第２の画素データの値が所定値に満たない場合には第２の画素データに対して信号処理が実行されるという作用をもたらす。
　本技術によれば、相関二重サンプリング処理を行う固体撮像素子においてメモリ容量の増大を抑制することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路、差動入力回路、電圧変換回路および正帰還回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるデータ記憶部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるラッチ制御回路の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるラッチ回路および双方向バッファの一構成例を示すブロック図である。 本技術の第１の実施の形態における出力部の一構成例を示すブロック図である。 本技術の第１の実施の形態における演算回路およびメモリの一構成例を示すブロック図である。 本技術の第１の実施の形態における加算回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第１の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第１の実施の形態における画素および出力部の一構成例を示すブロック図である。 本技術の第１の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。 本技術の第１の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。 本技術の第２の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第３の実施の形態における演算回路およびメモリの一構成例を示すブロック図である。 本技術の第３の実施の形態におけるシフタの一構成例を示す回路図である。 本技術の第３の実施の形態における画素の駆動例を示すタイミングチャートである。 本技術の第３の実施の形態における１回目および２回目のＣＤＳ処理を説明するための図である。 本技術の第３の実施の形態における３回目および４回目のＣＤＳ処理を説明するための図である。 本技術の第３の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。 本技術の第４の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第４の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第４の実施の形態におけるＣＤＳ処理を含む演算処理を説明するための図である。 本技術の第５の実施の形態における出力部の一構成例を示すブロック図である。 本技術の第５の実施の形態における出力部の処理を説明するための図である。 本技術の第５の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第５の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第５の実施の形態におけるスロープの傾きについて説明するための図である。 本技術の第５の実施の形態におけるＣＤＳ処理を説明するための図である。 本技術の第５の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。 本技術の第６の実施の形態における画素回路および差動入力回路の一構成例を示す回路図である。 本技術の第６の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第６の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。 本技術の第６の実施の形態におけるＣＤＳ処理を説明するための図である。 本技術の第７の実施の形態における固体撮像素子の積層構造の一例を示す斜視図である。 本技術の第７の実施の形態の第１の変形例における固体撮像素子の積層構造の一例を示す斜視図である。 本技術の第７の実施の形態の第２の変形例における固体撮像素子の積層構造の一例を示す斜視図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（データの加算値をメモリに保持する例）
　２．第２の実施の形態（サブ画素からのデータの加算値をメモリに保持する例）
　３．第３の実施の形態（露光時間の異なる複数のデータの加算値をメモリに保持する例）
　４．第４の実施の形態（１つのリセットデータと複数の信号データとの加算値をメモリに保持する例）
　５．第５の実施の形態（分解能の異なる２つのデータを異なるメモリに保持する例）
　６．第６の実施の形態（分解能および感度の異なる２つのデータを異なるメモリに保持する例）
　７．第７の実施の形態（積層型の固体撮像素子においてデータの加算値をメモリに保持する例）
　８．移動体への応用例
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００、ＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータが想定される。
　光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号に同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号は、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。
　ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載のデジタル信号処理部の一例である。
　表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
　バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
　フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、半導体基板２０１を備える。この半導体基板２０１には、ＤＡＣ（Digital to Analog Converter）２１０と、複数の時刻コード発生部２２０とが設けられる。また、半導体基板２０１には、垂直駆動回路２３０、画素アレイ部２４０、画素駆動回路２５０、タイミング生成回路２６０および出力部２７０が設けられる。また、画素アレイ部２４０には、二次元格子状に複数の画素が配列される。
　ＤＡＣ２１０は、ＤＡ（Digital to Analog）変換により、スロープ状に変化するアナログの参照信号を生成するものである。このＤＡＣ２１０は、参照信号を画素アレイ部２４０に供給する。
　時刻コード発生部２２０は、時刻コードを発生するものである。この時刻コードは、参照信号がスロープ状に変化する期間内の時刻を示す。時刻コード発生部２２０は、発生した時刻コードを画素アレイ部２４０に供給する。
　タイミング生成回路２６０は、様々なタイミング信号を生成して垂直駆動回路２３０や出力部２７０などに供給するものである。
　垂直駆動回路２３０は、タイミング信号に同期して画素内で生成された画素データを出力部２７０に出力させる制御を行うものである。画素駆動回路２５０は、画素を駆動するものである。
　出力部２７０は、画素データに対して、ＣＤＳ処理を含む信号処理を実行するものである。この出力部２７０は、処理後の画素データをＤＳＰ回路１２０に出力する。
　［画素アレイ部の構成例］
　図３は、本技術の第１の実施の形態における画素アレイ部２４０の一構成例を示すブロック図である。この画素アレイ部２４０は、複数の時刻コード転送部２４１と、複数の画素３００とを備える。時刻コード転送部２４１は、時刻コード発生部２２０ごとに配置される。また、画素３００は、二次元格子状に配列される。
　時刻コード転送部２４１は、対応する時刻コード発生部２２０からの時刻コードを転送するものである。この時刻コード転送部２４１は、対応する時刻コード発生部２２０からの時刻コードを画素３００へ転送し、また、画素３００からの時刻コードを画素データとして出力部２７０に転送する。画素３００は、画素データを生成するものである。
　［画素の構成例］
　図４は、本技術の第１の実施の形態における画素３００の一構成例を示すブロック図である。この画素３００は、画素回路３１０およびＡＤＣ３２０を備える。ＡＤＣ３２０は、比較回路３２１およびデータ記憶部３６０を備える。また、比較回路３２１は、差動入力回路３３０、電圧変換回路３４０および正帰還回路３５０を備える。
　画素回路３１０は、光電変換によりリセットレベルまたは信号レベルを画素信号ＳＩＧとして生成するものである。ここで、リセットレベルは、露光開始時以降にＦＤ（Floating Diffusion）が初期化された時の電圧であり、信号レベルは、露光終了時の露光量に応じた電圧である。画素回路３１０は、リセットレベルおよび信号レベルを順に差動入力回路３３０に供給する。
　ＡＤＣ３２０は、画素信号ＳＩＧ（リセットレベルまたは信号レベル）をデジタルデータにＡＤ変換するものである。リセットレベルをＡＤ変換したデータを以下、「Ｐ相データ」と称する。また、信号レベルをＡＤ変換したデータを以下、「Ｄ相データ」と称する。なお、Ｐ相データは、特許請求の範囲に記載のリセットデータの一例であり、Ｄ相データは、特許請求の範囲に記載の信号データの一例である。
　ＡＤＣ３２０内の差動入力回路３３０は、ＤＡＣ２１０からの参照信号ＲＥＦと、画素回路３１０からの画素信号ＳＩＧとを比較するものである。この差動入力回路３３０は、比較結果を示す比較結果信号を電圧変換回路３４０に供給する。
　電圧変換回路３４０は、差動入力回路３３０からの比較結果信号の電圧を変換して正帰還回路３５０に出力するものである。
　正帰還回路３５０は、出力の一部を入力（比較結果信号）に加算し、出力信号ＶＣＯとしてデータ記憶部３６０に出力するものである。
　データ記憶部３６０は、出力信号ＶＣＯが反転したときの時刻コードを保持するものである。このデータ記憶部３６０は、リセットレベルに対応する時刻コードをＰ相データとして出力し、信号レベルに対応する時刻コードをＤ相データとして出力する。
　なお、画素回路３１０ごとにＡＤＣ３２０を配置しているが、複数の画素回路３１０ごとにＡＤＣ３２０を配置してもよい。
　図５は、本技術の第１の実施の形態における画素回路３１０、差動入力回路３３０、電圧変換回路３４０および正帰還回路３５０の一構成例を示す回路図である。
　画素回路３１０は、リセットトランジスタ３１１、ＦＤ３１２、転送トランジスタ３１４、フォトダイオード３１５および排出トランジスタ３１６とを備える。リセットトランジスタ３１１、転送トランジスタ３１４および排出トランジスタ３１６として、例えば、Ｎ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。
　フォトダイオード３１５は、光電変換により電荷を生成するものである。排出トランジスタ３１６は、画素駆動回路２５０からの駆動信号ＯＦＧに従ってフォトダイオード３１５に蓄積された電荷を排出させるものである。
　転送トランジスタ３１４は、画素駆動回路２５０からの転送信号ＴＸに従って、フォトダイオード３１５からＦＤ３１２へ電荷を転送するものである。
　ＦＤ３１２は、転送された電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。なお、ＦＤ３１２は、特許請求の範囲に記載の電荷蓄積部の一例である。
　リセットトランジスタ３１１は、画素駆動回路２５０からのリセット信号ＲＳＴに従って、ＦＤ３１２を初期化するものである。
　差動入力回路３３０は、ＰＭＯＳ(Positive channel MOS)トランジスタ３３１、３３４および３３６と、ＮＭＯＳ(Negative channel MOS)トランジスタ３３２、３３３および３３５とを備える。
　ＮＭＯＳトランジスタ３３２および３３５は、差動対を構成し、これらのトランジスタのソースは、ＮＭＯＳトランジスタ３３３のドレインに共通に接続される。また、ＮＭＯＳトランジスタ３３２のドレインは、ＰＭＯＳトランジスタ３３１のドレインとＰＭＯＳトランジスタ３３１および３３４のゲートとに接続される。ＮＭＯＳトランジスタ３３５のドレインは、ＰＭＯＳトランジスタ３３４のドレインとＰＭＯＳトランジスタ３３６のゲートとリセットトランジスタ３１１のドレインとに接続される。また、ＮＭＯＳトランジスタ３３２のゲートには、参照信号ＲＥＦが入力される。
　ＮＭＯＳトランジスタ３３３のゲートには、所定のバイアス電圧Ｖｂが印加され、ＮＭＯＳトランジスタ３３３のソースには、所定の接地電圧が印加される。この接地電圧ＶＳＳは、画素回路３１０内のＮＭＯＳトランジスタの基板電位よりも高い。
　ＰＭＯＳトランジスタ３３１および３３４は、カレントミラー回路を構成する。ＰＭＯＳトランジスタ３３１、３３４および３３６のソースには、電源電圧ＶＤＤＨが印加される。この電源電圧ＶＤＤＨは、電源電圧ＶＤＤＬよりも高い。また、ＰＭＯＳトランジスタ３３６のドレインは、電圧変換回路３４０に接続される。
　電圧変換回路３４０は、ＮＭＯＳトランジスタ３４１を備える。このＮＭＯＳトランジスタ３４１のゲートには電源電圧ＶＤＤＬが印加される。また、ＮＭＯＳトランジスタ３４１のドレインは、ＰＭＯＳトランジスタ３３６のドレインに接続され、ソースは、正帰還回路３５０に接続される。
　正帰還回路３５０はＰＭＯＳトランジスタ３５１、３５２、３５５および３５６と、ＮＭＯＳトランジスタ３５３、３５４および３５７とを備える。ＰＭＯＳトランジスタ３５１および３５２は、電源電圧ＶＤＤＬに直列に接続される。また、ＰＭＯＳトランジスタ３５１のゲートには、垂直駆動回路２３０からの駆動信号ＩＮＩ２が入力される。ＰＭＯＳトランジスタ３５２のドレインは、ＮＭＯＳトランジスタ３４１のソースとＮＭＯＳトランジスタ３５３のドレインと、ＰＭＯＳトランジスタ３５５およびＮＭＯＳトランジスタ３５４のゲートとに接続される。
　ＮＭＯＳトランジスタ３５３のソースには接地電圧が印加され、ゲートには、垂直駆動回路２３０からの駆動信号ＩＮＩ１が入力される。
　ＰＭＯＳトランジスタ３５５および３５６は、電源電圧ＶＤＤＬに直列に接続される。また、ＰＭＯＳトランジスタ３５６のドレインは、ＰＭＯＳトランジスタ３５２のゲートと、ＮＭＯＳトランジスタ３５４および３５７のドレインとに接続される。ＰＭＯＳトランジスタ３５６およびＮＭＯＳトランジスタ３５７のゲートには、垂直駆動回路２３０からの制御信号ＴＥＳＴＶＣＯが入力される。
　ＮＭＯＳトランジスタ３５４および３５７のドレインからは、出力信号ＶＣＯが出力される。また、ＮＭＯＳトランジスタ３５４および３５７のソースには、接地電圧が印加される。
　なお、画素回路３１０、差動入力回路３３０、電圧変換回路３４０および正帰還回路３５０のそれぞれは、図４で説明した機能を持つのであれば、図５に例示した回路に限定されない。
　［データ記憶部の構成例］
　図６は、本技術の第１の実施の形態におけるデータ記憶部３６０の一構成例を示すブロック図である。このデータ記憶部３６０は、ラッチ制御回路３７０と、Ｄ相データのビット数Ｄ（Ｄは、整数）と同じ個数のラッチ回路３８０と、Ｄ個の双方向バッファ３９０と、リピータ３６１とを備える。ラッチ制御回路３７０は、垂直駆動回路２３０からの制御信号ｘＷＯＲＤに従って、出力信号ＶＣＯの値（論理値「０」または「１」）をラッチ回路３８０のいずれかに保持させるものである。制御信号ｘＷＯＲＤは、制御信号ＷＯＲＤを反転した信号である。
　ラッチ回路３８０は、ラッチ制御回路３７０の制御に従って、出力信号ＶＣＯの値を保持するものである。双方向バッファ３９０は、垂直駆動回路２３０からの制御信号ｘＰＲＣ、ライトイネーブルＷＥＮおよびリードイネーブルＲＥＮに従って、対応するラッチ回路３８０とリピータ３６１との間でデータを双方向に転送するものである。
　リピータ３６１は、双方向バッファ３９０と時刻コード転送部２４１との間で時刻コードを転送するものである。
　［ラッチ制御回路の構成例］
　図７は、本技術の第１の実施の形態におけるラッチ制御回路３７０の一構成例を示すブロック図である。このラッチ制御回路３７０は、ＮＯＲゲート３７１と、インバータ３７２、３７３および３７４とを備える。
　ＮＯＲゲート３７１は、制御信号ｘＷＯＲＤおよび出力信号ＶＣＯの否定論理和（ＮＯＲ）をインバータ３７２に出力するものである。インバータ３７２は、ＮＯＲゲート３７１からの出力値を反転してラッチ制御信号Ｔとしてラッチ回路３８０に出力するものである。
　インバータ３７３は、出力信号ＶＣＯを反転してインバータ３７４に出力するものである。インバータ３７４は、インバータ３７３の出力値を反転してラッチ入力信号Ｌとしてラッチ回路３８０に出力するものである。
　なお、ラッチ制御回路３７０は、同等の機能を持つものであれば、図７に例示した回路に限定されない。
　［ラッチ回路および双方向バッファの構成例］
　図８は、本技術の第１の実施の形態におけるラッチ回路３８０および双方向バッファ３９０の一構成例を示すブロック図である。ラッチ回路３８０は、スイッチ３８１と、インバータ３８２および３８３を備える。
　スイッチ３８１は、ラッチ制御回路３７０からのラッチ制御信号Ｔに従って、インバータ３８２と、ビット線ＬＢＬとの間の経路を開閉するものである。このビット線ＬＢＬは、双方向バッファ３９０に接続される。
　インバータ３８２は、ラッチ制御回路３７０からのラッチ入力信号Ｌに従って、インバータ３８３からの信号を反転するものである。このインバータ３８２は、反転した信号をインバータ３８３の入力端子とスイッチ３８１とに出力する。
　インバータ３８３は、インバータ３８２からの信号を反転してインバータ３８２の入力端子に出力するものである。
　双方向バッファ３９０は、ＮＭＯＳトランジスタ３９１と、インバータ３９２と、バッファ３９３とを備える。
　ＮＭＯＳトランジスタ３９１のゲートには、垂直駆動回路２３０からの制御信号ｘＰＲＣが入力される。また、ＮＭＯＳトランジスタ３９１のドレインは電源に接続され、ソースはビット線ＬＢＬに接続される。この制御信号ｘＰＲＣには、双方向バッファ３９０にデータを転送させる場合にローレベルが設定され、ビット線ＬＢＬは一旦ハイレベルになる。その後にラッチ回路３８０より信号が読み出される。
　インバータ３９２は、リードイネーブルＲＥＮに従って、ビット線ＬＢＬからの信号を反転し、ビット線ＭＢＬとバッファ３９３の入力端子とに出力するものである。このビット線ＭＢＬは、リピータ３６１に接続される。
　バッファ３９３は、ライトイネーブルＷＥＮに従って、インバータ３９２またはビット線ＭＢＬからの信号をビット線ＬＢＬとインバータ３９２の入力端子とに出力するものである。
　なお、ラッチ回路３８０および双方向バッファ３９０は、同等の機能を持つものであれば、図８に例示された回路に限定されない。
　［出力部の構成例］
　図９は、本技術の第１の実施の形態における出力部２７０の一構成例を示すブロック図である。この出力部２７０は、演算部２７１およびメモリアレイ２７２を備える。この演算部２７１には、画素３００ごとに演算回路２８０が配置される。また、メモリアレイ２７２には、画素３００ごとにメモリ２７３が設けられる。水平方向の画素３００の個数をＨ（Ｈは２以上の整数）とし、垂直方向の画素３００の個数をＶ（Ｖは２以上の整数）とすると、演算回路２８０およびメモリ２７３のそれぞれの個数はＨ×Ｖである。演算回路２８０のそれぞれは、互いに異なる画素３００と１対１で対応付けられる。また、メモリ２７３も互いに異なる画素３００と１対１で対応付けられる。
　演算回路２８０は、対応する画素３００からのデジタルデータ（Ｐ相データまたはＤ相データ）に対してＣＤＳ処理を行うものである。この演算回路２８０は、ＣＤＳ処理において、対応するメモリ２７３にデータを保持させる。メモリ２７３は、保持したデータを画素データとしてＤＳＰ回路１２０に出力する。
　また、メモリ２７３のメモリ容量は、次の式により表される。
　　Ｃｍ＝ＲＯＵＮＤＵＰ（ｌｏｇ２Ｎ）＋Ｂ
上式において、Ｃｍはメモリ容量であり、単位は、例えば、ビットである。Ｂは、Ｐ相データおよびＤ相データの差分（すなわち、正味の画素データ）のビット数である。Ｎは、信号レベルのサンプリング回数である。ＲＯＵＮＤＵＰ（）は、端数を切り上げて整数値を返す関数である。
　例えば、画素データのデータサイズＢを１４ビット、サンプリング回数Ｎを２回とすると、メモリ容量Ｃｍは、上式より１５ビットとなる。また、画素３００の個数をＨ×Ｖ個とすると、メモリアレイ２７２全体の総容量は、Ｃｍ×Ｈ×Ｖビットである。
　なお、Ｋ（Ｋは、２以上の整数）個の画素回路３１０ごとにＡＤＣ３２０を配置する場合には、演算回路２８０およびメモリ２７３も、Ｋ画素毎に設けられる。
　［演算回路およびメモリの構成例］
　図１０は、本技術の第１の実施の形態における演算回路２８０およびメモリ２７３の一構成例を示すブロック図である。演算回路２８０は、セレクタ２８１と、複数段の加算回路２８２とを備える。サンプリング回数Ｎが２である場合、加算回路２８２の段数は、画素データのビット数Ｂ（例えば、１４）と同数である。メモリ２７３は、１ビットを保持する複数のメモリセル２７４を備える。メモリセル２７４の個数は、Ｂ＋１個である。なお、サンプリング回数Ｎが３回以上である場合には、その回数に応じて加算回路２８２の段数と、メモリ２７３のメモリ容量とが増加する。
　セレクタ２８１は、タイミング生成回路２６０からの減算制御信号ＳＵＢに従って、論理値「１」および「０」のいずれかを選択して桁上げ入力信号Ｘｉｎ［０］として初段の加算回路２８２に出力するものである。
　加算回路２８２は、加算処理を行うものである。初段の加算回路２８２には、セレクタ２８１からの桁上げ入力信号Ｘｉｎ［０］と、対応する画素３００からのＤＡＴＡの０ビット目のＤＡＴＡ［０］とが入力される。ｂ（ｂは０乃至Ｂ－１の整数）段目の加算回路２８２には、前段からの桁上げ出力信号Ｃｏｕｔ［ｂ］とｂビット目のＤＡＴＡ［ｂ］とが入力される。また、全ての加算回路２８２には、タイミング生成回路２６０からの初期化信号ＩＮＩおよび減算制御信号ＳＵＢが入力される。
　ｂ段目の加算回路２８２は、ｂ個目のメモリセル２７４に出力信号Ｓｏｕｔ［ｂ］を保持させる。また、ｂ段目の加算回路２８２は、後段の加算回路２８２に桁上げ信号Ｃｏｕｔ［ｂ］を出力する。そして、最終段の加算回路２８２は、最後のメモリセル２７４に桁上げ出力信号Ｃｏｕｔ［Ｂ－１］を保持させる。
　［加算回路の構成例］
　図１１は、本技術の第１の実施の形態における加算回路２８２の一構成例を示す回路図である。この加算回路２８２は、インバータ２８３と、セレクタ２８４および２８６と、全加算器２８５とを備える。
　インバータ２８３は、ＤＡＴＡ［０］を反転してセレクタ２８４に供給するものである。セレクタ２８４は、減算制御信号ＳＵＢに従って、ＤＡＴＡ［０］とインバータ２８３からの反転値とのいずれかを選択して全加算器２８５の入力端子Ａに入力するものである。
　セレクタ２８６は、初期化信号ＩＮＩに従って、対応するメモリセル２７４に保持されたＳｏｕｔ［０］と論理値「０」とのいずれかを選択して全加算器２８５の入力端子Ｂに入力するものである。
　全加算器２８５は、桁上げを考慮して２進数の同じ桁同士の加算を行うものである。全加算器２８５には、前述の入力端子Ａ、Ｂと、入力端子Ｘと、出力端子ＳおよびＣとが設けられる。入力端子Ｘには、桁上げ入力信号Ｘｉｎ［０］が入力される。また、出力端子Ｓからは、出力信号Ｓｏｕｔ［０］が、対応するメモリセル２７４へ出力される。出力端子Ｃからは、桁上げ出力信号Ｃｏｕｔ［０］が後段の全加算器２８５の入力端子Ｘへ出力される。全加算器２８５の真理値表は、一般的な全加算器と同様である。また、２段目以降の加算回路２８２の構成は、初段と同様である。
　図１０および図１１に例示した構成により、初期化信号ＩＮＩおよび減算制御信号ＳＵＢに従って演算回路２８０は、最初のＰ相データ（リセットレベル）の符号を反転してメモリ２７３に保持させる。そして、減算制御信号ＳＵＢに従って演算回路２８０は、２回目以降のＰ相データの符号を反転して、その反転値とメモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。
　そして、演算回路２８０は、１回目のＤ相データ（信号レベル）と、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。ここで、Ｐ相データの符号は、反転されているため、１回目のＤ相データとＰ相データとの差分が演算される。Ｐ相データは、固定パターンノイズやリセットノイズを含むため、差分の演算により、これらを除去することができる。
　続いて演算回路２８０は、２回目以降のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。この加算により、２回のＣＤＳ処理のそれぞれの結果を平均した値と等価な値が得られる。なお、演算回路２８０は、上述の機能を持つ回路であれば、図１０および図１１に例示した回路に限定されない。
　［固体撮像素子の動作例］
　図１２は、本技術の第１の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。１Ｖ期間の開始タイミングｔ１０の直後のタイミングｔ１１において、画素駆動回路２５０は、リセット信号ＲＳＴを供給する。これにより、ＦＤが初期化される。ここで、１Ｖ期間は、垂直同期信号の周期である。また、この１Ｖ期間の直前において、全画素の露光が開始されているものとする。
　タイミングｔ１１の直後のタイミングｔ１２において、垂直駆動回路２３０は、駆動信号ＩＮＩ２およびＩＮＩ１を順に供給する。また、出力信号ＶＣＯの供給が開始される。
　タイミングｔ１２の後のタイミングｔ１３からタイミングｔ１４に亘って、ＤＡＣ２１０は、参照信号ＲＥＦをスロープ状に減少させる。また、この期間に亘って、垂直駆動回路２３０は、制御信号ＴＥＳＴＶＣＯをローレベルにし、タイミング生成回路２６０は、イネーブルに設定したライトイネーブルＷＥＮを供給する。このような制御により、１回目のリセットレベルがＡＤ変換（言い換えれば、サンプリング）される。
　また、正帰還回路３５０は、参照信号ＲＥＦとリセットレベルとの比較結果に基づいて出力信号ＶＣＯを出力する。出力信号ＶＣＯの値は、Ｄ相データのビット数Ｄ（例えば、１５）個と同じ個数のラッチ回路３８０に順に保持される。それらの保持値が、Ｄ本のビット線ＬＢＬを介して双方向バッファ３９０に転送される。ビット線ＬＢＬ上の黒塗りの部分は、出力信号ＶＣＯが反転したときのデータを示す。
　タイミングｔ１４の後のタイミングｔ１５において、タイミング生成回路２６０は、制御信号ＷＯＲＤを出力し、また、イネーブルに設定したリードイネーブルＲＥＮを出力する。これにより、Ｄ本のビット線ＭＢＬを介して双方向バッファ３９０からリピータ３６１にＰ相データが転送される。
　そして、１回目と同様の制御により、タイミングｔ１６からタイミングｔ１７までの間において、２回目のリセットレベルがＡＤ変換される。
　図１３は、本技術の第１の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。
　リセットレベル変換後のタイミングｔ２１において、垂直駆動回路２３０は、駆動信号ＩＮＩ２およびＩＮＩ１を順に供給する。また、その直後のタイミングｔ２２において、画素駆動回路２５０は、全画素に転送信号ＴＸを供給する。これにより、露光が終了する。
　タイミングｔ２２の後のタイミングｔ２３からタイミングｔ２４に亘って、ＤＡＣ２１０は、参照信号ＲＥＦをスロープ状に減少させる。また、この期間に亘って、垂直駆動回路２３０は、制御信号ＴＥＳＴＶＣＯをローレベルにし、タイミング生成回路２６０は、イネーブルに設定したライトイネーブルＷＥＮを供給する。このような制御により、１回目の信号レベルがＡＤ変換（言い換えれば、サンプリング）される。
　また、正帰還回路３５０は、参照信号ＲＥＦと信号レベルとの比較結果に基づいて出力信号ＶＣＯを出力する。出力信号ＶＣＯの値は、Ｄ個のラッチ回路３８０に順に保持される。それらの保持値が、Ｄ本のビット線ＬＢＬを介して双方向バッファ３９０に転送される。ビット線ＬＢＬ上の黒塗りの部分は、出力信号ＶＣＯが反転したときのデータを示す。
　タイミングｔ２４の後のタイミングｔ２５において、タイミング生成回路２６０は、制御信号ＷＯＲＤを出力し、また、イネーブルに設定したリードイネーブルＲＥＮを出力する。これにより、Ｄ本のビット線ＭＢＬを介して双方向バッファ３９０からリピータ３６１にＤ相データが転送される。
　そして、１回目と同様の制御により、タイミングｔ２６からタイミングｔ２７までの間において、２回目の信号レベルがＡＤ変換される。その後のタイミングｔ２８において画素駆動回路２５０は、全画素に駆動信号ＯＦＧを供給する。これにより、次の露光が開始される。
　図１２および図１３に例示したように、リセットレベルおよび信号レベルは、それぞれ２回ずつサンプリングされる。なお、サンプリングの回数は２回に限定されず、３回以上であってもよい。
　図１４は、本技術の第１の実施の形態における画素３００および出力部２７０の一構成例を示すブロック図である。画素３００内の画素回路３１０は、リセットレベルと信号レベルとのそれぞれをＮ（例えば、「２」）回ずつ順に生成する。画素３００内のＡＤＣ３２０は、それらのリセットレベルおよび信号レベルをＰ相データおよびＤ相データに変換して出力部２７０に出力する。
　出力部２７０内の演算回路２８０は、最初のＰ相データの符号を反転してメモリ２７３に保持させる。そして、演算回路２８０は、２回目以降のＰ相データの符号を反転して、その反転値とメモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。
　そして、演算回路２８０は、１回目のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値（すなわち、Ｐ相データとＤ相データとの差分）によりメモリ２７３を更新する。続いて演算回路２８０は、２回目以降のＤ相データと、メモリ２７３に保持されたデータ（差分）とを加算し、その加算値によりメモリ２７３を更新する。そして、その加算値が、ＣＤＳ処理後の画素データとして画素３００から出力される。
　Ｐ相データのデータサイズを、例えば、１３ビットとし、Ｄ相データのデータサイズを、例えば、１５ビットとする。また、リセットレベルおよび信号レベルのそれぞれのサンプリング回数Ｎを例えば、２とする。この場合、最初のＰ相データと最初のＤ相データとの差分のデータサイズは、１４ビットとなる。２回目の差分も同様である。メモリ２７３は、それらの差分の加算値を保持するため、そのメモリ容量は１５ビットである。
　図１５は、本技術の第１の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。同図におけるａは、本技術の第１の実施の形態におけるＣＤＳ処理を説明するための図であり、同図におけるｂは、比較例におけるＣＤＳ処理を説明するための図である。この比較例では、演算回路は、１回目のＰ相データおよびＤ相データと、２回目のＰ相データおよびＤ相データとを互いに異なるメモリに書き込むものとする。
　図１５におけるａに例示するように、演算回路２８０は、最初のＰ相データの符号を反転してメモリ２７３に保持させる。そして、演算回路２８０は、２回目のＰ相データの符号を反転して、その反転値とメモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。そして、演算回路２８０は、１回目のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。続いて演算回路２８０は、２回目のＤ相データと、メモリ２７３に保持されたデータとを加算し、その加算値によりメモリ２７３を更新する。
　このように、演算回路２８０は、１回目および２回目のＰ相データの反転値を加算した値と、１回目および２回目のＤ相データの加算値とをメモリ２７３に保持している。言い換えれば、１回目のＰ相データおよびＤ相データの差分と、２回目の差分とを加算した値がメモリ２７３に保持される。この構成では、差分のビット数を１４ビットとすると、画素毎のメモリ容量は１５ビットで済む。
　一方、図１５におけるｂに例示するように、比較例では、演算回路が、最初のＰ相データの符号を反転してメモリＭ１に保持させ、２回目のＰ相データの符号を反転してメモリＭ２に保持させる。そして、演算回路は、１回目のＤ相データと、メモリＭ１に保持されたデータとを加算し、その加算値（差分）によりメモリＭ１を更新する。続いて演算回路は、２回目のＤ相データと、メモリＭ２に保持されたデータとを加算し、その加算値（差分）によりメモリＭ２を更新する。そして、演算回路は、メモリＭ１に保持された差分とメモリＭ２に保持された差分とを加算して画素データとして出力する。このように、１回目の差分（１４ビット）をメモリＭ１に保持させ、２回目の差分（１４ビット）をメモリＭ２に保持させるため、それぞれのメモリのメモリ容量は１４ビットである。すなわち、画素毎のメモリの総容量は、２８ビットも必要になる。
　したがって、画素数をＨ×Ｖとすると、比較例ではＨ×Ｖ×２８ビットのメモリ容量が必要であるのに対し、出力部２７０では、Ｈ×Ｖ×１５ビットのメモリ容量で十分である。このように、メモリ容量を大幅に削減することができる。
　図１６は、本技術の第１の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。このＣＤＳ処理は、例えば、垂直同期信号が立ち上がったときに開始される。画素３００は、１回目のリセットレベルを生成してＰ相データに変換する（ステップＳ９０１）。出力部２７０は、そのＰ相データの符号を反転してメモリ２７３に保持する（ステップＳ９０２）。そして、画素３００は、２回目のリセットレベルを生成してＰ相データに変換する（ステップＳ９０３）。出力部２７０は、２回目のＰ相データの符号を反転して、メモリ２７３の保持データと加算し、その加算値によりメモリ２７３を更新する（ステップＳ９０４）。
　そして、画素３００は、１回目の信号レベルを生成してＤ相データに変換する（ステップＳ９０５）。出力部２７０は、１回目のＤ相データと、メモリ２７３の保持データとを加算し、その加算値によりメモリ２７３を更新する（ステップＳ９０６）。続いて画素３００は、２回目の信号レベルを生成してＤ相データに変換する（ステップＳ９０７）。出力部２７０は、２回目のＤ相データと、メモリ２７３の保持データとを加算し、その加算値によりメモリ２７３を更新する。この加算値が画素データとして出力される（ステップＳ９０８）。ステップＳ９０８の後に固体撮像素子２００は、ＣＤＳ処理を終了する。
　このように、本技術の第１の実施の形態では、固体撮像素子２００は、Ｂビットの差分をＮ回加算した値をメモリに保持するため、画素当たりのメモリ容量をＢ＋ｌｏｇ２Ｎビットに抑制することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、フォトダイオードごとにＦＤを設けていたが、フォトダイオードの個数の増大に伴ってＦＤの個数も増大する。ＦＤ数の増大を抑制するには、例えば、複数のフォトダイオードが１つのＦＤを共有する構成とすればよい。この第２の実施の形態の固体撮像素子２００は、複数のフォトダイオードが１つのＦＤを共有する点において第１の実施の形態と異なる。
　図１７は、本技術の第２の実施の形態における画素回路３１０の一構成例を示す回路図である。この画素回路３１０は、リセットトランジスタ３１１およびＦＤ３１２と、４つのサブ画素回路３１３とを備える。リセットトランジスタ３１１およびＦＤ３１２は、これらのサブ画素回路３１３により共有される。サブ画素回路３１３のそれぞれは、転送トランジスタ３１４、フォトダイオード３１５および排出トランジスタ３１６を備える。これらのサブ画素回路３１３をサブ画素ａ、ｂ、ｃおよびｄとする。サブ画素ａには、画素駆動回路２５０からの転送信号ＴＸａおよび駆動信号ＯＦＧａが入力される。サブ画素ｂは、転送信号ＴＸｂおよび駆動信号ＯＦＧｂが入力され、サブ画素ｃには、転送信号ＴＸｃおよび駆動信号ＯＦＧｃが入力される。サブ画素ｄは、転送信号ＴＸｄおよび駆動信号ＯＦＧｄが入力される。サブ画素回路３１３内の転送トランジスタ３１４は、対応する転送信号に従って、電荷をＦＤ３１２に転送する。なお、４つの転送トランジスタ３１４からなる回路は、特許請求の範囲に記載の転送部の一例である。
　画素駆動回路２５０は、露光開始時に全画素へ駆動信号ＯＦＧａ、ＯＦＧｂ、ＯＦＧｃおよびＯＦＧｄを順に供給し、リセット信号ＲＳＴを供給する。また、画素駆動回路２５０は、露光終了時に全画素へ転送信号ＴＸａ、ＴＸｂ、ＴＸｃおよびＴＸｄを順に供給する。それぞれのサブ画素回路３１３の露光時間は、同一であるものとする。
　なお、４つのサブ画素回路３１３で１つのＦＤ３１２を共有しているが、ＦＤ３１２を共有するサブ画素回路３１３の個数は４つに限定されず、２つなどであってもよい。
　このように、本技術の第２の実施の形態では、複数のフォトダイオード３１５が１つのＦＤ３１２を共有するため、ＦＤ３１２の個数の増大を抑制することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、サブ画素回路３１３のそれぞれの露光時間を同一としていたが、自然光の下などでは、ダイナミックレンジが不足するおそれがある。ダイナミックレンジを広くするには、例えば、４つのサブ画素回路３１３を互いに異なる露光時間により露光させて、露光時間の長い画素データと、露光時間の短い画素データとを合成すればよい。このような合成は、ハイダイナミックレンジ合成と呼ばれる。この第３の実施の形態の固体撮像素子２００は、ハイダイナミックレンジ合成を行う点において第２の実施の形態と異なる。
　図１８は、本技術の第３の実施の形態における演算回路２８０およびメモリ２７３の一構成例を示すブロック図である。この第３の実施の形態の演算回路２８０は、シフタ２９０をさらに備える点において第２の実施の形態と異なる。
　シフタ２９０は、タイミング生成回路２６０からのシフト制御信号ＳＨに従って、画素アレイ部２４０からのデータＤＡＴＡｉｎを左シフト（言い換えれば、２のべき乗で乗算）するものである。シフト量には、露光時間の比率（露光比）に応じた値が設定される。シフタ２９０は、シフト後のデータをＤＡＴＡｏｕｔとして加算回路２８２に出力する。
　ここで、サブ画素ａ、ｂ、ｃおよびｄのそれぞれの露光時間をＥａ、Ｅｂ、ＥｃおよびＥｄとする。これらの露光時間には、例えば、次の式を満たす値が設定されるものとする。
　　Ｅｃ＝２×Ｅｄ
　　Ｅｂ＝２×Ｅｃ＝４×Ｅｄ
　　Ｅａ＝２×Ｅｂ＝８×Ｒｄ
　このように、最小の露光時間に対する他の露光時間の比率（露光比）を２のべき乗（２、４および８）に設定した場合、乗算をシフト演算により行うことができる。例えば、サブ画素ｂからのＤＡＴＡｉｎは、１ビット分、左シフトされる。また、サブ画素ｃからのＤＡＴＡｉｎは、２ビット分、左シフトされ、サブ画素ｄからのＤＡＴＡｉｎは、３ビット分、左シフトされる。一方、サブ画素ａからのＤＡＴＡｉｎは、シフトされない。
　なお、露光比を２のべき乗としているが、露光比を２のべき乗以外の値に設定してもよい。露光比が２のべき乗でない場合に演算回路２８０は、シフタ２９０の代わりに、乗算器を備え、露光比を乗算すればよい。
　図１９は、本技術の第３の実施の形態におけるシフタ２９０の一構成例を示す回路図である。シフタ２９０は、３ビットまでのシフトを行うことができるが、ここでは、１ビットのシフトのみを行う回路例について説明する。シフタ２９０は、Ｂ（例えば、１５）個のセレクタ２９１を備える。ｂ（ｂは０乃至Ｂ－１の整数）個目のセレクタ２９１は、ＤＡＴＡｉｎのｂビット目に対応付けられる。
　０ビット目に対応するセレクタ２９１は、シフト制御信号ＳＨに従って、論理値「０」とＤＡＴＡｉｎ［０］とのいずれかを選択して、ＤＡＴＡｏｕｔ［０］として出力する。ｂビット目に対応するセレクタ２９１は、シフト制御信号ＳＨに従って、ＤＡＴＡｉｎ［ｂ－１］とＤＡＴＡｉｎ［ｂ］とのいずれかを選択して、ＤＡＴＡｏｕｔ［ｂ］として出力する。なお、左シフトでは、ＬＳＢ（least significant bit)を右端として左にビットをシフトするが、図１９では、記載の便宜上、ＬＳＢを左端に記載している。
　例えば、シフト制御信号ＳＨは、１ビット分、左シフトさせるか否かを示す。シフトさせない場合に、ｂビット目に対応するセレクタ２９１は、ＤＡＴＡｉｎ［ｂ］を選択してＤＡＴＡｏｕｔ［ｂ］として出力する。一方、シフトさせる場合に、ｂビット目に対応するセレクタ２９１は、ＤＡＴＡｉｎ［ｂ－１］または「０」を選択してＤＡＴＡｏｕｔ［ｂ］として出力する。
　図２０は、本技術の第３の実施の形態における画素３００の駆動例を示すタイミングチャートである。画素駆動回路２５０は、サブ画素ａの露光開始のタイミングｔ４１において駆動信号ＯＦＧａを出力する。その後のタイミングｔ４２、ｔ４３およびｔ４４において、画素駆動回路２５０は、駆動信号ＯＦＧｂ、ＯＦＧｃおよびＯＦＧｄを順に出力する。これにより、サブ画素ａ、ｂ、ｃおよびｄの順で露光が開始される。
　そして、画素駆動回路２５０は、タイミングｔ４４の後のサブ画素ｄの露光終了のタイミングｔ４５において駆動信号ＴＸｄを出力する。その後のタイミングｔ４６、ｔ４７およびｔ４８において、画素駆動回路２５０は、駆動信号ＴＸｃ、ＴＸｂおよびＴＸｄを順に出力する。これにより、サブ画素ｄ、ｃ、ｂおよびａの順で露光が終了する。
　また、ＡＤＣ３２０は、サブ画素ｄ、ｃ、ｂおよびａの順でＰ相データおよびＤ相データを出力する。
　図２１は、本技術の第３の実施の形態における１回目および２回目のＣＤＳ処理を説明するための図である。最小の露光時間Ｅｄが設定されたサブ画素ｄからのＰ相データが入力されると、シフタ２９０は、そのデータを３ビット左シフト（言い換えれば、８を乗算）し、加算器２９２は、そのシフト後のデータの符号を反転してメモリ２７３に保持させる。ここで、加算器２９２は、Ｂ個の加算回路２８２からなる演算器である。次にサブ画素ｄからのＤ相データが入力されると、シフタ２９０は、そのデータを３ビット左シフトし、加算器２９２は、そのシフト後のデータと、メモリ２７３の保持データとを加算して、その加算値（差分）によりメモリ２７３を更新する。
　そして、露光時間Ｅｃが設定されたサブ画素ｃからのＰ相データが入力されると、シフタ２９０は、そのデータを２ビット左シフトする。加算器２９２は、そのシフト後のデータの符号を反転し、その反転値と、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ｃからのＤ相データが入力されると、シフタ２９０は、そのデータを２ビット左シフトし、加算器２９２は、そのシフト後のデータと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
　図２２は、本技術の第３の実施の形態における３回目および４回目のＣＤＳ処理を説明するための図である。露光時間Ｅｂが設定されたサブ画素ｂからのＰ相データが入力されると、シフタ２９０は、そのデータを１ビット左シフトする。加算器２９２は、そのシフト後のデータの符号を反転し、その反転値と、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ｂからのＤ相データが入力されると、シフタ２９０は、そのデータを１ビット左シフトし、加算器２９２は、そのシフト後のデータと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
　そして、最大の露光時間Ｅａが設定されたサブ画素ａからのＰ相データが入力されると、シフタ２９０は、そのデータをシフトせずに加算器２９２に出力する。加算器２９２は、そのデータの符号を反転し、その反転値と、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ａからのＤ相データが入力されると、シフタ２９０は、そのデータをシフトせずに加算器２９２に出力する。加算器２９２は、そのデータと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
　図２３は、本技術の第３の実施の形態と比較例とのそれぞれにおけるＣＤＳ処理を説明するための図である。同図におけるａは、第３の実施の形態におけるＣＤＳ処理を説明するための図である。ここでは、説明を簡易にするために、ＦＤを共有するサブ画素がａおよびｄの２つしかないものとしている。同図におけるｂは、比較例におけるＣＤＳ処理を説明するための図である。
　図２３におけるａに例示するように、露光時間の短い方のサブ画素ｄからのＰ相データが入力されると、シフタ２９０は、露光比（例えば、「８」）でＰ相データを乗算し、加算器２９２には、その乗算値の符号を反転してメモリ２７３に保持する。次にサブ画素ｄからのＤ相データが入力されると、シフタ２９０は、露光比でＤ相データを乗算する。加算器２９２には、その乗算値とメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
　そして、露光時間の長い方のサブ画素ａからのＰ相データが入力されると、加算器２９２には、そのＰ相データの符号を反転し、その反転値とメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。次にサブ画素ａからのＤ相データが入力されると、加算器２９２には、そのＤ相データとメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
　このように、加算器２９２には、露光時間の短い方のＰ相データおよびＤ相データの差分と、露光時間の長い方の差分とを加算して同じメモリ２７３に保持させる。これにより、ダイナミックレンジの広い画素データが得られる。差分のデータサイズを１４ビットとすると、信号レベルのサンプリング回数Ｎが２であるため、上式より、画素毎のメモリ容量は、１５ビットで済む。
　一方、図２３におけるｂに例示するように、比較例では、露光時間の短い方のＰ相データおよびＤ相データの差分を演算回路がメモリＭ１に保持させ、露光時間の長い方の差分を演算回路がメモリＭ２に保持させる。そして、演算回路は、メモリＭ１の保持データに露光比を乗算し、メモリＭ２の保持データと加算し、画素データとして出力する。この構成では、差分のデータサイズを１４ビットとすると、画素毎に、２８ビットのメモリ容量が必要となる。
　したがって、画素数をＨ×Ｖとすると、比較例ではＨ×Ｖ×２８ビットのメモリ容量が必要であるのに対し、出力部２７０では、Ｈ×Ｖ×１５ビットのメモリ容量で十分である。このように、メモリ容量を大幅に削減することができる。
　このように、本技術の第３の実施の形態では、露光時間の異なるＮ回の露光のうち最初のＢビットの差分と、２回目以降の差分とを加算してメモリ２７３に保持させるため、Ｂ＋ｌｏｇ２Ｎの値に画素当たりのメモリ容量を抑制することができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、固体撮像素子２００が信号レベルのサンプリングの回数と同じ回数に亘ってリセットレベルのサンプリングを行っていた。しかし、この構成では、信号レベルのサンプリング回数の増大に伴ってリセットレベルのサンプリング回数も増大し、消費電力が大きくなってしまう。ここで、２回目以降の信号レベルに対応する露光時間を１回目より長くした場合、その信号レベルは、高照度の光を光電変換した値となり、ショットノイズが支配的になる。このため、２回目以降の信号レベルにおいては、１回目のリセットレベルとの間で固定パターンノイズの相関があるものの、リセットノイズとの相関は乏しい。したがって、リセットレベルのサンプリングを１回としても画質に対する影響は少ない。この第４の実施の形態の固体撮像素子２００は、リセットレベルのサンプリングを１回のみ行う点において第１の実施の形態と異なる。
　図２４は、本技術の第４の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。タイミングｔ１０から、タイミングｔ１５までの最初のリセットレベルの変換動作は、第１の実施の形態と同様である。ただし、２回目以降のリセットレベルは生成されない。
　図２５は、本技術の第４の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。タイミングｔ２１からタイミングｔ２５までの１回目の信号レベルの変換動作は、第１の実施の形態と同様である。
　タイミングｔ２５の後のタイミングｔ２６において、画素駆動回路２５０は、リセット信号ＲＳＴを出力する。そして、タイミングｔ２７において画素駆動回路２５０は、転送信号ＴＸを供給する。ここで、１回目の露光時間は、前の１Ｖ期間の駆動信号ＯＦＧの出力時点からタイミングｔ２２までである。２回目の露光時間は、タイミングｔ２２からタイミングｔ２７までである。この２回目の露光時間は、１回目よりも長いものとする。
　そして、タイミングｔ２８からタイミングｔ２９までの間に２回目の信号レベルがＡＤ変換される。この２回目の信号レベルの変換では、参照信号ＲＥＦのスロープの傾きは１回目と同じであるが、タイミング生成回路２６０は、出力部２７０を動作させるクロック信号の動作周波数を露光比に応じて１回目よりも低下させるものとする。これにより、ＡＤ変換の１ＬＳＢに対応する電圧値が、１回目よりも大きくなる。すなわち、ＡＤ変換における分解能が低くなる。
　なお、クロック信号の動作周波数を低くする場合、パルス幅を維持したまま低下させてもよいし、低下させる際にパルス幅を変更してもよい。パルス幅を維持する際には、動作周波数の低下によりクロック信号のデューティ比も変化する。
　図２６は、本技術の第４の実施の形態におけるＣＤＳ処理を含む演算処理を説明するための図である。第４の実施の形態の演算回路２８０は、第３の実施の形態と同様にシフタ２９０および加算器２９２を備える。１回目のＰ相データが入力されると、演算回路２８０は、そのＰ相データの符号を反転し、かつ、Ｄ相を読む回数（Ｎ回）分、この符号反転したＰ相データに乗算器２９０でゲイン（Ｎ倍）をかけてメモリ２７３に保持する。次に１回目のＤ相データが入力されると、加算器２９２は、そのＤ相データとメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。
　続いて分解能の低い２回目のＤ相データが入力されると、シフタ２９０は、分解能を低くした分だけ左シフトする。通常であれば、分解能の異なるデータ（ここでは、１回目および２回目のＤ相データ）は、デジタル値が飛ばないようにディザ処理などを行う必要がある。しかし、リセットレベルのＡＤ変換時の分解能を高くしたため、自然とディザがかかり、デジタル値が歯抜けになることが無い。したがって、ディザ処理等が不要となる。
　加算器２９２は、シフト後のＤ相データとメモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。この２回目のＰ相データは、２回目よりも露光時間が長いため、ショットノイズが支配的となり、リセットノイズとの相関が乏しい。このため、２回目のリセットサンプリングを行う必要がなくなり、リセットサンプリングが１回のみで済む。
　なお、信号レベルのサンプリング回数を２回としているが、３回以上としてもよい。その際に演算回路２８０は、Ｐ相データの入力前のゲインとして、サンプリング回数分かける処理を行う。
　このように、本技術の第４の実施の形態では、固体撮像素子２００は、２回目の露光時間を１回目よりも長くするため、リセットレベルのサンプリング回数を削減することができる。これにより、固体撮像素子２００の消費電力を小さくすることができる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、ＡＤＣ３２０は、複数の信号レベルを同一の露光時間によりＡＤ変換していたが、自然光の下などでは、ダイナミックレンジが不足するおそれがある。ダイナミックレンジを拡大するには、一般的に、短時間露光の画素データと長時間露光の画素データとを生成し、それらを合成する方法が用いられる。しかし、この方法では、長時間露光と短時間露光との合計の露光時間が長くなってしまうという問題がある。この第５の実施の形態の固体撮像素子２００は、露光時間の増大を抑制しつつ、ダイナミックレンジを拡大した点において第１の実施の形態と異なる。
　図２７は、本技術の第５の実施の形態における出力部２７０の一構成例を示すブロック図である。この第５の実施の形態の出力部２７０は、共有メモリ２９５をさらに具備する点において第１の実施の形態と異なる。この共有メモリ２９５は、画素毎に設けられた演算回路２８０の全てにより共有される。
　図２８は、本技術の第５の実施の形態における出力部２７０の処理を説明するための図である。画素回路３１０は、リセットレベルおよび信号レベルのそれぞれを２回ずつ生成する。信号レベルのそれぞれの露光時間は同一である。
　ＡＤＣ３２０は、１回目のリセットレベルを所定の分解能ＲＬによりＰ相データに変換する。そして、ＡＤＣ３２０は、２回目のリセットレベルと１回目の信号レベルとを分解能ＲＬより高いＲＨによりＰ相データおよびＤ相データに変換する。続いてＡＤＣ３２０は、２回目の信号レベルを分解能ＲＬによりＤ相データに変換する。
　出力部２７０は、ＣＤＳ処理部２９６および飽和判定部２９７を備える。ＣＤＳ処理部２９６は、１回目のＰ相データの符号を反転してメモリ２７３に保持し、２回目のＰ相データの符号を反転して共有メモリ２９５に保持する。
　そして、ＣＤＳ処理部２９６は、１回目のＤ相データと、共有メモリ２９５の保持データとを加算して、その加算値により共有メモリ２９５を更新する。これにより、２回目のＰ相データと１回目のＤ相データとの差分（画素データ）が共有メモリ２９５に保持される。なお、共有メモリ２９５は、特許請求の範囲に記載の第２メモリの一例である。
　続いてＣＤＳ処理部２９６は、２回目のＤ相データと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。これにより、１回目のＰ相データと２回目のＤ相データとの差分（画素データ）がメモリ２７３に保持される。なお、メモリ２７３は、特許請求の範囲に記載の第１メモリの一例である。
　飽和判定部２９７は、共有メモリ２９５の保持データ（画素データ）がフルスケールを越える（言い換えれば、飽和している）か否かを判定する。飽和している場合には飽和判定部２９７は、共有メモリ２９５を初期化し、メモリ２７３の保持データを最終的な画素データとして出力させる。一方、飽和していない場合には飽和判定部２９７は、共有メモリ２９５の保持データによりメモリ２７３を更新し、更新後のメモリ２７３のデータを最終的な画素データとして出力させる。なお、飽和判定部２９７は、共有メモリ２９５の保持データがフルスケールを越えるか否かを判定しているが、フルスケール未満の所定値を越えるか否かを判定してもよい。また、飽和判定部２９７は、特許請求の範囲に記載の判定部の一例である。
　メモリ２７３および共有メモリ２９５のそれぞれには、Ｂ（例えば、１４）ビットの画素データが保持されるため、それぞれのメモリ容量は、Ｂビットで済む。また、メモリ２７３は画素ごとに設けられ、共有メモリ２９５は全画素で共有される。このため、画素数をＨ×Ｖとすると、出力部２７０全体のメモリの総容量Ｃtotalは、次の式により表される。
　　Ｃtotal＝Ｈ×Ｖ×Ｂ＋Ｂ
　図２９は、本技術の第５の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。第５の実施の形態におけるタイミングｔ１０からｔ１７までの１回目および２回目のリセットレベルの変換動作は、第１の実施の形態と同様である。ただし、２回目のリセットレベルのＡＤ変換において、ＤＡＣ２１０は、参照信号ＲＥＦのスロープの傾きを１回目よりも緩やかにする。これにより、２回目のリセットレベルは、１回目よりも高い分解能によりＡＤ変換される。
　図３０は、本技術の第５の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。第５の実施の形態におけるタイミングｔ２１からｔ２８までの１回目および２回目の信号レベルの変換動作は、第１の実施の形態と同様である。ただし、１回目の信号レベルのＡＤ変換において、ＤＡＣ２１０は、参照信号ＲＥＦのスロープの傾きを２回目よりも緩やかにする。これにより、１回目の信号レベルは、２回目よりも高い分解能によりＡＤ変換される。
　図３１は、本技術の第５の実施の形態におけるスロープの傾きについて説明するための図である。前述したように、参照信号がスロープ状に変化している期間において、ＡＤＣ３２０は、参照信号と画素信号とを比較する動作をクロック信号に同期して繰り返す。このため、クロック信号の周波数を一定にしたままで、参照信号のスロープの傾きを緩やかにすると、ＬＳＢに対応する電圧値が小さくなる。すなわち、ＡＤＣ３２０の分解能が高くなる。また、分解能が高いと、分解能が低い場合よりも変換後のデジタル値が大きくなる。したがって、照度の比較的低い画素が分解能の高い（すなわち、デジタル値の大きな）画素データを出力し、照度の比較的高い画素が分解能の低い画素データを出力すれば、画像データ全体のダイナミックレンジを広くすることができる。
　図３２は、本技術の第５の実施の形態におけるＣＤＳ処理を説明するための図である。同図におけるａは、低照度時のＣＤＳ処理を説明するための図であり、同図におけるｂは高照度時のＣＤＳ処理を説明するための図である。
　図３２におけるａに例示するように、演算回路２８０は、１回目の低分解能のＰ相データの符号を反転してメモリ２７３に保持し、２回目の高分解能のＰ相データの符号を反転して共有メモリ２９５に保持する。
　そして、演算回路２８０は、１回目のＤ相データと、共有メモリ２９５の保持データとを加算して、その加算値により共有メモリ２９５を更新する。これにより、２回目のＰ相データと１回目のＤ相データとの差分（正味の画素データＴＥＭＰ）が共有メモリ２９５に保持される。
　続いてＣＤＳ処理部２９６は、２回目のＤ相データと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。これにより、１回目のＰ相データと２回目のＤ相データとの差分がメモリ２７３に保持される。なお、メモリ２７３は、特許請求の範囲に記載の第１メモリの一例である。
　演算回路２８０は、共有メモリ２９５の画素データＴＥＭＰがフルスケールＦＳを越える（飽和している）か否かを判定する。飽和していない場合に演算回路２８０は、図３２におけるａに例示するように、共有メモリ２９５の保持データによりメモリ２７３を更新する。更新後の高分解能のデータが最終的な画素データとして出力される。一方、飽和している場合には演算回路２８０は、同図におけるｂに例示するように共有メモリ２９５を初期化し、メモリ２７３の低分解能の保持データを最終的な画素データとして出力させる。
　このように、分解能を切り替える方式によれば、画素３００の露光は１回でよく、長時間露光と短時間露光との両方を行わずに済むため、露光時間の増大を抑制することができる。
　図３３は、本技術の第５の実施の形態におけるＣＤＳ処理の一例を示すフローチャートである。画素３００は、１回目のリセットレベルを生成してＰ相データに変換する（ステップＳ９１１）。出力部２７０は、そのＰ相データの符号を反転してメモリ２７３に保持する（ステップＳ９１２）。そして、画素３００は、２回目のリセットレベルを生成し、スロープを緩やかにしてＰ相データに変換する（ステップＳ９１３）。出力部２７０は、２回目のＰ相データの符号を反転して、共有メモリ２９５に保持する（ステップＳ９１４）。
　画素３００は、１回目の信号レベルを生成し、スロープを緩やかにしてＤ相データに変換する（ステップＳ９１５）。出力部２７０は、そのＤ相データを、共有メモリ２９５の保持データと加算し、加算値により共有メモリ２９５を更新する（ステップＳ９１６）。続いて画素３００は、２回目の信号レベルを生成してＤ相データに変換する（ステップＳ９１７）。出力部２７０は、そのＤ相データを、メモリ２７３の保持データと加算し、加算値によりメモリ２７３を更新する（ステップＳ９１８）。
　出力部２７０は、共有メモリ２９５の保持値が飽和しているか否かを判定する（ステップＳ９１９）。飽和している場合に（ステップＳ９１９：Ｙｅｓ）、出力部２７０は、共有メモリ２９５を初期化し、メモリ２７３の値を画素データとして出力する（ステップＳ９２０）。一方、飽和していない場合に（ステップＳ９１９：Ｎｏ）、出力部２７０は、共有メモリ２９５の保持値によりメモリ２７３を更新し、その更新後の値を画素データとして出力する（ステップＳ９２１）。ステップＳ９２０またはＳ９２１の後に、固体撮像素子２００は、ＣＤＳ処理を終了する。
　このように、本技術の第５の実施の形態では、高照度時に低分解能の画素データを出力し、低照度時に高分解能の画素データを出力するため、１回の露光によりダイナミックレンジを拡大することができる。
　＜６．第６の実施の形態＞
　上述の第５の実施の形態では、画素回路３１０は、ＦＤで生成した電圧を増幅せずに出力していたが、照度が高い場合などに取扱い飽和信号量が不足するおそれがある。取扱い飽和信号量が不足する際は、ＦＤで生成した電圧を低減して低電圧化したデータを出力することが望ましい。この第６の実施の形態の画素回路３１０は、ＦＤで生成したアナログの電圧を低減する点において第５の実施の形態と異なる。
　図３４は、本技術の第６の実施の形態における画素回路３１０および差動入力回路３３０の一構成例を示す回路図である。この第６の実施の形態の画素回路３１０は、ゲイン制御トランジスタ３１７および容量３１８をさらに備える点において第５の実施の形態と異なる。ゲイン制御トランジスタ３１７として、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
　ゲイン制御トランジスタ３１７のゲートには、画素駆動回路２５０からのゲイン制御信号ＦＤＧが入力される。また、ゲイン制御トランジスタ３１７のドレインは、容量３１８の一端とリセットトランジスタ３１１のドレインとに接続される。ゲイン制御トランジスタ３１７のソースは、ＰＭＯＳトランジスタ３３４およびＮＭＯＳトランジスタ３３５のドレインとＰＭＯＳトランジスタ３３６のゲートとに接続される。また、容量３１８の他端には、基板電圧が印加される。
　上述の構成により、画素駆動回路２５０がハイレベルのゲイン制御信号ＦＤＧを供給すれば、画素３００は、ＦＤ３１２の電圧を所定のアナログゲインにより低減して出力することができる。これにより、画素３００の取扱い信号量、すなわち飽和信号量が拡大する。
　図３５は、本技術の第６の実施の形態におけるリセットレベルのサンプリング処理の一例を示すタイミングチャートである。画素駆動回路２５０は、１回目のリセットレベル変換時のタイミングｔ１０からｔ１６までの間において、ハイレベルのゲイン制御信号ＦＤＧを供給する。そして、画素駆動回路２５０は、２回目のリセットレベル変換時のタイミングｔ１６以降において、ローレベルのゲイン制御信号ＦＤＧを供給する。
　図３６は、本技術の第６の実施の形態における信号レベルのサンプリング処理の一例を示すタイミングチャートである。画素駆動回路２５０は、１回目の信号レベル変換時のタイミングｔ２１からｔ２７までの間において、ローレベルのゲイン制御信号ＦＤＧを供給する。そして、画素駆動回路２５０は、２回目の信号レベル変換時のタイミングｔ２７以降において、ハイレベルのゲイン制御信号ＦＤＧを供給する。
　図３７は、本技術の第６の実施の形態におけるＣＤＳ処理を説明するための図である。同図におけるａは、低照度時のＣＤＳ処理を説明するための図であり、同図におけるｂは高照度時のＣＤＳ処理を説明するための図である。第６の実施の形態のＣＤＳ処理部２９６は、乗算器２９３および加算器２９２を備える。
　図３７におけるａに例示するように、加算器２９２は、１回目の低分解能のＰ相データの符号を反転してメモリ２７３に保持する。
　また、乗算器２９３は、１回目の高分解能のＰ相データの符号に対してデジタル値Ａｇを乗算する。このデジタル値Ａｇには、スロープの傾きによる分解能の比率とアナログゲインとに応じた値が設定される。デジタル値Ａｇを２のべき乗とすれば、乗算器２９３は、第３の実施の形態のようにシフタにより実現することができる。加算器２９２は、乗算後のＰ相データの符号を反転して共有メモリ２９５に保持する。
　そして、乗算器２９３は、２回目のＤ相データに対してデジタル値Ａｇを乗算する。加算器２９２は、乗算後のＤ相データと、共有メモリ２９５の保持データとを加算して、その加算値により共有メモリ２９５を更新する。これにより、２回目のＰ相データと１回目のＤ相データとの差分（正味の画素データＴＥＭＰ）が共有メモリ２９５に保持される。
　続いて加算器２９２は、２回目のＤ相データと、メモリ２７３の保持データとを加算して、その加算値によりメモリ２７３を更新する。これにより、１回目のＰ相データと２回目のＤ相データとの差分（正味の画素データ）がメモリ２７３に保持される。
　飽和判定部２９７は、共有メモリ２９５の画素データＴＥＭＰがフルスケールＦＳを越える（飽和している）か否かを判定する。第６の実施の形態の飽和判定後の処理は、第５の実施の形態と同様である。
　このように、本技術の第６の実施の形態では、出力部２７０が、ＦＤの電圧の低減により感度を低減させるため、飽和信号量の不足を抑制することができる。
　＜７．第７の実施の形態＞
　上述の第１の実施の形態では、１つの半導体基板に、画素回路３１０、ＡＤＣ３２０およびメモリ２７３を配置していたが、積層した複数の半導体基板に、それらを分散して配置することもできる。この第７の実施の形態の固体撮像素子２００は、積層した複数の半導体基板に、画素回路３１０などを分散して配置した点において第１の実施の形態と異なる。
　図３８は、本技術の第７の実施の形態における固体撮像素子２００の積層構造の一例を示す斜視図である。この第７の実施の形態の固体撮像素子２００は、積層された上側基板２０２および下側基板２０４を備える。それぞれの基板の貼り合わせは、Ｃｕ－Ｃｕ接合や、ＴＳＶ（Through-Silicon Via）技術などにより行われる。
　上側基板２０２には、画素回路３１０が二次元格子状に配列される。また、下側基板２０４には、画素回路３１０と同じ個数のＡＤＣ３２０およびメモリ２７３が配列される。画素回路３１０、ＡＤＣ３２０およびメモリ２７３以外の回路や素子は、省略されている。上側基板２０２の「上」は、光学部１１０に近い方を示す。
　このように、本技術の第７の実施の形態では、積層された上側基板２０２および下側基板２０４に画素回路３１０、ＡＤＣ３２０およびメモリ２７３を分散して配置するため、固体撮像素子２００の実装密度や集積度を向上させることができる。
　［第１の変形例］
　上述の第７の実施の形態では、メモリ２７３を下側基板２０４に配置していたが、上側基板２０２に配置することもできる。この第７の実施の形態の第１の変形例の固体撮像素子２００は、上側基板２０２にメモリ２７３を配置した点において第７の実施の形態と異なる。
　図３９は、本技術の第７の実施の形態の第１の変形例における固体撮像素子２００の積層構造の一例を示す斜視図である。この第７の実施の形態の第１の変形例では、画素回路３１０およびメモリ２７３が上側基板２０２に配置され、ＡＤＣ３２０が下側基板２０４に配置される。画素回路３１０、ＡＤＣ３２０およびメモリ２７３以外の回路や素子は、省略されている。
　このように、本技術の第７の実施の形態の第１の変形例では、上側基板２０２に画素回路３１０およびメモリ２７３を配置し、下側基板２０４にＡＤＣ３２０を配置したため、固体撮像素子２００の実装密度や集積度を向上させることができる。
　［第２の変形例］
　上述の第７の実施の形態では、積層した２つの半導体基板に、画素回路３１０、ＡＤＣ３２０およびメモリ２７３を配置していたが、それらを、３つの半導体基板に分散して配置することもできる。この第７の実施の形態の第２の変形例の固体撮像素子２００は、積層した３つの半導体基板に、画素回路３１０などを分散して配置した点において第７の実施の形態と異なる。
　図４０は、本技術の第７の実施の形態の第２の変形例における固体撮像素子２００の積層構造の一例を示す斜視図である。この第７の実施の形態の第２の変形例の固体撮像素子２００は、積層された上側基板２０２、中間基板２０３および下側基板２０４を備える。
　上側基板２０２には、画素回路３１０が二次元格子状に配列される。また、中間基板２０３には、画素回路３１０と同じ個数のＡＤＣ３２０が配列される。下側基板２０４には、画素回路３１０と同じ個数のメモリ２７３が配列される。画素回路３１０、ＡＤＣ３２０およびメモリ２７３以外の回路や素子は、省略されている。
　このように、本技術の第７の実施の形態の第２の変形例では、積層された３枚の半導体基板に画素回路３１０、ＡＤＣ３２０およびメモリ２７３を分散して配置するため、固体撮像素子２００の実装密度や集積度をさらに向上させることができる。
　＜８．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４２は、撮像部１２０３１の設置位置の例を示す図である。
　図４２では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１ないし１２１０４内の固体撮像素子に適用され得る。具体的には、固体撮像素子内の出力部は、１回目の差分と２回目以降のＤ相データとの加算値をメモリに保持する。撮像部１２１０１ないし１２１０４とに本開示に係る技術を適用することにより、固体撮像素子のメモリ容量の増大を抑制することができるため、撮像部のコストを削減することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、
　前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、
　保持データを保持するメモリと、
　前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と
を具備する固体撮像素子。
（２）前記アナログデジタル変換器は、所定数の前記信号レベルのそれぞれを前記信号データに変換し、
　前記メモリの容量は、底を２とする前記所定数の対数と前記差分のデータサイズとの和である
前記（１）記載の固体撮像素子。
（３）前記画素回路は、前記複数の信号レベルと同じ個数の前記リセットレベルを生成し、
　前記演算回路は、前記リセットデータが出力されるたびに前記リセットデータと前記保持データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる
前記（１）または（２）に記載の固体撮像素子。
（４）前記複数の信号レベルのそれぞれに対応する露光時間は異なり、
　前記画素回路は、１つの前記リセットレベルを生成する
前記（１）または（２）に記載の固体撮像素子。
（５）前記アナログデジタル変換器は、前記露光時間の比率に応じた動作周波数により前記信号レベルを変換する
前記（４）記載の固体撮像素子。
（６）前記画素回路は、
　転送された電荷を蓄積して当該蓄積された電荷量に応じた電圧を生成する電荷蓄積部と、
　前記電荷蓄積部を共有する複数のフォトダイオードと
　前記複数のフォトダイオードのそれぞれにおいて光電変換により生成された前記電荷を前記電荷蓄積部に転送する転送部と
を備える
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記複数の信号レベルのそれぞれに対応する露光時間は異なり、
　前記演算回路は、前記露光時間のそれぞれの比率により前記リセットデータおよび前記信号データを乗算した後に前記差分の演算を行う
前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）前記露光時間のそれぞれの比率は２のべき乗であり、
　前記演算回路は、前記リセットデータおよび前記信号データに対してシフト演算を行う
前記（７）記載の固体撮像素子。
（９）前記画素回路は２次元格子状に配列され、
　前記アナログデジタル変換器は、前記画素回路ごとに設けられる
前記（１）から（８）のいずれかに記載の固体撮像素子。
（１０）積層された２つの半導体基板をさらに具備し、
　前記画素回路は、前記２つの半導体基板の一方に配置され、
　前記アナログデジタル変換器および前記メモリは、前記２つの半導体基板の他方に配置される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１１）積層された２つの半導体基板をさらに具備し、
　前記画素回路および前記メモリは、前記２つの半導体基板の一方に配置され、
　前記アナログデジタル変換器は、前記２つの半導体基板の他方に配置される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１２）積層された第１、第２および第３の半導体基板をさらに具備し、
　前記画素回路は、前記第１の半導体基板に配置され、
　前記アナログデジタル変換器は、前記第２の半導体基板に配置され、
　前記メモリは、前記第３の半導体基板に配置される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１３）第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する画素回路と、
　前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
　前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
　前記第１の画素データを保持する第１メモリと、
　前記第２の画素データを保持する第２メモリと、
　前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と
を具備する固体撮像素子。
（１４）前記第１のリセットレベルと前記第２の信号レベルとを所定の感度により前記画素回路に生成させ、前記第２のリセットレベルと前記第１の信号レベルとを所定の感度と異なる感度により前記画素回路に生成させる画素駆動部をさらに具備する
前記（１３）記載の固体撮像素子。
（１５）前記画素回路は、前記第１および第２のリセットレベルと前記第１および第２の信号レベルとのそれぞれを画素信号として生成し、
　前記アナログデジタル変換器は、
　スロープを持つ所定の参照信号と前記画素信号とを複数回に亘って比較して当該比較結果を出力する比較部と、
　前記比較結果のそれぞれからなるデータを前記第１および第２のリセットデータと前記第１および第２の信号データのいずれかとして記憶するデータ記憶部と
を備え、
　前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを比較するときの傾きより緩やかである
前記（１３）または（１４）に記載の固体撮像素子。
（１６）　前記画素回路は、二次元格子状に配列され、
　前記アナログデジタル変換器は、前記画素回路ごとに配置され、
　前記第２メモリは、前記画素回路の全てに共有される
前記（１３）から（１５）のいずれかに記載の固体撮像素子。
（１７）所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、
　前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号レベルのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、
　保持データを保持するメモリと、
　前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と、
　前記保持された保持データに対して所定の信号処理を実行するデジタル信号処理部と
を具備する固体撮像装置。
（１８）第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順生成する画素回路と、
　前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
　前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
　前記第１の画素データを保持する第１メモリと、
　前記第２の画素データを保持する第２メモリと、
　前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と、
　前記第１および第２の画素データのうち出力されたデータに対して所定の信号処理を実行するデジタル信号処理部と
を具備する固体撮像装置。
（１９）所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する生成手順と、
　前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換手順と、
　前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとしてメモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算手順と
を具備する固体撮像素子の制御方法。
（２０）第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する生成手順と、
　前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換手順と、
　前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求めて第１メモリに保持し、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求めて第２メモリに保持する相関二重サンプリング処理手順と、
　前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定手順と
を具備する固体撮像素子の制御方法。
　１００　撮像装置
　１１０　光学部
　１２０　ＤＳＰ回路
　１３０　表示部
　１４０　操作部
　１５０　バス
　１６０　フレームメモリ
　１７０　記憶部
　１８０　電源部
　２００　固体撮像素子
　２０１　半導体基板
　２０２　上側基板
　２０３　中間基板
　２０４　下側基板
　２１０　ＤＡＣ
　２２０　時刻コード発生部
　２３０　垂直駆動回路
　２４０　画素アレイ部
　２４１　時刻コード転送部
　２５０　画素駆動回路
　２６０　タイミング生成回路
　２７０　出力部
　２７１　演算部
　２７２　メモリアレイ
　２７３　メモリ
　２７４　メモリセル
　２８０　演算回路
　２８１、２８４、２８６、２９１　セレクタ
　２８２　加算回路
　２８３、３７２、３７３、３７４、３８２、３８３、３９２　インバータ
　２８５　全加算器
　２９０　シフタ
　２９２　加算器
　２９３　乗算器
　２９５　共有メモリ
　２９６　ＣＤＳ処理部
　２９７　飽和判定部
　３００　画素
　３１０　画素回路
　３１１　リセットトランジスタ
　３１２　ＦＤ
　３１３　サブ画素回路
　３１４　転送トランジスタ
　３１５　フォトダイオード
　３１６　排出トランジスタ
　３１７　ゲイン制御トランジスタ
　３１８　容量
　３２０　ＡＤＣ
　３２１　比較回路
　３３０　差動入力回路
　３３１、３３４、３３６、３５１、３５２、３５５、３５６　ＰＭＯＳトランジスタ
　３３２、３３３、３３５、３４１、３５３、３５４、３５７、３９１　ＮＭＯＳトランジスタ
　３４０　電圧変換回路
　３５０　正帰還回路
　３６０　データ記憶部
　３６１　リピータ
　３７０　ラッチ制御回路
　３７１　ＮＯＲ（否定論理和）ゲート
　３８０　ラッチ回路
　３８１　スイッチ
　３９０　双方向バッファ
　３９３　バッファ

Claims (20)

  1. 　所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、
    　前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、
    　保持データを保持するメモリと、
    　前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と
    を具備する固体撮像素子。
  2. 　前記アナログデジタル変換器は、所定数の前記信号レベルのそれぞれを前記信号データに変換し、
    　前記メモリの容量は、底を２とする前記所定数の対数と前記差分のデータサイズとの和である
    請求項１記載の固体撮像素子。
  3. 　前記画素回路は、前記複数の信号レベルと同じ個数の前記リセットレベルを生成し、
    　前記演算回路は、前記リセットデータが出力されるたびに前記リセットデータと前記保持データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる
    請求項１記載の固体撮像素子。
  4. 　前記複数の信号レベルのそれぞれに対応する露光時間は異なり、
    　前記画素回路は、１つの前記リセットレベルを生成する
    請求項１記載の固体撮像素子。
  5. 　前記アナログデジタル変換器は、前記露光時間の比率に応じた動作周波数により前記信号レベルを変換する
    請求項４記載の固体撮像素子。
  6. 　前記画素回路は、
    　転送された電荷を蓄積して当該蓄積された電荷量に応じた電圧を生成する電荷蓄積部と、
    　前記電荷蓄積部を共有する複数のフォトダイオードと
    　前記複数のフォトダイオードのそれぞれにおいて光電変換により生成された前記電荷を前記電荷蓄積部に転送する転送部と
    を備える
    請求項１記載の固体撮像素子。
  7. 　前記複数の信号レベルのそれぞれに対応する露光時間は異なり、
    　前記演算回路は、前記露光時間のそれぞれの比率により前記リセットデータおよび前記信号データを乗算した後に前記差分の演算を行う
    請求項１記載の固体撮像素子。
  8. 　前記露光時間のそれぞれの比率は２のべき乗であり、
    　前記演算回路は、前記リセットデータおよび前記信号データに対してシフト演算を行う
    請求項７記載の固体撮像素子。
  9. 　前記画素回路は２次元格子状に配列され、
    　前記アナログデジタル変換器は、前記画素回路ごとに設けられる
    請求項１記載の固体撮像素子。
  10. 　積層された２つの半導体基板をさらに具備し、
    　前記画素回路は、前記２つの半導体基板の一方に配置され、
    　前記アナログデジタル変換器および前記メモリは、前記２つの半導体基板の他方に配置される
    請求項１記載の固体撮像素子。
  11. 　積層された２つの半導体基板をさらに具備し、
    　前記画素回路および前記メモリは、前記２つの半導体基板の一方に配置され、
    　前記アナログデジタル変換器は、前記２つの半導体基板の他方に配置される
    請求項１記載の固体撮像素子。
  12. 　積層された第１、第２および第３の半導体基板をさらに具備し、
    　前記画素回路は、前記第１の半導体基板に配置され、
    　前記アナログデジタル変換器は、前記第２の半導体基板に配置され、
    　前記メモリは、前記第３の半導体基板に配置される
    請求項１記載の固体撮像素子。
  13. 　第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順生成する画素回路と、
    　前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
    　前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
    　前記第１の画素データを保持する第１メモリと、
    　前記第２の画素データを保持する第２メモリと、
    　前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と
    を具備する固体撮像素子。
  14. 　前記第１のリセットレベルと前記第２の信号レベルとを所定の感度により前記画素回路に生成させ、前記第２のリセットレベルと前記第１の信号レベルとを所定感度と異なる感度により前記画素回路に生成させる画素駆動部をさらに具備する
    請求項１３記載の固体撮像素子。
  15. 　前記画素回路は、前記第１および第２のリセットレベルと前記第１および第２の信号レベルとのそれぞれを画素信号として生成し、
    　前記アナログデジタル変換器は、
    　スロープを持つ所定の参照信号と前記画素信号とを複数回に亘って比較して当該比較結果を出力する比較部と、
    　前記比較結果のそれぞれからなるデータを前記第１および第２のリセットデータと前記第１および第２の信号データのいずれかとして記憶するデータ記憶部と
    を備え、
    　前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを比較するときの前記スロープの傾きは、前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを比較するときの傾きより緩やかである
    請求項１３記載の固体撮像素子。
  16. 　前記画素回路は、二次元格子状に配列され、
    　前記アナログデジタル変換器は、前記画素回路ごとに配置され、
    　前記第２メモリは、前記画素回路の全てに共有される
    請求項１３記載の固体撮像素子。
  17. 　所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する画素回路と、
    　前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号レベルのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換器と、
    　保持データを保持するメモリと、
    　前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとして前記メモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算回路と、
    　前記保持された保持データに対して所定の信号処理を実行するデジタル信号処理部と
    を具備する固体撮像装置。
  18. 　第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順生成する画素回路と、
    　前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換器と、
    　前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求め、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求める相関二重サンプリング処理部と、
    　前記第１の画素データを保持する第１メモリと、
    　前記第２の画素データを保持する第２メモリと、
    　前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定部と、
    　前記第１および第２の画素データのうち出力されたデータに対して所定の信号処理を実行するデジタル信号処理部と
    を具備する固体撮像装置。
  19. 　所定のリセットレベルと露光量に応じた複数の信号レベルとのそれぞれを順に生成する生成手順と、
    　前記所定のリセットレベルをデジタルデータに変換してリセットデータとして出力した後に前記複数の信号データのそれぞれをデジタルデータに変換して信号データとして出力するアナログデジタル変換手順と、
    　前記リセットデータと最初に出力された前記信号データとの差分を前記保持データとしてメモリに保持させた後に当該保持させた保持データと２回目以降に出力された前記信号データとを加算して当該加算したデータを新たな保持データとして前記メモリに保持させる演算手順と
    を具備する固体撮像素子の制御方法。
  20. 　第１および第２のリセットレベルと露光量に応じた第１および第２の信号レベルとを順に生成する生成手順と、
    　前記第１のリセットレベルと前記第２の信号レベルとのそれぞれを所定の分解能により第１のリセットデータと第２の信号データとに変換し、前記第２のリセットレベルと前記第１の信号レベルとのそれぞれを前記所定の分解能より高い分解能により第２のリセットデータと第１の信号データとに変換するアナログデジタル変換手順と、
    　前記第１のリセットデータと前記第２の信号データとの差分を第１の画素データとして求めて第１メモリに保持し、前記第２のリセットデータと前記第１の信号データとの差分を前記第２の画素データとして求めて第２メモリに保持する相関二重サンプリング処理手順と、
    　前記保持された第２の画素データの値が所定値より高いか否かを判定して前記第２の画素データの値が前記所定値より高い場合には前記保持された第１の画素データを出力させ、前記第２の画素データの値が前記所定値に満たない場合には前記第２の画素データを出力させる判定手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2017/036630 2016-11-24 2017-10-10 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 WO2018096813A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/342,820 US11039099B2 (en) 2016-11-24 2017-10-10 Solid-state imaging element, solid-state imaging apparatus, and method for controlling solid-state imaging element
JP2018552450A JP6997720B2 (ja) 2016-11-24 2017-10-10 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法
CN201780071518.6A CN110024377B (zh) 2016-11-24 2017-10-10 固态成像元件、固态成像装置和固态成像元件的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016227398 2016-11-24
JP2016-227398 2016-11-24

Publications (1)

Publication Number Publication Date
WO2018096813A1 true WO2018096813A1 (ja) 2018-05-31

Family

ID=62194896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036630 WO2018096813A1 (ja) 2016-11-24 2017-10-10 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法

Country Status (4)

Country Link
US (1) US11039099B2 (ja)
JP (1) JP6997720B2 (ja)
CN (1) CN110024377B (ja)
WO (1) WO2018096813A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054184A1 (ja) * 2018-09-12 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR20200031203A (ko) * 2018-09-13 2020-03-24 삼성전자주식회사 픽셀 어레이와 메모리 셀 어레이가 병합된 이미지 센서 및 이를 포함하는 전자 장치
WO2021039017A1 (en) * 2019-08-23 2021-03-04 Sony Semiconductor Solutions Corporation Imaging device, method in an imaging device, and electronic apparatus

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7059031B2 (ja) * 2018-02-09 2022-04-25 キヤノン株式会社 撮像装置、撮像システム、移動体
US11164638B2 (en) 2018-07-03 2021-11-02 Samsung Electronics Co., Ltd. Non-volatile memory device
KR102601213B1 (ko) * 2018-07-03 2023-11-10 삼성전자주식회사 비휘발성 메모리 장치 및 비휘발성 메모리 장치의 제조 방법
US11631465B2 (en) 2018-07-03 2023-04-18 Samsung Electronics Co., Ltd. Non-volatile memory device
US11368639B2 (en) * 2019-09-30 2022-06-21 Canon Kabushiki Kaisha Photoelectric conversion apparatus, image capturing system, method for driving photoelectric conversion apparatus, and moving object
CN114982222A (zh) * 2020-01-08 2022-08-30 华为技术有限公司 一种图像读取电路、图像传感器以及终端设备
CN111510651B (zh) * 2020-04-26 2022-09-06 Oppo广东移动通信有限公司 一种图像传感电路、图像传感器及终端设备
JP2022144243A (ja) * 2021-03-18 2022-10-03 キヤノン株式会社 光電変換装置および電子機器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024941A (ja) * 1999-07-06 2001-01-26 Victor Co Of Japan Ltd 電子カメラ
JP2005191641A (ja) * 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置
JP2011211535A (ja) * 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
WO2013099723A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 撮像素子、撮像装置、電子機器および撮像方法
JP2013251607A (ja) * 2012-05-30 2013-12-12 Panasonic Corp 固体撮像装置
JP2015130563A (ja) * 2014-01-06 2015-07-16 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
WO2016129408A1 (ja) * 2015-02-13 2016-08-18 ソニー株式会社 イメージセンサ、読み出し制御方法、および電子機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136101B2 (en) * 2001-12-24 2006-11-14 Hewlett-Packard Development Company, L.P. Use-controlled exposure method and system with visual feedback
TW201101476A (en) * 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP5288965B2 (ja) * 2008-09-22 2013-09-11 キヤノン株式会社 固体撮像装置及びその駆動方法
TWI505453B (zh) * 2011-07-12 2015-10-21 Sony Corp 固態成像裝置，用於驅動其之方法，用於製造其之方法，及電子裝置
WO2014055391A2 (en) * 2012-10-05 2014-04-10 Rambus Inc. Conditional-reset, multi-bit read-out image sensor
KR102025928B1 (ko) * 2013-05-14 2019-09-26 삼성전자주식회사 촬상 장치 및 제어 방법
WO2015120328A1 (en) * 2014-02-07 2015-08-13 Rambus Inc. Feedthrough-compensated image sensor
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9686483B2 (en) * 2015-01-07 2017-06-20 Forza Silicon, Inc. Pixel with switchable high gain and high capacity modes
CN105681692B (zh) * 2016-01-11 2018-10-30 珠海艾思克科技有限公司 Cmos图像传感器及其复位噪声评估方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024941A (ja) * 1999-07-06 2001-01-26 Victor Co Of Japan Ltd 電子カメラ
JP2005191641A (ja) * 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置
JP2011211535A (ja) * 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
WO2013099723A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 撮像素子、撮像装置、電子機器および撮像方法
JP2013251607A (ja) * 2012-05-30 2013-12-12 Panasonic Corp 固体撮像装置
JP2015130563A (ja) * 2014-01-06 2015-07-16 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
WO2016129408A1 (ja) * 2015-02-13 2016-08-18 ソニー株式会社 イメージセンサ、読み出し制御方法、および電子機器

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054184A1 (ja) * 2018-09-12 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR20200031203A (ko) * 2018-09-13 2020-03-24 삼성전자주식회사 픽셀 어레이와 메모리 셀 어레이가 병합된 이미지 센서 및 이를 포함하는 전자 장치
KR102587895B1 (ko) * 2018-09-13 2023-10-12 삼성전자주식회사 픽셀 어레이와 메모리 셀 어레이가 병합된 이미지 센서 및 이를 포함하는 전자 장치
WO2021039017A1 (en) * 2019-08-23 2021-03-04 Sony Semiconductor Solutions Corporation Imaging device, method in an imaging device, and electronic apparatus
US11778342B2 (en) 2019-08-23 2023-10-03 Sony Semiconductor Solutions Corporation Solid-state image pickup element, image pickup apparatus, and method of controlling solid-state image pickup element
JP7365823B2 (ja) 2019-08-23 2023-10-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JP6997720B2 (ja) 2022-01-18
CN110024377A (zh) 2019-07-16
US20190273883A1 (en) 2019-09-05
JPWO2018096813A1 (ja) 2019-10-17
US11039099B2 (en) 2021-06-15
CN110024377B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
JP6997720B2 (ja) 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法
JP2018186478A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020110679A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018198691A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN110710197B (zh) 模拟数字转换器、固态成像元件和模拟数字转换器的控制方法
JP2020072471A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020235146A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2019047383A (ja) 撮像装置、および、固体撮像素子の制御方法
WO2019239661A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018116633A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
US11595601B2 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
WO2019239670A1 (ja) 信号処理回路、固体撮像素子、および、信号処理回路の制御方法
WO2020003646A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2022123205A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020090311A1 (ja) 固体撮像素子
WO2019171686A1 (ja) 増幅回路、撮像装置、および、増幅回路の制御方法
WO2022244293A1 (ja) アナログデジタル変換回路、固体撮像素子、および、アナログデジタル変換回路の制御方法
WO2021145033A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023074522A1 (ja) 物理量検出装置及び撮像装置
WO2022038903A1 (ja) 固体撮像素子
WO2023276199A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2022249736A1 (ja) 撮像装置および電子機器
WO2023112594A1 (ja) 物理量検出装置及び撮像装置
WO2022004125A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17874118

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018552450

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17874118

Country of ref document: EP

Kind code of ref document: A1