WO2018163873A1 - 固体撮像装置および電子機器 - Google Patents

固体撮像装置および電子機器 Download PDF

Info

Publication number
WO2018163873A1
WO2018163873A1 PCT/JP2018/006878 JP2018006878W WO2018163873A1 WO 2018163873 A1 WO2018163873 A1 WO 2018163873A1 JP 2018006878 W JP2018006878 W JP 2018006878W WO 2018163873 A1 WO2018163873 A1 WO 2018163873A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
circuit
solid
unit
Prior art date
Application number
PCT/JP2018/006878
Other languages
English (en)
French (fr)
Inventor
晃司 小川
忠行 田浦
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/486,255 priority Critical patent/US10939062B2/en
Publication of WO2018163873A1 publication Critical patent/WO2018163873A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the present disclosure relates to a solid-state imaging device and an electronic device, and more particularly, to a solid-state imaging device and an electronic device designed to reduce power consumption.
  • LBP Local binary pattern
  • LBP feature extraction is performed by the processor using the digital image signal obtained from the image sensor, and the recognition result is output against the learning data.
  • the present disclosure has been made in view of such a situation, and can sufficiently secure the time width of the pulse signal.
  • a solid-state imaging device provides a comparison circuit that compares a pixel signal with a temporally changing reference signal, and a magnitude relationship between a pixel signal in a pixel of interest and a neighboring pixel located in the vicinity of the pixel of interest.
  • a data holding unit that compares with the reference signal and holds the comparison result of the magnitude relationship is provided for each pixel or each area block.
  • the AD conversion of the pixel signal of the target pixel can be performed using the comparison circuit and the reference signal, and the result of the AD conversion can be held in the data holding unit.
  • the data holding unit that performs AD conversion of the pixel signal of the pixel of interest and holds the result of the AD conversion simultaneously with the comparison of the magnitude relationship between pixel signals in the pixel of interest and a neighboring pixel located in the vicinity of the pixel of interest
  • a second data holding unit different from the above can be further provided.
  • the comparison circuit output signal of the neighboring pixel can be connected to the data storage unit of the pixel of interest.
  • the number of comparison circuit output signals of neighboring pixels connected to the data storage unit of the pixel of interest is smaller than the number of neighboring pixels to be compared with the pixel of interest.
  • the neighboring pixel is an adjacent pixel adjacent to the target pixel.
  • An electronic apparatus includes a comparison circuit that compares a pixel signal and a reference signal that changes with time, and a magnitude relationship between a pixel signal in a pixel of interest and a neighboring pixel located in the vicinity of the pixel of interest.
  • a solid-state imaging device that includes a data holding unit that compares with a reference signal and holds the comparison result of the magnitude relationship for each pixel or each area block, and a signal processing circuit that processes an output signal output from the solid-state imaging device And an optical system that makes incident light incident on the solid-state imaging device.
  • a pixel signal is compared with a temporally changing reference signal for each pixel or each area block, and the magnitude relationship between the pixel signal in the pixel of interest and a neighboring pixel located in the vicinity of the pixel of interest Are compared by the reference signal, and the comparison result of the magnitude relation is held in the data holding unit.
  • FIG. 1 is a diagram for explaining the characteristics of a local binary pattern (LBP).
  • FIG. 1 is a diagram illustrating an example of calculating LBP.
  • a method of calculating the LBP value in the center pixel of interest will be described by taking as an example a case where pixel values are arranged in a 3 ⁇ 3 array.
  • the pixel value 125 of the pixel of interest at the center is used as a threshold value, and the values of neighboring pixels are compared with the threshold value.
  • binarized values are arranged in order clockwise from neighboring pixels located to the northwest of the pixel of interest, and taken as a binary pattern.
  • FIG. 1 it is 11010100 (binary number), and when expressed in decimal number, 222 is the LBP value for the pixel of interest.
  • the northwest neighboring pixels are arranged in order as the least significant bit, but there are variations in the selection of neighboring pixels and the bit arrangement order.
  • the LBP value corresponding to each pixel is obtained, and the information (that is, the histogram of the LBP value) indicating how many pixels have each LBP value in the entire image is the LBP feature quantity.
  • the number of dimensions of the feature amount is 8 bits, which is a 256-dimensional feature amount in decimal.
  • the LBP feature describes the pattern of the image based on the relative relationship with the surrounding pixels using the pixel value of the target pixel as a threshold, a change due to an external factor such as an offset superimposed on the entire image (for example).
  • an external factor such as an offset superimposed on the entire image
  • the processor extracts the LBP features using the digital image signal obtained from the image sensor and outputs the recognition result against the learning data.
  • the LBP feature extraction is performed directly from the analog pixel signal in the image sensor (image sensor) instead of the external processor, thereby eliminating the AD conversion of the pixel signal and consuming it. Electric power can be reduced. Furthermore, the data output from the image sensor is not an image signal but an LBP feature amount itself, and the amount of data sent from the image sensor to the external processor is reduced, so that power consumption related to I / O can be suppressed.
  • bit width per one dimension of the LBP feature was set to 21 bits that can count the number of full HD pixels without overflow.
  • the image sensor equipped with the LBP feature extraction function according to this technology is based on a pixel ADC / CMOS image sensor, and its function / imaging characteristics are not degraded, and only a small circuit area is added.
  • a pixel ADC image sensor that is a base of the present technology will be described as a first embodiment with reference to FIGS.
  • FIG. 3 shows a schematic configuration of the solid-state imaging device according to the present technology.
  • a pixel array unit 22 in which pixels 21 are arranged in a two-dimensional array on a semiconductor substrate 11 using, for example, silicon (Si) as a semiconductor.
  • the pixel array unit 22 is also provided with a time code transfer unit 23 that transfers the time code generated by the time code generation unit 26 to each pixel 21.
  • a pixel drive circuit 24 Around the pixel array unit 22 on the semiconductor substrate 11, there are a pixel drive circuit 24, a DAC (D / A converter) 25, a time code generation unit 26, a vertical drive circuit 27, an output unit 28, and a timing generation circuit 29. Is formed.
  • each of the pixels 21 arranged in a two-dimensional array is provided with a pixel circuit 41 and an ADC 42.
  • the pixel 21 includes a light receiving element (for example, a photo element) in the pixel.
  • a charge signal corresponding to the amount of light received by the diode) is generated, converted into a digital pixel signal SIG, and output.
  • the pixel drive circuit 24 drives the pixel circuit 41 (FIG. 4) in the pixel 21.
  • the DAC 25 generates a reference signal (reference voltage signal) REF, which is a slope signal whose level (voltage) monotonously decreases with time, and supplies the reference signal (reference voltage signal) REF to each pixel 21.
  • the time code generator 26 generates a time code used when each pixel 21 converts the analog pixel signal SIG into a digital signal (AD conversion), and supplies the time code to the corresponding time code transfer unit 23.
  • a plurality of time code generation units 26 are provided for the pixel array unit 22, and as many time code transfer units 23 as the number corresponding to the time code generation units 26 are provided in the pixel array unit 22. . That is, the time code generation unit 26 and the time code transfer unit 23 that transfers the time code generated there correspond to each other one to one.
  • the vertical drive circuit 27 performs control to output the digital pixel signal SIG generated in the pixel 21 to the output unit 28 in a predetermined order based on the timing signal supplied from the timing generation circuit 29.
  • the digital pixel signal SIG output from the pixel 21 is output from the output unit 28 to the outside of the solid-state imaging device 1.
  • the output unit 28 performs predetermined digital signal processing such as black level correction processing for correcting the black level and CDS (Correlated Sampling) processing as necessary, and then outputs to the outside.
  • the timing generation circuit 29 includes a timing generator that generates various timing signals, and supplies the generated various timing signals to the pixel driving circuit 24, the DAC 25, the vertical driving circuit 27, and the like.
  • the solid-state imaging device 1 is configured as described above. In FIG. 3, as described above, it has been described that all the circuits constituting the solid-state imaging device 1 are formed on one semiconductor substrate 11. However, as described later, the solid-state imaging device 1 is configured.
  • the circuit to be arranged can be divided into a plurality of semiconductor substrates 11 and arranged.
  • FIG. 4 is a block diagram illustrating a detailed configuration example of the pixel 21.
  • the pixel 21 includes a pixel circuit 41 and an ADC (AD converter) 42.
  • the pixel circuit 41 outputs a charge signal corresponding to the received light quantity to the ADC 42 as an analog pixel signal SIG.
  • the ADC 42 converts the analog pixel signal SIG supplied from the pixel circuit 41 into a digital signal.
  • the ADC 42 includes a comparison circuit 51 and a data storage unit 52.
  • the comparison circuit 51 compares the reference signal REF supplied from the DAC 25 with the pixel signal SIG, and outputs an output signal VCO as a comparison result signal representing the comparison result.
  • the comparison circuit 51 inverts the output signal VCO when the reference signal REF and the pixel signal SIG become the same (voltage).
  • the comparison circuit 51 includes a differential input circuit 61, a voltage conversion circuit 62, and a positive feedback circuit (PFB: positive feedback) 63. Details will be described later with reference to FIG.
  • the data storage unit 52 receives the WR signal indicating the pixel signal writing operation and the RD indicating the pixel signal reading operation from the vertical drive circuit 27.
  • the vertical drive circuit 27 supplies a signal and a WORD signal for controlling the readout timing of the pixel 21 during the readout operation of the pixel signal.
  • the time code generated by the time code generator 26 is also supplied via the time code transfer unit 23.
  • the data storage unit 52 includes a latch control circuit 71 that controls a time code write operation and a read operation based on the WR signal and the RD signal, and a latch storage unit 72 that stores the time code.
  • the latch control circuit 71 is updated every unit time supplied from the time code transfer unit 23 while the Hi (High) output signal VCO is input from the comparison circuit 51.
  • the time code is stored in the latch storage unit 72.
  • the reference signal REF and the pixel signal SIG become the same (voltage) and the output signal VCO supplied from the comparison circuit 51 is inverted to Lo (Low)
  • the supplied time code is written (updated).
  • the time code stored last in the latch storage unit 72 is retained in the latch storage unit 72.
  • the time code stored in the latch storage unit 72 represents the time when the pixel signal SIG and the reference signal REF are equal, and data indicating that the pixel signal SIG was the reference voltage at that time, that is, digitized Represents the light intensity value.
  • the operation of the pixel 21 is changed from the write operation to the read operation.
  • the latch control circuit 71 uses the time code (stored in the latch storage unit 72) when the pixel 21 has reached its own read timing based on the WORD signal that controls the read timing.
  • the digital pixel signal SIG is output to the time code transfer unit 23.
  • the time code transfer unit 23 sequentially transfers the supplied time code in the column direction (vertical direction) and supplies it to the output unit 28.
  • the inverted time code when the output signal VCO read from the latch storage unit 72 in the time code read operation is inverted.
  • Digitized pixel data indicating that the pixel signal SIG was the reference voltage at that time is also referred to as AD converted pixel data.
  • FIG. 5 is a circuit diagram showing a detailed configuration of the differential input circuit 61, the voltage conversion circuit 62, and the positive feedback circuit 63 that constitute the comparison circuit 51.
  • the differential input circuit 61 compares the pixel signal SIG output from the pixel circuit 41 in the pixel 21 with the reference signal REF output from the DAC 25, and determines a predetermined value when the pixel signal SIG is higher than the reference signal REF. Outputs a signal (current).
  • the differential input circuit 61 includes transistors 81 and 82 forming a differential pair, transistors 83 and 84 forming a current mirror, a transistor 85 as a constant current source for supplying a current IB corresponding to an input bias current Vb, and a difference
  • the transistor 86 is configured to output the output signal HVO of the dynamic input circuit 61.
  • Transistors 81, 82, and 85 are configured by NMOS (Negative Channel MOS) transistors, and transistors 83, 84, and 86 are configured by PMOS (Positive Channel MOS) transistors.
  • the reference signal REF output from the DAC 25 is input to the gate of the transistor 81, and the pixel output from the pixel circuit 41 in the pixel 21 is input to the gate of the transistor 82.
  • a signal SIG is input.
  • the sources of the transistors 81 and 82 are connected to the drain of the transistor 85, and the source of the transistor 85 is connected to a predetermined voltage VSS (VSS ⁇ VDD2 ⁇ VDD1).
  • the drain of the transistor 81 is connected to the gates of the transistors 83 and 84 constituting the current mirror circuit and the drain of the transistor 83, and the drain of the transistor 82 is connected to the drain of the transistor 84 and the gate of the transistor 86.
  • the sources of the transistors 83, 84, and 86 are connected to the first power supply voltage VDD1.
  • the voltage conversion circuit 62 includes, for example, an NMOS transistor 91.
  • the drain of the transistor 91 is connected to the drain of the transistor 86 of the differential input circuit 61, the source of the transistor 91 is connected to a predetermined connection point in the positive feedback circuit 63, and the gate of the transistor 86 is connected to the bias voltage VBIAS. It is connected.
  • the transistors 81 to 86 constituting the differential input circuit 61 are circuits that operate at a high voltage up to the first power supply voltage VDD1, and the positive feedback circuit 63 has a second power supply voltage VDD2 lower than the first power supply voltage VDD1. It is a circuit that operates.
  • the voltage conversion circuit 62 converts the output signal HVO input from the differential input circuit 61 into a low voltage signal (conversion signal) LVI that allows the positive feedback circuit 63 to operate, and supplies it to the positive feedback circuit 63.
  • the bias voltage VBIAS may be any voltage that can be converted into a voltage that does not destroy the transistors 101 to 105 of the positive feedback circuit 63 operating at a constant voltage.
  • the positive feedback circuit 63 is inverted when the pixel signal SIG is higher than the reference signal REF based on the converted signal LVI obtained by converting the output signal HVO from the differential input circuit 61 into a signal corresponding to the second power supply voltage VDD2. A comparison result signal is output. Further, the positive feedback circuit 63 increases the transition speed when the output signal VCO output as the comparison result signal is inverted.
  • the positive feedback circuit 63 includes five transistors 101 to 105.
  • the transistors 101, 102, and 104 are composed of PMOS transistors
  • the transistors 103 and 105 are composed of NMOS transistors.
  • the source of the transistor 91 which is the output terminal of the voltage conversion circuit 62 is connected to the drains of the transistors 102 and 103 and the gates of the transistors 104 and 105.
  • the sources of the transistors 101 and 104 are connected to the second power supply voltage VDD2, the drain of the transistor 101 is connected to the source of the transistor 102, and the gate of the transistor 102 is also the output terminal of the positive feedback circuit 63. Connected to the drain.
  • the sources of the transistors 103 and 105 are connected to a predetermined voltage VSS.
  • An initialization signal INI is supplied to the gates of the transistors 101 and 103.
  • Transistors 104 and 105 constitute an inverter circuit, and a connection point between their drains is an output terminal from which the comparison circuit 51 outputs an output signal VCO.
  • FIG. 6 shows transition of each signal during the operation of the comparison circuit 51.
  • G86 represents the gate potential of the transistor 86.
  • the reference signal REF is set to a voltage higher than the pixel signals SIG of all the pixels 21, and the initialization signal INI is set to Hi, so that the comparison circuit 51 is initialized.
  • the reference signal REF is applied to the gate of the transistor 81, and the pixel signal SIG is applied to the gate of the transistor 82.
  • the voltage of the reference signal REF is higher than the voltage of the pixel signal SIG, most of the current output from the transistor 85 as a current source flows through the transistor 81 to the diode-connected transistor 83.
  • the channel resistance of the transistor 84 having a common gate with the transistor 83 becomes sufficiently low, and the gate of the transistor 86 is maintained at the first power supply voltage VDD1 level, and the transistor 86 is cut off. Therefore, even if the transistor 91 of the voltage conversion circuit 62 is conductive, the positive feedback circuit 63 as a charging circuit does not charge the conversion signal LVI.
  • the transistor 103 since the Hi signal is supplied as the initialization signal INI, the transistor 103 becomes conductive, and the positive feedback circuit 63 discharges the conversion signal LVI. Further, since the transistor 101 is cut off, the positive feedback circuit 63 does not charge the conversion signal LVI via the transistor 102. As a result, the conversion signal LVI is discharged to the predetermined voltage VSS level, the positive feedback circuit 63 outputs the Hi output signal VCO by the transistors 104 and 105 constituting the inverter, and the comparison circuit 51 is initialized.
  • the initialization signal INI is set to Lo and the sweep of the reference signal REF is started.
  • the transistor 86 is turned off to be cut off, and the output signal VCO is Hi signal, so that the transistor 102 is also turned off and cut off.
  • the transistor 103 is also cut off because the initialization signal INI is Lo.
  • the conversion signal LVI maintains the predetermined voltage VSS in the high impedance state, and the Hi output signal VCO is output.
  • the output current of the current source transistor 85 stops flowing through the transistor 81, the gate potentials of the transistors 83 and 84 rise, and the channel resistance of the transistor 84 increases. There, a current flowing through the transistor 82 causes a voltage drop to lower the gate potential of the transistor 86, and the transistor 91 becomes conductive.
  • the output signal HVO output from the transistor 86 is converted into a conversion signal LVI by the transistor 91 of the voltage conversion circuit 62 and supplied to the positive feedback circuit 63.
  • the positive feedback circuit 63 as a charging circuit charges the conversion signal LVI and brings the potential closer to the second power supply voltage VDD2 from the low voltage VSS.
  • the output signal VCO becomes Lo and the transistor 102 is turned on.
  • the transistor 101 is also conducting because the Lo initialization signal INI is applied, and the positive feedback circuit 63 rapidly charges the conversion signal LVI via the transistors 101 and 102 and supplies the potential to the second power supply voltage. Lift up to VDD2.
  • the transistor 91 of the voltage conversion circuit 62 Since the transistor 91 of the voltage conversion circuit 62 has the bias voltage VBIAS applied to the gate, the transistor 91 is cut off when the voltage of the conversion signal LVI reaches a voltage value lower than the bias voltage VBIAS by the transistor threshold value. Even if the transistor 86 remains conductive, the conversion signal LVI is not charged any further, and the voltage conversion circuit 62 also functions as a voltage clamp circuit.
  • the charging of the conversion signal LVI due to the conduction of the transistor 102 is a positive feedback operation that starts with the conversion signal LVI rising to the inverter threshold and accelerates its movement.
  • the transistor 85 that is a current source of the differential input circuit 61 has an enormous number of circuits that operate in parallel in the solid-state imaging device 1, so that the current per circuit is set to be extremely small.
  • the reference signal REF is swept very slowly because the voltage that changes during the unit time at which the time code is switched becomes the LSB step of AD conversion. Therefore, the change in the gate potential of the transistor 86 is slow, and the change in the output current of the transistor 86 driven thereby is slow.
  • the output signal VCO can transition sufficiently rapidly.
  • the transition time of the output signal VCO is a fraction of the unit time of the time code, and is typically 1 ns or less.
  • the comparison circuit 51 of the present disclosure can achieve this output transition time only by setting a small current of 0.1 uA, for example, to the transistor 85 of the current source.
  • FIG. 7 is a circuit diagram showing the details of the pixel circuit 41 added to the comparison circuit 51 shown in FIG.
  • the pixel circuit 41 includes a photodiode (PD) 121 as a photoelectric conversion element, a discharge transistor 122, a transfer transistor 123, a reset transistor 124, and an FD (floating diffusion layer) 125.
  • PD photodiode
  • the discharge transistor 122 is used when adjusting the exposure period. Specifically, when the discharge transistor 122 is turned on when it is desired to start the exposure period at an arbitrary timing, the charge accumulated in the photodiode 121 until that time is discharged, so the discharge transistor 122 is turned off. After that, the exposure period starts.
  • the transfer transistor 123 transfers the electric charge generated by the photodiode 121 to the FD 125.
  • the reset transistor 124 resets the charge held in the FD 125.
  • the FD 125 is connected to the gate of the transistor 82 of the differential input circuit 61. Thereby, the transistor 82 of the differential input circuit 61 also functions as an amplification transistor of the pixel circuit 41.
  • the source of the reset transistor 124 is connected to the gate of the transistor 82 of the differential input circuit 61 and the FD 125, and the drain of the reset transistor 124 is connected to the drain of the transistor 82. Therefore, there is no fixed reset voltage for resetting the charge of FD125. This is because the reset voltage for resetting the FD 125 can be arbitrarily set using the reference signal REF by controlling the circuit state of the differential input circuit 61.
  • the reference signal REF is set to the reset voltage Vrst that resets the charge of the FD 125 from the standby voltage Vstb so far, and the reset transistor 124 is turned on to reset the charge of the FD 125.
  • the initialization signal INI supplied to the gates of the transistors 101 and 103 of the positive feedback circuit 63 is set to Hi, and the positive feedback circuit 63 is set to the initial state.
  • the reference signal REF is raised to the predetermined voltage Vu, and comparison between the reference signal REF and the pixel signal SIG (sweep of the reference signal REF) is started.
  • the output signal VCO is Hi.
  • the output signal VCO is inverted (transitioned to Low).
  • the positive feedback circuit 63 speeds up the inversion of the output signal VCO as described above.
  • the data storage unit 52 stores time data (N-bit DATA [1] to DATA [N]) when the output signal VCO is inverted.
  • the voltage of the reference signal REF supplied to the gate of the transistor 81 of the comparison circuit 51 is at a level at which the transistor 81 is turned off (standby voltage Vstb) at time t4 when the signal writing period ends and at the start time of the signal reading period. Pulled down. Thereby, the current consumption of the comparison circuit 51 during the signal readout period is suppressed.
  • the data acquired here is P-phase data at the reset level when performing CDS (Correlated Double Sampling) processing.
  • the reference signal REF is raised to the predetermined voltage Vu
  • the initialization signal INI supplied to the gates of the transistors 101 and 103 is set to Hi
  • the positive feedback circuit 63 is set to the initial state again.
  • the transfer transistor 123 of the pixel circuit 41 is turned on by the Hi transfer signal TX, and the charge generated by the photodiode 121 is transferred to the FD 125.
  • the comparison between the reference signal REF and the pixel signal SIG (sweep of the reference signal REF) is started. At this time, since the reference signal REF is larger than the pixel signal SIG, the output signal VCO is Hi.
  • the output signal VCO is inverted (transitioned to Low).
  • the positive feedback circuit 63 speeds up the inversion of the output signal VCO.
  • the data storage unit 52 stores time data (N-bit DATA [1] to DATA [N]) when the output signal VCO is inverted.
  • the voltage of the reference signal REF supplied to the gate of the transistor 81 of the comparison circuit 51 is at a level at which the transistor 81 is turned off (standby voltage Vstb) at the time t9 which is the start time of the signal reading period after the signal writing period ends. Pulled down. Thereby, the current consumption of the comparison circuit 51 during the signal readout period is suppressed.
  • the data acquired here is D-phase data of the signal level when performing CDS processing.
  • Time t11 is in the same state as time t1 described above, and is driven for the next 1V (one vertical scanning period).
  • P-phase data reset level
  • D-phase data signal level
  • each pixel 21 of the pixel array unit 22 of the solid-state imaging device 1 can perform a global shutter operation in which all the pixels are reset at the same time and all the pixels are exposed at the same time. Since all the pixels can be exposed and read out at the same time, it is usually unnecessary to provide a holding portion that is provided in the pixel and holds the charge until the charge is read out.
  • the configuration of the pixel 21 does not require a selection transistor or the like for selecting a pixel that outputs the pixel signal SIG, which is necessary for the column parallel readout solid-state imaging device.
  • the discharge transistor 122 was always controlled to be off. However, as indicated by a broken line in FIG. 8, an arbitrary exposure period can be set by setting the discharge signal OFG to Hi and turning on the discharge transistor 122 once and then turning it off at a desired time. Is possible.
  • FIG. 9 is a circuit diagram illustrating a first configuration example of the time code transfer unit 23 and the data storage unit 52.
  • the data storage unit 52 includes one latch control circuit 241 and N bit storage units 242-1 to 242-N.
  • one latch control circuit 241 supplies the output signal VCO and the WORD signal to the N bit storage units 242-1 to 242-N.
  • Each of the bit storage units 242-1 to 242-N includes a transfer gate 261 and a latch storage unit 262.
  • the latch control circuit 241 is provided in common to the bit storage units 242-1 to 242-N in addition to the bit storage units 242-1 to 242-N.
  • the latch control circuit 241 corresponds to the latch control circuit 71 in FIG. 3, and the bit storage units 242-1 to 242-N correspond to the latch storage unit 72 in FIG.
  • the latch control circuit 241 includes two inverters 281 and 282 connected in series, and a NOR circuit 283 and an inverter 284 connected in series.
  • the transfer gate 261 of the bit storage unit 242-n is composed of two transistors 291 and 292, an NMOS transistor and a PMOS transistor.
  • the latch storage unit 262 of the bit storage unit 242-n is composed of a static latch circuit including transistors 301 to 306.
  • the transistors 301, 302, and 305 are composed of PMOS transistors, and the transistors 303, 304, and 306 are composed of NMOS transistors.
  • the output signal VCO output from the comparison circuit 51 is input to the inverter 281 and the NOR circuit 283, and the WORD signal is supplied to the other input of the NOR circuit 283.
  • the output of the inverter 281 is supplied to the inverter 282 and the gate of the transistor 303 of the latch storage unit 262, and the output of the inverter 282 is supplied to the gate of the transistor 302 of the latch storage unit 262.
  • the output of the NOR circuit 283 is supplied to the gate of the transistor 292 of the transfer gate 261 and the output of the inverter 284 is supplied to the gate of the transistor 291 of the transfer gate 261.
  • the WORD signal becomes Lo in all pixels, and the transfer gate 261 is turned on when the output signal VCO is Hi, and is cut off when it is Lo.
  • the feedback (output xQ with respect to the input Q) of the latch storage unit 262 is cut off when the output signal VCO is Hi, and is turned on when it is Lo. Therefore, when the output signal VCO is Hi, the latch storage unit 262 is in the n-bit time code write state (transparent), and when the output signal VCO is Lo, the written time code is held (latch state). It becomes.
  • the WORD signal is supplied only to the latch control circuit 241 of the pixel 21 to be read. Since the output signal VCO is Lo, the transfer gate 261 conducts only when the Hi WORD signal is input, and the time code held in the latch storage unit 212 is output to the time code transfer unit 23. .
  • FIG. 10 is a circuit diagram illustrating a second configuration example of the time code transfer unit 23 and the data storage unit 52.
  • the time code transfer unit 23 includes N shift registers 341-1 to 341-N corresponding to N-bit time codes DATA [1] to DATA [N], and a clock supply circuit 342. It consists of and.
  • Each of the N shift registers 341-1 to 341-N includes a plurality of D-F / Fs (D-flip-flops) 351.
  • the clock supply circuit 342 supplies the clock signal CLK to the clock input of each DF / F 351 of the shift register 341.
  • the data storage unit 52 includes a latch control circuit 241 and N bit storage units 242-1 to 242-N, which are the same as in the first configuration example shown in FIG. Further, in the configuration example of FIG. 10, N bidirectional buffer circuits 371-1 to 371-N are newly added between the time code transfer unit 23 and the data storage unit 52.
  • the N bidirectional buffer circuits 371-1 to 371-N are provided in a one-to-one correspondence with the N shift registers 341-1 to 341-N of the time code transfer unit 23.
  • the bidirectional buffer circuit 371 is connected to one D-F / F 351 in the corresponding shift register 341.
  • a write control signal WR that becomes Hi in the time code write operation is supplied to the buffer circuit 381 of the bidirectional buffer circuit 371-n, and a read control signal RD that becomes Hi in the time code read operation is supplied to the inverter circuit 382. Is supplied.
  • the bidirectional buffer circuit 371-n switches between a time code write operation and a read operation for the bit storage unit 242-n based on the write control signal WR and the read control signal RD.
  • the bit storage units 242-1 to 242-N have the same configuration as the second configuration example shown in FIG.
  • the N shift registers 341 of the time code transfer unit 23 use the time code supplied from the time code generation unit 26 as a clock cycle. Transfer with the shift clock.
  • the Hi write control signal WR and the Lo read control signal RD are supplied to the bidirectional buffer circuit 371, and the bidirectional buffer circuit 371 receives a predetermined DF / of the shift register 341.
  • the time code supplied from F351 is supplied to the bit storage unit 242 via the transfer gate 261.
  • the bit storage unit 242 stores the supplied time code.
  • the time code stored in the bit storage unit 242 is supplied to a predetermined DF / F 351 of the shift register 341 of the time code transfer unit 23 via the bidirectional buffer circuit 371. .
  • the shift register 341 transfers the time data supplied to the D-F / F 351 at each stage to the output unit 28 in order, and outputs it.
  • each DF / F 351 of the shift register 341 the clock signal CLK supplied to the clock input is in a high impedance state (hereinafter referred to as a Hi-Z state) in either Hi or Lo.
  • a Hi-Z state a high impedance state in either Hi or Lo.
  • the DF / F 351 is in a Hi-Z state when the clock signal CLK is Lo.
  • the Hi read control signal RD is supplied to the bidirectional buffer circuit 371, and the WORD signal becomes Hi, which is stored in the bit storage unit 242.
  • the time code is supplied to a predetermined DF / F 351 of the shift register 341 of the time code transfer unit 23 via the bidirectional buffer circuit 371.
  • a shift clock is supplied to each DF / F 351 of the shift register 341.
  • the shift register 341 sequentially supplies the time data supplied to the DF / F 351 of each stage to the output unit 28. Transfer and output.
  • FIG. 11 shows a configuration example of the DF / F 351 of the shift register 341.
  • characters such as “on” and “off” written in parentheses () in the vicinity of each transistor or signal line indicate the potential state of each transistor or signal line when the Lo clock signal CLK is input to the clock input. Show.
  • FIG. 12 shows a configuration example of the bidirectional buffer circuit 371.
  • the bidirectional buffer circuit 371 shown in FIG. 12 includes a buffer circuit 381 and an inverter circuit 382.
  • the buffer circuit 381 includes an inverter 401, a NAND circuit 402, a NOR circuit 403, a PMOS transistor 404, and an NMOS transistor 405.
  • both the outputs of the NAND circuit 402 and the NOR circuit 403 are inverted from the time code supplied from the DF / F 351 of the time code transfer unit 23. Since the output of the buffer circuit 381 is further inverted, the result is the same value as the time code supplied from the DF / F 351.
  • the write control signal WR is Lo
  • the output of the NAND circuit 402 is Hi
  • the output of the NOR circuit 403 is Lo
  • the output of the buffer circuit 381 is in the Hi-Z state.
  • the inverter circuit 382 includes a clocked inverter including two PMOS transistors 411 and 412, two NMOS transistors 413 and 414, and an inverter 415.
  • the inverter circuit 382 when the read control signal RD is Hi, the clocked inverter becomes active, and the inverter circuit 382 inverts and outputs the time code supplied from the bit storage unit 242.
  • the read control signal RD is Lo, the clocked inverter becomes inert (inactive), and the output of the inverter circuit 382 is in the Hi-Z state.
  • the solid-state imaging device 1 has been described as being formed on one semiconductor substrate 11, but the solid-state imaging device 1 is configured by forming circuits on a plurality of semiconductor substrates 11. May be.
  • FIG. 13 shows a conceptual diagram that configures the solid-state imaging device 1 by stacking two semiconductor substrates 11 of an upper substrate 11A and a lower substrate 11C.
  • At least the pixel circuit 41 including the photodiode 121 is formed on the upper substrate 11A.
  • On the lower substrate 11C at least a data storage unit 52 for storing a time code and a time code transfer unit 23 are formed.
  • the upper substrate 11A and the lower substrate 11C are bonded by, for example, a metal bond such as Cu-Cu.
  • FIG. 14 shows a circuit configuration example formed on each of the upper substrate 11A and the lower substrate 11C.
  • a pixel circuit 41 and transistors 81, 82, and 85 of the differential input circuit 61 of the ADC 42 are formed on the upper substrate 11A.
  • the circuit of the ADC 42 excluding the transistors 81, 82, and 85 and the time code transfer unit 23 are formed on the lower substrate 11C.
  • FIGS. 13 and 14 are examples in which the solid-state imaging device 1 is configured with two semiconductor substrates 11, but may be configured with three semiconductor substrates 11.
  • FIG. 15 shows a conceptual diagram that configures the solid-state imaging device 1 by laminating three semiconductor substrates 11 of an upper substrate 11A, an intermediate substrate 11B, and a lower substrate 11C.
  • a pixel circuit 41 including a photodiode 121 and at least a part of a comparison circuit 51 are formed on the upper substrate 11A.
  • a data storage unit 52 for storing a time code and a time code transfer unit 23 are formed on the lower substrate 11C.
  • the remaining circuit of the comparison circuit 51 that is not disposed on the upper substrate 11A is formed on the intermediate substrate 11B.
  • the upper substrate 11A and the intermediate substrate 11B, and the intermediate substrate 11B and the lower substrate 11C are bonded by, for example, a metal bond such as Cu—Cu.
  • FIG. 16 shows a circuit arrangement example of each semiconductor substrate 11 when the solid-state imaging device 1 is formed by three semiconductor substrates 11.
  • the circuit arranged on the upper substrate 11A is the same as the circuit of the upper substrate 11A shown in FIG. 14, and the remaining circuits of the comparison circuit 51 are arranged on the intermediate substrate 11B.
  • a time code transfer unit 23 is disposed on the lower substrate 11C. It should be noted that these multiple substrate configurations can be similarly implemented in a second embodiment described below.
  • FIG. 17 is a block diagram illustrating a configuration example of a pixel to which the present technology is applied.
  • a pixel of interest 21-8 and adjacent pixels 21-0 to 21-7 are shown.
  • pixels 21-0 to 21-7 (8 pixels) adjacent to the pixel of interest 21-8 are shown as neighboring pixels, but the scope of the present technology is limited thereto. It is not a thing.
  • each pixel 21 includes a pixel circuit 41, a comparison circuit 51, and a data storage unit 52.
  • the pixel circuit 41 and the comparison circuit 51 are basically configured in the same manner as described above with reference to FIG. 4, but the data storage unit 52 is different from the data storage unit 52 of FIG. Yes. Details thereof will be described later.
  • the VCO signal line which is the output of the comparison circuit 51 of the neighboring pixels 21-0 to 21-7, is stored in the data storage unit 52 of the target pixel 21-8 as VCO_IN. Is connected.
  • the VCO of the neighboring pixel 21-0 is connected to the data storage unit 52 of the target pixel 21 as an 8-bit bus signal (VCO_IN) with the VCO of the pixel 21-7 as the lowest bit and the VCO of the pixel 21-7 as the highest bit.
  • VCO_IN 8-bit bus signal
  • the pixel 21-7 when the pixel 21-7 is newly regarded as a pixel of interest, the pixel 21-0, the pixel 21-1, the (original) pixel 21-8, the pixel 21-5, and the pixel 21 illustrated in FIG. ⁇ 6, a pixel adjacent to the pixel 21-7 in the southwest direction (not shown), a pixel adjacent to the pixel 21-7 in the west direction (not shown), and a pixel adjacent to the pixel 21-7 in the northwest direction ( (Not shown) can be said to be neighboring pixels, and the VCO of each neighboring pixel is connected to the data storage unit 52 as the 8-bit VCO_IN bus of the pixel 21-7.
  • FIG. 18 is a circuit block diagram of one pixel unit of pixels. The difference from FIG. 10 is that switch circuits 501-1 to 501-8 for controlling the connection between the binary demultiplexer circuit 500, the neighboring pixel VCO8bit bus (VCO_IN), and the latch of the target pixel are added. That is, the VCO signal line is connected to the neighboring pixels 21-0 to 21-7. That is, in the example of FIG. 18, the latch control circuit 241 includes one inverter 281, an OR circuit (NOR circuit + inverter) 283 + 284, a demultiplexer circuit 500, and switch circuits 501-1 to 501-8. Yes. The rest is the same as FIG. In FIG. In FIG.
  • bit storage unit 242 bit storage units 242-1 to 242-8) (hereinafter also collectively referred to as a latch circuit 242) and a bidirectional buffer circuit 371 (bidirectional buffer circuits 371-1 to 371-1). 371-8) is added as a LBL (local bit line).
  • the latch circuit 242 is composed of two inverters.
  • the demultiplexer circuit 500 when 1 (H logic) is input to the control terminals of the switch circuits 501-1 to 501-8, the signal lines at both ends of the circuit are turned on, and 0 (L logic) is input to the control terminals. In this case, the circuit has a high impedance. Further, when 1 (H logic) is input to the control terminal, the demultiplexer circuit 500 outputs the logic of the input terminal to the output terminal 1 (at this time, the output terminal 0 outputs L logic), and 0 to the control terminal. When (L logic) is input, the input terminal logic is output to the output terminal 0 (at this time, the output terminal 1 outputs L logic).
  • the imaging mode and the LBP feature extraction mode can be switched by controlling the control signal LBP_EN of the demultiplexer circuit 500.
  • LBP_EN 0 (imaging mode)
  • the logic of the VCO signal is sent to the input on one side of the NOR
  • the control terminal inputs of the switch circuits 501-1 to 501-8 are 0 (L logic)
  • VCO_IN the latch circuit are divided, and the circuit state is logically equivalent to FIG. Therefore, an imaging function equivalent to that in the first embodiment described above can be realized.
  • LBP_EN 1 (LBP feature extraction mode)
  • the logic of the VCO signal is sent to the control terminal inputs of the switch circuits 501-1 to 501-8, and VCO_IN and the latch circuit 242 are connected / disconnected by the VCO of the pixel of interest. Be controlled.
  • the output connected to NOR is 0 (L logic)
  • WORD logic NOR output logic
  • the connection / separation between the latch circuit 242 and the LBL wiring is the WORD signal. Will be controlled only by.
  • LBP_EN 1 (LBP feature extraction mode)
  • the pixel of interest has a higher signal level than the neighboring pixel xx, and therefore the amplitude of SIG is larger for the pixel of interest.
  • the inversion timing of the VCO also inverts the neighboring pixel xx from H to L before the target pixel.
  • the switch circuit 501 becomes conductive and the VCO of the neighboring pixel xx is connected (the switch circuit 261 is high impedance). A transition similar to the VCO of the neighboring pixel xx is performed. Thereafter, at the timing when the VCO of the pixel of interest is inverted from H to L, the latch circuit 242 of the pixel of interest latches and holds the L logic written at that time.
  • LBP histogram data can be configured and output from the image sensor.
  • CDS processing noise reduction processing by reset level subtraction, which is performed in the imaging mode, cannot be performed in principle, so performing noise reduction processing not depending on reset level subtraction is an effective means.
  • reset when reset is performed by connecting the differential input circuit output of the comparison circuit 51 to the SIG, means such as switching the control pulse of the reset transistor (switch) more slowly than usual or applying a band limitation can be applied. .
  • a configuration may be adopted in which one comparison circuit 51 and the data storage unit 52 are shared for a plurality of pixels (a pixel group including a plurality of pixels is referred to as an area block).
  • the TX signal is divided for each shared pixel (divided into 4 types of TX0 / TX1 / TX2 / TX3 in the figure), and “AD conversion + off-array transfer” or “LBP feature extraction” + “Transfer outside array” will be performed.
  • FIG. 23 is another circuit block diagram of one pixel unit of the pixel. 23 includes a switch circuit 501 connected to the neighboring pixel VCO, a switch circuit 511 connected to the LBL, the LBP dedicated latch circuits 510-1 to 510-8 to which the control signal WORD_LBP is added, and an LBP dedicated latch. Only the control signal WORD_LBP of the switch circuit 511 connecting the circuit 510 and LBL is introduced, and the demulti is deleted.
  • the imaging mode and the LBP feature extraction mode can be performed simultaneously.
  • the pixel value AD conversion data is read in a time division manner using the WORD signal
  • the LBP value is read using the WORD_LBP signal.
  • the operation principle of pixel value AD conversion / LBP feature extraction itself is the same as in the first embodiment.
  • FIG. 24 shows the connection relationship of the VCO wirings of the target pixel and adjacent eight neighboring pixels by arrows. That is, FIG. 24 is represented as a simplified image focusing on only the VCO wiring connection relationship in FIG.
  • the thick line arrow represents the VCO wiring of the neighboring pixel connected to the latch of the target pixel
  • the solid line arrow represents the VCO wiring connected to the latch of the neighboring pixel.
  • the direction of the arrow represents the connection direction.
  • the VCO wiring connection between neighboring pixels can be reduced to half.
  • the number of bits of the LBP value acquired by each pixel is half (4 bits in the example in the figure), but the desired LBP value can be completely restored by the following arithmetic processing.
  • This arithmetic processing may be performed by an on-chip logic circuit outside the pixel array, or may be performed outside the image sensor chip. Further, the present embodiment is not limited to the wiring connection relationship shown in FIG.
  • the 0th bit of the LBP value obtained from the target pixel is used as the 0th bit value of the target pixel.
  • the first bit of the LBP value obtained from the target pixel is used as the first bit value of the target pixel.
  • the second bit of the obtained LBP value is used as the second bit value of the target pixel as it is.
  • the third bit of the LBP value obtained from the target pixel is used as the third bit value of the target pixel. Inverts the 0th bit of the LBP value obtained for the pixel to be changed to the 4th bit value of the target pixel.
  • the first bit of the LBP value obtained for the pixel adjacent in the south direction of the target pixel is bit-inverted.
  • the second bit of the LBP value obtained from the pixel adjacent in the southwest direction of the pixel of interest is bit-inverted to obtain the value of the 6th bit of the pixel of interest ⁇ It is obtained from the pixel adjacent to the west direction of the pixel of interest Invert the 3rd bit of the LBP value obtained to reverse the bit to the 7th bit value of the target pixel
  • the device described above with reference to FIGS. 24 and 25 leads to a reduction in the wiring area in the pixel and contributes to an increase in the number of pixels.
  • the neighboring pixels are not only the case where the adjacent eight pixels of the target pixel are used as the neighboring pixels shown in FIG. 24, but also the surroundings surrounding the neighboring eight pixels as the neighboring pixels as shown in FIG. 16 pixels may be used.
  • FIG. 26B as neighboring pixels, among the surrounding 16 pixels shown in FIG. 26A, each of the four corner pixels and among the surrounding 16 pixels, the top, bottom, left, and right of the target pixel Alternatively, each of four pixels located one pixel apart may be used.
  • FIG. 26C out of the surrounding 16 pixels, 4 pixels at each corner and 4 pixels located 2 pixels above, below, left, and right of the target pixel may be used.
  • the present technology it is possible to reduce power consumption of the image recognition system by omitting AD conversion of pixel signal values and reducing the amount of data output from the image sensor. In addition, it is possible to increase the speed of the feature amount extraction processing by the all-pixel parallel operation.
  • FIG. 27 is a diagram illustrating a usage example in which the above-described solid-state imaging device is used.
  • the solid-state imaging device (image sensor) described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the present technology is not limited to application to a solid-state imaging device, but can also be applied to an imaging device.
  • the imaging apparatus refers to a camera system such as a digital still camera or a digital video camera, or an electronic apparatus having an imaging function such as a mobile phone.
  • a module-like form mounted on an electronic device that is, a camera module is used as an imaging device.
  • FIG. 28 is a block diagram illustrating a configuration example of an imaging apparatus as an electronic apparatus according to the present disclosure.
  • An imaging apparatus 800 in FIG. 28 includes an optical unit 801 including a lens group, a solid-state imaging apparatus (imaging device) 802 in which the configuration of the solid-state imaging apparatus 1 in FIG. 3 is employed, and a DSP (Digital Signal) that is a camera signal processing circuit. Processor) circuit 803 is provided.
  • the imaging apparatus 800 also includes a frame memory 804, a display unit 805, a recording unit 806, an operation unit 807, and a power supply unit 808.
  • the DSP circuit 803, the frame memory 804, the display unit 805, the recording unit 806, the operation unit 807, and the power supply unit 808 are connected to each other via a bus line 809.
  • the optical unit 801 takes in incident light (image light) from a subject and forms an image on the imaging surface of the solid-state imaging device 802.
  • the solid-state imaging device 802 converts the amount of incident light imaged on the imaging surface by the optical unit 801 into an electrical signal in units of pixels and outputs it as a pixel signal.
  • the solid-state imaging device 802 the solid-state imaging device 1 of FIG. 3, that is, the comparison circuit 51 in which the power consumption is reduced while improving the determination speed when the AD conversion of the pixel signal is performed, and the circuit scale and power consumption are greatly increased. It is possible to use a solid-state imaging device having a time code transfer unit 23 that can be reduced.
  • the display unit 805 includes a panel type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays a moving image or a still image captured by the solid-state imaging device 802.
  • the recording unit 806 records a moving image or a still image captured by the solid-state imaging device 802 on a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 807 issues operation commands for various functions of the imaging apparatus 800 under operation by the user.
  • the power supply unit 808 appropriately supplies various power sources serving as operation power sources for the DSP circuit 803, the frame memory 804, the display unit 805, the recording unit 806, and the operation unit 807 to these supply targets.
  • the solid-state imaging device 1 adopting any of the above-described configurations as the solid-state imaging device 802
  • comparison circuit 51 and the ADC 42 have been described as components incorporated in the solid-state imaging device 1, but can be products (comparators, AD converters) that are distributed independently.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 29 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 30 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 30 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 (including the imaging units 12101 to 12104) among the configurations described above.
  • the solid-state imaging device 1 can be applied to the imaging unit 12031 (including the imaging units 12101 to 12104).
  • steps describing the series of processes described above are not limited to the processes performed in time series according to the described order, but are not necessarily performed in time series, either in parallel or individually.
  • the process to be executed is also included.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a comparison circuit that compares a pixel signal with a reference signal that changes over time;
  • Each pixel or area block includes a data holding unit that compares the magnitude relationship between pixel signals in a pixel of interest and neighboring pixels located in the vicinity of the pixel of interest using the reference signal and holds the comparison result of the magnitude relationship Solid-state imaging device.
  • the solid-state imaging device according to any one of (1) to (5), wherein the neighboring pixel is an adjacent pixel adjacent to the target pixel.
  • a comparison circuit that compares the pixel signal with a temporally changing reference signal;
  • Each pixel or area block includes a data holding unit that compares the magnitude relationship between pixel signals in a pixel of interest and neighboring pixels located in the vicinity of the pixel of interest using the reference signal and holds the comparison result of the magnitude relationship
  • a solid-state imaging device A signal processing circuit for processing an output signal output from the solid-state imaging device; And an optical system that makes incident light incident on the solid-state imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、低消費電力化を図ることができるようにする固体撮像装置および電子機器に関する。 単位画素毎または共有画素単位毎のAD変換器において、画素信号と時間的に変化する参照信号とを比較し、また、注目画素と、注目画素の近傍に位置する近傍画素における画素信号の大小関係を、参照信号により比較し、その大小関係の比較結果をデータ記憶部に保持する。本開示は、例えば、裏面照射型の固体撮像素装置に適用することができる。

Description

固体撮像装置および電子機器
　本開示は、固体撮像装置および電子機器に関し、特に、低消費電力化を図るようにした固体撮像装置および電子機器に関する。
　画像の濃淡値の変動に頑健で、高い識別性能を示す局所特徴量の1つとしてローカルバイナリパターン（LBP）が知られており、顔画像認識、テクスチャ分割、リアルタイム動画像解析等様々な分野で応用されている（特許文献１参照）。
特開２０１５－３５１７２号公報
　従来のリアルタイム認識システムでは、撮像素子から得られたデジタル画像信号を用いてプロセッサによりLBP特徴抽出を行い学習データと照らし合わせ認識結果を出力する。
　LBP特徴抽出自体はシンプルで演算量が少ないという利点がある一方、高速で常に認識処理を行うような用途に用いる場合、撮像素子から高速に画像データを取得し続ける必要があるため、撮像素子側の消費電力が膨大になってしまっていた。
　本開示は、このような状況に鑑みてなされたものであり、パルス信号の時間幅を十分に確保することができるものである。
　本技術の一側面の固体撮像装置は、画素信号と時間的に変化する参照信号とを比較する比較回路と、注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部とを画素毎またはエリアブロック毎に備える。
　前記比較回路と前記参照信号とを用いて、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を前記データ保持部に保持することができる。
　前記注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係の比較と同時に、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を保持する、前記データ保持部とは異なる第２のデータ保持部をさらに備えることができる。
　前記近傍画素の比較回路出力信号を、前記注目画素の前記データ記憶部に接続させることができる。
　前記注目画素と比較する近傍画素の数よりも、前記注目画素の前記データ記憶部に接続される近傍画素の比較回路出力信号の数のほうが少ない。
　前記近傍画素は、前記注目画素に隣接する隣接画素である。
　本技術の一側面の電子機器は、画素信号と時間的に変化する参照信号とを比較する比較回路と、注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部とを画素毎またはエリアブロック毎に備える固体撮像装置と、前記固体撮像装置から出力される出力信号を処理する信号処理回路と、入射光を前記固体撮像装置に入射する光学系とを有する。
　本技術の一側面においては、画素毎またはエリアブロック毎に、画素信号と時間的に変化する参照信号とが比較され、注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係が、前記参照信号により比較され、前記大小関係の比較結果がデータ保持部に保持される。
　本技術によれば、低消費電力化を図ることができる。
  なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
LBPの特徴を説明する図である。 本技術のコンセプトを説明する図である。 本開示に係る固体撮像装置の概略構成を示す図である。 画素の詳細構成例を示すブロック図である。 比較回路の動作中の各信号の遷移を表す図である。 画素の動作について説明するタイミングチャートである。 画素回路の詳細構成について説明する図である。 画素の動作について説明するタイミングチャートである。 時刻コード転送部とデータ記憶部の第１の構成例を示す回路図である。 時刻コード転送部とデータ記憶部の第２の構成例を示す回路図である。 シフトレジスタのD-F/Fの構成例を示す図である。 双方向バッファ回路の構成例を示す図である。 ２枚の半導体基板を積層することで固体撮像装置を構成する概念図である。 ２枚の半導体基板で固体撮像装置を構成する場合の回路構成例を示す図である。 ３枚の半導体基板を積層することで固体撮像装置を構成する概念図である。 ３枚の半導体基板で固体撮像装置を構成する場合の回路構成例を示す図である。 本技術を適用した画素の構成例を示すブロック図である。 画素の１画素単位の回路ブロック図である。 撮像モード時の動作タイミングを示す図である。 LBP特徴抽出モード時の動作タイミングを示す図である。 LBP特徴抽出モード時の動作タイミングを示す図である。 ４画素共有の場合の画素の１画素単位の回路ブロック図である。 LBP特徴抽出モードと撮像モードとが同時実行可能な場合の画素の１画素単位の回路ブロック図である。 近傍画素間のVCO配線接続について説明する図である。 近傍画素間のVCO配線接続について説明する図である。 近傍画素について説明する図である。 本技術を適用したイメージセンサの使用例を示す図である。 本技術を適用した電子機器の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態
２．第２の実施の形態
３．イメージセンサの使用例
４．電子機器の例
５．移動体への応用例
＜０．概要＞
　＜ローカルバイナリパターン(LBP)について＞
　図１は、ローカルバイナリパターン(LBP)の特徴について説明するための図である。図１は、LBPの算出例を示す図である。
　図１の例に示されるように、３×３アレイのように画素値が並んでいる場合を例として、中央の注目画素におけるLBP値の算出方法について述べる。まず、中央の注目画素の画素値125を閾値として、近傍画素の値を閾値と比較し、閾値よりも大きければ1、小さければ0として、それぞれ2値化する。次に2値化した値を、注目画素の北西に位置する近傍画素から時計回りに順に並べ、2進数のパターンとして捉える。
　図１の例においては、11010100（2進数）となり、10進数で表現すると222が注目画素に対するLBP値となる。なお、今回は、北西の近傍画素を最下位bitとして順に並べているが、近傍画素の選び方や、bitの並び順にはバリエーションがある。
　このようにして、各画素に対応するLBP値をそれぞれ求め、画像全体で各LBP値を持つ画素がいくつあるかという情報（すなわちLBP値のヒストグラム）がLBP特徴量となる。今回の例では、注目画素と比較する近傍画素として隣接8近傍を取っているので、特徴量の次元数は8bitとなり10進数で言うと256次元の特徴量となる。
　以上のように、LBP特徴は注目画素の画素値を閾値として周辺画素との相対関係により画像のパターンを記述するものであるため、画像全体にオフセットが重畳するような外的要因による変化（例えば照明環境変化等）に対し頑健であることが利点として挙げられる。
　これまでのリアルタイム認識システムでは、撮像素子から得られたデジタル画像信号を用いてプロセッサによりLBP特徴抽出を行い学習データと照らし合わせ認識結果を出力する。
　LBP特徴抽出自体はシンプルで演算量が少ないという利点がある一方、高速で常に認識処理を行うような用途に用いる場合、撮像素子から高速に画像データを取得し続ける必要があるため、撮像素子側の消費電力が膨大になってしまっていた。
　そこで、図２に示されるように、本技術においては、外部プロセッサではなく、撮像素子（イメージセンサ）内でアナログ画素信号から直接LBP特徴抽出を行うことで、画素信号のAD変換を省き、消費電力を削減できる。さらに、イメージセンサから出力するデータは、画像信号ではなくLBP特徴量そのものとなり、イメージセンサから外部プロセッサへ送られるデータ量が削減されることでI/Oに関する消費電力も抑制することができる。
　例えば、8bitフルHD画像から8bitの256次元LBP特徴を抽出する前提で、本技術の適用を考えると、(256次元×21bit)/(1920画素×1080画素×8bit)×100 ≒ 0.032%となり、出力データ量を0.032%にまで削減することができる。
　ここで、LBP特徴1次元当たりのbit幅はフルHD画素数をオーバーフロー無くカウントできる21bit幅とした。
　本技術によるLBP特徴抽出機能を備えたイメージセンサは、画素ADC CMOSイメージセンサをベースに、その機能/撮像特性は劣化させることなく、僅かな回路面積追加のみで実現される。
　まず、図３乃至図１６を参照して、第１の実施の形態として、本技術のベースとなる画素ADCイメージセンサについて説明する。
＜１．第１の実施の形態＞
　＜固体撮像装置の概略構成例＞
　図３は、本技術に係る固体撮像装置の概略構成を示している。
　図３の固体撮像装置１は、半導体として例えばシリコン（Si）を用いた半導体基板１１に、画素２１が２次元アレイ状に配列された画素アレイ部２２を有する。画素アレイ部２２には、時刻コード発生部２６で生成された時刻コードを各画素２１に転送する時刻コード転送部２３も設けられている。そして、半導体基板１１上の画素アレイ部２２の周辺には、画素駆動回路２４、DAC（D/A Converter）２５、時刻コード発生部２６、垂直駆動回路２７、出力部２８、及びタイミング生成回路２９が形成されている。
　２次元アレイ状に配列された画素２１のそれぞれには、図２を参照して後述するように、画素回路４１とADC４２が設けられており、画素２１は、画素内の受光素子（例えば、フォトダイオード）で受光した光量に応じた電荷信号を生成し、デジタルの画素信号SIGに変換して出力する。
　画素駆動回路２４は、画素２１内の画素回路４１（図４）を駆動する。DAC２５は、時間経過に応じてレベル（電圧）が単調減少するスロープ信号である参照信号（基準電圧信号）REFを生成し、各画素２１に供給する。時刻コード発生部２６は、各画素２１が、アナログの画素信号SIGをデジタルの信号に変換（AD変換）する際に使用される時刻コードを生成し、対応する時刻コード転送部２３に供給する。時刻コード発生部２６は、画素アレイ部２２に対して複数個設けられており、画素アレイ部２２内には、時刻コード発生部２６に対応する数だけ、時刻コード転送部２３が設けられている。即ち、時刻コード発生部２６と、そこで生成された時刻コードを転送する時刻コード転送部２３は、１対１に対応する。
　垂直駆動回路２７は、画素２１内で生成されたデジタルの画素信号SIGを、タイミング生成回路２９から供給されるタイミング信号に基づいて、所定の順番で出力部２８に出力させる制御を行う。画素２１から出力されたデジタルの画素信号SIGは、出力部２８から固体撮像装置１の外部へ出力される。出力部２８は、黒レベルを補正する黒レベル補正処理やCDS(Correlated Double Sampling；相関２重サンプリング)処理など、所定のデジタル信号処理を必要に応じて行い、その後、外部へ出力する。
　タイミング生成回路２９は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、生成した各種のタイミング信号を、画素駆動回路２４、DAC２５、垂直駆動回路２７等に供給する。
　固体撮像装置１は、以上のように構成されている。なお、図３では、上述したように、固体撮像装置１を構成する全ての回路が、１つの半導体基板１１上に形成されるように説明したが、後述するように、固体撮像装置１を構成する回路を複数枚の半導体基板１１に分けて配置する構成とすることもできる。
　＜画素の詳細構成例＞
　図４は、画素２１の詳細構成例を示すブロック図である。
　画素２１は、画素回路４１とADC（AD変換器）４２で構成されている。
　画素回路４１は、受光した光量に応じた電荷信号をアナログの画素信号SIGとしてADC４２に出力する。ADC４２は、画素回路４１から供給されたアナログの画素信号SIGをデジタル信号に変換する。
　ADC４２は、比較回路５１とデータ記憶部５２で構成される。
　比較回路５１は、DAC２５から供給される参照信号REFと画素信号SIGを比較し、比較結果を表す比較結果信号として、出力信号VCOを出力する。比較回路５１は、参照信号REFと画素信号SIGが同一（の電圧）になったとき、出力信号VCOを反転させる。
　比較回路５１は、差動入力回路６１、電圧変換回路６２、及び正帰還回路（PFB:positive feedback）６３により構成されるが、詳細は、図５を参照して後述する。
　データ記憶部５２には、比較回路５１から出力信号VCOが入力される他、垂直駆動回路２７から、画素信号の書き込み動作であることを表すWR信号、画素信号の読み出し動作であることを表すRD信号、及び、画素信号の読み出し動作中における画素２１の読み出しタイミングを制御するWORD信号が、垂直駆動回路２７から供給される。また、時刻コード転送部２３を介して、時刻コード発生部２６で生成された時刻コードも供給される。
　データ記憶部５２は、WR信号及びRD信号に基づいて、時刻コードの書き込み動作と読み出し動作を制御するラッチ制御回路７１と、時刻コードを記憶するラッチ記憶部７２で構成される。
　ラッチ制御回路７１は、時刻コードの書き込み動作においては、比較回路５１からHi（High）の出力信号VCOが入力されている間、時刻コード転送部２３から供給される、単位時間ごとに更新される時刻コードをラッチ記憶部７２に記憶させる。そして、参照信号REFと画素信号SIGが同一（の電圧）になり、比較回路５１から供給される出力信号VCOがLo(Low)に反転されたとき、供給される時刻コードの書き込み（更新）を中止し、最後にラッチ記憶部７２に記憶された時刻コードをラッチ記憶部７２に保持させる。ラッチ記憶部７２に記憶された時刻コードは、画素信号SIGと参照信号REFが等しくなった時刻を表しており、画素信号SIGがその時刻の基準電圧であったことを示すデータ、即ち、デジタル化された光量値を表す。
　参照信号REFの掃引が終了し、画素アレイ部２２内の全ての画素２１のラッチ記憶部７２に時刻コードが記憶された後、画素２１の動作が、書き込み動作から読み出し動作に変更される。
　ラッチ制御回路７１は、時刻コードの読み出し動作においては、読み出しタイミングを制御するWORD信号に基づいて、画素２１が自分の読み出しタイミングとなったときに、ラッチ記憶部７２に記憶されている時刻コード（デジタルの画素信号SIG）を、時刻コード転送部２３に出力する。時刻コード転送部２３は、供給された時刻コードを、列方向（垂直方向）に順次転送し、出力部２８に供給する。
　以下では、時刻コードの書き込み動作においてラッチ記憶部７２に書き込まれる時刻コードと区別するため、時刻コードの読み出し動作においてラッチ記憶部７２から読み出される出力信号VCOが反転したときの反転時刻コードである、画素信号SIGがその時刻の基準電圧であったことを示すデジタル化された画素データを、AD変換画素データとも称する。
　＜比較回路の構成例＞
　図５は、比較回路５１を構成する差動入力回路６１、電圧変換回路６２、及び正帰還回路６３の詳細構成を示す回路図である。
　差動入力回路６１は、画素２１内の画素回路４１から出力された画素信号SIGと、DAC２５から出力された参照信号REFとを比較し、画素信号SIGが参照信号REFよりも高いときに所定の信号（電流）を出力する。
　差動入力回路６１は、差動対となるトランジスタ８１及び８２、カレントミラーを構成するトランジスタ８３及び８４、入力バイアス電流Vbに応じた電流IBを供給する定電流源としてのトランジスタ８５、並びに、差動入力回路６１の出力信号HVOを出力するトランジスタ８６により構成されている。
　トランジスタ８１、８２、及び８５は、NMOS(Negative Channel MOS)トランジスタで構成され、トランジスタ８３、８４、及び８６は、PMOS(Positive Channel MOS)トランジスタで構成される。
　差動対となるトランジスタ８１及び８２のうち、トランジスタ８１のゲートには、DAC２５から出力された参照信号REFが入力され、トランジスタ８２のゲートには、画素２１内の画素回路４１から出力された画素信号SIGが入力される。トランジスタ８１と８２のソースは、トランジスタ８５のドレインと接続され、トランジスタ８５のソースは、所定の電圧VSS（VSS＜VDD2＜VDD1）に接続されている。
　トランジスタ８１のドレインは、カレントミラー回路を構成するトランジスタ８３及び８４のゲート及びトランジスタ８３のドレインと接続され、トランジスタ８２のドレインは、トランジスタ８４のドレイン及びトランジスタ８６のゲートと接続されている。トランジスタ８３、８４、及び８６のソースは、第１電源電圧VDD1に接続されている。
　電圧変換回路６２は、例えば、NMOS型のトランジスタ９１で構成される。トランジスタ９１のドレインは、差動入力回路６１のトランジスタ８６のドレインと接続され、トランジスタ９１のソースは、正帰還回路６３内の所定の接続点に接続され、トランジスタ８６のゲートは、バイアス電圧VBIASに接続されている。
　差動入力回路６１を構成するトランジスタ８１乃至８６は、第１電源電圧VDD1までの高電圧で動作する回路であり、正帰還回路６３は、第１電源電圧VDD1よりも低い第２電源電圧VDD2で動作する回路である。電圧変換回路６２は、差動入力回路６１から入力される出力信号HVOを、正帰還回路６３が動作可能な低電圧の信号（変換信号）LVIに変換して、正帰還回路６３に供給する。
　バイアス電圧VBIASは、定電圧で動作する正帰還回路６３の各トランジスタ１０１乃至１０５を破壊しない電圧に変換する電圧であれば良い。例えば、バイアス電圧VBIASは、正帰還回路６３の第２電源電圧VDD2と同じ電圧（VBIAS＝VDD2）とすることができる。
　正帰還回路６３は、差動入力回路６１からの出力信号HVOが第２電源電圧VDD2に対応する信号に変換された変換信号LVIに基づいて、画素信号SIGが参照信号REFよりも高いときに反転する比較結果信号を出力する。また、正帰還回路６３は、比較結果信号として出力する出力信号VCOが反転するときの遷移速度を高速化する。
　正帰還回路６３は、５つのトランジスタ１０１乃至１０５で構成される。ここで、トランジスタ１０１、１０２、及び１０４は、PMOSトランジスタで構成され、トランジスタ１０３及び１０５は、NMOSトランジスタで構成される。
　電圧変換回路６２の出力端であるトランジスタ９１のソースは、トランジスタ１０２及び１０３のドレインと、トランジスタ１０４及び１０５のゲートに接続されている。トランジスタ１０１及び１０４のソースは、第２電源電圧VDD2に接続され、トランジスタ１０１のドレインは、トランジスタ１０２のソースと接続され、トランジスタ１０２のゲートは、正帰還回路６３の出力端でもあるトランジスタ１０４及び１０５のドレインと接続されている。トランジスタ１０３及び１０５のソースは、所定の電圧VSSに接続されている。トランジスタ１０１と１０３のゲートには、初期化信号INIが供給される。
　トランジスタ１０４と１０５はインバータ回路を構成し、それらのドレインどうしの接続点は、比較回路５１が出力信号VCOを出力する出力端となっている。
　以上のように構成される比較回路５１の動作について説明する。図６は、比較回路５１の動作中の各信号の遷移を表す。なお、図６において“G86”はトランジスタ８６のゲート電位を表している。
　まず、参照信号REFが、全ての画素２１の画素信号SIGよりも高い電圧に設定されるとともに、初期化信号INIがHiにされて、比較回路５１が初期化される。
　より具体的には、トランジスタ８１のゲートには参照信号REFが、トランジスタ８２のゲートには画素信号SIGが印加される。参照信号REFの電圧が、画素信号SIGの電圧よりも高い電圧の時は電流源となるトランジスタ８５が出力した電流のほとんどがトランジスタ８１を経由してダイオード接続されたトランジスタ８３に流れる。トランジスタ８３と共通のゲートを持つトランジスタ８４のチャネル抵抗は十分低くなりトランジスタ８６のゲートをほぼ第１電源電圧VDD1レベルに保ち、トランジスタ８６は遮断される。したがって、電圧変換回路６２のトランジスタ９１が導通していたとしても、充電回路としての正帰還回路６３が変換信号LVIを充電することは無い。一方、初期化信号INIとしてHiの信号が供給されていることから、トランジスタ１０３は導通し、正帰還回路６３は変換信号LVIを放電する。また、トランジスタ１０１は遮断するので、正帰還回路６３がトランジスタ１０２を介して変換信号LVIを充電することもない。その結果、変換信号LVIは、所定の電圧VSSレベルまで放電され、正帰還回路６３は、インバータを構成するトランジスタ１０４と１０５によってHiの出力信号VCOを出力し、比較回路５１が初期化される。
　初期化の後、初期化信号INIがLoにされて、参照信号REFの掃引が開始される。
　参照信号REFが画素信号SIGよりも高い電圧の期間では、トランジスタ８６はオフとなるため遮断され、出力信号VCOはHiの信号となるので、トランジスタ１０２もオフとなり遮断される。トランジスタ１０３も、初期化信号INIはLoとなっているため遮断される。変換信号LVIは、高インピーダンス状態のまま所定の電圧VSSを保ち、Hiの出力信号VCOが出力される。
　参照信号REFが画素信号SIGよりも低くなると、電流源のトランジスタ８５の出力電流はトランジスタ８１を流れなくなり、トランジスタ８３と８４のゲート電位は上昇して、トランジスタ８４のチャネル抵抗は高くなる。そこに、トランジスタ８２を介して流れ込む電流が、電圧降下を起こしてトランジスタ８６のゲート電位を下げ、トランジスタ９１が導通する。トランジスタ８６から出力された出力信号HVOは、電圧変換回路６２のトランジスタ９１によって変換信号LVIに変換され、正帰還回路６３に供給される。充電回路としての正帰還回路６３は、変換信号LVIを充電し、電位を低電圧VSSから第２電源電圧VDD2へ近づけてゆく。
　そして、変換信号LVIの電圧が、トランジスタ１０４と１０５で構成されるインバータの閾値電圧を超えると、出力信号VCOはLoとなり、トランジスタ１０２が導通する。トランジスタ１０１も、Loの初期化信号INIが印加されているため導通しており、正帰還回路６３は、トランジスタ１０１と１０２を介して、変換信号LVIを急速に充電し、電位を第２電源電圧VDD2まで一気に持ち上げる。
　電圧変換回路６２のトランジスタ９１は、ゲートにバイアス電圧VBIASが印加されているので、変換信号LVIの電圧が、バイアス電圧VBIASからトランジスタ閾値下がった電圧値に到達すれば遮断する。トランジスタ８６が導通したままだとしても、それ以上に変換信号LVIを充電することは無く、電圧変換回路６２は、電圧クランプ回路としても機能する。
　トランジスタ１０２の導通による変換信号LVIの充電は、そもそもが変換信号LVIがインバータ閾値まで上昇してきたことを発端とし、その動きを加速する正帰還動作である。差動入力回路６１の電流源であるトランジスタ８５は、固体撮像装置１で並列同時に動作する回路数が膨大であることから１回路あたりの電流がきわめて僅かな電流に設定される。さらに、参照信号REFは、時刻コードが切り替わる単位時間に変化する電圧がAD変換のLSBステップとなるために極めて緩慢に掃引される。従って、トランジスタ８６のゲート電位の変化も緩慢であり、それによって駆動されるトランジスタ８６の出力電流の変化も緩慢である。しかし、その出力電流で充電される変換信号LVIに、後段から正帰還をかけることで、出力信号VCOは十分急速に遷移することができる。望ましくは、出力信号VCOの遷移時間は、時刻コードの単位時間の数分の１であり、典型例としては1ns以下である。本開示の比較回路５１は、電流源のトランジスタ８５に、例えば0.1uAの僅かな電流を設定しただけで、この出力遷移時間を達成することができる。
　＜画素回路の詳細構成例＞
　図７を参照して、画素回路４１の詳細構成について説明する。
　図７は、図５に示した比較回路５１に、画素回路４１の詳細を追加して示した回路図である。
　画素回路４１は、光電変換素子としてのフォトダイオード（PD）１２１、排出トランジスタ１２２、転送トランジスタ１２３、リセットトランジスタ１２４、及び、FD(浮遊拡散層)１２５で構成されている。
　排出トランジスタ１２２は、露光期間を調整する場合に使用される。具体的には、露光期間を任意のタイミングで開始したいときに排出トランジスタ１２２をオンさせると、それまでの間にフォトダイオード１２１に蓄積されていた電荷が排出されるので、排出トランジスタ１２２がオフされた以降から、露光期間が開始されることになる。
　転送トランジスタ１２３は、フォトダイオード１２１で生成された電荷をFD１２５に転送する。リセットトランジスタ１２４は、FD１２５に保持されている電荷をリセットする。FD１２５は、差動入力回路６１のトランジスタ８２のゲートに接続されている。これにより、差動入力回路６１のトランジスタ８２は、画素回路４１の増幅トランジスタとしても機能する。
　リセットトランジスタ１２４のソースは、差動入力回路６１のトランジスタ８２のゲート、及び、FD１２５に接続されており、リセットトランジスタ１２４のドレインは、トランジスタ８２のドレインと接続されている。したがって、FD１２５の電荷をリセットするための固定のリセット電圧がない。これは、差動入力回路６１の回路状態を制御することで、FD１２５をリセットするリセット電圧を、参照信号REFを用いて任意に設定可能であるためである。
　＜画素部タイミングチャート＞
　図８のタイミングチャートを参照して、図７に示した画素２１の動作について説明する。
　初めに、時刻ｔ１において、参照信号REFが、それまでのスタンバイ電圧Vstbから、FD１２５の電荷をリセットするリセット電圧Vrstに設定され、リセットトランジスタ１２４がオンされることにより、FD１２５の電荷がリセットされる。また、時刻ｔ１では、正帰還回路６３のトランジスタ１０１と１０３のゲートに供給される初期化信号INIがHiに設定され、正帰還回路６３が初期状態に設定される。
　時刻ｔ２において、参照信号REFが所定の電圧Vuまで持ち上げられ、参照信号REFと画素信号SIGの比較（参照信号REFの掃引）が開始される。この時点では、参照信号REFが画素信号SIGよりも大きいため出力信号VCOはHiとなっている。
　参照信号REFと画素信号SIGが同一となったと判定された時刻ｔ３において、出力信号VCOが反転（Lowに遷移）される。出力信号VCOが反転されると、上述したように正帰還回路６３によって出力信号VCOの反転が高速化される。また、データ記憶部５２では、出力信号VCOが反転した時点の時刻データ（NビットのDATA[1]乃至DATA[N]）が記憶される。
　信号書き込み期間が終了し、かつ、信号読み出し期間の開始時刻である時刻ｔ４において、比較回路５１のトランジスタ８１のゲートに供給する参照信号REFの電圧が、トランジスタ８１がオフするレベル(スタンバイ電圧Vstb)まで引き下げられる。これにより、信号読み出し期間中の比較回路５１の消費電流が抑制される。
　時刻ｔ５において、読み出しタイミングを制御するWORD信号がHiとなり、Nビットのラッチ信号Col[n]（ｎ＝１乃至N）（不図示）が、データ記憶部５２のラッチ制御回路７１から出力される。ここで取得されるデータは、CDS(Correlated Double Sampling；相関２重サンプリング)処理する際のリセットレベルのP相データとなる。
　時刻ｔ６において、参照信号REFが所定の電圧Vuまで持ち上げられるともに、トランジスタ１０１と１０３のゲートに供給される初期化信号INIがHiに設定され、正帰還回路６３が再び初期状態に設定される。
　時刻ｔ７において、Hiの転送信号TXにより画素回路４１の転送トランジスタ１２３がオンされ、フォトダイオード１２１で生成された電荷がFD１２５に転送される。
　初期化信号INIがLowに戻された後、参照信号REFと画素信号SIGの比較（参照信号REFの掃引）が開始される。この時点では、参照信号REFが画素信号SIGよりも大きいため出力信号VCOはHiとなっている。
　そして、参照信号REFと画素信号SIGが同一となったと判定された時刻ｔ８において、出力信号VCOが反転（Lowに遷移）される。出力信号VCOが反転されると、正帰還回路６３によって出力信号VCOの反転が高速化される。また、データ記憶部５２には、出力信号VCOが反転した時点の時刻データ（NビットのDATA[1]乃至DATA[N]）が記憶される。
　信号書き込み期間が終了し、かつ、信号読み出し期間の開始時刻である時刻ｔ９において、比較回路５１のトランジスタ８１のゲートに供給する参照信号REFの電圧が、トランジスタ８１がオフするレベル(スタンバイ電圧Vstb)まで引き下げられる。これにより、信号読み出し期間中の比較回路５１の消費電流が抑制される。
　時刻ｔ１０において、読み出しタイミングを制御するWORD信号がHiとなり、Nビットのラッチ信号Col[n]（ｎ＝１乃至N）（不図示）が、データ記憶部５２のラッチ制御回路７１から出力される。ここで取得されるデータは、CDS処理する際の信号レベルのD相データとなる。時刻ｔ１１は、上述した時刻ｔ１と同じ状態であり、次の１V（１垂直走査期間）の駆動となる。
　以上の画素２１の駆動によれば、最初に、P相データ（リセットレベル）が取得された後、読み出され、次に、D相データ（信号レベル）が取得されて、読み出される。
　以上の動作により、固体撮像装置１の画素アレイ部２２の各画素２１は、全画素同時にリセットし、かつ、全画素同時に露光するグローバルシャッタ動作が可能である。全画素が同時に露光及び読み出しを行うことが出来るので、通常、画素内に設けられる、電荷が読み出されるまでの間、電荷を保持する保持部が不要である。また、画素２１の構成では、カラム並列読み出し型の固体撮像装置で必要であった、画素信号SIGを出力する画素を選択するための選択トランジスタ等も不要である。
　図８を参照して説明した画素２１の駆動では、排出トランジスタ１２２が常にオフに制御されていた。しかし、図８において破線で示されるように、所望の時刻で、排出信号OFGをHiに設定して排出トランジスタ１２２を一旦オンさせた後、オフさせることにより、任意の露光期間を設定することも可能である。
　＜時刻コード転送部とデータ記憶部の構成例＞
　図９は、時刻コード転送部２３とデータ記憶部５２の第１の構成例を示す回路図である。
　図９の構成例においては、データ記憶部５２は、１個のラッチ制御回路２４１と、N個のビット記憶部２４２－１乃至２４２－Nで構成されている。図９の構成例においては、１個のラッチ制御回路２４１が、N個のビット記憶部２４２－１乃至２４２－Nに、出力信号VCOとWORD信号を供給する。ビット記憶部２４２－１乃至２４２－Nそれぞれは、トランスファゲート２６１とラッチ記憶部２６２で構成される。
　すなわち、図９の構成例では、ラッチ制御回路２４１が、ビット記憶部２４２－１乃至２４２－Nの外に、ビット記憶部２４２－１乃至２４２－Nに対して共通に設けられている。ラッチ制御回路２４１が、図３のラッチ制御回路７１に対応し、ビット記憶部２４２－１乃至２４２－Nが、図３のラッチ記憶部７２に対応する。
　ラッチ制御回路２４１は、直列接続された２個のインバータ２８１及び２８２と、直列接続されたNOR回路２８３及びインバータ２８４で構成されている。
　ビット記憶部２４２－ｎのトランスファゲート２６１は、NMOSトランジスタとPMOSトランジスタの２個のトランジスタ２９１及び２９２で構成されている。
　ビット記憶部２４２－ｎのラッチ記憶部２６２は、トランジスタ３０１乃至３０６からなるスタティック型のラッチ回路で構成されている。トランジスタ３０１、３０２、及び３０５は、PMOSトランジスタで構成され、トランジスタ３０３、３０４、及び３０６は、NMOSトランジスタで構成されている。
　比較回路５１からの出力である出力信号VCOは、インバータ２８１とNOR回路２８３に入力され、NOR回路２８３のもう一方の入力には、WORD信号が供給される。インバータ２８１の出力は、インバータ２８２とラッチ記憶部２６２のトランジスタ３０３のゲートに供給され、インバータ２８２の出力は、ラッチ記憶部２６２のトランジスタ３０２のゲートに供給される。また、NOR回路２８３の出力は、インバータ２８４とトランスファゲート２６１のトランジスタ２９２のゲートに供給され、インバータ２８４の出力は、トランスファゲート２６１のトランジスタ２９１のゲートに供給される。
　時刻コードの書き込み動作においては、WORD信号が全画素でLoとなり、トランスファゲート２６１は、出力信号VCOがHiのとき導通し、Loのとき遮断する。ラッチ記憶部２６２のフィードバック（入力Qに対する出力xQ）は、出力信号VCOがHiのとき遮断し、Loのとき導通する。したがって、ラッチ記憶部２６２は、出力信号VCOがHiのとき、ｎビット目の時刻コードの書き込み状態（トランスペアレント）となり、出力信号VCOがLoのとき、書き込まれた時刻コードの保持状態（ラッチ状態）となる。
　時刻コードの読み出し動作においては、読み出し対象の画素２１のラッチ制御回路２４１のみにWORD信号が供給される。出力信号VCOはLoとなっているので、トランスファゲート２６１は、HiのWORD信号が入力されたときのみ導通し、ラッチ記憶部２１２に保持された時刻コードが、時刻コード転送部２３に出力される。
　＜時刻コード転送部とデータ記憶部の他の構成例＞
　図１０は、時刻コード転送部２３とデータ記憶部５２の第２の構成例を示す回路図である。
　図１０の構成例においては、時刻コード転送部２３が、Nビットの時刻コードDATA[1]乃至DATA[N]に対応するN個のシフトレジスタ３４１－１乃至３４１－Nと、クロック供給回路３４２とで構成されている。N個のシフトレジスタ３４１－１乃至３４１－Nそれぞれは、複数のD-F/F（D-フリップフロップ）３５１からなる。クロック供給回路３４２は、シフトレジスタ３４１の各D-F/F３５１のクロック入力に、クロック信号CLKを供給する。
　データ記憶部５２は、図９に示した第１の構成例と同様の、ラッチ制御回路２４１と、N個のビット記憶部２４２－１乃至２４２－Nで構成されている。さらに、図１０の構成例においては、時刻コード転送部２３とデータ記憶部５２との間に、N個の双方向バッファ回路３７１－１乃至３７１－Nが新たに追加されている。
　N個の双方向バッファ回路３７１－１乃至３７１－Nは、時刻コード転送部２３のN個のシフトレジスタ３４１－１乃至３４１－Nに１対１に対応して設けられている。双方向バッファ回路３７１は、対応するシフトレジスタ３４１内の１つのD-F/F３５１と接続されている。
　双方向バッファ回路３７１－ｎのバッファ回路３８１には、時刻コードの書き込み動作においてHiとなる書き込み制御信号WRが供給され、インバータ回路３８２には、時刻コードの読み出し動作においてHiとなる読み出し制御信号RDが供給される。双方向バッファ回路３７１－ｎは、書き込み制御信号WRと読み出し制御信号RDに基づいて、ビット記憶部２４２－ｎに対する時刻コードの書き込み動作と読み出し動作を切り替える。
　ビット記憶部２４２－１乃至２４２－Nは、図９に示した第２構成例と同様の構成を有する。
　参照信号REFの掃引が行われるAD変換期間中には、時刻コード転送部２３のN個のシフトレジスタ３４１は、時刻コード発生部２６から供給された時刻コードを、時刻コードの単位時間をクロック周期とするシフトクロックで転送する。
　時刻コードの書き込み動作においては、Hiの書き込み制御信号WRと、Loの読み出し制御信号RDが、双方向バッファ回路３７１に供給されており、双方向バッファ回路３７１は、シフトレジスタ３４１の所定のD-F/F３５１から供給された時刻コードを、トランスファゲート２６１を介してビット記憶部２４２に供給する。ビット記憶部２４２は、供給された時刻コードを記憶する。
　次の時刻コードの読み出し動作においては、ビット記憶部２４２に記憶されている時刻コードが、双方向バッファ回路３７１を介して時刻コード転送部２３のシフトレジスタ３４１の所定のD-F/F３５１に供給される。シフトレジスタ３４１は、各段のD-F/F３５１に供給された時刻データを順送りに出力部２８まで転送し、出力する。
　より具体的には、シフトレジスタ３４１の各D-F/F３５１には、クロック入力に供給されるクロック信号CLKがHiまたはLoのいずれか一方でハイインピーダンス状態（以下、Hi-Z状態と記述する）にできる構成が採用される。例えば、図１１で後述するD-F/F３５１の構成では、D-F/F３５１は、クロック信号CLKがLoであるとき、Hi-Z状態となる。
　シフトレジスタ３４１の各D-F/F３５１がHi-Z状態とされている期間に、双方向バッファ回路３７１にHiの読み出し制御信号RDが供給されるとともに、WORD信号がHiとなり、ビット記憶部２４２に記憶されている時刻コードが、双方向バッファ回路３７１を介して時刻コード転送部２３のシフトレジスタ３４１の所定のD-F/F３５１に供給される。
　読み出し制御信号RDがLoに戻された後、シフトレジスタ３４１の各D-F/F３５１にシフトクロックが供給され、シフトレジスタ３４１は、各段のD-F/F３５１に供給された時刻データを出力部２８まで順次転送し、出力する。
　＜D-F/Fの構成例＞
　図１１は、シフトレジスタ３４１のD-F/F３５１の構成例を示している。
　図１１において、各トランジスタや信号線の近傍に括弧（）付で記したｏｎ、ｏｆｆ等の文字は、Loのクロック信号CLKがクロック入力に入力されたときの各トランジスタや信号線の電位状態を示している。
　図１１に示されるように、Loのクロック信号CLKがD-F/F３５１に入力された場合には、D-F/F３５１がHi-Z状態となる。
　＜双方向バッファ回路の構成例＞
　図１２は、双方向バッファ回路３７１の構成例を示している。
　図１２に示される双方向バッファ回路３７１は、バッファ回路３８１とインバータ回路３８２で構成される。
　バッファ回路３８１は、インバータ４０１、NAND回路４０２、NOR回路４０３、PMOS型のトランジスタ４０４、及びNMOS型のトランジスタ４０５で構成される。
　バッファ回路３８１では、書き込み制御信号WRがHiのとき、NAND回路４０２とNOR回路４０３の出力はともに、時刻コード転送部２３のD-F/F３５１から供給された時刻コードを反転したものとなる。バッファ回路３８１の出力は、さらにそれを反転したものとなるので、結果、D-F/F３５１から供給された時刻コードと同値となる。書き込み制御信号WRがLoのとき、NAND回路４０２の出力はHi、NOR回路４０３の出力はLoとなり、バッファ回路３８１の出力はHi-Z状態となる。
　一方、インバータ回路３８２は、２個のPMOS型のトランジスタ４１１及び４１２、２個のNMOS型のトランジスタ４１３及び４１４、並びに、インバータ４１５からなるクロックドインバータで構成される。
　インバータ回路３８２では、読み出し制御信号RDがHiのとき、クロックドインバータはアクティブになり、インバータ回路３８２は、ビット記憶部２４２から供給された時刻コードを反転して出力する。読み出し制御信号RDがLoのとき、クロックドインバータはイナート（非アクティブ）になり、インバータ回路３８２の出力はHi-Z状態となる。
　＜複数基板構成１＞
　これまでの説明では、固体撮像装置１が、１枚の半導体基板１１上に形成されるものとして説明したが、複数枚の半導体基板１１に回路を作り分けることで、固体撮像装置１を構成してもよい。
　図１３は、上側基板１１Aと下側基板１１Cの２枚の半導体基板１１を積層することで固体撮像装置１を構成する概念図を示している。
　上側基板１１Aには、フォトダイオード１２１を含む画素回路４１が少なくとも形成されている。下側基板１１Cには、時刻コードを記憶するデータ記憶部５２と時刻コード転送部２３が少なくとも形成されている。上側基板１１Aと下側基板１１Cは、例えば、Cu-Cuなどの金属結合などにより接合される。
　図１４は、上側基板１１Aと下側基板１１Cのそれぞれに形成される回路構成例を示している。
　上側基板１１Aには、画素回路４１と、ADC４２のうちの差動入力回路６１のトランジスタ８１、８２、及び８５の回路が形成されている。下側基板１１Cには、トランジスタ８１、８２、及び８５を除くADC４２の回路と時刻コード転送部２３が形成されている。
　＜複数基板構成２＞
　図１３及び図１４は、固体撮像装置１を２枚の半導体基板１１で構成した例であるが、３枚の半導体基板１１で構成することもできる。
　図１５は、上側基板１１A、中間基板１１B、及び、下側基板１１Cの３枚の半導体基板１１を積層することで、固体撮像装置１を構成する概念図を示している。
　上側基板１１Aには、フォトダイオード１２１を含む画素回路４１と、比較回路５１の少なくとも一部の回路が形成されている。下側基板１１Cには、時刻コードを記憶するデータ記憶部５２と時刻コード転送部２３が少なくとも形成されている。中間基板１１Bには、上側基板１１Aに配置されない比較回路５１の残りの回路が形成されている。上側基板１１Aと中間基板１１B、及び、中間基板１１Bと下側基板１１Cは、例えば、Cu-Cuなどの金属結合などにより接合される。
　図１６は、固体撮像装置１を３枚の半導体基板１１で形成する場合の各半導体基板１１の回路配置例を示している。
　図１６の例では、上側基板１１Aに配置した回路は、図１４に示した上側基板１１Aの回路と同じであり、比較回路５１の残りの回路が中間基板１１Bに配置され、データ記憶部５２と時刻コード転送部２３が下側基板１１Cに配置されている。なお、これらの複数基板構成は、次に説明する第２の実施の形態についても同様に実施することができる。
　次に、第２の実施の形態として、上述した画素ADCイメージセンサとの差分を中心に、本技術の構成について説明していく。
＜２．第２の実施の形態＞
　＜画素の構成例＞
　図１７は、本技術を適用した画素の構成例を示すブロック図である。図１７の例においては、注目の画素２１－８と、その隣接の画素２１－０乃至２１－７とが示されている。なお、図１７の例においては、近傍画素として、注目の画素２１－８に隣接する画素２１－０乃至２１－７（８画素）が示されているが、本技術の範囲はそれに限定されるものではない。
　図１７に示されるように、各画素２１は、画素回路４１、比較回路５１、およびデータ記憶部５２で構成されている。ここで、画素回路４１および比較回路５１は、図４を参照して上述されたものと基本的に同様に構成されているが、データ記憶部５２は、図４のデータ記憶部５２と異なっている。その詳細については後述される。
　また、第１の実施の形態との大きな違いは、近傍の画素２１－０乃至２１－７の比較回路５１の出力であるVCO信号線が注目の画素２１－８のデータ記憶部５２にVCO_INとして接続されていることである。近傍の画素２１－０のVCOが最下位bit、画素２１－７のVCOが最上位bitとして8bitバス信号（VCO_IN）として注目の画素２１のデータ記憶部５２に接続される。また、図１７においては、記載を省略しているが、全画素２１について同様の接続がなされている。
　例えば、画素２１－７を新たに注目の画素と見た場合は、図１７に記載の画素２１－０、画素２１－１、(元)注目の画素２１－８、画素２１－５、画素２１－６と、画素２１－７の南西方向に隣接する画素（図示せず）、画素２１－７の西方向に隣接する画素（図示せず）、画素２１－７の北西方向に隣接する画素（図示せず）が近傍画素と言え、近傍画素それぞれのVCOが画素２１－７の8bitのVCO_INバスとしてデータ記憶部５２に接続されている。
　＜画素の１画素単位の回路ブロック＞
　図１８は、画素の１画素単位の回路ブロック図である。図１０との差分は、2値のデマルチプレクサ回路５００と近傍画素VCO8bitバス（VCO_IN）と注目画素のラッチとの接続を制御するスイッチ回路５０１－１乃至５０１－８が追加されていることと、VCO信号線が近傍の画素２１－０乃至２１－７に接続されていることである。すなわち、図１８の例の場合、ラッチ制御回路２４１は、１個のインバータ２８１、OR回路（NOR回路＋インバータ）２８３＋２８４、デマルチプレクサ回路５００、およびスイッチ回路５０１－１乃至５０１－８で構成されている。それ以外は図１０と同じである。なお、図１５ではトランジスタレベルで表現されている箇所も、図１８の例においては、より抽象化して表現しているが論理的には同じである。また、図１８の例においては、ビット記憶部２４２（ビット記憶部２４２－１乃至２４２－８）（以下、ラッチ回路２４２とも総称する）と双方向バッファ回路３７１（双方向バッファ回路３７１－１乃至３７１－８）を接続するバス配線がLBL（ローカルビットライン）として追加されている。なお、図１８の例においては、ラッチ回路２４２は、２つのインバータで構成されている。
　ここで、スイッチ回路５０１－１乃至５０１－８とは、その制御端子に１（H論理）が入力されると回路の両端の信号線を導通させ、制御端子に０（L論理）が入力されるとハイインピーダンスとなる回路である。また、デマルチプレクサ回路５００は、制御端子に１（H論理）が入力されると、入力端子の論理を出力端子１に出力（この時出力端子０はL論理を出力）し、制御端子に０（L論理）が入力されると、入力端子の論理を出力端子０に出力（この時出力端子１はL論理を出力）する回路である。
　このデマルチプレクサ回路５００の制御信号LBP_ENを制御することで、撮像モードとLBP特徴抽出モードを切り替えることができる。具体的には、LBP_EN=0（撮像モード）時には、VCO信号の論理がNORの片側の入力に送られ、スイッチ回路５０１－１乃至５０１－８の制御端子入力は0（L論理）となり、VCO_INとラッチ回路は分断され、論理的には図１０と等価な回路状態となる。したがって、上述した第１の実施の形態と同等の撮像機能を実現することができる。
　また、LBP_EN=1（LBP特徴抽出モード）時には、VCO信号の論理がスイッチ回路５０１－１乃至５０１－８の制御端子入力に送られ、注目画素のVCOによりVCO_INとラッチ回路２４２の接続/分断が制御される。一方、デマルチプレクサ回路５００の出力のうち、NORに接続されている出力は0（L論理）となるため、WORD論理＝NOR出力論理となり、ラッチ回路２４２とLBL配線の接続/分断は、WORD信号のみによって制御されることになる。
　＜撮像モードとLBP特徴抽出モードの動作＞
　次に、図１９乃至図２１を参照して、撮像モード時とLBP特徴抽出モード時の動作について説明していく。
　図１９は、LBP_EN=0（撮像モード）時のREF、SIG、TX、VCO、LBL、ラッチの簡易的なタイミングチャートを示す図である。リセットレベルのAD変換と画素信号レベルのAD変換を順に行う。REFのスロープ動作と合わせ、時刻コードをLBL経由でラッチ回路２４２に伝送している。REFとSIGが交差したタイミングで比較回路５１の動作によりVCOがHからLへ反転する。これにより、そのタイミングにラッチ回路２４２に書き込まれていた時刻コードがラッチされラッチ回路２４２に保持され、AD変換が実現される。ラッチされた時刻コード（AD変換データ）は、時刻コード転送部２３を経由して画素アレイ外部へと出力される（図示せず）。また、画素信号レベルからリセットレベルを差し引く（CDS処理）ことで、比較回路５１のばらつきやリセット動作時のチャージインジェクションやフィードスルー等をキャンセルすることができる。なお、撮像モードの動作に関しては、図８を参照して上述した第１の実施の形態と同様なので、その説明は省略される。
　図２０に、LBP_EN=1（LBP特徴抽出モード）かつ、ある近傍画素xxの画素値より注目画素の画素値が大きい場合の簡易的なタイミングチャートを示す。TXが駆動され画素信号レベルが読み出されると、注目画素の方が近傍画素xxよりも信号レベルが大きいため、SIGの振幅は注目画素の方が大きくなる。それに伴い、VCOの反転タイミングも近傍画素xxが注目画素に対し先立ってHからLへ反転することになる。ここで、注目画素のラッチ（xxビット目）に着目すると、前述のとおりLBP_EN=1のためスイッチ回路５０１が導通し近傍画素xxのVCOが接続されている（スイッチ回路２６１はハイインピーダンス）ため、近傍画素xxのVCOと同様の遷移をする。その後、注目画素のVCOがHからLに反転するタイミングで注目画素のラッチ回路２４２はその時に書き込まれているL論理をラッチし保持する。
　次に、図２１を参照して、LBP_EN=1（LBP特徴抽出モード）かつ、ある近傍画素xxの画素値より注目画素の画素値が小さい場合について同様に考える。近傍画素xxの画素値＞注目画素値であるので、注目画素のVCOが近傍画素xxのVCOに先立ちHからLへ反転する。この時、注目画素のラッチ回路２４２（xxビット目）は近傍画素xxのVCOのH状態が書き込まれているため、このH論理をラッチし保持することになる。
　以上の動作より、注目画素値を閾値として近傍画素の画素値を2値化したデータが、注目画素の8bitラッチ回路の対応するbitに保持される。この8bitのデータは、その定義からして正に注目画素のLBP値となっていることが分かる。
　LBP値をラッチに保持した後は、撮像モードにおいて、AD変換した画素値データをラッチから画素アレイ外へ転送するのと全く同様にして読み出すことができる。また、必要に応じて、画素アレイ外のロジック回路において、各LBP値の出現画素数をカウントすることで、LBPヒストグラムデータを構成しイメージセンサから出力することもできる。
　なお、LBP特徴抽出モードでは、撮像モードで行っているリセットレベル減算によるノイズ低減処理（CDS処理）が原理的にできないため、リセットレベル減算に依らないノイズ低減処理を行うことが有効な手段となる。例えば、比較回路５１の差動入力回路出力をSIGに接続しリセットを行う際に、リセットトランジスタ（スイッチ）の制御パルスを通常よりもゆっくり遷移させて切る・帯域制限を掛ける等の手段が適用できる。
　また、図２２に示すように、複数画素（複数画素からなる画素群を、エリアブロックと称する）に対し１つの比較回路５１とデータ記憶部５２を共有する構成をとってもよい。この場合は、共有する画素毎にTX信号を分け（同図ではTX0/TX1/TX2/TX3の4種類に分割）時分割に各画素の「AD変換＋アレイ外転送」もしくは「LBP特徴抽出＋アレイ外転送」を行うことになる。
　＜画素の１画素単位の他の回路ブロック＞
　図２３は、画素の１画素単位の他の回路ブロック図である。図２３の回路ブロックは、近傍画素VCOと接続するスイッチ回路５０１、LBLを接続するスイッチ回路５１１、その制御信号WORD_LBP とが追加されたLBP専用ラッチ回路５１０－１乃至５１０－８と、LBP専用ラッチ回路５１０とLBLを接続するスイッチ回路５１１の制御信号WORD_LBPを導入したことと、デマルチを削除したことのみである。
　この構成により、ラッチ回路２４２を画素値専用ラッチ、ラッチ回路５１０をLBP専用ラッチとすることで、撮像モードとLBP特徴抽出モードを同時に行うことができる。データをラッチから読み出す際は、画素値AD変換データはWORD信号で、LBP値はWORD_LBP信号を用いて時分割で読み出す。画素値のAD変換/LBP特徴抽出そのものの動作原理は実施例１と同様である。
　次に、図２４および図２５を参照して、本技術における近傍画素間のVCO配線接続について説明する。図２４は、注目画素と隣接８近傍画素のVCO配線の接続関係を矢印で示す。すなわち、図２４は、図１７において、VCO配線接続関係のみに着目して簡略化したイメージとして表されたものである。
　図２４の例において、太線矢印は、注目画素のラッチに接続される近傍画素のVCO配線を表し、実線矢印は近傍画素のラッチに接続されるVCO配線を表している。また、矢印の向きは接続方向を表す。図２４に示されるように、互いに反対方向を向いて重なる矢印の組みが複数存在する。これは、すなわち、注目画素の画素値と近傍画素の画素値の相対関係を重複して取得していることを示している。互いに反対方向を向いて重なる矢印の組みで関連付けられる画素で互いに取得したLBP値は、情報（＝２つの画素の大小関係）としては等価で、LBP値自体は他方のbit反転値となる関係である。
　したがって、図２５に示すように近傍画素間のVCO配線接続は半分に減らすことが可能である。この場合、各画素で取得されるLBP値のbit数は半分（図の例では4bit）となるが、以下に示す演算処理により所望のLBP値を完全に復元できる。なお、この演算処理は画素アレイ外のオンチップロジック回路で行ってもよいし、イメージセンサチップ外で行ってもよい。また、本実施形態は、図２５で示した配線接続関係のみに限定されるものではない。
　・注目画素で得られたLBP値の0bit目をそのまま注目画素の0bit目の値とする
　・注目画素で得られたLBP値の1bit目をそのまま注目画素の1bit目の値とする
　・注目画素で得られたLBP値の2bit目をそのまま注目画素の2bit目の値とする
　・注目画素で得られたLBP値の3bit目をそのまま注目画素の3bit目の値とする
　・注目画素の南東方向に隣接する画素で得られたLBP値の0bit目をbit反転させ注目画素の4bit目の値とする
　・注目画素の南方向に隣接する画素で得られたLBP値の1bit目をbit反転させ注目画素の5bit目の値とする
　・注目画素の南西方向に隣接する画素で得られたLBP値の2bit目をbit反転させ注目画素の6bit目の値とする
　・注目画素の西方向に隣接する画素で得られたLBP値の3bit目をbit反転させ注目画素の7bit目の値とする
　以上のように、図２４および図２５を参照して上述した工夫は、画素内の配線面積削減に繋がり、画素数の高解像度化に寄与する。
　なお、近傍画素とは、図２４に示された近傍画素として注目画素の隣接８画素を用いた場合だけでなく、図２６のＡに示されるように、近傍画素として、隣接８画素を囲む周囲の１６画素を用いるようにしてもよい。また、図２６のＢに示されるように、近傍画素として、図２６のＡに示された周囲の１６画素のうち、角の各４画素と、周囲の１６画素のうち、注目画素の上下左右に１画素離れた位置する各４画素とを用いるようにしてもよい。さらに、図２６のＣに示されるように、周囲の１６画素のうち、角の各４画素と、注目画素の上下左右に２画素離れた位置する各４画素とを用いるようにしてもよい。
　以上、本技術によれば、画素信号値のAD変換省略やイメージセンサから出力されるデータ量の削減により、画像認識システムの低消費電力化を図ることができる。また、全画素並列動作による特徴量抽出処理の高速化を図ることができる。
　例えば、8bitフルHD画像への適用を考えると、0.032%までデータ量を圧縮することが可能である。
＜３．イメージセンサの使用＞
　図２７は、上述の固体撮像装置を使用する使用例を示す図である。
　上述した固体撮像装置（イメージセンサ）は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜４．電子機器の例＞
　＜電子機器の構成例＞
　さらに、本技術は、固体撮像装置への適用に限られるものではなく、撮像装置にも適用可能である。ここで、撮像装置とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機等の撮像機能を有する電子機器のことをいう。なお、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールを撮像装置とする場合もある。
　ここで、図２８を参照して、本技術の電子機器の構成例について説明する。
　図２８に示される撮像装置８００は、本開示に係る電子機器としての、撮像装置の構成例を示すブロック図である。
　図２８の撮像装置８００は、レンズ群などからなる光学部８０１、図３の固体撮像装置１の構成が採用される固体撮像装置（撮像デバイス）８０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路８０３を備える。また、撮像装置８００は、フレームメモリ８０４、表示部８０５、記録部８０６、操作部８０７、および電源部８０８も備える。DSP回路８０３、フレームメモリ８０４、表示部８０５、記録部８０６、操作部８０７および電源部８０８は、バスライン８０９を介して相互に接続されている。
　光学部８０１は、被写体からの入射光（像光）を取り込んで固体撮像装置８０２の撮像面上に結像する。固体撮像装置８０２は、光学部８０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置８０２として、図３の固体撮像装置１、即ち、画素信号をAD変換する際の判定速度を向上させつつ、消費電力を低減させた比較回路５１や、回路規模と消費電力を大幅に削減できる時刻コード転送部２３を有する固体撮像装置を用いることができる。
　表示部８０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置８０２で撮像された動画または静止画を表示する。記録部８０６は、固体撮像装置８０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部８０７は、ユーザによる操作の下に、撮像装置８００が持つ様々な機能について操作指令を発する。電源部８０８は、DSP回路８０３、フレームメモリ８０４、表示部８０５、記録部８０６および操作部８０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　上述したように、固体撮像装置８０２として、上述したいずれかの構成を採用した固体撮像装置１を用いることで、AD変換の判定速度を高速化させつつ、消費電力を低減することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置８００においても、撮影の高速化と低消費電力を実現することができる。
　上述した説明では、比較回路５１及びADC４２は、固体撮像装置１に組み込まれた部品として説明したが、それぞれ単独で流通する製品（比較器、AD変換器）とすることができる。
＜５．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３０は、撮像部１２０３１の設置位置の例を示す図である。
　図３０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１（撮像部１２１０１乃至１２１０４含む）に適用され得る。具体的には、固体撮像装置１は、撮像部１２０３１（撮像部１２１０１乃至１２１０４含む）に適用することができる。撮像部１２０３１（撮像部１２１０１乃至１２１０４含む）に本開示に係る技術を適用することにより、車載においても、低消費電力化を図ることができる。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するものであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画素信号と時間的に変化する参照信号とを比較する比較回路と、
　注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
　を画素毎またはエリアブロック毎に備える固体撮像装置。
　（２）　前記比較回路と前記参照信号とを用いて、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を前記データ保持部に保持する
　前記（１）に記載の固体撮像装置。
　（３）　前記注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係の比較と同時に、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を保持する、前記データ保持部とは異なる第２のデータ保持部を
　さらに備える前記（１）に記載の固体撮像装置。
　（４）　前記近傍画素の比較回路出力信号を、前記注目画素の前記データ記憶部に接続させる
　前記（１）乃至（３）のいずれかに記載の固体撮像装置。
　（５）　前記注目画素と比較する近傍画素の数よりも、前記注目画素の前記データ記憶部に接続される近傍画素の比較回路出力信号の数のほうが少ない
　前記（４）に記載の固体撮像装置。
　（６）　前記近傍画素は、前記注目画素に隣接する隣接画素である
　前記（１）乃至（５）のいずれかに記載の固体撮像装置。
　（７）　画素信号と時間的に変化する参照信号とを比較する比較回路と、
　注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
　を画素毎またはエリアブロック毎に備える固体撮像装置と、
　前記固体撮像装置から出力される出力信号を処理する信号処理回路と、
　入射光を前記固体撮像装置に入射する光学系と
　を有する電子機器。
１　固体撮像装置，　１１　半導体基板，　２１，２１－０乃至２１－８　画素，　２３　時刻コード転送部，４１　画素回路，　４２　ADC，　５１　比較回路，　５２　データ記憶部，　７１　ラッチ制御回路，　７２　ラッチ記憶部，　２４１　ラッチ制御回路，　２４２，２４２－１乃至２４２－Ｎ　ビット記憶部（ラッチ回路），　２６１　トランスファゲート，　２６２　ラッチ記憶部，　２８１，２８２　インバータ，　２８３　NOR回路，　２８４　インバータ，　３７１－１乃至３７１－Ｎ　双方向バッファ回路，　３８１　バッファ回路，　３８２　インバータ回路，　５００　デマルチプレクサ回路，　５０１，５０１－１乃至５０１－８　スイッチ回路，　５１０，５１０－１乃至５１０－８　LBP専用ラッチ回路，　５１１　スイッチ回路，

Claims (7)

  1. 　画素信号と時間的に変化する参照信号とを比較する比較回路と、
    　注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
    　を画素毎またはエリアブロック毎に備える固体撮像装置。
  2. 　前記比較回路と前記参照信号とを用いて、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を前記データ保持部に保持する
    　請求項１に記載の固体撮像装置。
  3. 　前記注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係の比較と同時に、前記注目画素の画素信号のAD変換を行い、前記AD変換の結果を保持する、前記データ保持部とは異なる第２のデータ保持部を
    　さらに備える請求項１に記載の固体撮像装置。
  4. 　前記近傍画素の比較回路出力信号を、前記注目画素の前記データ記憶部に接続させる
    　請求項１に記載の固体撮像装置。
  5. 　前記注目画素と比較する近傍画素の数よりも、前記注目画素の前記データ記憶部に接続される近傍画素の比較回路出力信号の数のほうが少ない
    　請求項４に記載の固体撮像装置。
  6. 　前記近傍画素は、前記注目画素に隣接する隣接画素である
    　請求項１に記載の固体撮像装置。
  7. 　画素信号と時間的に変化する参照信号とを比較する比較回路と、
    　注目画素と前記注目画素の近傍に位置する近傍画素における画素信号の大小関係を、前記参照信号により比較し、前記大小関係の比較結果を保持するデータ保持部と
    　を画素毎またはエリアブロック毎に備える固体撮像装置と、
    　前記固体撮像装置から出力される出力信号を処理する信号処理回路と、
    　入射光を前記固体撮像装置に入射する光学系と
    　を有する電子機器。
PCT/JP2018/006878 2017-03-09 2018-02-26 固体撮像装置および電子機器 WO2018163873A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/486,255 US10939062B2 (en) 2017-03-09 2018-02-26 Solid-state imaging apparatus and electronic equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017044882A JP2018148528A (ja) 2017-03-09 2017-03-09 固体撮像装置および電子機器
JP2017-044882 2017-03-09

Publications (1)

Publication Number Publication Date
WO2018163873A1 true WO2018163873A1 (ja) 2018-09-13

Family

ID=63448631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006878 WO2018163873A1 (ja) 2017-03-09 2018-02-26 固体撮像装置および電子機器

Country Status (3)

Country Link
US (1) US10939062B2 (ja)
JP (1) JP2018148528A (ja)
WO (1) WO2018163873A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3952293A4 (en) * 2019-03-29 2022-12-28 Nikon Corporation IMAGING ELEMENT AND IMAGING DEVICE
US12010445B2 (en) 2019-03-29 2024-06-11 Nikon Corporation Imaging element and imaging device with comparison units for comparing photoelectric signals with a reference signal

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11888002B2 (en) * 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
JP7379119B2 (ja) 2019-11-28 2023-11-14 キヤノン株式会社 光電変換装置、光電変換システム、移動体、光電変換装置の検査方法
KR20210073131A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 비교기 및 이를 포함하는 이미지 센서
WO2021193121A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 固体撮像装置および画像処理方法
US20230207597A1 (en) 2020-03-30 2023-06-29 Sony Semiconductor Solutions Corporation Semiconductor device and electronic equipment
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
WO2022249731A1 (ja) 2021-05-25 2022-12-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JPWO2022249736A1 (ja) * 2021-05-25 2022-12-01

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092735A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Scanning window in hardware for low-power object-detection in images
WO2016053763A1 (en) * 2014-09-30 2016-04-07 Qualcomm Incorporated Hardware acceleration of computer vision feature detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143190B2 (ja) * 2011-11-16 2017-06-07 国立大学法人静岡大学 ランプ信号発生回路及びｃｍｏｓイメージセンサ
KR102057575B1 (ko) * 2013-07-25 2019-12-20 삼성전자주식회사 이미지 센서 및 그것의 제어 방법
JP6166981B2 (ja) 2013-08-09 2017-07-19 日本放送協会 表情解析装置及び表情解析プログラム
US10515284B2 (en) * 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10129495B2 (en) * 2016-03-25 2018-11-13 Qualcomm Incorporated Apparatus and method for generating local binary patterns (LBPS)
US10395376B2 (en) * 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092735A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Scanning window in hardware for low-power object-detection in images
WO2016053763A1 (en) * 2014-09-30 2016-04-07 Qualcomm Incorporated Hardware acceleration of computer vision feature detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3952293A4 (en) * 2019-03-29 2022-12-28 Nikon Corporation IMAGING ELEMENT AND IMAGING DEVICE
US12010445B2 (en) 2019-03-29 2024-06-11 Nikon Corporation Imaging element and imaging device with comparison units for comparing photoelectric signals with a reference signal

Also Published As

Publication number Publication date
JP2018148528A (ja) 2018-09-20
US20200228738A1 (en) 2020-07-16
US10939062B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
WO2018163873A1 (ja) 固体撮像装置および電子機器
US11039099B2 (en) Solid-state imaging element, solid-state imaging apparatus, and method for controlling solid-state imaging element
US11950009B2 (en) Solid-state image sensor
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2019047383A (ja) 撮像装置、および、固体撮像素子の制御方法
US11595601B2 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
US11381764B2 (en) Sensor element and electronic device
WO2019239887A1 (ja) 撮像素子、制御方法、および電子機器
WO2019193801A1 (ja) 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2019092999A1 (ja) 半導体集積回路、および、撮像装置
WO2020195936A1 (ja) 固体撮像装置、及び電子機器
US20230217135A1 (en) Imaging device
WO2020090311A1 (ja) 固体撮像素子
WO2023074522A1 (ja) 物理量検出装置及び撮像装置
WO2022044809A1 (ja) 撮像装置および電子機器
WO2023112594A1 (ja) 物理量検出装置及び撮像装置
WO2023062944A1 (ja) 光検出素子、および、光検出装置
WO2023276199A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2022158246A1 (ja) 撮像装置
CN117413529A (zh) 图像捕获装置及电子设备
CN117337579A (zh) 成像装置和电子设备
CN117063485A (zh) 摄像装置及模数转换电路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18763160

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18763160

Country of ref document: EP

Kind code of ref document: A1