WO2024004370A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2024004370A1
WO2024004370A1 PCT/JP2023/016840 JP2023016840W WO2024004370A1 WO 2024004370 A1 WO2024004370 A1 WO 2024004370A1 JP 2023016840 W JP2023016840 W JP 2023016840W WO 2024004370 A1 WO2024004370 A1 WO 2024004370A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixel
level
circuit
solid
Prior art date
Application number
PCT/JP2023/016840
Other languages
English (en)
French (fr)
Inventor
泰志 片山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024004370A1 publication Critical patent/WO2024004370A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present technology relates to a solid-state image sensor. Specifically, the present invention relates to a solid-state imaging device that performs convolution integration, an imaging device, and a method of controlling the solid-state imaging device.
  • One of the pair of capacitive elements stores the charge of a pixel with a filter coefficient of +1, and the other stores the charge of a pixel with a filter coefficient of -1. Differences are added column by column in analog form. Convolution integration is realized by such an analog circuit.
  • the processing speed is improved by performing convolution integration using an analog circuit.
  • the filter coefficients are limited to +1, 0, and -1, so there is a risk that the accuracy of image recognition will be insufficient.
  • the arithmetic circuit performs analog addition of the differences column by column, the processing speed becomes slow, and there is a risk that accuracy may be insufficient when capturing an image of a moving subject.
  • This technology was created in view of this situation, and its purpose is to improve the accuracy of solid-state imaging devices that perform image recognition using convolution integration.
  • This technology has been developed to solve the above-mentioned problems, and its first aspect is that a plurality of pixels, each of which generates and holds an analog pixel signal, are arranged in a two-dimensional grid.
  • an array section a plurality of integrating circuits that time-integrate the pixel signals held in each of a predetermined number of vertically arranged pixels among the plurality of pixels and output an integrated signal, and the plurality of integrating circuits.
  • a solid-state imaging device including an analog-to-digital converter that performs analog addition of the above-mentioned integral signals and converting the integrated signals into digital signals, and a control method thereof. This brings about an effect of improving accuracy when performing image recognition processing.
  • the integration time for each pixel of the integration circuit may be a time corresponding to the absolute value of a filter coefficient corresponding to the pixel. This brings about the effect that a sum-of-products operation is performed between the pixel signal and the filter coefficient.
  • the pixel signal includes a predetermined reset level and a signal level according to the exposure amount, and when the sign of the filter coefficient is positive, the pixel signal includes the reset level and the signal level according to the exposure amount.
  • the signal levels may be output in a predetermined order, and when the sign of the filter coefficient is negative, the reset level and the signal level may be output in the reverse order. This brings about the effect that the sign of the filter coefficient is reflected in the sign of the difference between the reset level and the signal level.
  • the plurality of integrating circuits include first and second integrating circuits
  • the analog-to-digital converter includes a first capacitor whose one end is connected to the first integrating circuit. a second capacitive element having one end connected to the second integrating circuit; and a comparator having one of two input terminals connected to the other ends of each of the first and second capacitive elements. , and a counter that counts the count value over a period until the output signal of the comparator is inverted. This brings about the effect that a signal obtained by adding analog integral signals is converted into a digital signal.
  • the analog-to-digital converter further includes a connection switch that connects the other end of the first capacitive element and the other end of the second capacitive element according to a predetermined switching signal. Good too. This brings about the effect that the horizontal size of the filter is variable.
  • the pixel may include a photodiode in which a charge storage region is embedded in a predetermined semiconductor substrate. This brings about the effect of improving image quality in a dark place.
  • the pixel signal includes a predetermined reset level and a signal level according to the exposure amount, and the pixel includes first and second capacitive elements, the reset level and the signal level.
  • a front-stage circuit that sequentially generates a level and holds it in each of the first and second capacitive elements; a first rear-stage circuit that reads and outputs the reset level held in the first capacitive element; and a second rear-stage circuit that reads and outputs the signal level held in the second capacitive element.
  • the pixel signal includes a predetermined reset level and a signal level according to the exposure amount, and the pixel includes first and second capacitive elements, the reset level and the signal level.
  • a pre-stage circuit that sequentially generates a level and holds it in each of the first and second capacitive elements; a control that connects one of the first and second capacitive elements to a predetermined post-stage node; a selection circuit that sequentially performs control to disconnect both of the second capacitive elements from the latter stage node and control to connect the other of the first and second capacitive elements to the latter stage node; and the first and second capacitors.
  • a second-stage reset transistor that initializes the level of the second-stage node when both of the elements are disconnected from the second-stage node; and a second-stage reset transistor that initializes the level of the second-stage node to the first and second capacitive elements. It may also be provided with a post-stage circuit that sequentially reads and outputs the data. This brings about the effect of reducing kTC noise.
  • a second aspect of the present technology includes a pixel array section in which a plurality of pixels, each of which generates and holds an analog pixel signal, are arranged in a two-dimensional grid, and a a plurality of integrating circuits that time-integrate the pixel signals held in each of a predetermined number of pixels and output an integrated signal; and adding the integrated signals of the plurality of integrating circuits and converting the signal into a digital signal.
  • the imaging device includes an analog-to-digital converter and an image recognition section that performs predetermined image recognition processing using the digital signal. This brings about the effect of improving the accuracy of image recognition processing.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to a first embodiment of the present technology.
  • FIG. 1 is a block diagram showing an example of a configuration of a solid-state image sensor according to a first embodiment of the present technology.
  • FIG. 2 is a circuit diagram showing an example of a configuration of a pixel in a first embodiment of the present technology.
  • FIG. 2 is a circuit diagram illustrating a configuration example of a pixel with a stacked structure in the first embodiment of the present technology.
  • FIG. 2 is a block diagram showing a configuration example of a load MOS circuit block and a column signal processing circuit in the first embodiment of the present technology.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to a first embodiment of the present technology.
  • FIG. 1 is a block diagram showing an example of a configuration of a solid-state image sensor according to a first embodiment of the present technology.
  • FIG. 2 is a circuit diagram showing an example of
  • FIG. 2 is a circuit diagram showing a configuration example of an integrating circuit and an ADC in a first embodiment of the present technology.
  • 1 is an example of an overall diagram of a solid-state image sensor according to a first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a configuration example of a solid-state image sensor and a DSP circuit according to a first embodiment of the present technology. It is an example of the whole figure of the solid-state image sensor in a comparative example.
  • 6 is a timing chart showing an example of global shutter operation in the first embodiment of the present technology. It is a timing chart showing an example of the first auto-zero operation and the first integration operation in the first embodiment of the present technology.
  • FIG. 3 is a diagram illustrating an example of the state of the solid-state image sensor during the first auto-zero period in the first embodiment of the present technology.
  • FIG. 3 is a diagram illustrating an example of a state of a solid-state image sensor during a first integration period in the first embodiment of the present technology. It is a timing chart which shows an example of the second integration operation in the first embodiment of the present technology.
  • FIG. 6 is a diagram illustrating an example of the state of the solid-state image sensor during the second integration period in the first embodiment of the present technology. It is a timing chart which shows an example of the third integration operation in the first embodiment of the present technology.
  • FIG. 7 is a diagram illustrating an example of the state of the solid-state image sensor during the third integration period in the first embodiment of the present technology.
  • FIG. 5 is a timing chart showing an example of a first read operation in the first embodiment of the present technology.
  • FIG. 3 is a diagram illustrating an example of the state of the solid-state image sensor during the first readout period in the first embodiment of the present technology. It is a timing chart which shows an example of the second auto-zero operation and the fourth integration operation in the first embodiment of the present technology.
  • FIG. 7 is a diagram illustrating an example of the state of the solid-state image sensor during the second auto-zero period in the first embodiment of the present technology.
  • FIG. 7 is a diagram illustrating an example of the state of the solid-state image sensor during the fourth integration period in the first embodiment of the present technology. It is a timing chart which shows an example of the 5th integration operation in the 1st embodiment of this technique.
  • FIG. 12 is a block diagram illustrating a configuration example of a solid-state image sensor according to a ninth embodiment of the present technology.
  • FIG. 12 is a circuit diagram showing a configuration example of a dummy pixel, a regulator, and a switching section in a ninth embodiment of the present technology.
  • 12 is a timing chart showing an example of the operation of a dummy pixel and a regulator in a ninth embodiment of the present technology.
  • FIG. 12 is a circuit diagram illustrating a configuration example of an effective pixel according to a ninth embodiment of the present technology.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging device 100 according to a first embodiment of the present technology.
  • the imaging device 100 is a device that captures image data, and includes an imaging lens 110, a solid-state imaging device 200, a recording section 120, and an imaging control section 130.
  • a digital camera or an electronic device having an imaging function (such as a smartphone or a personal computer) is assumed.
  • the solid-state imaging device 200 captures image data and performs predetermined processing such as image recognition processing under the control of the imaging control unit 130. This solid-state image sensor 200 supplies processed data to the recording unit 120 via a signal line 209.
  • the imaging lens 110 focuses light and guides it to the solid-state imaging device 200.
  • the imaging control unit 130 controls the solid-state imaging device 200 to capture image data.
  • the imaging control unit 130 supplies, for example, an imaging control signal including a vertical synchronization signal VSYNC to the solid-state imaging device 200 via a signal line 139.
  • the recording unit 120 records processed data.
  • the imaging device 100 records the processed data
  • the data may be transmitted to the outside of the imaging device 100.
  • an external interface for transmitting data is further provided.
  • the imaging device 100 may further display the processing results.
  • a display section is further provided.
  • a set of pixels 300 arranged in the horizontal direction will be referred to as a "row”, and a set of pixels 300 arranged in the direction perpendicular to the row will be referred to as a "column”.
  • the vertical scanning circuit 211 sequentially selects and drives rows and outputs analog pixel signals.
  • the pixel 300 photoelectrically converts incident light to generate an analog pixel signal. This pixel 300 supplies a pixel signal to the column signal processing circuit 260 via the load MOS circuit block 250.
  • MOS transistors that supply a constant current are provided for each column.
  • the column signal processing circuit 260 performs signal processing such as AD (Analog to Digital) conversion processing and CDS (Correlated Double Sampling) processing on pixel signals for each column. This column signal processing circuit 260 supplies the processed data to the recording section 120.
  • AD Analog to Digital
  • CDS Correlated Double Sampling
  • FIG. 3 is a circuit diagram showing a configuration example of the pixel 300 in the first embodiment of the present technology.
  • This pixel 300 includes a front-stage circuit 310, capacitive elements 321 and 322, a selection circuit 330, a rear-stage reset transistor 341, and a rear-stage circuit 350.
  • the front stage circuit 310 includes a photoelectric conversion element 311, a transfer transistor 312, an FD (Floating Diffusion) reset transistor 313, an FD 314, a front stage amplification transistor 315, a precharge transistor 318, and a current source transistor 316.
  • a photoelectric conversion element 311 a transfer transistor 312, an FD (Floating Diffusion) reset transistor 313, an FD 314, a front stage amplification transistor 315, a precharge transistor 318, and a current source transistor 316.
  • the photoelectric conversion element 311 generates charges by photoelectric conversion.
  • the transfer transistor 312 transfers charges from the photoelectric conversion element 311 to the FD 314 in accordance with a transfer signal trg from the vertical scanning circuit 211.
  • the FD reset transistor 313 extracts charge from the FD 314 and initializes it in accordance with the FD reset signal rst from the vertical scanning circuit 211.
  • the FD 314 stores charge and generates a voltage according to the amount of charge.
  • the front stage amplification transistor 315 amplifies the voltage level of the FD 314 and outputs it to the front stage node 320.
  • the sources of the FD reset transistor 313 and the front-stage amplification transistor 315 are connected to the power supply voltage VDD.
  • each of the capacitive elements 321 and 322 is commonly connected to the previous stage node 320, and the other end of each is connected to the selection circuit 330.
  • the capacitive elements 321 and 322 are examples of first and second capacitive elements described in the claims.
  • the second stage reset transistor 341 initializes the level of the second stage node 340 to a predetermined potential Vreg in accordance with the second stage reset signal rstb from the vertical scanning circuit 211.
  • the potential Vreg is set to a potential different from VDD (for example, a potential lower than VDD).
  • the post-stage circuit 350 includes a post-stage amplification transistor 351 and a post-stage selection transistor 352.
  • Post-stage amplification transistor 351 amplifies the level of post-stage node 340.
  • the second-stage selection transistor 352 outputs a signal at the level amplified by the second-stage amplification transistor 351 to the vertical signal line 309 as a pixel signal in accordance with the second-stage selection signal selb from the vertical scanning circuit 211.
  • transistor 312 transistor 312, etc.
  • transistor 312 transistor 312, etc.
  • nMOS n-channel Metal Oxide Semiconductor
  • the vertical scanning circuit 211 supplies a high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure. Thereby, the photoelectric conversion element 311 is initialized.
  • this control will be referred to as "PD reset”.
  • the vertical scanning circuit 211 sets the rear stage reset signal rstb and selection signal ⁇ r to high level for all pixels, and supplies the high level FD reset signal rst over the pulse period.
  • the FD 314 is initialized, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 321. This control will be referred to as "FD reset" hereinafter.
  • the level of the FD 314 at the time of FD reset and the level corresponding to that level are hereinafter collectively referred to as "P phase” or "reset level”. .
  • the vertical scanning circuit 211 supplies a high-level transfer signal trg over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ s to a high level for all pixels.
  • signal charges corresponding to the exposure amount are transferred to the FD 314, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322.
  • the level of the FD 314 during signal charge transfer and the level corresponding to that level are collectively referred to as “D phase” or “signal level”. It is called.
  • Exposure control that starts and ends exposure for all pixels at the same time is called a global shutter method.
  • the front-stage circuit 310 of all pixels sequentially generates a reset level and a signal level.
  • the reset level is held in the capacitive element 321, and the signal level is held in the capacitive element 321.
  • the vertical scanning circuit 211 sequentially selects the rows and sequentially outputs the reset level and signal level of the rows. For example, it is assumed that the reset level and the signal level are output in this order.
  • the vertical scanning circuit 211 supplies a high-level selection signal ⁇ r for a predetermined period while setting the FD reset signal rst and the subsequent stage selection signal selb of the selected row to a high level.
  • the capacitive element 321 is connected to the subsequent node 340, and a reset level is output.
  • the vertical scanning circuit 211 After outputting the reset level, the vertical scanning circuit 211 supplies the high-level rear-stage reset signal rstb over the pulse period while keeping the FD reset signal rst and the latter-stage selection signal selb of the selected row at high level. As a result, the level of the subsequent node 340 is initialized. At this time, selection transistor 331 and selection transistor 332 are both in an open state, and capacitive elements 321 and 322 are disconnected from subsequent node 340.
  • the vertical scanning circuit 211 supplies a high-level selection signal ⁇ s for a predetermined period while keeping the FD reset signal rst and the subsequent selection signal selb of the selected row at high level.
  • the other side of the capacitive element 322 is connected to the subsequent node 340, and a signal level is output.
  • the pixel 300 can also output the signal level and then the reset level in that order.
  • the circuits within the solid-state image sensor 200 can also be distributed and arranged in a pixel chip 201 and a circuit chip 202 in a stacked structure.
  • the photoelectric conversion element 311, the transfer transistor 312, the FD reset transistor 313, the FD 314, and the preamplification transistor 315 are arranged on the pixel chip 201, and the remaining elements and circuits are arranged on the circuit chip 202.
  • FIG. 5 is a block diagram showing a configuration example of the load MOS circuit block 250 and the column signal processing circuit 260 in the first embodiment of the present technology.
  • vertical signal lines 309 are wired for each column.
  • M is an integer
  • M vertical signal lines 309 are wired.
  • a load MOS transistor 251 that supplies a constant current id2 is connected to each of the vertical signal lines 309.
  • the column signal processing circuit 260 includes a plurality of integration circuits such as integration circuits 270-1, 270-2 and 270-3, a switching circuit 261, a plurality of ADCs such as ADCs 280-1 and 280-2, and an image recognition circuit. 290 are arranged. Integrating circuits are arranged for each column, and ADCs are arranged for every K columns, assuming that the horizontal size of the filter to be applied is K columns (K is an integer). In the figure, ADCs are arranged every three columns.
  • the filter is an array of filter coefficients to be multiplied by the pixel signal for each of a plurality of pixels, and is also called a kernel.
  • the integrating circuit 270-1 time-integrates the pixel signals of J pixels in the corresponding column, with the vertical size of the applied filter being J (J is an integer) rows.
  • the integration time for each pixel of this integration circuit 270-1 is a time corresponding to the absolute value of the filter coefficient corresponding to that pixel.
  • the integration time of a pixel with a filter coefficient of "-2" is set to twice the integration time of a pixel with a filter coefficient of "+1".
  • Integrating circuit 270-1 supplies an integral signal to switching circuit 261. Note that the configurations of the integrating circuits 270-2 and 270-3 are the same as that of the integrating circuit 270-1.
  • the switching circuit 261 switches the output destination of each of the integrating circuits based on the application range of the filter. It is assumed that filters are applied to three columns corresponding to integrating circuits 270-1, 270-2, and 270-3. In this case, for example, the switching circuit 261 sets the output destination of those integrating circuits to the ADC 280-1. When the filter is slid one column to the right, the switching circuit 261 switches the output destinations of the integrating circuits 270-2 and 270-3 to the ADC 280-2.
  • the ADC 280-1 performs analog addition of integral signals from each of a plurality of integrating circuits and converts the resultant signal into a digital signal.
  • This ADC 280-1 supplies a digital signal to the image recognition section 290. Note that the configuration of ADC 280-2 is similar to that of ADC 280-1.
  • the image recognition unit 290 performs image recognition processing using digital signals from each ADC such as the ADC 280-1.
  • the image recognition section 290 outputs the processed data to the recording section 120.
  • FIG. 6 is a circuit diagram showing an example of the configuration of the integrating circuit 270-1 and the ADC 280-1 in the first embodiment of the present technology.
  • Integrating circuit 270-1 includes an input switch 271, a resistive element 272, an operational amplifier 273, a capacitive element 274, and an auto-zero switch 275.
  • the input switch 271 opens and closes the path between the vertical signal line 309 and the resistance element 272 in the corresponding column according to the control signal INT from the timing control circuit 212.
  • Resistance element 272 is inserted between input switch 271 and the inverting input terminal (-) of operational amplifier 273. Further, the non-inverting input terminal (+) of the operational amplifier 273 is grounded.
  • Capacitive element 274 is inserted between the connection node of input switch 271 and resistive element 272 and the output terminal of operational amplifier 273.
  • the auto-zero switch 275 opens and closes a path between the connection node of the input switch 271 and the resistance element 272 and the output terminal of the operational amplifier 273 in accordance with the control signal AZ1 from the timing control circuit 212.
  • the integration time can be adjusted by controlling the time during which the input switch 271 is in the closed state using the control signal INT.
  • the integration time for each pixel is set to a time corresponding to the absolute value of the filter coefficient corresponding to that pixel.
  • each of the integrating circuits 270-1, 270-2, and 270-3 time-integrates the pixel signals of the 3 pixels in the corresponding column, and transmits them via the switching circuit 261.
  • the integral signal is supplied to ADC280-1.
  • the comparator 285 compares the ramp signal Rmp from the DAC 213 with a signal obtained by adding analog integral signals of the integrating circuits 270-1 to 270-3. This comparator 285 outputs the comparison result to the counter 287.
  • the auto-zero switch 286 opens and closes the path between the inverting input terminal (-) and the output terminal of the comparator 285 in accordance with the control signal AZ2 from the timing control circuit 212.
  • the counter 287 counts the count value over a period until the comparison result of the comparator 285 is inverted. This counter 287 supplies a digital signal indicating the count value to the image recognition section 290. Further, the counter 287 is capable of both up-counting and down-counting, and the timing control circuit 212 can control whether to perform up-counting or down-counting.
  • FIG. 7 is an example of an overall view of the solid-state image sensor 200 in the first embodiment of the present technology.
  • Each of the plurality of pixels arranged in a two-dimensional grid generates and holds an analog pixel signal.
  • Each pixel signal includes a reset level and a signal level depending on the exposure amount.
  • Each pixel holds a reset level and a signal level and sequentially outputs them.
  • the size of the filter is assumed to be J rows x K columns.
  • the first output signal among the reset level and signal level of the j-th row and k-th column is defined as S1_[j,k]
  • the next output signal is defined as S1_[j, k].
  • S2_[j, k] j is an integer from 0 to J-1
  • k is an integer from 0 to K-1.
  • the integration time corresponding to the absolute value of the filter coefficient corresponding to the j-th row and k-th column is assumed to be t_[j, k].
  • the integration circuit in the k-th column time-integrates each pixel signal (reset level or signal level) of the J pixels in that column.
  • the ADC 280-1 performs analog addition of the integral signals of each column and converts them into digital signals.
  • the counter in ADC 280-1 counts up when converting the analog signal corresponding to S1_[j, k], and counts down when converting the analog signal corresponding to S2_[j, k].
  • CDS processing for determining the difference between the reset level and the signal level (in other words, the net signal level) is realized.
  • the ADC performs both AD conversion and CDS processing, it is also possible to add a CDS circuit at a subsequent stage so that the ADC performs only AD conversion and the CDS circuit performs CDS processing.
  • This digital signal Convd is expressed by the following convolution integral.
  • each pixel outputs a reset level and a signal level in a predetermined order when the sign of the corresponding filter coefficient is positive, and outputs them in the reverse order when the sign is negative. For example, when the filter coefficient is positive, the pixel outputs the signal level and then the reset level, and when the filter coefficient is negative, the pixel outputs the reset level and then the signal level. In this way, by changing the output order according to the sign of the filter coefficient, the sign of the filter coefficient can be reflected in the sign of the difference after CDS processing.
  • the image recognition unit 290 also includes a CNN (Convolutional Neural Network) processing unit 291 and a data matching unit 292.
  • the CNN processing unit 291 performs CNN processing on each digital signal of the ADC.
  • CNN includes a plurality of convolutional layers, and the product-sum operation of the first convolutional layer is realized by an analog circuit including a plurality of integration circuits and a comparator (not shown) in the ADC.
  • Computations for the second and subsequent convolutional layers are executed by the CNN processing unit 291.
  • the CNN processing unit 291 supplies the processed feature amount data to the data matching unit 292.
  • the CNN processing unit 291 and the data matching unit 292 are arranged inside the solid-state image sensor 200, all or part of them can also be arranged outside the solid-state image sensor 200.
  • the CNN processing section 291 and the data matching section 292 can be arranged in a DSP (Digital Signal Processing) circuit outside the solid-state image sensor 200.
  • DSP Digital Signal Processing
  • the ADC performs both AD conversion processing and CDS processing by up-counting and down-counting
  • the subsequent circuit executes the CDS processing.
  • FIG. 9 is an example of an overall view of a solid-state image sensor 200 in a comparative example.
  • an ADC is arranged for each column.
  • the integrating circuit 270-1 and the like and the switching circuit 261 are not arranged, and a frame memory is further arranged.
  • the frame memory holds image data consisting of digital signals after AD conversion.
  • the CNN processing unit 291 performs CNN processing on the image data in the frame memory.
  • the product-sum operation of the first convolutional layer of CNN is performed by a digital circuit.
  • the solid-state imaging device 200 illustrated in FIGS. 7 and 8 there is no need to hold image data in the frame memory, so power consumption can be reduced compared to the comparative example.
  • the product-sum operation of the first convolution layer is performed in parallel by the integrating circuit for each column and the ADC for every three columns, so the processing speed is faster than in the comparative example. can be done quickly.
  • the processing speed can be made faster than in Non-Patent Document 1, which adds each column one by one. This makes it possible to particularly improve the accuracy of image recognition for moving subjects.
  • the filter coefficient is reflected in the integration time, it is possible to set any filter coefficient, improving the accuracy of image recognition compared to Non-Patent Document 1, in which the filter coefficient is limited to +1, 0, and -1. can be done.
  • solid-state image sensor 200 in FIGS. 7 and 8 since exposure is performed using a global shutter method, rolling shutter distortion is eliminated and field simultaneity can be maintained. Thereby, image recognition can be performed using image data of high image quality equivalent to that of a normal CIS (Cmos Image Sensor).
  • CIS Central Image Sensor
  • Such a solid-state image sensor 200 is advantageous for recognizing moving objects that move at high speed, and therefore can be used for the following various purposes. (1) An application in which a solid-state image sensor 200 is mounted on an in-vehicle camera and the results of image recognition processing are used to realize autonomous driving. (2) Applications in which the solid-state image sensor 200 is mounted on an industrial camera and various inspections are performed using the results of image recognition processing.
  • FIG. 10 is a timing chart showing an example of global shutter operation in the first embodiment of the present technology.
  • the vertical scanning circuit 211 supplies a high-level FD reset signal rst and transfer signal trg to all rows (in other words, all pixels) from timing T0 immediately before the start of exposure to timing T1 after the pulse period has elapsed. do.
  • the PDs of all pixels are reset, and exposure is started simultaneously in all rows.
  • rst_[n] and trg_[n] in the figure indicate signals to pixels in the n-th row among N rows.
  • N is an integer indicating the total number of rows
  • n is an integer from 1 to N.
  • the vertical scanning circuit 211 supplies the FD reset signal rst at a high level over the pulse period while setting the rear stage reset signal rstb and selection signal ⁇ r to high level in all pixels. .
  • the FD of all pixels is reset, and the reset level is sampled and held.
  • rstb_[n] and ⁇ r_[n] in the figure indicate signals to the pixels in the n-th row.
  • the vertical scanning circuit 211 returns the selection signal ⁇ r to the low level.
  • the vertical scanning circuit 211 sets the rear reset signal rstb and selection signal ⁇ s to high level in all pixels, and supplies a high level transfer signal trg over the pulse period.
  • the signal level is sampled and held.
  • the level of the previous node 320 decreases from the reset level (VDD-Vgs) to the signal level (VDD-Vgs-Vsig).
  • VDD is the power supply voltage
  • Vsig is the net signal level obtained by CDS processing.
  • Vgs is the gate-source voltage of the preamplification transistor 315.
  • ⁇ s_[n] in the figure indicates a signal to the pixel in the n-th row.
  • the vertical scanning circuit 211 returns the selection signal ⁇ s to the low level.
  • the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to supply the current id1.
  • id1_[n] in the figure indicates the current of the pixel in the n-th row.
  • the current id1 needs to be on the order of several nanoamperes (nA) to several tens of nanoamperes (nA).
  • the load MOS transistors 251 in all columns are in an off state, and the current id2 is not supplied to the vertical signal line 309.
  • FIG. 11 is a timing chart showing an example of the first auto-zero operation and the first (in other words, the 0th line) integral operation in the first embodiment of the present technology.
  • a indicates an example of a filter.
  • the size of the filter is 3 rows x 3 columns, and the relative rows and columns within the filter are the 0th, 1st, and 2nd rows, and the 0th, 1st, and 2nd columns.
  • the solid-state image sensor 200 After exposure using the global shutter method, the solid-state image sensor 200 performs convolution integration while sliding the filter in the horizontal and vertical directions. However, as described above, since an ADC is arranged every three columns, the solid-state image sensor 200 can perform M/3 convolution integrals in parallel, where the number of columns is M. Therefore, the number of horizontal slides only needs to be two.
  • the calculation period for the convolution integral for 3 rows is the first auto-zero period, the integration period for 3 rows, the first readout period, the second autozero period, the integration period for 3 rows, and the second readout period. including.
  • b in the figure is a timing chart showing an example of the first auto-zero operation and the first (0th line) integral operation.
  • the vertical scanning circuit 211 supplies high-level control signals AZ1 and AZ2 from timing T11 to the pulse period.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage selection signal selb to the 0th row.
  • selb_[n] in the figure indicates a signal to the pixel in the n-th row.
  • the vertical scanning circuit 211 supplies the high level rear stage reset signal rstb to the 0th row.
  • the vertical scanning circuit 211 sets one of the selection signals ⁇ r and ⁇ s to a high level for each column, and outputs one of the reset level and the signal level. Which of the selection signals ⁇ r and ⁇ s is set to high level is determined by the sign of the corresponding filter coefficient.
  • the timing control circuit 212 supplies a control signal INT for time-integrating the pixel signal to each column.
  • INT_[m] in the figure indicates a signal to the m-th (m is 0, 1, or 2) column integrating circuit.
  • the pulse width of the control signal INT_[m] is a value according to the absolute value of the corresponding filter coefficient.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the 0th row are "-1", "+1", and "-1", and their absolute values are the same, so the control signals INT_[0], INT_[ 1] and INT_[2] are set to the same pulse width.
  • FIG. 12 is a diagram illustrating an example of the state of the solid-state image sensor 200 during the first auto-zero period in the first embodiment of the present technology.
  • the control signal AZ1 closes the auto-zero switch 275 in the integrating circuit of each column, and the integrating circuit is reset. Furthermore, the control signal AZ2 closes the auto-zero switch 286 in each of the ADCs, and resets the comparator 285.
  • FIG. 13 is a diagram illustrating an example of the state of the solid-state image sensor 200 during the first integration period (line 0) in the first embodiment of the present technology.
  • the part surrounded by a thick frame a indicates the position of the pixel to be integrated.
  • b indicates an example of the state of the solid-state image sensor 200 during the first integration period (line 0).
  • the control signal INT closes the input switch 271 in the integrating circuit of each column for an integration time corresponding to the absolute value of the filter coefficient.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the 0th row are "-1", "+1", and "-1", and the absolute values are the same, so the integration time of each column is the same.
  • the integration time of each column is t, and the reset level (P phase level) output by the pixel in the 0th row and 0th column is P00.
  • the signal level (D-phase level) output by the pixel in the 0th row and 1st column is set to D01, and the reset level (P-phase level) outputted by the pixel in the 0th row and 2nd column is P02.
  • the integral signals of the 0th, 1st, and 2nd columns are P00 ⁇ t, D01 ⁇ t, and P02 ⁇ t.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage selection signal selb to the first row.
  • the vertical scanning circuit 211 supplies a high-level rear stage reset signal rstb to the first row.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the first row are "+1", “+3", and "+1".
  • the selection signal ⁇ s_[10] in the 1st row and 0th column is controlled to a high level within the integration period of the 1st row, and the selection signal ⁇ s_[11] in the 1st row and 1st column is controlled to a high level.
  • the selection signal ⁇ s_[12] in the first row and second column is controlled to a high level.
  • signal levels are output from each of the 0th column, 1st column, and 2nd column of the 1st row.
  • the timing control circuit 212 supplies each column with a control signal INT for time-integrating the pixel signal. Since the filter coefficients in the 0th row, 0th, 1st, and 2nd columns are "+1", “+3", and "+1", the pulse width of the control signal INT_[1] is equal to the control signal INT_[0] and the control signal Set to three times the pulse width of INT_[2].
  • FIG. 15 is a diagram illustrating an example of the state of the solid-state image sensor 200 during the second (first row) integration period in the first embodiment of the present technology.
  • the part surrounded by a thick frame a indicates the position of the pixel to be integrated.
  • the control signal INT closes the input switch 271 in the integrating circuit of each column for an integration time corresponding to the absolute value of the filter coefficient. Since the filter coefficients in columns 0, 1, and 2 of the 1st row are "+1", “+3", and "+1", the integration time of the 1st column is 3 times the integration time of the 0th and 2nd columns. Double.
  • the integration time of the 0th column is t, and the signal level (D phase level) output by the pixel of the 1st row and 0th column is D10.
  • the signal level (D-phase level) output by the pixel in the 1st row and 1st column is set to D11
  • the signal level (D-phase level) outputted by the pixel in the 1st row and 2nd column is set to D12.
  • the integral signal in the 0th column is P00 ⁇ t+D10 ⁇ t
  • the integral signal in the 1st column is D01 ⁇ t+D11 ⁇ 3t
  • the integral signal in the 2nd column is P02 ⁇ t+D12 ⁇ t.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst and subsequent stage selection signal selb to the second row.
  • the vertical scanning circuit 211 supplies a high-level rear stage reset signal rstb to the second row.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the second row are "-1", “+1", and "-1".
  • the selection signal ⁇ r_[20] in the 2nd row, 0th column is controlled to high level
  • the selection signal ⁇ s_[21] in the 2nd row, 1st column is controlled to high level
  • the selection signal ⁇ r_[20] in the 2nd row, 2nd column is controlled to high level.
  • the selection signal ⁇ r_[22] is controlled to high level.
  • the reset level is output from the second row and the 0th column
  • the signal level is output from the second row and the first column
  • the reset level is output from the second row and the second column.
  • the timing control circuit 212 supplies each column with a control signal INT for time-integrating the pixel signal.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the second row are "-1", “+1", and "-1", and their absolute values are the same, so the control signals INT_[0], INT_[ 1] and INT_[2] are set to the same pulse width.
  • FIG. 17 is a diagram illustrating an example of the state of the solid-state image sensor during the third (second row) integration period in the first embodiment of the present technology.
  • the part surrounded by a thick frame a indicates the position of the pixel to be integrated.
  • the control signal INT closes the input switch 271 in the integrating circuit of each column for an integration time corresponding to the absolute value of the filter coefficient.
  • the filter coefficients in columns 0, 1, and 2 of the first row are "-1", “+1", and "-1", and the absolute values are the same, so the integration time of each column is the same.
  • the integration time of each column is t, and the reset level (P phase level) output by the pixel in the 2nd row and 0th column is P20.
  • the signal level (D-phase level) output by the pixel in the second row and first column is set to D21, and the reset level (P-phase level) outputted by the pixel in the second row and second column is P22.
  • the integral signal in the 0th column is P00 ⁇ t+D10 ⁇ t+P20 ⁇ t.
  • the integral signal in the first column is D01 ⁇ t+D11 ⁇ 3t+D21 ⁇ t
  • the integral signal in the second column is P02 ⁇ t+D12 ⁇ t+P22 ⁇ t.
  • FIG. 18 is a timing chart showing an example of the first read operation in the first embodiment of the present technology.
  • the ramp signal Rmp gradually changes during the read period from timing T23 to T24, and AD conversion is performed.
  • FIG. 19 is a diagram illustrating an example of the state of the solid-state image sensor 200 during the first read period in the first embodiment of the present technology.
  • Integrating circuits 270-1, 270-2, and 270-3 supply the held integral signals to ADC 280-1.
  • the ADC 280-1 AD-converts the signal obtained by analog addition of this integral signal into a digital signal Conv1.
  • FIG. 20 is a timing chart showing an example of the second auto-zero operation and the fourth (in other words, the 0th line) integration operation in the first embodiment of the present technology.
  • the vertical scanning circuit 211 supplies the high-level control signal AZ1 to the nth row from timing T25 over the pulse period.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage selection signal selb to the 0th row.
  • the filter coefficients in the 0th row, 0th, 1st, and 2nd columns are "-1", “+1", and "-1".
  • the selection signal ⁇ s_[00] of row 0 and column 0 is controlled to high level
  • the selection signal ⁇ r_[01] of row 0 and column 1 is controlled to high level
  • the selection signal ⁇ s_[00] of row 0 and column 2 is controlled to high level
  • the selection signal ⁇ s_[02] is controlled to high level.
  • a signal level is output from the 0th row and the 0th column
  • a reset level is output from the 0th row and the 1st column
  • a signal level is output from the 0th row and the 2nd column.
  • the timing control circuit 212 supplies each column with a control signal INT for time-integrating the pixel signal. Since the absolute values of the filter coefficients in the 0th, 1st, and 2nd columns of the 0th row are the same, the pulse widths of the control signals INT_[0], INT_[1], and INT_[2] are set to be the same.
  • the vertical scanning circuit 211 sets one of the selection signals ⁇ r and ⁇ s to a high level within the first integration period, and the second selection signal after a certain period of time.
  • the other of ⁇ r and ⁇ s is set to high level within the integration period of .
  • the selection circuit 330 of the selected row performs controls for connecting the capacitive element 321 to the subsequent node 340, controlling for disconnecting the capacitive elements 321 and 322 from the subsequent node 340, and connecting the capacitive element 322 to the subsequent node 340. control is performed in order.
  • rear-stage reset transistor 341 in the selected row initializes the level of rear-stage node 340. In this way, by separating capacitive elements 321 and 322 when driving rear-stage reset transistor 341, kTC noise can be reduced.
  • FIG. 21 is a diagram illustrating an example of the state of the solid-state image sensor during the second auto-zero period in the first embodiment of the present technology.
  • the control signal AZ1 closes the auto-zero switch 275 in the integrating circuit of each column, and the integrating circuit is reset.
  • FIG. 22 is a diagram illustrating an example of the state of the solid-state image sensor during the fourth integration period (line 0) in the first embodiment of the present technology.
  • the part surrounded by a thick frame a indicates the position of the pixel to be integrated.
  • b indicates an example of the state of the solid-state image sensor 200 during the fourth integration period (line 0).
  • the control signal INT closes the input switch 271 in the integrating circuit of each column for an integration time corresponding to the absolute value of the filter coefficient.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the 0th row are "-1", "+1", and "-1", and the absolute values are the same, so the integration time of each column is the same.
  • the integration time of each column be t, and let the signal level (D phase level) output by the pixel in the 0th row and 0th column be D00.
  • P01 be the reset level (P phase level) output by the pixel in the 0th row and 1st column
  • D02 be the signal level (D phase level) output by the pixel in the 0th row and 2nd column.
  • the integral signals of the 0th, 1st, and 2nd columns are D00 ⁇ t, P01 ⁇ t, and D02 ⁇ t.
  • FIG. 23 is a timing chart showing an example of the fifth (in other words, the first line) integration operation in the first embodiment of the present technology.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage selection signal selb to the first row.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the first row are "+1", “+3", and "+1".
  • the selection signal ⁇ r_[10] in the 1st row and 0th column is controlled to a high level within the integration period of the 1st row, and the selection signal ⁇ r_[11] in the 1st row and 1st column is controlled to a high level.
  • the selection signal ⁇ r_[12] in the first row and second column is controlled to a high level.
  • a reset level is output from each of the 0th column, 1st column, and 2nd column of the 1st row.
  • FIG. 24 is a diagram illustrating an example of the state of the solid-state image sensor during the fifth (first row) integration period in the first embodiment of the present technology.
  • the part surrounded by a thick frame a indicates the position of the pixel to be integrated.
  • the integration time in the 0th column is t
  • the reset level (P phase level) output by the pixel in the 1st row and 0th column is P10.
  • the reset level (P-phase level) output by the pixel in the 1st row and 1st column is P11
  • the reset level (P-phase level) output by the pixel in the 1st row and 2nd column is P12.
  • the integral signal in the 0th column is D00 ⁇ t+P10 ⁇ t
  • the integral signal in the 1st column is P01 ⁇ t+P11 ⁇ 3t
  • the integral signal in the 2nd column is D02 ⁇ t+P12 ⁇ t.
  • FIG. 25 is a timing chart showing an example of the sixth (in other words, the second line) integration operation in the first embodiment of the present technology.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst and subsequent stage selection signal selb to the second row.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the second row are "-1", “+1", and "-1".
  • the selection signal ⁇ s_[20] in the 2nd row, 0th column is controlled to high level
  • the selection signal ⁇ r_[21] in the 2nd row, 1st column is controlled to high level
  • the selection signal ⁇ s_[20] in the 2nd row, 2nd column is controlled to high level.
  • the selection signal ⁇ s_[22] is controlled to high level.
  • a signal level is output from the second row and the 0th column
  • a reset level is output from the second row and the first column
  • a signal level is output from the second row and the second column.
  • the timing control circuit 212 supplies each column with a control signal INT for time-integrating the pixel signal.
  • the filter coefficients in the 0th, 1st, and 2nd columns of the second row are "-1", “+1", and "-1", and their absolute values are the same, so the control signals INT_[0], INT_[ 1] and INT_[2] are set to the same pulse width.
  • FIG. 26 is a diagram illustrating an example of the state of the solid-state image sensor during the sixth (second row) integration period in the first embodiment of the present technology.
  • the part surrounded by a thick frame a indicates the position of the pixel to be integrated.
  • the control signal INT closes the input switch 271 in the integrating circuit of each column for an integration time corresponding to the absolute value of the filter coefficient.
  • the filter coefficients in columns 0, 1, and 2 of the first row are "-1", “+1", and "-1", and the absolute values are the same, so the integration time of each column is the same.
  • the integration time of each column be t, and let the signal level (D phase level) output by the pixel in the 2nd row and 0th column be D20.
  • the reset level (P phase level) output by the pixel in the second row and first column is P21
  • the signal level (D phase level) output by the pixel in the second row and second column is D22.
  • the integral signal in the 0th column is D00 ⁇ t+P10 ⁇ t+D20 ⁇ t.
  • the integral signal in the first column is P01 ⁇ t+P11 ⁇ 3t+P21 ⁇ t
  • the integral signal in the second column is D02 ⁇ t+P12 ⁇ t+D22 ⁇ t.
  • FIG. 27 is a timing chart showing an example of the second read operation in the first embodiment of the present technology.
  • the ramp signal Rmp gradually changes during the read period from timing T35 to T36, and AD conversion is performed.
  • FIG. 28 is a diagram illustrating an example of the state of the solid-state image sensor 200 during the second readout period in the first embodiment of the present technology.
  • Integrating circuits 270-1, 270-2, and 270-3 supply the held integral signals to ADC 280-1.
  • the ADC 280-1 performs AD conversion on a signal obtained by analog addition of the integrated signals to a digital signal Conv2, and calculates Convd, which is the difference between the first digital signal Conv1 and the second digital signal Conv2. These are expressed by the following formula.
  • Equation 4 is equivalent to Equation 1 when both J and K are "3".
  • FIG. 29 is a diagram showing an example of the state of the solid-state image sensor 200 when the filter according to the first embodiment of the present technology is slid one row in the horizontal direction. Pixels with thick frames in the figure indicate pixels to which a filter is applied.
  • the switching circuit 261 switches the output destinations of the integrating circuits 270-2 and 270-3 to the ADC 280-2. When sliding by two columns, the switching circuit 261 switches the output destinations of the integrating circuits 270-1 and 270-2 to the ADC 280-1, and switches the output destination of the integrating circuits 270-3 to the ADC 280-2.
  • the vertical scanning circuit 211 only needs to change the row addresses of the three rows to be driven.
  • Equations 1 to 4 by changing the output order of the reset level and signal level according to the sign of the filter coefficient, the sign of the filter coefficient can be reflected in the sign of the difference for each pixel.
  • FIG. 30 is a flowchart illustrating an example of the operation of the solid-state image sensor 200 in the first embodiment of the present technology. This operation is started, for example, when a predetermined application for performing image recognition is executed.
  • the vertical scanning circuit 211 exposes all pixels (step S901). Each pixel samples and holds a reset level and a signal level (step S902). The vertical scanning circuit 211 selects three rows to read out, and the integrating circuits in each column time-integrate the pixel signals (reset level or signal level) for the three rows (step S903). Then, each of the ADCs performs the first AD conversion (step S904). Then, the integrating circuits in each column time-integrate the pixel signals for three rows (step S905), and each ADC performs second AD conversion and difference calculation (step S906).
  • the solid-state image sensor 200 determines whether filter processing has been completed for all pixels (step S907). If the filter processing is not completed (step S907: No), the solid-state image sensor 200 slides the filter in the horizontal direction or vertical direction (step S909), and repeats steps S903 and subsequent steps.
  • step S907 When the filter processing is completed (step S907: Yes), the solid-state image sensor 200 executes CNN processing (step S908), and compares it with the data of the feature amount of the recognition target (step S909). After step S909, the solid-state image sensor 200 ends the image recognition process.
  • FIG. 31 is a diagram illustrating an example of the usage of the solid-state image sensor 200 in the first embodiment of the present technology.
  • a is a diagram showing an example of a general CNN. This CNN includes an input layer, multiple stages of convolutional layers, one or more pooling layers, a fully connected layer, and an output layer.
  • the product-sum operation of the first convolution layer is executed by an analog circuit including an integrating circuit and an ADC, as illustrated in FIG.
  • the processing of subsequent layers is executed by the CNN processing unit 291 in FIG.
  • the solid-state imaging device 200 calculates observed data y, which is the product of a random design matrix ⁇ m and sparse input data x. Pixel signals of all pixels are used as input data x. Therefore, the size of the filter is equal to the size of the image data. If x is sparse, ⁇ can be used to recover x from y. Such compressed sensing can reduce the data size of image data.
  • the ADC adds analog signals to the time-integrated signals by the integrating circuit and converts them into digital signals
  • the filter coefficients are not limited and the processing speed is improved. do. Thereby, the accuracy of image recognition can be improved.
  • the solid-state imaging device 200 performs image recognition processing using an integrating circuit or the like, but it is also possible to image normal image data without performing convolution integration.
  • the solid-state imaging device 200 according to this modification of the first embodiment differs from the second embodiment in that a bypass switch that bypasses the integrating circuit is added.
  • FIG. 32 is a circuit diagram showing a configuration example of the column signal processing circuit 260 in a modification of the first embodiment of the present technology.
  • the column signal processing circuit 260 of this modification of the first embodiment differs from the first embodiment in that it further includes bypass switches 262-1 to 262-3 and bypass switches 263-1 to 263-3. different from.
  • the ADCs are arranged in each column.
  • bypass switches 262-1 to 262-3 and the bypass switches 263-1 to 263-3 bypass the integrating circuits 270-1 to 270-3 under the control of the timing control circuit 212.
  • the solid-state image sensor 200 is set to either an image recognition mode in which image recognition processing is performed or a normal mode in which image recognition processing is not performed.
  • a bypass switch bypasses the integrator circuit.
  • the switching circuit 261 connects the bypass switch of each column and the ADC of that column.
  • bypass switch 263-1 and ADC 280-1 are connected, and bypass switch 263-2 and ADC 280-2 (not shown) are connected.
  • a bypass switch that bypasses the integration circuit is further disposed, so that normal image data can be captured without performing convolution integration.
  • Second embodiment> In the first embodiment described above, the size of the filter in the horizontal direction is fixed, but the configuration is not limited to this.
  • the solid-state imaging device 200 of this second embodiment differs from the first embodiment in that the horizontal size of the filter is made variable.
  • FIG. 33 is a circuit diagram showing a configuration example of the ADC 280-1 in the second embodiment of the present technology.
  • the ADC 280-1 of the second embodiment differs from the first embodiment in that it includes connection switches 283-1 to 283-(K-1), with the maximum horizontal size of the filter being K. different.
  • capacitive elements 282-1 to 282-K are provided instead of capacitive elements 282-1 to 282-3.
  • One end of each of the capacitive elements 282-1 to 282-K is connected to the corresponding integrating circuit via the switching circuit 261, and the other end is commonly connected to the inverting input terminal (-) of the comparator 285.
  • connection switch 283-k (k is an integer from 1 to K-1) connects one end of the capacitive element 282-k on the comparator 285 side and one end of the capacitive element 282-(k+1) on the comparator 285 side, according to the switching signal SW_k. It connects the The switching signal SW_k is supplied from the timing control circuit 212, for example.
  • Two adjacent capacitive elements among the capacitive elements 282-1 to 282-K are examples of first and second capacitive elements in the claims.
  • the horizontal size of the filter can be changed by controlling the number of the connection switches 283-1 to 283-(K-1) to be closed.
  • M/R ADCs are arranged. For example, if the minimum size is "2", ADCs are arranged every two columns.
  • connection switch 283-k is provided to connect one end of each of two adjacent capacitive elements, the horizontal size of the filter can be made variable. Can be done.
  • the photoelectric conversion element 311 generates and accumulates charges, but the image quality in a dark place may be insufficient.
  • the solid-state image sensor 200 in this third embodiment differs from the first embodiment in that an embedded photodiode is used as the photoelectric conversion element 311.
  • FIG. 34 is a diagram showing an example of the configuration of the photoelectric conversion element 311 in the third embodiment of the present technology.
  • An n-type region which is a charge storage section 502 of a photodiode (photoelectric conversion element 311), is embedded in a substrate 511.
  • the interface between silicon and the silicon oxide film is covered with a highly concentrated p layer 503, and by separating them with a Sip type region 503 with many crystal defects, it is possible to suppress white spots and dark current.
  • the p-type concentration in the peripheral portion 514 of the TG electrode 506 is too high, it will be difficult to read the signal, so it is necessary to reduce the p-type concentration only in the region 514.
  • a negative bias for example, ⁇ 1.2 V
  • Non-Patent Document 1 uses the photoelectric conversion current of a photodiode, and cannot adopt the embedded structure illustrated in the figure, making it difficult to improve image quality in a dark place.
  • FIG. 35 is a circuit diagram showing an example of the configuration of the pixel 300 in the fourth embodiment of the present technology.
  • the pixel 300 of this fourth embodiment includes rear-stage circuits 350-r and 350-s instead of the rear-stage circuit 350.
  • the selection transistor 331 opens and closes the path between the capacitive element 321 and the subsequent circuit 350-r, and the selection transistor 332 opens and closes the path between the capacitive element 322 and the subsequent circuit 350-s.
  • the subsequent circuit 350-r includes a subsequent amplification transistor 351-r and a subsequent selection transistor 352-r, and the subsequent circuit 350-s includes a subsequent amplification transistor 351-s and a subsequent selection transistor 352-s. Further, two vertical signal lines are wired for each column.
  • the subsequent circuit 350-r outputs a reset level to the vertical signal line 309-r, and the subsequent circuit 350-s outputs a signal level to the vertical signal line 309-s. These reset levels and signal levels are output simultaneously.
  • FIG. 36 is a circuit diagram showing a configuration example of the column signal processing circuit 260 in the fourth embodiment of the present technology.
  • the number of integrating circuits and ADCs is twice that of the first embodiment. For example, if the size of the filter is 3 rows x 3 columns, then for every third column, there are 6 integrating circuits such as integrating circuits 270-1 to 270-6, and 2 ADCs such as ADCs 280-1 and 280-2. is placed. Furthermore, CDS circuits 289 are further arranged every three columns.
  • switching circuits 261-1 and 261-2 are arranged.
  • the switching circuit 261-1 switches the connection destination of the vertical signal line, and the switching circuit 261-2 switches the connection destination of the integrating circuit.
  • the switching circuit 261-2 connects the output destinations of the integrating circuits 270-1, 270-2, and 270-3 to the ADC 280-1, and connects the output destinations of the integrating circuits 270-4, 270-5, and 270-6 to the ADC 280-1. It is assumed that it is connected to ADC280-2. Furthermore, these ADCs do not perform CDS processing, but only perform AD conversion.
  • the CDS circuit 289 subtracts the digital signal output from the ADC 280-2 from the digital signal output from the ADC 280-1, and supplies the result to the image recognition unit 290.
  • the switching circuit 261-1 switches the connection destination of the vertical signal line according to the sign of the filter coefficient of the pixel. For example, if we focus on a certain row in the filter and assume that the filter coefficient in the first column from the left of that row is -1, the filter coefficient in the second column is +1, and the filter coefficient in the third column is -1. do. In this case, the switching circuit 261-1 connects the vertical signal line (such as 309-r) that transmits the reset level of the first column to the integrating circuit 270-1, and 309-s, etc.) is connected to the integrating circuit 270-4.
  • the vertical signal line such as 309-r
  • the switching circuit 261-1 connects the vertical signal line transmitting the reset level of the second column to the integrating circuit 270-5, and connects the vertical signal line transmitting the signal level of that column to the integrating circuit 270-2. do.
  • the switching circuit 261-1 connects the vertical signal line transmitting the reset level of the third column to the integrating circuit 270-3, and connects the vertical signal line transmitting the signal level of that column to the integrating circuit 270-6.
  • AD conversion of the reset level of each pixel and AD conversion of the signal level can be performed in parallel. Thereby, the read speed can be improved.
  • the subsequent circuits 350-r and 350-s simultaneously output the reset level and the signal level, and the ADCs 280-1 and 280-2 simultaneously perform AD conversion. Therefore, the read speed can be improved.
  • the precharge transistor 318 is provided in the pixel 300, but this transistor can also be omitted.
  • the solid-state imaging device 200 in this fifth embodiment differs from the first embodiment in that the precharge transistor 318 is omitted.
  • FIG. 37 is a circuit diagram showing an example of the configuration of the pixel 300 in the fifth embodiment of the present technology.
  • the pixel 300 of this fifth embodiment differs from the first embodiment in that the precharge transistor 318 is omitted.
  • the vertical scanning circuit 211 may turn off the current source transistor 316 instead of the precharge transistor 318 by controlling the gate voltage to prevent charge leakage.
  • the circuit scale of the solid-state image sensor 200 can be reduced accordingly.
  • the pre-stage circuit 310 reads the signal while being connected to the pre-stage node 320, but with this configuration, noise from the pre-stage node 320 cannot be blocked during reading.
  • the pixel 300 of the first modification of the fifth embodiment differs from the first embodiment in that a transistor is inserted between the front-stage circuit 310 and the front-stage node 320.
  • FIG. 38 is a circuit diagram showing a configuration example of the pixel 300 in the first modification of the fifth embodiment of the present technology.
  • the pixel 300 of the first modification of the fifth embodiment differs from the fifth embodiment in that it further includes a pre-stage reset transistor 323 and a pre-stage selection transistor 324. Further, the power supply voltage of the front-stage circuit 310 and the rear-stage circuit 350 of the first modification of the fifth embodiment is set to VDD1.
  • the pre-stage reset transistor 323 initializes the level of the pre-stage node 320 with the power supply voltage VDD2.
  • This power supply voltage VDD2 is desirably set to a value that satisfies the following equation.
  • VDD2 VDD1-Vgs...Formula 5
  • Vgs is the gate-source voltage of the preamplification transistor 315.
  • the pre-stage selection transistor 324 opens and closes the path between the pre-stage circuit 310 and the pre-stage node 320 in accordance with the pre-stage selection signal sel from the vertical scanning circuit 211.
  • FIG. 39 is a timing chart showing an example of the global shutter operation in the first modification of the fifth embodiment of the present technology.
  • the timing chart of the first modification of the fifth embodiment differs from the first embodiment in that the vertical scanning circuit 211 further supplies a pre-stage reset signal rsta and a pre-stage selection signal sel.
  • rsta_[n] and sel_[n] indicate signals to the pixels in the n-th row.
  • the vertical scanning circuit 211 supplies a high-level pre-stage selection signal sel to all pixels from timing T2 immediately before the end of exposure to timing T5.
  • the pre-stage reset signal rsta is controlled to a low level.
  • the previous stage selection signal sel is controlled to a low level.
  • the pre-stage selection transistor 324 shifts to an open state, and the pre-stage node 320 is disconnected from the pre-stage circuit 310. Thereby, noise from the preceding node 320 can be blocked during reading.
  • the pre-stage selection transistor 324 transitions to the open state during reading and disconnects the pre-stage circuit 310 from the pre-stage node 320. Noise from the circuit 310 can be blocked.
  • the circuit within the solid-state image sensor 200 is provided on a single semiconductor chip, but with this configuration, there is a risk that the element will not fit within the semiconductor chip when the pixel 300 is miniaturized. There is.
  • the solid-state image sensor 200 of the second modification of the fifth embodiment differs from the fifth embodiment in that the circuits within the solid-state image sensor 200 are distributed and arranged over two semiconductor chips.
  • FIG. 40 is a diagram showing an example of the stacked structure of the solid-state image sensor 200 in the second modification of the fifth embodiment of the present technology.
  • a solid-state image sensor 200 according to a second modification of the fifth embodiment includes a circuit chip 202 and a pixel chip 201 stacked on the circuit chip 202. These chips are electrically connected by, for example, Cu--Cu junctions. Note that in addition to Cu--Cu bonding, connection can also be made by vias or bumps.
  • An upper pixel array section 221 is arranged on the pixel chip 201.
  • a lower pixel array section 222 and a column signal processing circuit 260 are arranged on the circuit chip 202.
  • a vertical scanning circuit 211 a timing control circuit 212, a DAC 213, and a load MOS circuit block 250 are also arranged in the circuit chip 202. These circuits are omitted in the figure.
  • the pixel chip 201 is manufactured using, for example, a pixel-dedicated process
  • the circuit chip 202 is manufactured using, for example, a CMOS (Complementary MOS) process.
  • CMOS Complementary MOS
  • FIG. 41 is a circuit diagram showing a configuration example of the pixel 300 in the second modification of the fifth embodiment of the present technology.
  • the pre-stage circuit 310 is arranged on the pixel chip 201, and the other circuits and elements (capacitive elements 321 and 322, etc.) are arranged on the circuit chip 202.
  • the current source transistor 316 can also be further arranged on the circuit chip 202.
  • the area of the pixel can be reduced and the pixel can be easily miniaturized. Become.
  • the circuits and elements within the pixel 300 are distributed and arranged on two semiconductor chips, so that it is easy to miniaturize the pixel. Become.
  • FIG. 42 is a diagram showing an example of the stacked structure of the solid-state image sensor 200 in the third modification of the fifth embodiment of the present technology.
  • a solid-state image sensor 200 according to a third modification of the fifth embodiment includes an upper pixel chip 203, a lower pixel chip 204, and a circuit chip 202. These chips are stacked and electrically connected, for example, by Cu--Cu bonding. Note that in addition to Cu--Cu bonding, connection can also be made by vias or bumps.
  • An upper pixel array section 221 is arranged on the upper pixel chip 203.
  • a lower pixel array section 222 is arranged on the lower pixel chip 204 .
  • a column signal processing circuit 260 a vertical scanning circuit 211, a timing control circuit 212, a DAC 213, and a load MOS circuit block 250 are arranged in the circuit chip 202. Circuits other than the column signal processing circuit 260 are omitted in the figure.
  • the second layer lower pixel chip 204 can be manufactured using a dedicated process for capacitors and switches.
  • the circuits in the solid-state image sensor 200 are distributed and arranged in three semiconductor chips, so that the circuits in the solid-state image sensor 200 are distributed and arranged in two semiconductor chips.
  • the pixels can be further miniaturized compared to the case where the pixels are
  • the reset level is sampled and held within the exposure period, but with this configuration, the exposure period cannot be made shorter than the sample and hold period of the reset level.
  • the solid-state image sensor 200 of the sixth embodiment differs from the fifth embodiment in that the exposure period is shortened by adding a transistor that discharges charge from the photoelectric conversion element.
  • FIG. 43 is a circuit diagram showing an example of the configuration of the pixel 300 in the sixth embodiment of the present technology.
  • the pixel 300 of this second embodiment differs from the fifth embodiment in that it further includes a discharge transistor 317 in the front-stage circuit 310.
  • the discharge transistor 317 functions as an overflow drain that discharges charges from the photoelectric conversion element 311 according to a discharge signal ofg from the vertical scanning circuit 211.
  • the drain transistor 317 for example, an nMOS transistor is used.
  • blooming may occur when charges are transferred from the photoelectric conversion element 311 to the FD 314 for all pixels. Then, when the FD is reset, the potentials of the FD 314 and the previous node 320 drop. Following this potential drop, currents for charging and discharging the capacitive elements 321 and 322 continue to occur, and the IR drop of the power supply and ground changes from a steady state without blooming.
  • the drain transistor 317 the charge of the photoelectric conversion element 311 is drained to the overflow drain side. Therefore, the IR drop when sample-holding the reset level and the signal level becomes approximately the same, and streaking noise can be suppressed.
  • FIG. 44 is a timing chart showing an example of global shutter operation in the sixth embodiment of the present technology.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst to all pixels over a pulse period while setting the discharge signal ofg of all pixels to a high level.
  • PD reset and FD reset are performed for all pixels.
  • the reset level is sampled and held.
  • ofg_[n] in the figure indicates a signal to the pixel in the nth row among the N rows.
  • the vertical scanning circuit 211 returns the discharge signal ofg of all pixels to the low level. Then, over a period from timing T2 immediately before the end of exposure to T3 at the end of exposure, the vertical scanning circuit 211 supplies a high-level transfer signal trg to all pixels. As a result, the signal level is sampled and held.
  • both the transfer transistor 312 and the FD reset transistor 313 must be turned on at the start of exposure (that is, at the time of PD reset).
  • the FD 314 when resetting the PD, the FD 314 must also be reset at the same time. Therefore, it is necessary to perform the FD reset again within the exposure period and sample and hold the reset level, and the exposure period cannot be made shorter than the sample and hold period of the reset level.
  • sampling and holding the reset level of all pixels a certain amount of waiting time is required for the voltage and current to stabilize. A period is required.
  • the discharge transistor 317 that discharges charge from the photoelectric conversion element 311 since the discharge transistor 317 that discharges charge from the photoelectric conversion element 311 is provided, it is possible to perform FD reset and sample and hold the reset level before starting exposure. can. Thereby, the exposure period can be made shorter than the sample hold period of the reset level.
  • the FD 314 is initialized by the power supply voltage VDD, but with this configuration, there is a risk that the sensitivity non-uniformity (PRNU) will deteriorate due to variations in the capacitor elements 321 and 322 and parasitic capacitance. be.
  • the solid-state imaging device 200 of the seventh embodiment differs from the fifth embodiment in that the PRNU is improved by lowering the power of the FD reset transistor 313 during reading.
  • FIG. 45 is a circuit diagram showing a configuration example of the pixel 300 in the seventh embodiment of the present technology.
  • the pixel 300 of the seventh embodiment differs from the first embodiment in that the power supply of the FD reset transistor 313 is separated from the power supply voltage VDD of the pixel 300.
  • the drain of the FD reset transistor 313 of the seventh embodiment is connected to the reset power supply voltage VRST.
  • This reset power supply voltage VRST is controlled by, for example, a timing control circuit 212.
  • the power supply voltage of the FD reset transistor 313 is VDD, so at timing T0, the potential of the FD 314 changes from VDD to VDD-Vft. Further, the potential of the previous stage node 320 during exposure becomes VDD-Vft-Vgs.
  • the FD reset transistor 313 is turned on during reading, and the FD 314 is fixed to the power supply voltage VDD.
  • Vft the amount of variation of the FD 314
  • the potentials of the front stage node 320 and the rear stage node 340 during reading are shifted higher by about Vft.
  • the amount of voltage to be shifted varies from pixel to pixel, which causes PRNU deterioration.
  • Equation 6 can be approximated to the following equation. ⁇ 1-( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft...Formula 7
  • Equation 7 the variation in the subsequent node 340 can be expressed by the following equation. ⁇ ( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft...Formula 8
  • FIG. 46 is a timing chart showing an example of voltage control in the seventh embodiment of the present technology.
  • the timing control circuit 212 controls the reset power supply voltage VRST to a value different from the exposure period in the row-by-row read period after timing T9.
  • the timing control circuit 212 sets the reset power supply voltage VRST to the same value as the power supply voltage VDD.
  • the timing control circuit 212 lowers the reset power supply voltage VRST to VDD-Vft. That is, during the read period, the timing control circuit 212 lowers the reset power supply voltage VRST by an amount that substantially matches the variation amount Vft due to reset feedthrough. This control allows the reset levels of the FD 314 to be made the same during exposure and during readout.
  • the amount of voltage fluctuation between the FD 314 and the previous node 320 can be reduced, as illustrated in the figure. This makes it possible to suppress variations in the capacitive elements 321 and 322 and deterioration of PRNU caused by parasitic capacitance.
  • the timing control circuit 212 lowers the reset power supply voltage VRST by the variation amount Vft due to reset feedthrough during reading, so that reset is performed during exposure and readout. You can level up. Thereby, deterioration of sensitivity non-uniformity (PRNU) can be suppressed.
  • PRNU sensitivity non-uniformity
  • the vertical scanning circuit 211 performs control to simultaneously expose all rows (all pixels) (ie, global shutter operation). However, when simultaneous exposure is not required and low noise is required, such as during testing or analysis, it is desirable to perform rolling shutter operation.
  • the solid-state image sensor 200 of the eighth embodiment differs from the fifth embodiment in that it performs a rolling shutter operation during testing and the like.
  • FIG. 47 is a timing chart showing an example of rolling shutter operation in the eighth embodiment of the present technology.
  • the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure.
  • the figure shows exposure control in the n-th row.
  • the vertical scanning circuit 211 supplies the high-level subsequent stage selection signal selb, selection signal ⁇ r, and selection signal ⁇ s to the n-th row. Further, at the exposure start timing T0, the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage reset signal rstb to the n-th row over a pulse period. At timing T1 at the end of exposure, the vertical scanning circuit 211 supplies the transfer signal trg to the n-th row.
  • the rolling shutter operation shown in the figure allows the solid-state imaging device 200 to generate image data with low noise.
  • the solid-state image sensor 200 of the eighth embodiment performs a global shutter operation similarly to the fifth embodiment.
  • the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure (i.e., rolling shutter operation), so that an image with low noise can be obtained. Data can be generated.
  • the source of the previous stage source follower (the previous stage amplification transistor 315 and the current source transistor 316) is connected to the power supply voltage VDD, and reading is performed row by row with the source follower turned on. Ta.
  • the solid-state imaging device 200 of the ninth embodiment differs from the fifth embodiment in that noise is reduced by turning off the source follower at the previous stage during readout.
  • FIG. 48 is a block diagram showing a configuration example of the solid-state image sensor 200 in the ninth embodiment of the present technology.
  • the solid-state imaging device 200 of this ninth embodiment differs from the fifth embodiment in that it further includes a regulator 420 and a switching section 440.
  • a plurality of effective pixels 301 and a predetermined number of dummy pixels 430 are arranged.
  • the dummy pixels 430 are arranged around the area where the effective pixels 301 are arranged.
  • each of the dummy pixels 430 is supplied with the power supply voltage VDD
  • each of the effective pixels 301 is supplied with the power supply voltage VDD and the source voltage Vs.
  • a signal line for supplying the power supply voltage VDD to the effective pixel 301 is omitted in the figure.
  • the power supply voltage VDD is supplied from a pad 410 outside the solid-state image sensor 200.
  • the regulator 420 generates a constant generated voltage Vgen based on the input voltage Vi from the dummy pixel 430 and supplies it to the switching unit 440.
  • the switching unit 440 selects either the power supply voltage VDD from the pad 410 or the generated voltage Vgen from the regulator 420 and supplies it to each column of the effective pixels 301 as the source voltage Vs.
  • FIG. 49 is a circuit diagram illustrating a configuration example of a dummy pixel 430, a regulator 420, and a switching unit 440 in the ninth embodiment of the present technology.
  • a is a circuit diagram of the dummy pixel 430 and the regulator 420
  • b in the figure is a circuit diagram of the switching unit 440.
  • the dummy pixel 430 includes a reset transistor 431, an FD 432, an amplification transistor 433, and a current source transistor 434.
  • the reset transistor 431 initializes the FD 432 according to a reset signal RST from the vertical scanning circuit 211.
  • the FD 432 stores charge and generates a voltage according to the amount of charge.
  • the amplification transistor 433 amplifies the voltage level of the FD 432 and supplies it to the regulator 420 as an input voltage Vi.
  • the sources of the reset transistor 431 and the amplification transistor 433 are connected to the power supply voltage VDD.
  • Current source transistor 434 is connected to the drain of amplification transistor 433. This current source transistor 434 supplies current id1 under the control of the vertical scanning circuit 211.
  • the regulator 420 includes a low-pass filter 421, a buffer amplifier 422, and a capacitive element 423.
  • the low-pass filter 421 passes components of a low frequency band below a predetermined frequency out of the signal of the input voltage Vi as an output voltage Vj.
  • the output voltage Vj is input to the non-inverting input terminal (+) of the buffer amplifier 422.
  • the inverting input terminal (-) of buffer amplifier 422 is connected to its output terminal.
  • the capacitive element 423 holds the voltage at the output terminal of the buffer amplifier 422 as Vgen. This Vgen is supplied to the switching section 440.
  • the switching unit 440 includes an inverter 441 and a plurality of switching circuits 442.
  • the switching circuit 442 is arranged for each column of effective pixels 301.
  • the inverter 441 inverts the switching signal SW from the timing control circuit 212. This inverter 441 supplies an inverted signal to each of the switching circuits 442.
  • the switching circuit 442 selects either the power supply voltage VDD or the generated voltage Vgen and supplies it to the corresponding column in the pixel array section 220 as the source voltage Vs.
  • Switching circuit 442 includes switches 443 and 444.
  • the switch 443 opens and closes the path between the node of the power supply voltage VDD and the corresponding column according to the switching signal SW.
  • the switch 444 opens and closes the path between the node of the generated voltage Vgen and the corresponding column according to the inverted signal of the switching signal SW.
  • Vj and Vgen become approximately constant voltages.
  • FIG. 51 is a circuit diagram showing a configuration example of the effective pixel 301 in the ninth embodiment of the present technology.
  • the circuit configuration of the effective pixel 301 is the same as that of the pixel 300 of the fifth embodiment, except that the source voltage Vs from the switching section 440 is supplied to the source of the preamplification transistor 315.
  • FIG. 52 is a timing chart showing an example of global shutter operation in the ninth embodiment of the present technology.
  • the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. Furthermore, the voltage at the previous stage node decreases from VDD-Vgs-Vth to VDD-Vgs-Vsig at timing T4.
  • Vth is the threshold voltage of the transfer transistor 312.
  • the switching unit 440 selects the generated voltage Vgen and supplies it as the source voltage Vs. This generated voltage Vgen is adjusted to VDD-Vgs-Vft.
  • FIG. 53 is a diagram for explaining the effects of the ninth embodiment of the present technology.
  • the source follower pre-stage amplification transistor 315 and current source transistor 316
  • the subsequent stage capacitortive element, source follower in the latter stage, and ADC
  • the kTC noise generated in pixels during global shutter operation is 450 ( ⁇ Vrms).
  • the noise generated in the source follower (previous stage amplification transistor 315 and current source transistor 316) at the previous stage during row-by-row reading is 380 ( ⁇ Vrms).
  • the noise generated after the source follower in the latter stage is 160 ( ⁇ Vrms). Therefore, the total noise is 610 ( ⁇ Vrms). In this manner, in the fifth embodiment, the contribution of the noise of the preceding stage source follower to the total noise value is relatively large.
  • a voltage (Vs) that can be adjusted is supplied to the source of the source follower at the front stage.
  • the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. After the exposure is completed, the switching unit 440 switches the source voltage Vs to VDD-Vgs-Vft. Further, the timing control circuit 212 turns on the current source transistor 316 at the previous stage during a global shutter (exposure) operation, and turns it off after the exposure is completed.
  • the potentials of the previous stage nodes during the global shutter operation and during row-by-row reading are aligned, and PRNU can be improved. Furthermore, since the source follower at the previous stage is turned off when reading out each row, circuit noise of the source follower does not occur and becomes 0 ( ⁇ Vrms). Note that the front-stage amplification transistor 315 of the front-stage source follower is in an on state.
  • the ninth embodiment of the present technology since the source follower at the previous stage is turned off during reading, it is possible to reduce the noise generated in the source follower.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. It's okay.
  • FIG. 54 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
  • an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
  • the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
  • the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
  • the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 55 is a diagram showing an example of the installation position of the imaging section 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle 12100.
  • An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
  • Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
  • An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 55 shows an example of the imaging range of the imaging units 12101 to 12104.
  • An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
  • the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. In particular, by determining the three-dimensional object that is closest to the vehicle 12100 on its path and that is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as the vehicle 12100, it is possible to extract the three-dimensional object as the preceding vehicle. can.
  • a predetermined speed for example, 0 km/h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
  • the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
  • the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
  • the display unit 12062 is controlled to display the .
  • the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the imaging apparatus 100 in FIG. 1 can be applied to the imaging unit 12031.
  • the present technology can also have the following configuration.
  • a pixel array section in which a plurality of pixels, each of which generates and holds an analog pixel signal, are arranged in a two-dimensional grid; a plurality of integrating circuits that time-integrate the pixel signals held in each of a predetermined number of vertically arranged pixels among the plurality of pixels and output an integrated signal;
  • a solid-state imaging device comprising: an analog-to-digital converter that performs analog addition of the integral signals of each of the plurality of integral circuits and converts the integral signals into digital signals.
  • the integration time for each pixel of the integration circuit is a time corresponding to the absolute value of a filter coefficient corresponding to the pixel.
  • the pixel signal includes a predetermined reset level and a signal level according to the exposure amount, The pixel outputs the reset level and the signal level in a predetermined order when the sign of the filter coefficient is positive, and outputs the reset level and the signal level when the sign of the filter coefficient is negative.
  • the solid-state imaging device according to (2) above which outputs the images in the reverse order.
  • the plurality of integrating circuits include first and second integrating circuits
  • the analog-to-digital converter is a first capacitive element having one end connected to the first integrating circuit; a second capacitive element having one end connected to the second integrating circuit; a comparator in which one of two input terminals is connected to the other end of each of the first and second capacitive elements;
  • the solid-state imaging device according to any one of (1) to (3), further comprising a counter that counts a count value over a period until the output signal of the comparator is inverted.
  • the analog-to-digital converter further includes a connection switch that connects the other end of the first capacitive element and the other end of the second capacitive element according to a predetermined switching signal. Image sensor.
  • the solid-state imaging device according to any one of (1) to (5), wherein the pixel includes a photodiode in which a charge storage region is embedded in a predetermined semiconductor substrate.
  • the pixel signal includes a predetermined reset level and a signal level according to the exposure amount, The pixel is first and second capacitive elements; a pre-stage circuit that sequentially generates the reset level and the signal level and causes each of the first and second capacitors to hold the generated reset level and the signal level; a first subsequent circuit that reads and outputs the reset level held in the first capacitive element;
  • the solid-state imaging device according to any one of (1) to (6), further comprising a second rear-stage circuit that reads and outputs the signal level held in the second capacitive element.
  • the pixel signal includes a predetermined reset level and a signal level according to the exposure amount,
  • the pixel is first and second capacitive elements; a pre-stage circuit that sequentially generates the reset level and the signal level and causes each of the first and second capacitors to hold the generated reset level and the signal level; Control for connecting one of the first and second capacitive elements to a predetermined downstream node; Control for disconnecting both the first and second capacitive elements from the downstream node; and Control for connecting the first and second capacitive elements to a predetermined downstream node.
  • the solid-state imaging device according to any one of (1) to (6), further comprising a rear-stage circuit that sequentially reads and outputs the reset level and the signal level from the first and second capacitors via the rear-stage node.
  • a pixel array section in which a plurality of pixels, each of which generates and holds an analog pixel signal, are arranged in a two-dimensional grid; a plurality of integrating circuits that time-integrate the pixel signals held in each of a predetermined number of vertically arranged pixels among the plurality of pixels and output an integrated signal; an analog-to-digital converter that adds the integrated signals of each of the plurality of integrating circuits and converts the integrated signals into a digital signal; and an image recognition unit that performs predetermined image recognition processing using the digital signal.
  • a method for controlling a solid-state image sensing device comprising: an analog-to-digital conversion procedure of performing analog addition of the integrated signals of each of the plurality of integrating circuits and converting the integrated signals into digital signals.
  • Imaging device 110 Imaging lens 120 Recording section 130 Imaging control section 200
  • Solid-state imaging device 201 Pixel chip 202 Circuit chip 203 Upper pixel chip 204 Lower pixel chip 211 Vertical scanning circuit 212 Timing control circuit 213 DAC 220 Pixel array section 221 Upper pixel array section 222 Lower pixel array section 250 Load MOS circuit block 251 Load MOS transistor 260
  • Column signal processing circuit 261, 261-1, 261-2 Switching circuit 262-1 to 262-K, 263- 1 to 263-K Bypass switch 270-1 to 270-K Integrating circuit 271 Input switch 272 Resistance element 273 Operational amplifier 274, 281, 282-1 to 282-K, 423 Capacitance element 275, 286 Auto zero switch 283-1 to 283- (K-1) Connection switch 280-1, 280-2 ADC 285 Comparator 287 Counter 289 CDS circuit 290 Image recognition section 291 CNN processing section 292 Data collation section 300 Pixel 301 Effective pixel 310 Pre-stage circuit 311 Photoelectric conversion element 312 Transfer transistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

畳み込み積分により画像認識を行う固体撮像素子において、精度を向上させる。　画素アレイ部内に、各々がアナログの画素信号を生成して保持する複数の画素が二次元格子状に配列される。複数の積分回路が、複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された画素信号を時間積分して積分信号を出力する。アナログデジタル変換器は、複数の積分回路のそれぞれの積分信号をアナログ加算してデジタル信号に変換する。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法
　本技術は、固体撮像素子に関する。詳しくは、畳み込み積分を行う固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
　近年、ＡＩ（Artificial Intelligence）技術の発展に伴い、画像認識の精度が著しく向上し、ＦＡ（Factory Automation）や監視などの用途で、画像認識処理の需要が高まっている。特に、エッジＡＩに用いる目的で、畳み込み積分を行う回路を固体撮像素子内に設けて、処理速度の向上や電力コストの削減を実現する技術が注目されている。例えば、列ごとに一対の容量素子を含む演算回路と、＋１、０、－１のいずれかのフィルタ係数が適用される画素とを設けた固体撮像素子が提案されている（例えば、非特許文献１参照。）。一対の容量素子の一方には、フィルタ係数が＋１の画素の電荷が蓄積され、他方にはフィルタ係数が－１の画素の電荷が蓄積され、演算回路は、それらの容量素子のそれぞれの電流の差分を１列ずつアナログ加算している。このようなアナログ回路により畳み込み積分が実現される。
Martin Lefebvre, et al., A 0.2-to-3.6TOPS/W Programmable Convolutional Imager SoC with In-Sensor Current-Domain Ternary-Weighted MAC Operations for Feature Extraction and Region-of-Interest Detection, 2021 ISSCC.
　上述の従来技術では、畳み込み積分をアナログ回路で行うことにより、処理速度の向上を図っている。しかしながら、上述の固体撮像素子では、フィルタ係数が＋１、０、－１に制限されるため、画像認識の精度が不足するおそれがある。また、演算回路は、差分を１列ずつアナログ加算するため、処理速度が遅くなり、動被写体を撮像する際に精度が不足するおそれがある。
　本技術はこのような状況に鑑みて生み出されたものであり、畳み込み積分により画像認識を行う固体撮像素子において、精度を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、各々がアナログの画素信号を生成して保持する複数の画素を二次元格子状に配列した画素アレイ部と、上記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された上記画素信号を時間積分して積分信号を出力する複数の積分回路と、上記複数の積分回路のそれぞれの上記積分信号をアナログ加算してデジタル信号に変換するアナログデジタル変換器とを具備する固体撮像素子、および、その制御方法である。これにより、画像認識処理を行う際に、精度が向上するという作用をもたらす。
　また、この第１の側面において、上記積分回路の画素ごとの積分時間は、当該画素に対応するフィルタ係数の絶対値に応じた時間であってもよい。これにより、画素信号とフィルタ係数との積和演算が行われるという作用をもたらす。
　また、この第１の側面において、上記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、上記画素は、上記フィルタ係数の符号が正である場合には上記リセットレベルおよび上記信号レベルを所定の順序で出力し、上記フィルタ係数の符号が負である場合には上記リセットレベルおよび上記信号レベルを上記順序と逆順で出力してもよい。これにより、フィルタ係数の符号が、リセットレベルおよび信号レベルの差分の符号に反映されるという作用をもたらす。
　また、この第１の側面において、上記複数の積分回路は、第１および第２の積分回路を含み、上記アナログデジタル変換器は、一端が上記第１の積分回路に接続された第１の容量素子と、一端が上記第２の積分回路に接続された第２の容量素子と、上記第１および第２の容量素子のそれぞれの他端に２つの入力端子の一方が接続された比較器と、上記比較器の出力信号が反転するまでの期間に亘って計数値を計数するカウンタとを備えてもよい。これにより、積分信号をアナログ加算した信号がデジタル信号に変換されるという作用をもたらす。
　また、この第１の側面において、上記アナログデジタル変換器は、所定の切替信号に従って上記第１の容量素子の他端と上記第２の容量素子の他端とを接続する接続スイッチをさらに備えてもよい。これにより、フィルタの水平方向のサイズが可変になるという作用をもたらす。
　また、この第１の側面において、上記画素は、電荷蓄積領域が所定の半導体基板に埋め込まれたフォトダイオードを含むものであってもよい。これにより、暗所での画質が向上するという作用をもたらす。
　また、この第１の側面において、上記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、上記画素は、第１および第２の容量素子と、上記リセットレベルおよび上記信号レベルを順に生成して第１および第２の容量素子のそれぞれに保持させる前段回路と、上記第１の容量素子に保持された上記リセットレベルを読み出して出力する第１の後段回路と、上記第２の容量素子に保持された上記信号レベルを読み出して出力する第２の後段回路とを備えてもよい。これにより、読出し速度が向上するという作用をもたらす。
　また、この第１の側面において、上記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、上記画素は、第１および第２の容量素子と、上記リセットレベルと上記信号レベルとを順に生成して上記第１および第２の容量素子のそれぞれに保持させる前段回路と、上記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と上記第１および第２の容量素子の両方を上記後段ノードから切り離す制御と上記第１および第２の容量素子の他方を上記後段ノードに接続する制御とを順に行う選択回路と、上記第１および第２の容量素子の両方が上記後段ノードから切り離されたときに上記後段ノードのレベルを初期化する後段リセットトランジスタと、上記後段ノードを介して上記リセットレベルおよび上記信号レベルを上記第１および第２の容量素子から順に読み出して出力する後段回路と備えてもよい。これにより、ｋＴＣノイズが低減するという作用をもたらす。
　また、本技術の第２の側面は、各々がアナログの画素信号を生成して保持する複数の画素を二次元格子状に配列した画素アレイ部と、上記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された上記画素信号を時間積分して積分信号を出力する複数の積分回路と、上記複数の積分回路のそれぞれの上記積分信号を加算してデジタル信号に変換するアナログデジタル変換器と、上記デジタル信号を用いて所定の画像認識処理を行う画像認識部とを具備する撮像装置である。これにより、画像認識処理の精度が向上するという作用をもたらす。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態における積層構造の画素の一構成例を示す回路図である。 本技術の第１の実施の形態における負荷ＭＯＳ回路ブロックおよびカラム信号処理回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における積分回路およびＡＤＣの一構成例を示す回路図である。 本技術の第１の実施の形態における固体撮像素子の全体図の一例である。 本技術の第１の実施の形態における固体撮像素子およびＤＳＰ回路の一構成例を示すブロック図である。 比較例における固体撮像素子の全体図の一例である。 本技術の第１の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における１回目のオートゼロ動作、および、１回目の積分動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における１回目のオートゼロ期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における１回目の積分期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における２回目の積分動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における２回目の積分期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における３回目の積分動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における３回目の積分期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における１回目の読出し動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における１回目の読出し期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における２回目のオートゼロ動作、および、４回目の積分動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における２回目のオートゼロ期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における４回目の積分期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における５回目の積分動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における５回目の積分期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における６回目の積分動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における６回目の積分期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における２回目の読出し動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における２回目の読出し期間内の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態におけるフィルタを水平方向にスライドした際の固体撮像素子の状態の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における固体撮像素子の利用例の一例を示す図である。 本技術の第１の実施の形態の変形例におけるカラム信号処理回路の一構成例を示す回路図である。 本技術の第２の実施の形態におけるＡＤＣの一構成例を示す回路図である。 本技術の第３の実施の形態における光電変換素子の一構成例を示す図である。 本技術の第４の実施の形態における画素の一構成例を示す回路図である。 本技術の第４の実施の形態におけるカラム信号処理回路の一構成例を示す回路図である。 本技術の第５の実施の形態における画素の一構成例を示す回路図である。 本技術の第５の実施の形態の第１の変形例における画素の一構成例を示す回路図である。 本技術の第５の実施の形態の第１の変形例におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態の第２の変形例における固体撮像素子の積層構造の一例を示す図である。 本技術の第５の実施の形態の第２の変形例における画素の一構成例を示す回路図である。 本技術の第５の実施の形態の第３の変形例における固体撮像素子の積層構造の一例を示す図である。 本技術の第６の実施の形態における画素の一構成例を示す回路図である。 本技術の第６の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第７の実施の形態における画素の一構成例を示す回路図である。 本技術の第７の実施の形態における電圧制御の一例を示すタイミングチャートである。 本技術の第８の実施の形態におけるローリングシャッター動作の一例を示すタイミングチャートである。 本技術の第９の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第９の実施の形態におけるダミー画素、レギュレータ、および、切り替え部の一構成例を示す回路図である。 本技術の第９の実施の形態におけるダミー画素およびレギュレータの動作の一例を示すタイミングチャートである。 本技術の第９の実施の形態における有効画素の一構成例を示す回路図である。 本技術の第９の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第９の実施の形態における効果を説明するための図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（積分回路およびＡＤＣが積和演算する例）
　２．第２の実施の形態（フィルタサイズを可変にし、積分回路およびＡＤＣが積和演算する例）
　３．第３の実施の形態（積分回路およびＡＤＣが積和演算する例）
　４．第４の実施の形態（フォトダイオードを埋め込み型にし、積分回路およびＡＤＣが積和演算する例）
　５．第５の実施の形態（第１および第２の容量素子に画素信号を保持させる例）
　６．第６の実施の形態（排出トランジスタを追加し、第１および第２の容量素子に画素信号を保持させる例）
　７．第７の実施の形態（第１および第２の容量素子に画素信号を保持させ、リセット電源電圧を制御する例）
　８．第８の実施の形態（第１および第２の容量素子に画素信号を保持させ、ローリングシャッター動作を行う例）
　９．第９実施の形態（ノイズを低減し、第１および第２の容量素子に画素信号を保持させる例）
　１０．移動体への応用例
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像する装置であり、撮像レンズ１１０、固体撮像素子２００、記録部１２０および撮像制御部１３０を備える。撮像装置１００としては、デジタルカメラや、撮像機能を持つ電子装置（スマートフォンやパーソナルコンピュータなど）が想定される。
　固体撮像素子２００は、撮像制御部１３０の制御に従って、画像データを撮像し、画像認識処理などの所定の処理を行うものである。この固体撮像素子２００は、処理後のデータを信号線２０９を介して記録部１２０に供給する。
　撮像レンズ１１０は、光を集光して固体撮像素子２００に導くものである。撮像制御部１３０は、固体撮像素子２００を制御して画像データを撮像させるものである。この撮像制御部１３０は、例えば、垂直同期信号ＶＳＹＮＣを含む撮像制御信号を固体撮像素子２００に信号線１３９を介して供給する。記録部１２０は、処理後のデータを記録するものである。
　ここで、垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す信号であり、一定の周波数（６０ヘルツなど）の周期信号が垂直同期信号ＶＳＹＮＣとして用いられる。
　なお、撮像装置１００は、処理後のデータを記録しているが、そのデータを撮像装置１００の外部に送信してもよい。この場合には、データを送信するための外部インターフェースがさらに設けられる。もしくは、撮像装置１００は、さらに処理結果を表示してもよい。この場合には表示部がさらに設けられる。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、垂直走査回路２１１、画素アレイ部２２０、タイミング制御回路２１２、ＤＡＣ（Digital to Analog Converter）２１３、負荷ＭＯＳ回路ブロック２５０、カラム信号処理回路２６０を備える。画素アレイ部２２０には、二次元格子状に複数の画素３００が配列される。また、固体撮像素子２００内の各回路は、例えば、単一の半導体チップに設けられる。
　以下、水平方向に配列された画素３００の集合を「行」と称し、行に垂直な方向に配列された画素３００の集合を「列」と称する。
　タイミング制御回路２１２は、撮像制御部１３０からの垂直同期信号ＶＳＹＮＣに同期して垂直走査回路２１１、ＤＡＣ２１３、カラム信号処理回路２６０のそれぞれの動作タイミングを制御するものである。
　ＤＡＣ２１３は、ＤＡ（Digital to Analog）変換により、のこぎり波状のランプ信号を生成するものである。ＤＡＣ２１３は、生成したランプ信号をカラム信号処理回路２６０に供給する。
　垂直走査回路２１１は、行を順に選択して駆動し、アナログの画素信号を出力させるものである。画素３００は、入射光を光電変換してアナログの画素信号を生成するものである。この画素３００は、負荷ＭＯＳ回路ブロック２５０を介して、カラム信号処理回路２６０に画素信号を供給する。
　負荷ＭＯＳ回路ブロック２５０には、定電流を供給するＭＯＳトランジスタが列ごとに設けられる。
　カラム信号処理回路２６０は、列ごとに、画素信号に対してＡＤ（Analog to Digital）変換処理やＣＤＳ（Correlated Double Sampling）処理などの信号処理を実行するものである。このカラム信号処理回路２６０は、処理後のデータを記録部１２０に供給する。
　　［画素の構成例］
　図３は、本技術の第１の実施の形態における画素３００の一構成例を示す回路図である。この画素３００は、前段回路３１０と、容量素子３２１および３２２と、選択回路３３０と、後段リセットトランジスタ３４１と、後段回路３５０とを備える。
　前段回路３１０は、光電変換素子３１１、転送トランジスタ３１２、ＦＤ（Floating Diffusion）リセットトランジスタ３１３、ＦＤ３１４、前段増幅トランジスタ３１５、プリチャージトランジスタ３１８および電流源トランジスタ３１６を備える。
　光電変換素子３１１は、光電変換により電荷を生成するものである。転送トランジスタ３１２は、垂直走査回路２１１からの転送信号ｔｒｇに従って、光電変換素子３１１からＦＤ３１４へ電荷を転送するものである。
　ＦＤリセットトランジスタ３１３は、垂直走査回路２１１からのＦＤリセット信号ｒｓｔに従って、ＦＤ３１４から電荷を引き抜いて初期化するものである。ＦＤ３１４は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。前段増幅トランジスタ３１５は、ＦＤ３１４の電圧のレベルを増幅して前段ノード３２０に出力するものである。
　また、ＦＤリセットトランジスタ３１３および前段増幅トランジスタ３１５のソースは、電源電圧ＶＤＤに接続される。
　プリチャージトランジスタ３１８は、垂直走査回路２１１からの制御信号ＰＣに従って、前段ノード３２０と電流源トランジスタ３１６の間の経路を開閉するものである。例えば、リセットレベルが容量素子３２１に保持された直後に、垂直走査回路２１１は、制御信号ＰＣにより、プリチャージトランジスタ３１８をオフ状態にする。これにより、容量素子３２１や３２２から電荷が引き抜かれるのを防止することができる。電流源トランジスタ３１６は、バイアス電圧ｖｂに応じた電流ｉｄ１を供給するものである。
　容量素子３２１および３２２のそれぞれの一端は、前段ノード３２０に共通に接続され、それぞれの他端は、選択回路３３０に接続される。なお、容量素子３２１および３２２は、特許請求の範囲に記載の第１および第２の容量素子の一例である。
　選択回路３３０は、選択トランジスタ３３１および選択トランジスタ３３２を備える。選択トランジスタ３３１は、垂直走査回路２１１からの選択信号Φｒに従って、容量素子３２１と後段ノード３４０との間の経路を開閉するものである。選択トランジスタ３３２は、垂直走査回路２１１からの選択信号Φｓに従って、容量素子３２２と後段ノード３４０との間の経路を開閉するものである。
　後段リセットトランジスタ３４１は、垂直走査回路２１１からの後段リセット信号ｒｓｔｂに従って、後段ノード３４０のレベルを所定の電位Ｖｒｅｇに初期化するものである。電位Ｖｒｅｇには、ＶＤＤと異なる電位（例えば、ＶＤＤより低い電位）が設定される。
　後段回路３５０は、後段増幅トランジスタ３５１および後段選択トランジスタ３５２を備える。後段増幅トランジスタ３５１は、後段ノード３４０のレベルを増幅するものである。後段選択トランジスタ３５２は、垂直走査回路２１１からの後段選択信号ｓｅｌｂに従って、後段増幅トランジスタ３５１により増幅されたレベルの信号を画素信号として垂直信号線３０９に出力するものである。
　なお、画素３００内の各種のトランジスタ（転送トランジスタ３１２など）として、例えば、ｎＭＯＳ（n-channel Metal Oxide Semiconductor）トランジスタが用いられる。
　垂直走査回路２１１は、露光開始時に全画素へハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、光電変換素子３１１が初期化される。以下、この制御を「ＰＤリセット」と称する。
　そして、垂直走査回路２１１は、露光終了の直前に、全画素について後段リセット信号ｒｓｔｂおよび選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２１に保持される。この制御を以下、「ＦＤリセット」と称する。
　ＦＤリセットの際のＦＤ３１４のレベルと、そのレベルに対応するレベル（容量素子３２１の保持レベルや、垂直信号線３０９のレベル）とをまとめて、以下、「Ｐ相」または「リセットレベル」と称する。
　垂直走査回路２１１は、露光終了時に、全画素について後段リセット信号ｒｓｔｂおよび選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２２に保持される。
　信号電荷の転送の際のＦＤ３１４のレベルと、そのレベルに対応するレベル（容量素子３２２の保持レベルや、垂直信号線３０９のレベル）とをまとめて、以下、「Ｄ相」または「信号レベル」と称する。
　このように全画素について同時に露光を開始し、終了する露光制御は、グローバルシャッター方式と呼ばれる。この露光制御により、全画素の前段回路３１０は、リセットレベルおよび信号レベルを順に生成する。リセットレベルは、容量素子３２１に保持され、信号レベルは、容量素子３２１に保持される。
　露光終了後に垂直走査回路２１１は、行を順に選択して、その行のリセットレベルおよび信号レベルを順に出力させる。例えば、リセットレベル、信号レベルの順で出力されるものとする。
　この場合に、垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしつつ、ハイレベルの選択信号Φｒを所定期間に亘って供給する。これにより、容量素子３２１が後段ノード３４０に接続され、リセットレベルが出力される。
　リセットレベルの出力後に垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの後段リセット信号ｒｓｔｂをパルス期間に亘って供給する。これにより、後段ノード３４０のレベルが初期化される。このとき、選択トランジスタ３３１および選択トランジスタ３３２は両方とも開状態であり、容量素子３２１および３２２は、後段ノード３４０から切り離される。
　後段ノード３４０の初期化後に、垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの選択信号Φｓを所定期間に亘って供給する。これにより、容量素子３２２の他方が後段ノード３４０に接続され、信号レベルが出力される。
　垂直走査回路２１１が、ハイレベルの選択信号Φｓの次にハイレベルの選択信号Φｒが供給することで、画素３００は、信号レベル、リセットレベルの順で出力することもできる。
　なお、図４に例示するように、固体撮像素子２００内の回路を、積層構造の画素チップ２０１および回路チップ２０２に分散して配置することもできる。この場合には、例えば、光電変換素子３１１、転送トランジスタ３１２、ＦＤリセットトランジスタ３１３、ＦＤ３１４および前段増幅トランジスタ３１５が画素チップ２０１に配置され、残りの素子や回路が回路チップ２０２に配置される。
　［カラム信号処理回路の構成例］
　図５は、本技術の第１の実施の形態における負荷ＭＯＳ回路ブロック２５０およびカラム信号処理回路２６０の一構成例を示すブロック図である。
　負荷ＭＯＳ回路ブロック２５０には、列ごとに垂直信号線３０９が配線される。列数をＭ（Ｍは、整数）とすると、Ｍ本の垂直信号線３０９が配線される。また、垂直信号線３０９のそれぞれには、一定の電流ｉｄ２を供給する負荷ＭＯＳトランジスタ２５１が接続される。
　カラム信号処理回路２６０には、積分回路２７０－１、２７０－２および２７０－３などの複数の積分回路と、切替回路２６１と、ＡＤＣ２８０－１および２８０－２などの複数のＡＤＣと、画像認識部２９０とが配置される。積分回路は、列ごとに配置され、ＡＤＣは、適用するフィルタの水平方向のサイズをＫ（Ｋは整数）列とすると、Ｋ列ごとに配置される。同図では、３列ごとにＡＤＣが配置されている。
　ここで、フィルタは、複数の画素のそれぞれについて、その画素信号に掛け合わせるフィルタ係数を配列したものであり、カーネルとも呼ばれる。
　積分回路２７０－１は、適用するフィルタの垂直方向のサイズをＪ（Ｊは、整数）行として、対応する列内のＪ個の画素のそれぞれの画素信号を時間積分するものである。この積分回路２７０－１の画素ごとの積分時間は、その画素に対応するフィルタ係数の絶対値に応じた時間である。例えば、フィルタ係数が「－２」の画素の積分時間は、フィルタ係数が「＋１」の画素の積分時間の２倍に設定される。積分回路２７０－１は、積分信号を切替回路２６１に供給する。なお、積分回路２７０－２や２７０－３の構成は、積分回路２７０－１と同様である。
　切替回路２６１は、フィルタの適用範囲に基づいて、積分回路のそれぞれの出力先を切り替えるものである。積分回路２７０－１、２７０－２および２７０－３に対応する３列にフィルタが適用されるものとする。この場合、例えば、切替回路２６１は、それらの積分回路の出力先をＡＤＣ２８０－１にする。そして、フィルタを１列分、右にスライドさせる場合、切替回路２６１は、積分回路２７０－２および２７０－３の出力先をＡＤＣ２８０－２に切り替える。
　ＡＤＣ２８０－１は、複数の積分回路のそれぞれの積分信号をアナログ加算してデジタル信号に変換するものである。このＡＤＣ２８０－１は、デジタル信号を画像認識部２９０に供給する。なお、ＡＤＣ２８０－２の構成は、ＡＤＣ２８０－１と同様である。
　画像認識部２９０は、ＡＤＣ２８０－１などの各ＡＤＣからのデジタル信号を用いて画像認識処理を行うものである。この画像認識部２９０は、処理後のデータを記録部１２０に出力する。
　［積分回路およびＡＤＣの構成例］
　図６は、本技術の第１の実施の形態における積分回路２７０－１およびＡＤＣ２８０－１の一構成例を示す回路図である。積分回路２７０－１は、入力スイッチ２７１、抵抗素子２７２、オペアンプ２７３、容量素子２７４、および、オートゼロスイッチ２７５を備える。
　入力スイッチ２７１は、タイミング制御回路２１２からの制御信号ＩＮＴに従って、対応する列の垂直信号線３０９と抵抗素子２７２との間の経路を開閉するものである。抵抗素子２７２は、入力スイッチ２７１と、オペアンプ２７３の反転入力端子（－）との間に挿入される。また、オペアンプ２７３の非反転入力端子（＋）は、接地される。容量素子２７４は、入力スイッチ２７１および抵抗素子２７２の接続ノードと、オペアンプ２７３の出力端子との間に挿入される。
　オートゼロスイッチ２７５は、タイミング制御回路２１２からの制御信号ＡＺ１に従って、入力スイッチ２７１および抵抗素子２７２の接続ノードと、オペアンプ２７３の出力端子との間の経路を開閉するものである。
　同図に例示した回路構成により、対応する列の複数の画素信号を時間積分することができる。積分時間は、入力スイッチ２７１が閉状態の時間を制御信号ＩＮＴで制御することによって調整することができる。画素ごとの積分時間は、その画素に対応するフィルタ係数の絶対値に応じた時間に設定される。
　フィルタのサイズを３行×３列とすると、積分回路２７０－１、２７０－２および２７０－３のそれぞれは、対応する列内の３画素の画素信号を時間積分し、切替回路２６１を介して積分信号をＡＤＣ２８０－１に供給する。
　ＡＤＣ２８０－１は、容量素子２８１、２８２－１、２８２－２および２８２－３と、コンパレータ２８５と、オートゼロスイッチ２８６と、カウンタ２８７とを備える。容量素子２８１は、ＤＡＣ２１３と、コンパレータ２８５の非反転入力端子（＋）との間に挿入される。容量素子２８２－１乃至２８２－３のそれぞれの一端は互いに異なる積分回路に接続される。例えば、容量素子２８２－１の一端は、切替回路２６１を介して積分回路２７０－１に接続され、容量素子２８２－２の一端は、切替回路２６１を介して積分回路２７０－２に接続される。容量素子２８２－３の一端は、切替回路２６１を介して積分回路２７０－３に接続される。また、これらの容量素子２８２－１乃至２８２－３のそれぞれの他端は、コンパレータ２８５の反転入力端子（－）に共通に接続される。容量素子２８２－１乃至２８２－３のそれぞれの容量値は、略同一である。容量素子２８１の容量値は、容量素子２８２－１乃至２８２－３のそれぞれの容量値の合計に略一致する。
　コンパレータ２８５は、ＤＡＣ２１３からのランプ信号Ｒｍｐと、積分回路２７０－１乃至２７０－３のそれぞれの積分信号をアナログ加算した信号とを比較するものである。このコンパレータ２８５は、比較結果をカウンタ２８７に出力する。
　オートゼロスイッチ２８６は、タイミング制御回路２１２からの制御信号ＡＺ２に従って、コンパレータ２８５の反転入力端子（－）と出力端子との間の経路を開閉するものである。
　カウンタ２８７は、コンパレータ２８５の比較結果が反転するまでの期間に亘って計数値を計数するものである。このカウンタ２８７は、計数値を示すデジタル信号を画像認識部２９０に供給する。また、カウンタ２８７は、アップカウント、ダウンカウントの両方に対応し、タイミング制御回路２１２は、アップカウント、ダウンカウントのいずれを行うかを制御することができる。
　図７は、本技術の第１の実施の形態における固体撮像素子２００の全体図の一例である。
　二次元格子状に配列された複数の画素のそれぞれは、アナログの画素信号を生成して保持する。画素信号のそれぞれは、リセットレベルと、露光量に応じた信号レベルとを含む。画素のそれぞれは、リセットレベルと信号レベルとを保持し、それらを順に出力する。
　ここで、フィルタのサイズをＪ行×Ｋ列とする。フィルタが適用されるＪ行×Ｋ列のうち、第ｊ行、第ｋ列のリセットレベルおよび信号レベルのうち最初に出力される信号をＳ１＿［ｊ、ｋ］とし、次に出力される信号をＳ２＿［ｊ、ｋ］とする。ｊは、０乃至Ｊ－１の整数であり、ｋは、０乃至Ｋ－１の整数である。また、第ｊ行、第ｋ列に対応するフィルタ係数の絶対値に応じた積分時間をｔ＿［ｊ、ｋ］とする。
　第ｋ列の積分回路は、その列のＪ個の画素のそれぞれの画素信号（リセットレベルまたは信号レベル）を時間積分する。ＡＤＣ２８０－１は、各列の積分信号をアナログ加算してデジタル信号に変換する。ＡＤＣ２８０－１内のカウンタは、Ｓ１＿［ｊ、ｋ］に対応するアナログ信号を変換する際にアップカウントし、Ｓ２＿［ｊ、ｋ］に対応するアナログ信号を変換する際にダウンカウントする。これにより、リセットレベルおよび信号レベルの差分（言い換えれば、正味の信号レベル）を求めるＣＤＳ処理が実現される。なお、ＡＤＣがＡＤ変換およびＣＤＳ処理の両方を行っているが、後段にＣＤＳ回路を追加し、ＡＤＣがＡＤ変換のみを行い、ＣＤＳ回路がＣＤＳ処理を行う構成とすることもできる。
　そして、ＡＤＣ２８０－１は、計数値を示すデジタル信号を出力する。このデジタル信号Ｃｏｎｖｄは、次の畳み込み積分により表される。
Figure JPOXMLDOC01-appb-M000001
　また、画素のそれぞれは、対応するフィルタ係数の符号が正である場合に、リセットレベルおよび信号レベルを所定の順序で出力し、符号が負である場合に、それらを逆順で出力する。例えば、画素は、フィルタ係数が正である場合に信号レベル、リセットレベルの順で出力し、負である場合にリセットレベル、信号レベルの順で出力する。このように、フィルタ係数の符号に応じて出力順序を変えることにより、フィルタ係数の符号を、ＣＤＳ処理後の差分の符号に反映させることができる。
　また、画像認識部２９０は、ＣＮＮ（Convolutional Neural Network）処理部２９１およびデータ照合部２９２を備える。ＣＮＮ処理部２９１は、ＡＤＣのそれぞれのデジタル信号に対して、ＣＮＮ処理を行うものである。ＣＮＮは、複数の畳み込み層を含むが、これらのうち最初の畳み込み層の積和演算は、複数の積分回路と、ＡＤＣ内のコンパレータ（不図示）とからなるアナログ回路により実現される。２層目以降の畳み込み層の演算は、ＣＮＮ処理部２９１により実行される。ＣＮＮ処理部２９１は、処理後の特徴量のデータをデータ照合部２９２に供給する。
　データ照合部２９２は、ＣＮＮ処理により得られた特徴量と、認識対象の特徴量とを照合するものである。このデータ照合部２９２は、照合結果を認識結果として出力する。
　なお、ＣＮＮ処理部２９１およびデータ照合部２９２を固体撮像素子２００内に配置しているが、これらの全て、または、一部を固体撮像素子２００の外部に配置することもできる。例えば、図８に例示するように、ＣＮＮ処理部２９１およびデータ照合部２９２を固体撮像素子２００の外部のＤＳＰ（Digital Signal Processing）回路に配置することもできる。
　また、ＡＤＣがアップカウントおよびダウンカウントによりＡＤ変換処理およびＣＤＳ処理の両方を行っているが、アップカウントおよびダウンカウントの一方により、ＡＤ変換処理のみを行うこともできる。この場合には、後段の回路が、ＣＤＳ処理を実行する。
　ここで、畳み込み層の積和演算をＡＤ変換後に行う構成を比較例として想定する。
　図９は、比較例における固体撮像素子２００の全体図の一例である。比較例では、列ごとにＡＤＣが配置される。また、積分回路２７０－１等と切替回路２６１とが配置されず、フレームメモリがさらに配置される。フレームメモリは、ＡＤ変換後のデジタル信号からなる画像データを保持する。ＣＮＮ処理部２９１は、フレームメモリ内の画像データに対してＣＮＮ処理を行う。ＣＮＮの最初の畳み込み層の積和演算は、デジタル回路により行われる。
　これに対して、図７や図８に例示した固体撮像素子２００では、フレームメモリに画像データを保持させる必要がないため、比較例よりも消費電力を削減することができる。また、図７や図８に例示した固体撮像素子２００では、最初の畳み込み層の積和演算を、列ごとの積分回路と３列ごとのＡＤＣとが並列に行うため、比較例よりも処理速度を早くすることができる。また、３列のそれぞれの積分信号を同時に加算するため、１列ずつ加算する非特許文献１よりも処理速度を早くすることができる。これにより、特に、動被写体に対する画像認識の精度を向上させることができる。
　さらに、フィルタ係数を積分時間に反映させるため、任意のフィルタ係数を設定可能であり、フィルタ係数が＋１、０、－１に制限される非特許文献１と比較して、画像認識の精度を向上させることができる。
　また、図７や図８の固体撮像素子２００では、グローバルシャッター方式により露光させるため、ローリングシャッター歪みが無くなり、面同時性を保つことができる。これにより、通常のＣＩＳ（Cmos Image Sensor）と同等の高画質な画像データを用いて画像認識を行うことができる。このような固体撮像素子２００は、高速で動く動物体の認識に有利なため、次の様々な用途に用いることができる。
（１）車載カメラに固体撮像素子２００を搭載し、画像認識処理の結果を用いて自動運転を実現する用途。
（２）産業用カメラに固体撮像素子２００を搭載し、画像認識処理の結果を用いて各種の検査を行う用途。
（３）市中の信号機などに設置するスマートデバイスに固体撮像素子２００を搭載し、画像認識処理の結果を用いて交通規制などを行う用途。
（４）店舗内の監視カメラに固体撮像素子２００を搭載し、画像認識処理の結果を用いて万引きの検知や、顧客の購買動向の分析などを行う用途。
（５）競技場などに設けたカメラに固体撮像素子２００を搭載し、画像認識処理の結果を用いてスポーツに関するデータ分析を行う用途。
　［固体撮像素子の動作例］
　図１０は、本技術の第１の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。垂直走査回路２１１は、露光開始の直前のタイミングＴ０から、パルス期間経過後のタイミングＴ１に亘って、全ての行（言い換えれば、全画素）にハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、全画素がＰＤリセットされ、全行で同時に露光が開始される。
　ここで、同図のｒｓｔ＿［ｎ］およびｔｒｇ＿［ｎ］は、Ｎ行のうちｎ行目の画素への信号を示す。Ｎは全行数を示す整数であり、ｎは、１乃至Ｎの整数である。
　そして、露光期間の終了直前のタイミングＴ２において、垂直走査回路２１１は、全画素において後段リセット信号ｒｓｔｂおよび選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、全画素がＦＤリセットされ、リセットレベルがサンプルホールドされる。ここで、同図のｒｓｔｂ＿［ｎ］およびΦｒ＿［ｎ］は、ｎ行目の画素への信号を示す。
　タイミングＴ２の後のタイミングＴ３において、垂直走査回路２１１は、選択信号Φｒをローレベルに戻す。
　露光終了のタイミングＴ４において、垂直走査回路２１１は、全画素において後段リセット信号ｒｓｔｂおよび選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、信号レベルがサンプルホールドされる。また、前段ノード３２０のレベルは、リセットレベル（ＶＤＤ－Ｖｇｓ）から、信号レベル（ＶＤＤ－Ｖｇｓ－Ｖｓｉｇ）に低下する。ここで、ＶＤＤは、電源電圧であり、Ｖｓｉｇは、ＣＤＳ処理により得られる正味の信号レベルである。Ｖｇｓは、前段増幅トランジスタ３１５のゲート－ソース間電圧である。また、同図のΦｓ＿［ｎ］は、ｎ行目の画素への信号を示す。
　タイミングＴ４の後のタイミングＴ５において、垂直走査回路２１１は、選択信号Φｓをローレベルに戻す。
　また、垂直走査回路２１１は、全行（全画素）の電流源トランジスタ３１６を制御して電流ｉｄ１を供給させる。ここで、同図のｉｄ１＿［ｎ］は、ｎ行目の画素の電流を示す。電流ｉｄが大電流となるとＩＲドロップが大きくなるため、電流ｉｄ１は数ナノアンペア（ｎＡ）乃至数十ナノアンペア（ｎＡ）のオーダーにする必要がある。一方、全列の負荷ＭＯＳトランジスタ２５１は、オフ状態であり、垂直信号線３０９に電流ｉｄ２は供給されない。
　図１１は、本技術の第１の実施の形態における１回目のオートゼロ動作、および、１回目（言い換えれば、０行目）の積分動作の一例を示すタイミングチャートである。同図におけるａは、フィルタの一例を示す。フィルタのサイズは、３行×３列であり、フィルタ内の相対的な行、列を第０、１、２行、第０、１、２列とする。
　グローバルシャッター方式による露光後に、固体撮像素子２００は、フィルタを水平方向や垂直方向にスライドさせながら畳み込み積分を行う。ただし、前述したように、３列ごとにＡＤＣが配置されているため、列数をＭとして、固体撮像素子２００は、Ｍ／３個の畳み込み積分を並列に実行することができる。このため、水平方向のスライド回数は２回で済む。
　また、３行分の畳み込み積分の演算期間は、１回目のオートゼロ期間、３行分の積分期間、１回目の読出し期間、２回目のオートゼロ期間、３行分の積分期間、２回目の読出し期間を含む。
　同図におけるｂは、１回目のオートゼロ動作、および、１回目（０行目）の積分動作の一例を示すタイミングチャートである。
　最初のオートゼロ期間において、垂直走査回路２１１は、タイミングＴ１１からパルス期間に亘ってハイレベルの制御信号ＡＺ１およびＡＺ２を供給する。
　タイミングＴ１２からＴ１４までの０行目の積分期間内に垂直走査回路２１１は、ハイレベルのＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂを０行目に供給する。同図のｓｅｌｂ＿［ｎ］は、ｎ行目の画素への信号を示す。
　０行目の積分時間の直後のタイミングＴ１５において、垂直走査回路２１１は、ハイレベルの後段リセット信号ｒｓｔｂを０行目に供給する。
　また、０行目の積分期間内に垂直走査回路２１１は、列ごとに、選択信号ΦｒおよびΦｓの一方をハイレベルにし、リセットレベルおよび信号レベルの一方を出力させる。選択信号ΦｒおよびΦｓのいずれをハイレベルにするかは、対応するフィルタ係数の符号により決定される。
　例えば、０行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であるものとする。この場合、０行、０列目の選択信号Φｒ＿［００］がハイレベルに制御され、０行、１列目の選択信号Φｓ＿［０１］がハイレベルに制御され、０行、２列目の選択信号Φｒ＿［０２］がハイレベルに制御される。これにより、０行、０列目からリセットレベルが出力され、０行、１列目から信号レベルが出力され、０行、２列目からリセットレベルが出力される。
　また、０行目の積分期間内のタイミングＴ１３以降に、タイミング制御回路２１２は、画素信号を時間積分させるための制御信号ＩＮＴを各列に供給する。同図のＩＮＴ＿［ｍ］は、ｍ（ｍは、０、１、または、２）列目の積分回路への信号を示す。制御信号ＩＮＴ＿［ｍ］のパルス幅は、対応するフィルタ係数の絶対値に応じた値である。０行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であり、それらの絶対値が同一であるため、制御信号ＩＮＴ＿［０］、ＩＮＴ＿［１］、ＩＮＴ＿［２］のパルス幅は同一に設定される。
　図１２は、本技術の第１の実施の形態における１回目のオートゼロ期間内の固体撮像素子２００の状態の一例を示す図である。制御信号ＡＺ１により、各列の積分回路において、オートゼロスイッチ２７５が閉状態になり、積分回路がリセットされる。また、制御信号ＡＺ２により、ＡＤＣのそれぞれにおいて、オートゼロスイッチ２８６が閉状態になり、コンパレータ２８５がリセットされる。
　図１３は、本技術の第１の実施の形態における１回目（０行目）の積分期間内の固体撮像素子２００の状態の一例を示す図である。同図におけるａの太枠で囲まれた部分は、積分対象の画素の位置を示す。
　同図におけるｂは、１回目（０行目）の積分期間内の固体撮像素子２００の状態の一例を示す。制御信号ＩＮＴにより、各列の積分回路において、フィルタ係数の絶対値に応じた積分時間に亘って入力スイッチ２７１が閉状態になる。０行目の０、１、２列目のフィルタ係数が「－１」、「＋１」、「－１」で、絶対値が同一であるため、各列の積分時間は同一である。
　各列の積分時間をｔとし、０行、０列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ００とする。０行、１列目の画素の出力する信号レベル（Ｄ相レベル）をＤ０１とし、０行、２列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ０２とする。この場合、０、１、２列目の積分信号は、Ｐ００×ｔ、Ｄ０１×ｔ、Ｐ０２×ｔとなる。
　図１４は、本技術の第１の実施の形態における２回目（言い換えれば、１行目）の積分動作の一例を示すタイミングチャートである。
　タイミングＴ１６からＴ１７までの１行目の積分期間内に垂直走査回路２１１は、ハイレベルのＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂを１行目に供給する。
　１行目の積分時間の直後のタイミングＴ１８において、垂直走査回路２１１は、ハイレベルの後段リセット信号ｒｓｔｂを１行目に供給する。
　また、１行目の０、１、２列目のフィルタ係数が「＋１」、「＋３」、「＋１」であるものとする。この場合、１行目の積分期間内に１行、０列目の選択信号Φｓ＿［１０］がハイレベルに制御され、１行、１列目の選択信号Φｓ＿［１１］がハイレベルに制御され、１行、２列目の選択信号Φｓ＿［１２］がハイレベルに制御される。これにより、１行目の０列、１列、２列目のそれぞれから信号レベルが出力される。
　また、１行目の積分期間内に、タイミング制御回路２１２は、画素信号を時間積分させるための制御信号ＩＮＴを各列に供給する。０行目の０、１、２列目のフィルタ係数が「＋１」、「＋３」、「＋１」であるため、制御信号ＩＮＴ＿［１］のパルス幅は、制御信号ＩＮＴ＿［０］および制御信号ＩＮＴ＿［２］のパルス幅の３倍に設定される。
　図１５は、本技術の第１の実施の形態における２回目（１行目）の積分期間内の固体撮像素子２００の状態の一例を示す図である。同図におけるａの太枠で囲まれた部分は、積分対象の画素の位置を示す。
　同図におけるｂは、２回目の積分期間内の固体撮像素子２００の状態の一例を示す。制御信号ＩＮＴにより、各列の積分回路において、フィルタ係数の絶対値に応じた積分時間に亘って入力スイッチ２７１が閉状態になる。１行目の０、１、２列目のフィルタ係数が「＋１」、「＋３」、「＋１」であるため、１列目の積分時間は、０列目および２列目の積分時間の３倍になる。
　０列目の積分時間をｔとし、１行、０列目の画素の出力する信号レベル（Ｄ相レベル）をＤ１０とする。１行、１列目の画素の出力する信号レベル（Ｄ相レベル）をＤ１１とし、１行、２列目の画素の出力する信号レベル（Ｄ相レベル）をＤ１２とする。この場合、０列目の積分信号は、Ｐ００×ｔ＋Ｄ１０×ｔとなり、１列目の積分信号は、Ｄ０１×ｔ＋Ｄ１１×３ｔとなり、２列目の積分信号は、Ｐ０２×ｔ＋Ｄ１２×ｔとなる。
　図１６は、本技術の第１の実施の形態における３回目（言い換えれば、２行目）の積分動作の一例を示すタイミングチャートである。
　タイミングＴ１９からＴ２１までの２行目の積分期間内に垂直走査回路２１１は、ハイレベルのＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂを２行目に供給する。
　２行目の積分時間の直後のタイミングＴ２２において、垂直走査回路２１１は、ハイレベルの後段リセット信号ｒｓｔｂを２行目に供給する。
　また、２行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であるものとする。この場合、２行、０列目の選択信号Φｒ＿［２０］がハイレベルに制御され、２行、１列目の選択信号Φｓ＿［２１］がハイレベルに制御され、２行、２列目の選択信号Φｒ＿［２２］がハイレベルに制御される。これにより、２行、０列目からリセットレベルが出力され、２行、１列目から信号レベルが出力され、２行、２列目からリセットレベルが出力される。
　また、２行目の積分期間内のタイミングＴ２０以降に、タイミング制御回路２１２は、画素信号を時間積分させるための制御信号ＩＮＴを各列に供給する。２行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であり、それらの絶対値が同一であるため、制御信号ＩＮＴ＿［０］、ＩＮＴ＿［１］、ＩＮＴ＿［２］のパルス幅は同一に設定される。
　図１７は、本技術の第１の実施の形態における３回目（２行目）の積分期間内の固体撮像素子の状態の一例を示す図である。同図におけるａの太枠で囲まれた部分は、積分対象の画素の位置を示す。
　同図におけるｂは、３回目（２行目）の積分期間内の固体撮像素子２００の状態の一例を示す。制御信号ＩＮＴにより、各列の積分回路において、フィルタ係数の絶対値に応じた積分時間に亘って入力スイッチ２７１が閉状態になる。１行目の０、１、２列目のフィルタ係数が「－１」、「＋１」、「－１」で、絶対値が同一であるため、各列の積分時間は同一である。
　各列の積分時間をｔとし、２行、０列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ２０とする。２行、１列目の画素の出力する信号レベル（Ｄ相レベル）をＤ２１とし、２行、２列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ２２とする。この場合、０列目の積分信号は、Ｐ００×ｔ＋Ｄ１０×ｔ＋Ｐ２０×ｔとなる。また、１列目の積分信号は、Ｄ０１×ｔ＋Ｄ１１×３ｔ＋Ｄ２１×ｔとなり、２列目の積分信号は、Ｐ０２×ｔ＋Ｄ１２×ｔ＋Ｐ２２×ｔとなる。
　図１８は、本技術の第１の実施の形態における１回目の読出し動作の一例を示すタイミングチャートである。タイミングＴ２３乃至Ｔ２４の読出し期間内にランプ信号Ｒｍｐが徐々に変動し、ＡＤ変換が行われる。
　図１９は、本技術の第１の実施の形態における１回目の読出し期間内の固体撮像素子２００の状態の一例を示す図である。積分回路２７０－１、２７０－２および２７０－３は、保持していた積分信号をＡＤＣ２８０－１に供給する。ＡＤＣ２８０－１は、この積分信号をアナログ加算した信号をデジタル信号Ｃｏｎｖ１にＡＤ変換する。このデジタル信号Ｃｏｎｖ１は、次の式により表される。
　　Ｃｏｎｖ１＝Ｐ００×ｔ＋Ｄ１０×ｔ＋Ｐ２０×ｔ
　　　　　　　　＋Ｄ０１×ｔ＋Ｄ１１×３ｔ＋Ｄ２１×ｔ
　　　　　　　　＋Ｐ０２×ｔ＋Ｄ１２×ｔ＋Ｐ２２×ｔ　　・・・式２
　図２０は、本技術の第１の実施の形態における２回目のオートゼロ動作、および、４回目（言い換えれば、０行目）の積分動作の一例を示すタイミングチャートである。
　２回目のオートゼロ期間において、垂直走査回路２１１は、タイミングＴ２５からパルス期間に亘ってハイレベルの制御信号ＡＺ１をｎ行目に供給する。
　タイミングＴ２６からＴ２８までの０行目の積分期間内に垂直走査回路２１１は、ハイレベルのＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂを０行目に供給する。
　また、０行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であるものとする。この場合、０行、０列目の選択信号Φｓ＿［００］がハイレベルに制御され、０行、１列目の選択信号Φｒ＿［０１］がハイレベルに制御され、０行、２列目の選択信号Φｓ＿［０２］がハイレベルに制御される。これにより、０行、０列目から信号レベルが出力され、０行、１列目からリセットレベルが出力され、０行、２列目から信号レベルが出力される。
　また、０行目の積分期間内のタイミングＴ２７以降に、タイミング制御回路２１２は、画素信号を時間積分させるための制御信号ＩＮＴを各列に供給する。０行目の第０、１、２列のフィルタ係数の絶対値が同一であるため、制御信号ＩＮＴ＿［０］、ＩＮＴ＿［１］、ＩＮＴ＿［２］のパルス幅は同一に設定される。
　図１１におけるｂと図２０とに例示したように、画素のそれぞれについて、垂直走査回路２１１は、１回目の積分期間内に選択信号ΦｒおよびΦｓの一方をハイレベルにし、一定期間後の２回目の積分期間内にΦｒおよびΦｓの他方をハイレベルにする。この制御により、選択された行の選択回路３３０は、容量素子３２１を後段ノード３４０に接続する制御と、容量素子３２１および３２２を後段ノード３４０から切り離す制御と、容量素子３２２を後段ノード３４０に接続する制御とを順に行う。また、容量素子３２１および３２２が後段ノード３４０から切り離されたときに、選択された行の後段リセットトランジスタ３４１は後段ノード３４０のレベルを初期化する。このように、後段リセットトランジスタ３４１の駆動時に容量素子３２１および３２２を切り離すことにより、ｋＴＣノイズを低減することができる。
　図２１は、本技術の第１の実施の形態における２回目のオートゼロ期間内の固体撮像素子の状態の一例を示す図である。制御信号ＡＺ１により、各列の積分回路において、オートゼロスイッチ２７５が閉状態になり、積分回路がリセットされる。
　図２２は、本技術の第１の実施の形態における４回目（０行目）の積分期間内の固体撮像素子の状態の一例を示す図である。同図におけるａの太枠で囲まれた部分は、積分対象の画素の位置を示す。
　同図におけるｂは、４回目（０行目）の積分期間内の固体撮像素子２００の状態の一例を示す。制御信号ＩＮＴにより、各列の積分回路において、フィルタ係数の絶対値に応じた積分時間に亘って入力スイッチ２７１が閉状態になる。０行目の０、１、２列目のフィルタ係数が「－１」、「＋１」、「－１」で、絶対値が同一であるため、各列の積分時間は同一である。
　各列の積分時間をｔとし、０行、０列目の画素の出力する信号レベル（Ｄ相レベル）をＤ００とする。０行、１列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ０１とし、０行、２列目の画素の出力する信号レベル（Ｄ相レベル）をＤ０２とする。この場合、０、１、２列目の積分信号は、Ｄ００×ｔ、Ｐ０１×ｔ、Ｄ０２×ｔとなる。
　図２３は、本技術の第１の実施の形態における５回目（言い換えれば、１行目）の積分動作の一例を示すタイミングチャートである。
　タイミングＴ２９からＴ３０までの１行目の積分期間内に垂直走査回路２１１は、ハイレベルのＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂを１行目に供給する。
　また、１行目の０、１、２列目のフィルタ係数が「＋１」、「＋３」、「＋１」である。この場合、１行目の積分期間内に１行、０列目の選択信号Φｒ＿［１０］がハイレベルに制御され、１行、１列目の選択信号Φｒ＿［１１］がハイレベルに制御され、１行、２列目の選択信号Φｒ＿［１２］がハイレベルに制御される。これにより、１行目の０列、１列、２列目のそれぞれからリセットレベルが出力される。
　また、１行目の積分期間内に、タイミング制御回路２１２は、画素信号を時間積分させるための制御信号ＩＮＴを各列に供給する。０行目の０、１、２列目のフィルタ係数が「＋１」、「＋３」、「＋１」であるため、制御信号ＩＮＴ＿［１］のパルス幅は、制御信号ＩＮＴ＿［０］および制御信号ＩＮＴ＿［２］のパルス幅の３倍に設定される。
　図２４は、本技術の第１の実施の形態における５回目（１行目）の積分期間内の固体撮像素子の状態の一例を示す図である。同図におけるａの太枠で囲まれた部分は、積分対象の画素の位置を示す。
　同図におけるｂは、５回目の積分期間内の固体撮像素子２００の状態の一例を示す。制御信号ＩＮＴにより、各列の積分回路において、フィルタ係数の絶対値に応じた積分時間に亘って入力スイッチ２７１が閉状態になる。１行目の０、１、２列目のフィルタ係数が「＋１」、「＋３」、「＋１」であるため、１列目の積分時間は、０列目および２列目の積分時間の３倍になる。
　０列目の積分時間をｔとし、１行、０列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ１０とする。１行、１列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ１１とし、１行、２列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ１２とする。この場合、０列目の積分信号は、Ｄ００×ｔ＋Ｐ１０×ｔとなり、１列目の積分信号は、Ｐ０１×ｔ＋Ｐ１１×３ｔとなり、２列目の積分信号は、Ｄ０２×ｔ＋Ｐ１２×ｔとなる。
　図２５は、本技術の第１の実施の形態における６回目（言い換えれば、２行目）の積分動作の一例を示すタイミングチャートである。
　タイミングＴ３２からＴ３４までの２行目の積分期間内に垂直走査回路２１１は、ハイレベルのＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂを２行目に供給する。
　また、２行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であるものとする。この場合、２行、０列目の選択信号Φｓ＿［２０］がハイレベルに制御され、２行、１列目の選択信号Φｒ＿［２１］がハイレベルに制御され、２行、２列目の選択信号Φｓ＿［２２］がハイレベルに制御される。これにより、２行、０列目から信号レベルが出力され、２行、１列目からリセットレベルが出力され、２行、２列目から信号レベルが出力される。
　また、２行目の積分期間内のタイミングＴ３３以降に、タイミング制御回路２１２は、画素信号を時間積分させるための制御信号ＩＮＴを各列に供給する。２行目の第０、１、２列のフィルタ係数が「－１」、「＋１」、「－１」であり、それらの絶対値が同一であるため、制御信号ＩＮＴ＿［０］、ＩＮＴ＿［１］、ＩＮＴ＿［２］のパルス幅は同一に設定される。
　図２６は、本技術の第１の実施の形態における６回目（２行目）の積分期間内の固体撮像素子の状態の一例を示す図である。同図におけるａの太枠で囲まれた部分は、積分対象の画素の位置を示す。
　同図におけるｂは、６回目の積分期間内の固体撮像素子２００の状態の一例を示す。制御信号ＩＮＴにより、各列の積分回路において、フィルタ係数の絶対値に応じた積分時間に亘って入力スイッチ２７１が閉状態になる。１行目の０、１、２列目のフィルタ係数が「－１」、「＋１」、「－１」で、絶対値が同一であるため、各列の積分時間は同一である。
　各列の積分時間をｔとし、２行、０列目の画素の出力する信号レベル（Ｄ相レベル）をＤ２０とする。２行、１列目の画素の出力するリセットレベル（Ｐ相レベル）をＰ２１とし、２行、２列目の画素の出力する信号レベル（Ｄ相レベル）をＤ２２とする。この場合、０列目の積分信号は、Ｄ００×ｔ＋Ｐ１０×ｔ＋Ｄ２０×ｔとなる。また、１列目の積分信号は、Ｐ０１×ｔ＋Ｐ１１×３ｔ＋Ｐ２１×ｔとなり、２列目の積分信号は、Ｄ０２×ｔ＋Ｐ１２×ｔ＋Ｄ２２×ｔとなる。
　図２７は、本技術の第１の実施の形態における２回目の読出し動作の一例を示すタイミングチャートである。タイミングＴ３５乃至Ｔ３６の読出し期間内にランプ信号Ｒｍｐが徐々に変動し、ＡＤ変換が行われる。
　図２８は、本技術の第１の実施の形態における２回目の読出し期間内の固体撮像素子２００の状態の一例を示す図である。積分回路２７０－１、２７０－２および２７０－３は、保持していた積分信号をＡＤＣ２８０－１に供給する。ＡＤＣ２８０－１は、これの積分信号をアナログ加算した信号をデジタル信号Ｃｏｎｖ２にＡＤ変換するとともに、１回目のデジタル信号Ｃｏｎｖ１と２回目のデジタル信号Ｃｏｎｖ２との差分であるＣｏｎｖｄを演算する。これらは次の式により表される。
　　Ｃｏｎｖ２＝Ｄ００×ｔ＋Ｐ１０×ｔ＋Ｄ２０×ｔ
　　　　　　　　＋Ｐ０１×ｔ＋Ｐ１１×３ｔ＋Ｐ２１×ｔ
　　　　　　　　＋Ｄ０２×ｔ＋Ｐ１２×ｔ＋Ｄ２２×ｔ　　・・・式３
　　Ｃｏｎｖｄ＝Ｃｏｎｖ１－Ｃｏｎｖ２　　　　　　　　　・・・式４
　式４は、ＪおよびＫがいずれも「３」であるときの式１と等価である。
　図２９は、本技術の第１の実施の形態におけるフィルタを水平方向に１列分スライドした際の固体撮像素子２００の状態の一例を示す図である。同図の太枠の画素は、フィルタを適用する画素を示す。例えば、切替回路２６１は、積分回路２７０－２および２７０－３の出力先をＡＤＣ２８０－２に切り替える。２列分スライドする場合、切替回路２６１は、積分回路２７０－１および２７０－２の出力先をＡＤＣ２８０－１に切り替え、２７０－３の出力先をＡＤＣ２８０－２に切り替える。垂直方向にフィルタをスライドする場合は、垂直走査回路２１１が、駆動対象の３行の行アドレスを変更すればよい。
　式１乃至式４に例示したように、フィルタ係数の符号に応じてリセットレベル、信号レベルの出力順序を変えることにより、フィルタ係数の符号を、画素ごとの差分の符号に反映させることができる。
　図３０は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、画像認識を行うための所定のアプリケーションが実行されたときに開始される。
　垂直走査回路２１１は、全画素の露光を行う（ステップＳ９０１）。画素のそれぞれは、リセットレベルおよび信号レベルをサンプルホールドする（ステップＳ９０２）。垂直走査回路２１１は、読み出す３行を選択し、各列の積分回路は、３行分の画素信号（リセットレベルまたは信号レベル）を時間積分する（ステップＳ９０３）。そして、ＡＤＣのそれぞれは、１回目のＡＤ変換を行う（ステップＳ９０４）。そして、各列の積分回路は、３行分の画素信号を時間積分し（ステップＳ９０５）、ＡＤＣのそれぞれは、２回目のＡＤ変換および差分演算を行う（ステップＳ９０６）。
　固体撮像素子２００は、全画素についてフィルタ処理が完了したか否かを判断する（ステップＳ９０７）。フィルタ処理が完了していない場合（ステップＳ９０７：Ｎｏ）、固体撮像素子２００は、フィルタを水平方向や垂直方向にスライドさせ（ステップＳ９０９）、ステップＳ９０３以降を繰り返し実行する。
　フィルタ処理が完了した場合（ステップＳ９０７：Ｙｅｓ）、固体撮像素子２００は、ＣＮＮ処理を実行し（ステップＳ９０８）、認識対象の特徴量のデータと照合する（ステップＳ９０９）。ステップＳ９０９の後に、固体撮像素子２００は、画像認識の処理を終了する。
　図３１は、本技術の第１の実施の形態における固体撮像素子２００の利用例の一例を示す図である。同図におけるａは、一般的なＣＮＮの一例を示す図である。このＣＮＮは、入力層と、複数段の畳み込み層と、１つ以上のプーリング層と、全結合層と、出力層とを含む。
　例えば、１段目の畳み込み層の積和演算が、図７に例示した、積分回路およびＡＤＣを含むアナログ回路により実行される。以降の層の処理は、図７のＣＮＮ処理部２９１により実行される。
　なお、図３１におけるｂに例示するように、圧縮センシングに利用することもできる。圧縮センシングに用いる場合、固体撮像素子２００は、ランダムな計画行列Φｍと、スパースな入力データｘとの積である観測データｙを演算する。入力データｘとして、全画素の画素信号が用いられる。このため、フィルタのサイズは、画像データのサイズと同等となる。ｘがスパースである場合、Φを用いてｙからｘを復元することができる。このような圧縮センシングにより画像データのデータサイズを削減することができる。
　このように、本技術の第１の実施の形態によれば、積分回路により時間積分された信号をＡＤＣがアナログ加算してデジタル信号に変換するため、フィルタ係数が制限されず、処理速度が向上する。これにより、画像認識の精度を向上させることができる。
　［変形例］
　上述の第１の実施の形態では、固体撮像素子２００が、積分回路などを用いて画像認識処理を行っているが、畳み込み積分を行わずに、通常の画像データを撮像することもできる。この第１の実施の形態の変形例における固体撮像素子２００は、積分回路をバイパスするバイパススイッチを追加した点において第２の実施の形態と異なる。
　図３２は、本技術の第１の実施の形態の変形例におけるカラム信号処理回路２６０の一構成例を示す回路図である。この第１の実施の形態の変形例のカラム信号処理回路２６０は、バイパススイッチ２６２－１乃至２６２－３と、バイパススイッチ２６３－１乃至２６３－３とをさらに備える点において第１の実施の形態と異なる。また、第２の実施の形態の変形例において、ＡＤＣは、列ごとに配置される。
　バイパススイッチ２６２－１乃至２６２－３とバイパススイッチ２６３－１乃至２６３－３とは、タイミング制御回路２１２の制御に従って、積分回路２７０－１乃至２７０－３をバイパスする。
　例えば、固体撮像素子２００には、画像認識処理を行う画像認識モードと、画像認識処理を行わない通常モードとのいずれかが設定される。通常モードが設定された場合には、バイパススイッチが積分回路をバイパスする。
　また、切替回路２６１は、通常モードが設定された場合に、各列のバイパススイッチと、その列のＡＤＣとを接続する。例えば、バイパススイッチ２６３－１と、ＡＤＣ２８０－１とが接続され、バイパススイッチ２６３－２とＡＤＣ２８０－２（不図示）とが接続される。
　このように、本技術の第１の実施の形態の変形例では、積分回路をバイパスするバイパススイッチをさらに配置したため、畳み込み積分を行わずに通常の画像データを撮像することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、フィルタの水平方向のサイズが固定であったが、この構成に限定されない。この第２の実施の形態の固体撮像素子２００は、フィルタの水平方向のサイズを可変にした点において第１の実施の形態と異なる。
　図３３は、本技術の第２の実施の形態におけるＡＤＣ２８０－１の一構成例を示す回路図である。この第２の実施の形態のＡＤＣ２８０－１は、フィルタの水平方向のサイズの最大値をＫとして、接続スイッチ２８３－１乃至２８３－（Ｋ－１）を備える点において第１の実施の形態と異なる。
　また、容量素子２８２－１乃至２８２－３の代わりに、容量素子２８２－１乃至２８２－Ｋが設けられる。容量素子２８２－１乃至２８２－Ｋのそれぞれの一端は、切替回路２６１を介して対応する積分回路に接続され、他端は、コンパレータ２８５の反転入力端子（－）に共通に接続される。
　接続スイッチ２８３－ｋ（ｋは、１乃至Ｋ－１の整数）は、切替信号ＳＷ＿ｋに従って、容量素子２８２－ｋのコンパレータ２８５側の一端と、容量素子２８２－（ｋ＋１）のコンパレータ２８５側の一端とを接続するものである。切替信号ＳＷ＿ｋは、例えば、タイミング制御回路２１２から供給される。容量素子２８２－１乃至２８２－Ｋのうち、隣接する２つの容量素子は、特許請求の範囲における第１および第２の容量素子の一例である。
　接続スイッチ２８３－１乃至２８３－（Ｋ－１）のうち、閉状態にするスイッチ数を制御することにより、フィルタの水平方向のサイズを変更することができる。
　また、列数をＭとし、フィルタの水平方向の最小サイズをＲ（Ｒは整数）とすると、Ｍ／Ｒ個のＡＤＣが配列される。例えば、最小サイズを「２」とすると、２列ごとにＡＤＣが配置される。
　なお、第２の実施の形態に、第１の実施の形態の変形例を適用することができる。
　このように、本技術の第２の実施の形態によれば、隣接する２つの容量素子のそれぞれの一端を接続する接続スイッチ２８３－ｋを設けたため、フィルタの水平方向のサイズを可変にすることができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、光電変換素子３１１が電荷を生成して蓄積していたが、暗所での画質が不足することがある。この第３の実施の形態における固体撮像素子２００は、光電変換素子３１１として埋め込み型のフォトダイオードを用いる点において第１の実施の形態と異なる。
　図３４は、本技術の第３の実施の形態における光電変換素子３１１の一構成例を示す図である。フォトダイオード（光電変換素子３１１）の電荷蓄積部５０２であるｎ型領域が基板５１１内に埋め込まれている。シリコンと、シリコン酸化膜との界面は、高濃度のｐ層５０３で覆われており、結晶欠陥の多いＳｉｐ型領域５０３で分離することにより白点、暗電流を抑制することが可能である。ただし、ＴＧ電極５０６の周辺部５１４のｐ型濃度が濃すぎると信号を読み出すことが困難になるため、５１４の領域のみｐ型の濃度を薄くする必要がある。この場合、ＴＧ電極５０６がＯｆｆ時に負バイアス（例えば－１．２Ｖ）を与えておくことで、表面全体をホール（正孔）で満たすことができ、?電流を低減することが可能である。
　同図に例示するように、電荷蓄積領域が半導体基板（基板５１１）に埋め込まれたフォトダイオードを用いることにより、暗電流を抑制し、暗所での画質を向上させることができる。
　なお、非特許文献１では、フォトダイオードの光電変換電流を用いており、同図に例示した埋め込み型の構造を採用することができないため、暗所での画質向上が困難になる。
　また、第３の実施の形態に、第１の実施の形態の変形例や第２の実施の形態を適用することができる。
　このように、本技術の第３の実施の形態によれば、電荷蓄積領域が半導体基板（基板５１１）に埋め込まれたフォトダイオードを用いるため、暗所での画質を向上させることができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、画素ごとに１系統の後段回路を設けていたが、この構成では、読出し速度が不足することがある。この第４の実施の形態における固体撮像素子２００は、画素ごとに２系統の後段回路を設けた点において第１の実施の形態と異なる。
　図３５は、本技術の第４の実施の形態における画素３００の一構成例を示す回路図である。この第４の実施の形態の画素３００は、後段回路３５０の代わりに後段回路３５０－ｒおよび３５０－ｓを備える。
　選択トランジスタ３３１は、容量素子３２１と後段回路３５０－ｒとの間の経路を開閉し、選択トランジスタ３３２は、容量素子３２２と後段回路３５０－ｓとの間の経路を開閉する。
　後段回路３５０－ｒは、後段増幅トランジスタ３５１－ｒおよび後段選択トランジスタ３５２－ｒを備え、後段回路３５０－ｓは、後段増幅トランジスタ３５１－ｓおよび後段選択トランジスタ３５２－ｓを備える。また、垂直信号線が列ごとに２本配線される。後段回路３５０－ｒは、垂直信号線３０９－ｒにリセットレベルを出力し、後段回路３５０－ｓは、垂直信号線３０９－ｓに信号レベルを出力する。これらのリセットレベルおよび信号レベルは同時に出力される。
　図３６は、本技術の第４の実施の形態におけるカラム信号処理回路２６０の一構成例を示す回路図である。積分回路およびＡＤＣのそれぞれの個数は、第１の実施の形態の２倍である。例えば、フィルタのサイズを３行×３列とすると、３列ごとに、積分回路２７０－１乃至２７０－６などの６個の積分回路と、ＡＤＣ２８０－１および２８０－２などの２つのＡＤＣとが配置される。また、３列ごとにＣＤＳ回路２８９がさらに配置される。
　また、切替回路２６１の代わりに、切替回路２６１－１および２６１－２が配置される。切替回路２６１－１は、垂直信号線の接続先を切り替え、切替回路２６１－２は、積分回路の接続先を切り替える。
　切替回路２６１－２は、例えば、積分回路２７０－１、２７０－２および２７０－３の出力先をＡＤＣ２８０－１に接続し、積分回路２７０－４、２７０－５および２７０－６の出力先をＡＤＣ２８０－２に接続するものとする。また、これらのＡＤＣは、ＣＤＳ処理を行わず、ＡＤ変換のみを行う。
　ＣＤＳ回路２８９は、ＡＤＣ２８０－１の出力したデジタル信号から、ＡＤＣ２８０－２の出力したデジタル信号を減算し、画像認識部２９０に供給する。
　切替回路２６１－１は、画素のフィルタ係数の符号に応じて、垂直信号線の接続先を切り替える。例えば、フィルタ内のある行に着目し、その行の左から１列目のフィルタ係数が－１で、２列目のフィルタ係数が＋１で、３列目のフィルタ係数が－１であるものとする。この場合、切替回路２６１－１は、１列目のリセットレベルを伝送する垂直信号線（３０９－ｒなど）を積分回路２７０－１に接続し、その列の信号レベルを伝送する垂直信号線（３０９－ｓなど）を積分回路２７０－４に接続する。
　また、切替回路２６１－１は、２列目のリセットレベルを伝送する垂直信号線を積分回路２７０－５に接続し、その列の信号レベルを伝送する垂直信号線を積分回路２７０－２に接続する。切替回路２６１－１は、３列目のリセットレベルを伝送する垂直信号線を積分回路２７０－３に接続し、その列の信号レベルを伝送する垂直信号線を積分回路２７０－６に接続する。
　同図に例示した構成により、各画素のリセットレベルのＡＤ変換と、信号レベルのＡＤ変換とを並列に実行することができる。これにより、読出し速度を向上させることができる。
　また、第４の実施の形態に、第１の実施の形態の変形例や第２、第３の実施の形態を適用することができる。
　このように、本技術の第４の実施の形態によれば、後段回路３５０－ｒおよび３５０－ｓがリセットレベルおよび信号レベルを同時に出力し、これらをＡＤＣ２８０－１および２８０－２が同時にＡＤ変換するため、読出し速度を向上させることができる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、画素３００内に、プリチャージトランジスタ３１８を設けていたが、このトランジスタを削減することもできる。この第５の実施の形態における固体撮像素子２００は、プリチャージトランジスタ３１８を削減した点において第１の実施の形態と異なる。
　図３７は、本技術の第５の実施の形態における画素３００の一構成例を示す回路図である。この第５の実施の形態の画素３００は、プリチャージトランジスタ３１８を削減した点において第１の実施の形態と異なる。垂直走査回路２１１は、ゲート電圧の制御により、プリチャージトランジスタ３１８の代わりに、電流源トランジスタ３１６をオフ状態にし、電荷抜けを防止すればよい。
　また、第５の実施の形態に、第１の実施の形態の変形例や、第２から第４の実施の形態を適用することができる。
　このように、本技術の第４の実施の形態によれば、プリチャージトランジスタ３１８を削減したため、その分、固体撮像素子２００の回路規模を削減することができる。
　［第１の変形例］
　上述の第５の実施の形態では、前段回路３１０が前段ノード３２０に接続されたままで信号を読み出していたが、この構成では、読出しの際に前段ノード３２０からのノイズを遮断することができない。この第５の実施の形態の第１の変形例の画素３００は、前段回路３１０と前段ノード３２０との間にトランジスタを挿入した点において第１の実施の形態と異なる。
　図３８は、本技術の第５の実施の形態の第１の変形例における画素３００の一構成例を示す回路図である。この第５の実施の形態の第１の変形例の画素３００は、前段リセットトランジスタ３２３および前段選択トランジスタ３２４をさらに備える点において第５の実施の形態と異なる。また、第５の実施の形態の第１の変形例の前段回路３１０および後段回路３５０の電源電圧をＶＤＤ１とする。
　前段リセットトランジスタ３２３は、前段ノード３２０のレベルを電源電圧ＶＤＤ２により初期化するものである。この電源電圧ＶＤＤ２は、次の式を満たす値に設定することが望ましい。
　　ＶＤＤ２＝ＶＤＤ１－Ｖｇｓ　　　　　　　　　　　　　・・・式５
上式において、Ｖｇｓは、前段増幅トランジスタ３１５のゲート－ソース間電圧である。
　式５を満たす値に設定することにより、暗いときの前段ノード３２０と後段ノード３４０との間の電位変動を少なくすることができる。これにより、感度不均一性 (PRNU: Photo Response Non-Uniformity)を改善することができる。
　前段選択トランジスタ３２４は、垂直走査回路２１１からの前段選択信号ｓｅｌに従って、前段回路３１０と前段ノード３２０との間の経路を開閉するものである。
　図３９は、本技術の第５の実施の形態の第１の変形例におけるグローバルシャッター動作の一例を示すタイミングチャートである。第５の実施の形態の第１の変形例のタイミングチャートは、垂直走査回路２１１が前段リセット信号ｒｓｔａおよび前段選択信号ｓｅｌをさらに供給する点において第１の実施の形態と異なる。同図において、ｒｓｔａ＿［ｎ］およびｓｅｌ＿［ｎ］は、第ｎ行の画素への信号を示す。
　垂直走査回路２１１は、露光終了の直前のタイミングＴ２からタイミングＴ５に亘って全画素へハイレベルの前段選択信号ｓｅｌを供給する。前段リセット信号ｒｓｔａは、ローレベルに制御される。
　また、各行の読出しの際に前段選択信号ｓｅｌはローレベルに制御される。この制御により、前段選択トランジスタ３２４が開状態に移行して、前段ノード３２０が前段回路３１０から切り離される。これにより、読出しの際に前段ノード３２０からのノイズを遮断することができる。
　このように、本技術の第５の実施の形態の第１の変形例によれば、読出しの際に前段選択トランジスタ３２４が開状態に移行し、前段回路３１０を前段ノード３２０から切り離すため、前段回路３１０からのノイズを遮断することができる。
　［第２の変形例］
　上述の第５の実施の形態では、固体撮像素子２００内の回路を単一の半導体チップに設けていたが、この構成では、画素３００を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第５の実施の形態の第２の変形例の固体撮像素子２００は、固体撮像素子２００内の回路を２つの半導体チップに分散して配置した点において第５の実施の形態と異なる。
　図４０は、本技術の第５の実施の形態の第２の変形例における固体撮像素子２００の積層構造の一例を示す図である。第５の実施の形態の第２の変形例の固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された画素チップ２０１とを備える。これらのチップは、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　画素チップ２０１には、上側画素アレイ部２２１が配置される。回路チップ２０２には、下側画素アレイ部２２２とカラム信号処理回路２６０とが配置される。画素アレイ部２２０内の画素ごとに、その一部が、上側画素アレイ部２２１に配置され、残りが下側画素アレイ部２２２に配置される。
　また、回路チップ２０２には、垂直走査回路２１１、タイミング制御回路２１２、ＤＡＣ２１３および負荷ＭＯＳ回路ブロック２５０も配置される。これらの回路は、同図において省略されている。
　また、画素チップ２０１は、例えば、画素専用のプロセスで製造され、回路チップ２０２は、例えば、ＣＭＯＳ（Complementary MOS）プロセスで製造される。
　図４１は、本技術の第５の実施の形態の第２の変形例における画素３００の一構成例を示す回路図である。画素３００のうち、前段回路３１０は、画素チップ２０１に配置され、それ以外の回路や素子（容量素子３２１および３２２など）は、回路チップ２０２に配置される。なお、電流源トランジスタ３１６をさらに回路チップ２０２に配置することもできる。同図に例示するように、画素３００内の素子を、積層した画素チップ２０１および回路チップ２０２に分散して配置することにより、画素の面積を小さくすることができ、画素の微細化が容易になる。
　このように、本技術の第５の実施の形態の第２の変形例によれば、画素３００内の回路や素子を２つの半導体チップに分散して配置するため、画素の微細化が容易になる。
　［第３の変形例］
　上述の第５の実施の形態の第２の変形例では、画素３００の一部と周辺回路（カラム信号処理回路２６０など）とを下側の回路チップ２０２に設けていた。しかし、この構成では、周辺回路の分、回路チップ２０２側の回路や素子の配置面積が画素チップ２０１より大きくなり、画素チップ２０１に、回路や素子の無い無駄なスペースが生じるおそれがある。この第５の実施の形態の第３の変形例の固体撮像素子２００は、固体撮像素子２００内の回路を３つの半導体チップに分散して配置した点において第５の実施の形態の第２の変形例と異なる。
　図４２は、本技術の第５の実施の形態の第３の変形例における固体撮像素子２００の積層構造の一例を示す図である。第５の実施の形態の第３の変形例の固体撮像素子２００は、上側画素チップ２０３、下側画素チップ２０４および回路チップ２０２を備える。これらのチップは積層され、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　上側画素チップ２０３には、上側画素アレイ部２２１が配置される。下側画素チップ２０４には、下側画素アレイ部２２２が配置される。画素アレイ部２２０内の画素ごとに、その一部が、上側画素アレイ部２２１に配置され、残りが下側画素アレイ部２２２に配置される。
　また、回路チップ２０２には、カラム信号処理回路２６０、垂直走査回路２１１、タイミング制御回路２１２、ＤＡＣ２１３および負荷ＭＯＳ回路ブロック２５０が配置される。カラム信号処理回路２６０以外の回路は、同図において省略されている。
　同図に例示したように３層構成にすることにより、２層構成と比較して無駄なスペースを削減し、さらに画素を微細化することができる。また、２層目の下側画素チップ２０４を、容量やスイッチのための専用のプロセスで製造することができる。
　このように、本技術の第５の実施の形態の第３の変形例では、固体撮像素子２００内の回路を３つの半導体チップに分散して配置するため、２つの半導体チップに分散して配置する場合と比較してさらに画素を微細化することができる。
　＜６．第６の実施の形態＞
　上述の第５の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第６の実施の形態の固体撮像素子２００は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第５の実施の形態と異なる。
　図４３は、本技術の第６の実施の形態における画素３００の一構成例を示す回路図である。この第２の実施の形態の画素３００は、前段回路３１０内に排出トランジスタ３１７をさらに備える点において第５の実施の形態と異なる。
　排出トランジスタ３１７は、垂直走査回路２１１からの排出信号оｆｇに従って光電変換素子３１１から電荷を排出するオーバーフロードレインとして機能するものである。排出トランジスタ３１７として、例えば、ｎＭＯＳトランジスタが用いられる。
　第５の実施の形態のように、排出トランジスタ３１７を設けない構成では、全画素について光電変換素子３１１からＦＤ３１４へ電荷を転送した際に、ブルーミングが生じることがある。そして、ＦＤリセットの際にＦＤ３１４と前段ノード３２０の電位が降下する。この電位降下に追従して、容量素子３２１および３２２の充放電の電流が発生し続け、電源やグランドのＩＲドロップが、ブルーミングの無い定常状態から変化してしまう。
　その一方で、全画素の信号レベルのサンプルホールドの際には、信号電荷の転送後、光電変換素子３１１内の電荷が空の状態になるため、ブルーミングが発生しなくなり、電源やグランドのＩＲドロップが、ブルーミングの無い定常状態となる。これらのリセットレベル、信号レベルをサンプルホールドの際のＩＲドロップの違いに起因して、ストリーキングノイズが生じる。
　これに対して、排出トランジスタ３１７を設けた第６の実施の形態では、光電変換素子３１１の電荷がオーバーフロードレイン側に排出される。このため、リセットレベル、信号レベルをサンプルホールドの際のＩＲドロップが同程度となり、ストリーキングノイズを抑制することができる。
　図４４は、本技術の第６の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。露光開始のタイミング前のタイミングＴ０において、垂直走査回路２１１は、全画素の排出信号оｆｇをハイレベルにしつつ、全画素にハイレベルのＦＤリセット信号ｒｓｔをパルス期間に亘って供給する。これにより、全画素についてＰＤリセットおよびＦＤリセットが行われる。また、リセットレベルがサンプルホールドされる。ここで、同図のоｆｇ＿［ｎ］は、Ｎ行のうちｎ行目の画素への信号を示す。
　そして、露光開始のタイミングＴ１において、垂直走査回路２１１は、全画素の排出信号оｆｇをローレベルに戻す。そして、露光終了の直前のタイミングＴ２から露光終了のＴ３までの期間に亘って、垂直走査回路２１１は、全画素にハイレベルの転送信号ｔｒｇを供給する。これにより、信号レベルがサンプルホールドされる。
　第５の実施の形態のように、排出トランジスタ３１７を設けない構成では、露光開始時（すなわち、ＰＤリセット時）に転送トランジスタ３１２およびＦＤリセットトランジスタ３１３の両方をオン状態にしなければならない。この制御では、ＰＤリセットの際に、同時にＦＤ３１４もリセットしなければならない。このため、露光期間内に再度ＦＤリセットを行い、リセットレベルをサンプルホールドする必要があり、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。全画素のリセットレベルをサンプルホールドする際には、電圧や電流が静定するまでにある程度の待ち時間が必要になり、例えば、数マイクロ秒（μｓ）から数十マイクロ秒（μｓ）のサンプルホールド期間が必要となる。
　これに対して、排出トランジスタ３１７を設ける第６の実施の形態では、ＰＤリセットとＦＤリセットとを個別に行うことができる。このため、同図に例示するように、ＰＤリセットの解除（露光開始）前にＦＤリセットを行って、リセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
　なお、第６の実施の形態に、第５の実施の形態の第１乃至第３の変形例を適応することもできる。
　このように、本技術の第６の実施の形態によれば、光電変換素子３１１から電荷を排出する排出トランジスタ３１７を設けたため、露光開始前にＦＤリセットを行ってリセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
　＜７．第７の実施の形態＞
　上述の第５の実施の形態では、電源電圧ＶＤＤによりＦＤ３１４を初期化していたが、この構成では容量素子３２１および３２２のばらつきや、寄生容量により、感度不均一性（ＰＲＮＵ）が悪化するおそれがある。この第７の実施の形態の固体撮像素子２００は、ＦＤリセットトランジスタ３１３の電源を読出しの際に低下させることにより、ＰＲＮＵを改善する点において第５の実施の形態と異なる。
　図４５は、本技術の第７の実施の形態における画素３００の一構成例を示す回路図である。この第７の実施の形態の画素３００は、ＦＤリセットトランジスタ３１３の電源が、画素３００の電源電圧ＶＤＤと分離されている点において第１の実施の形態と異なる。
　第７の実施の形態のＦＤリセットトランジスタ３１３のドレインは、リセット電源電圧ＶＲＳＴに接続される。このリセット電源電圧ＶＲＳＴは、例えば、タイミング制御回路２１２により制御される。
　ここで、第５の実施の形態の画素３００におけるＰＲＮＵの悪化について考える。第１の実施の形態では、露光開始時直前のタイミングＴ０において、ＦＤ３１４の電位は、ＦＤリセットトランジスタ３１３のリセットフィードスルーにより低下する。この変動量をＶｆｔとする。
　第１の実施の形態では、ＦＤリセットトランジスタ３１３の電源電圧はＶＤＤであるため、タイミングＴ０において、ＦＤ３１４の電位は、ＶＤＤから、ＶＤＤ－Ｖｆｔに変動する。また、露光時の前段ノード３２０の電位は、ＶＤＤ－Ｖｆｔ－Ｖｇｓとなる。
　また、第１の実施の形態では、読出しの際にＦＤリセットトランジスタ３１３がオン状態に移行し、ＦＤ３１４が、電源電圧ＶＤＤに固定される。そのＦＤ３１４の変動量Ｖｆｔにより、読出しの際の前段ノード３２０および後段ノード３４０の電位を、Ｖｆｔ程度高くシフトする。ただし、容量素子３２１および３２２の容量値のばらつきや、寄生容量により、シフトする電圧量が画素ごとにばらつき、ＰＲＮＵ悪化の元になる。
　前段ノード３２０がＶｆｔだけ遷移した場合の後段ノード３４０の遷移量は、例えば、次の式により表される。
　　｛（Ｃｓ＋δＣｓ）／（Ｃｓ＋δＣｓ＋Ｃｐ）｝＊Ｖｆｔ　・・・式６
上式において、Ｃｓは、信号レベル側の容量素子３２２の容量値であり、δＣｓは、Ｃｓのばらつきである。Ｃｐは、後段ノード３４０の寄生容量の容量値である。
　式６は、次の式に近似することができる。
　　｛１－（δＣｓ／Ｃｓ）＊（Ｃｐ／Ｃｓ）｝＊Ｖｆｔ　　・・・式７
　式７より、後段ノード３４０のばらつきは、次の式により表すことができる。
　　｛（δＣｓ／Ｃｓ）＊（Ｃｐ／Ｃｓ）｝＊Ｖｆｔ　　　　　・・・式８
　（δＣｓ／Ｃｓ）を１０－２とし、（Ｃｐ／Ｃｓ）を１０－１とし、Ｖｆｔを４００ミリボルト（ｍＶ）とすると、式８よりＰＲＮＵは、４００μＶｒｍｓとなり、比較的大きな値となる。
　特に、入力換算の容量のサンプリングホールド時のｋＴＣノイズを小さくする際には、ＦＤ３１４の電荷電圧変換効率を大きくする必要がある。電荷電圧変換効率を大きくするにはＦＤ３１４の容量を小さくしなければならないが、ＦＤ３１４の容量が小さいほど変動量Ｖｆｔが大きくなり、数百ミリボルト（ｍＶ）になりうる。この場合、式８よりＰＲＮＵの影響が無視できないレベルになりうる。
　図４６は、本技術の第７の実施の形態における電圧制御の一例を示すタイミングチャートである。
　タイミング制御回路２１２は、タイミングＴ９以降の行単位の読出し期間において、リセット電源電圧ＶＲＳＴを露光期間と異なる値に制御する。
　例えば、露光期間において、タイミング制御回路２１２は、リセット電源電圧ＶＲＳＴを電源電圧ＶＤＤと同じ値にする。一方、読出し期間においてタイミング制御回路２１２は、リセット電源電圧ＶＲＳＴを、ＶＤＤ－Ｖｆｔに低下させる。すなわち、読出し期間において、タイミング制御回路２１２は、リセットフィードスルーによる変動量Ｖｆｔに略一致する分だけ、リセット電源電圧ＶＲＳＴを低下させる。この制御により、露光時と、読出しの際とにおいて、ＦＤ３１４のリセットレベルを揃えることができる。
　リセット電源電圧ＶＲＳＴの制御により、同図に例示するように、ＦＤ３１４と、前段ノード３２０との電圧変動量を低減することができる。これにより、容量素子３２１および３２２のばらつきや、寄生容量に起因するＰＲＮＵの悪化を抑制することができる。
　なお、第７の実施の形態に、第５の実施の形態の第１乃至第３の変形例や、第６の実施の形態を適用することもできる。
　このように、本技術の第７の実施の形態によれば、読出しの際にタイミング制御回路２１２が、リセットフィードスルーによる変動量Ｖｆｔだけリセット電源電圧ＶＲＳＴを低下させるため、露光と読出しとでリセットレベルを揃えることができる。これにより、感度不均一性（ＰＲＮＵ）の悪化を抑制することができる。
　＜８．第８の実施の形態＞
　上述の第５の実施の形態では、垂直走査回路２１１は、全行（全画素）を同時に露光させる制御（すなわち、グローバルシャッター動作）を行っていた。しかし、テストのときや、解析を行うときなど、露光の同時性が不要で低ノイズが要求される場合には、ローリングシャッター動作を行うことが望ましい。この第８の実施の形態の固体撮像素子２００は、テスト時などにおいて、ローリングシャッター動作を行う点において第５の実施の形態と異なる。
　図４７は、本技術の第８の実施の形態におけるローリングシャッター動作の一例を示すタイミングチャートである。垂直走査回路２１１は、複数の行を順に選択して露光を開始させる制御を行う。同図は、第ｎ行の露光制御を示す。
　タイミングＴ０乃至Ｔ２の期間において、垂直走査回路２１１は、第ｎ行にハイレベルの後段選択信号ｓｅｌｂ、選択信号Φｒおよび選択信号Φｓを供給する。また、露光開始のタイミングＴ０において、垂直走査回路２１１は、第ｎ行にハイレベルのＦＤリセット信号ｒｓｔおよび後段リセット信号ｒｓｔｂをパルス期間に亘って供給する。露光終了のタイミングＴ１において垂直走査回路２１１は、第ｎ行に転送信号ｔｒｇを供給する。同図のローリングシャッター動作により、固体撮像素子２００は、低ノイズの画像データを生成することができる。
　なお、テスト時以外において第８の実施の形態の固体撮像素子２００は、第５の実施の形態と同様にグローバルシャッター動作を行う。
　また、第８の実施の形態に、第５の実施の形態の第１乃至第３の変形例や、第６、第７の実施の形態を適用することもできる。
　このように本技術の第８の実施の形態によれば、垂直走査回路２１１は、複数の行を順に選択して露光を開始させる制御（すなわち、ローリングシャッター動作）を行うため、低ノイズの画像データを生成することができる。
　＜９．第９の実施の形態＞
　上述の第５の実施の形態では、前段のソースフォロワ（前段増幅トランジスタ３１５および電流源トランジスタ３１６）のソースを電源電圧ＶＤＤに接続し、そのソースフォロワがオンの状態で行単位で読出しを行っていた。しかし、この駆動方法では、行単位の読出しの際の前段のソースフォロワの回路ノイズが後段に伝搬し、ランダムノイズが増大するおそれがある。この第９の実施の形態の固体撮像素子２００は、読出しの際に前段のソースフォロワをオフ状態にすることにより、ノイズを低減する点において第５の実施の形態と異なる。
　図４８は、本技術の第９の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第９の実施の形態の固体撮像素子２００は、レギュレータ４２０および切り替え部４４０をさらに備える点において第５の実施の形態と異なる。また、第７の実施の形態の画素アレイ部２２０には、複数の有効画素３０１と、所定数のダミー画素４３０とが配列される。ダミー画素４３０は、有効画素３０１が配列された領域の周囲に配列される。
　また、ダミー画素４３０のそれぞれには、電源電圧ＶＤＤが供給され、有効画素３０１のそれぞれには、電源電圧ＶＤＤと、ソース電圧Ｖｓとが供給される。有効画素３０１へ電源電圧ＶＤＤを供給する信号線は、同図において省略されている。また、電源電圧ＶＤＤは、固体撮像素子２００の外部のパッド４１０から供給される。
　レギュレータ４２０は、ダミー画素４３０からの入力電圧Ｖｉに基づいて、一定の生成電圧Ｖｇｅｎを生成し、切り替え部４４０に供給するものである。切り替え部４４０は、パッド４１０からの電源電圧ＶＤＤと、レギュレータ４２０からの生成電圧Ｖｇｅｎとのいずれかを選択し、ソース電圧Ｖｓとして有効画素３０１のカラムのそれぞれに供給するものである。
　図４９は、本技術の第９の実施の形態におけるダミー画素４３０、レギュレータ４２０、および、切り替え部４４０の一構成例を示す回路図である。同図におけるａは、ダミー画素４３０およびレギュレータ４２０の回路図であり、同図におけるｂは、切り替え部４４０の回路図である。
　同図におけるａに例示するように、ダミー画素４３０は、リセットトランジスタ４３１、ＦＤ４３２、増幅トランジスタ４３３および電流源トランジスタ４３４を備える。リセットトランジスタ４３１は、垂直走査回路２１１からのリセット信号ＲＳＴに従って、ＦＤ４３２を初期化するものである。ＦＤ４３２は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。増幅トランジスタ４３３は、ＦＤ４３２の電圧のレベルを増幅し、入力電圧Ｖｉとしてレギュレータ４２０に供給するものである。
　また、リセットトランジスタ４３１および増幅トランジスタ４３３のソースは、電源電圧ＶＤＤに接続される。電流源トランジスタ４３４は、増幅トランジスタ４３３のドレインに接続される。この電流源トランジスタ４３４は、垂直走査回路２１１の制御に従って、電流ｉｄ１を供給する。
　レギュレータ４２０は、ローパスフィルタ４２１、バッファアンプ４２２および容量素子４２３を備える。ローパスフィルタ４２１は、入力電圧Ｖｉの信号のうち、所定周波数未満の低周波数帯域の成分を出力電圧Ｖｊとして通過させるものである。
　バッファアンプ４２２の非反転入力端子（＋）には、出力電圧Ｖｊが入力される。バッファアンプ４２２の反転入力端子（－）は、その出力端子と接続される。容量素子４２３は、バッファアンプ４２２の出力端子の電圧をＶｇｅｎとして保持するものである。このＶｇｅｎは、切り替え部４４０に供給される。
　同図におけるｂに例示するように、切り替え部４４０は、インバータ４４１と、複数の切り替え回路４４２とを備える。切り替え回路４４２は、有効画素３０１の列ごとに配置される。
　インバータ４４１は、タイミング制御回路２１２からの切替信号ＳＷを反転させるものである。このインバータ４４１は、反転信号を切り替え回路４４２のそれぞれに供給する。
　切り替え回路４４２は、電源電圧ＶＤＤと、生成電圧Ｖｇｅｎとのいずれかを選択し、ソース電圧Ｖｓとして、画素アレイ部２２０内の対応する列に供給するものである。切り替え回路４４２は、スイッチ４４３および４４４を備える。スイッチ４４３は、切替信号ＳＷに従って、電源電圧ＶＤＤのノードと、対応する列との間の経路を開閉するものである。スイッチ４４４は、切替信号ＳＷの反転信号に従って、生成電圧Ｖｇｅｎのノードと、対応する列との間の経路を開閉するものである。
　図５０は、本技術の第９の実施の形態におけるダミー画素４３０およびレギュレータ４２０の動作の一例を示すタイミングチャートである。ある行の読出しの直前のタイミングＴ１０において、垂直走査回路２１１は、ダミー画素４３０のそれぞれに、ハイレベル（ここでは、電源電圧ＶＤＤ）のリセット信号ＲＳＴを供給する。ダミー画素４３０内のＦＤ４３２の電位Ｖｆｄは、電源電圧ＶＤＤに初期化される。そして、リセット信号ＲＳＴがローレベルとなった際に、リセットフィードスルーにより、ＶＤＤ－Ｖｆｔに変動する。
　また、入力電圧Ｖｉは、リセット後にＶＤＤ－Ｖｇｓ－Ｖｓｉｇに低下する。ローパスフィルタ４２１の通過により、Ｖｊ、Ｖｇｅｎは、略一定の電圧となる。
　次の行の読出しの直前のタイミングＴ２０以降は、行ごとに、同様の制御が行われ、一定の生成電圧Ｖｇｅｎが供給される。
　図５１は、本技術の第９の実施の形態における有効画素３０１の一構成例を示す回路図である。有効画素３０１の回路構成は、前段増幅トランジスタ３１５のソースに、切り替え部４４０からのソース電圧Ｖｓが供給される点以外は、第５の実施の形態の画素３００と同様である。
　図５２は、本技術の第９の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第９の実施の形態において、全画素で同時に露光する際に、切り替え部４４０は、電源電圧ＶＤＤを選択し、ソース電圧Ｖｓとして供給する。また、前段ノードの電圧は、タイミングＴ４において、ＶＤＤ－Ｖｇｓ－ＶｔｈからＶＤＤ－Ｖｇｓ－Ｖｓｉｇに低下する。ここで、Ｖｔｈは、転送トランジスタ３１２の閾値電圧である。
　また、この第９の実施の形態では、読出しの際に切り替え部４４０は、生成電圧Ｖｇｅｎを選択し、ソース電圧Ｖｓとして供給する。この生成電圧Ｖｇｅｎは、ＶＤＤ－Ｖｇｓ－Ｖｆｔに調整される。
　図５３は、本技術の第９の実施の形態における効果を説明するための図である。第１の実施の形態では、行ごとの読出しにおいて、読出し対象の画素３００のソースフォロワ（前段増幅トランジスタ３１５および電流源トランジスタ３１６）をオンにしていた。しかし、この駆動方法では、前段のソースフォロワの回路ノイズが、後段（容量素子、後段のソースフォロワやＡＤＣ）に伝搬し、読出しノイズが増大するおそれがある。
　例えば、第５の実施の形態では、同図に例示するようにグローバルシャッター動作時の画素で生じるｋＴＣノイズは、４５０（μＶｒｍｓ）である。また、行ごとの読出しにおける、前段のソースフォロワ（前段増幅トランジスタ３１５および電流源トランジスタ３１６）で生じるノイズは、３８０（μＶｒｍｓ）となる。後段のソースフォロワ以降で生じるノイズは、１６０（μＶｒｍｓ）である。このため、合計のノイズは、６１０（μＶｒｍｓ）である。このように、第５の実施の形態では、ノイズの合計値における、前段のソースフォロワのノイズの寄与分は、比較的大きくなる。
　この前段のソースフォロワのノイズを低減するために、第９の実施の形態では、前述したように前段のソースフォロワのソースに、電圧調整の可能な電圧（Ｖｓ）を供給している。グローバルシャッター（露光）動作時に、切り替え部４４０は、電源電圧ＶＤＤを選択してソース電圧Ｖｓとして供給する。そして、露光の終了後に切り替え部４４０は、ソース電圧ＶｓをＶＤＤ－Ｖｇｓ－Ｖｆｔに切り替える。また、タイミング制御回路２１２は、グローバルシャッター（露光）動作時に、前段の電流源トランジスタ３１６をオンにし、露光の終了後にオフにする。
　上述の制御により、前述したように、グローバルシャッター動作時と、行ごとの読出し時とのそれぞれの前段ノードの電位が揃い、ＰＲＮＵを改善することができる。また、行ごとに読み出す際に前段のソースフォロワがオフ状態になるためソースフォロワの回路ノイズが生じず、０（μＶｒｍｓ）となる。なお、前段のソースフォロワのうち前段増幅トランジスタ３１５はオン状態である。
　このように、本技術の第９の実施の形態によれば、読出しの際に前段のソースフォロワをオフ状態にするため、そのソースフォロワで生じるノイズを低減することができる。
　＜１０．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図５４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図５５は、撮像部１２０３１の設置位置の例を示す図である。
　図５５では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図５５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、画像認識処理の精度を向上させることができるため、システムの安全性を向上させることが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）各々がアナログの画素信号を生成して保持する複数の画素を二次元格子状に配列した画素アレイ部と、
　前記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された前記画素信号を時間積分して積分信号を出力する複数の積分回路と、
　前記複数の積分回路のそれぞれの前記積分信号をアナログ加算してデジタル信号に変換するアナログデジタル変換器と
を具備する固体撮像素子。
（２）前記積分回路の画素ごとの積分時間は、当該画素に対応するフィルタ係数の絶対値に応じた時間である
前記（１）記載の固体撮像素子。
（３）前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
　前記画素は、前記フィルタ係数の符号が正である場合には前記リセットレベルおよび前記信号レベルを所定の順序で出力し、前記フィルタ係数の符号が負である場合には前記リセットレベルおよび前記信号レベルを前記順序と逆順で出力する
前記（２）記載の固体撮像素子。
（４）前記複数の積分回路は、第１および第２の積分回路を含み、
　前記アナログデジタル変換器は、
　一端が前記第１の積分回路に接続された第１の容量素子と、
　一端が前記第２の積分回路に接続された第２の容量素子と、
　前記第１および第２の容量素子のそれぞれの他端に２つの入力端子の一方が接続された比較器と、
　前記比較器の出力信号が反転するまでの期間に亘って計数値を計数するカウンタと
を備える前記（１）から（３）のいずれかに記載の固体撮像素子。
（５）前記アナログデジタル変換器は、所定の切替信号に従って前記第１の容量素子の他端と前記第２の容量素子の他端とを接続する接続スイッチをさらに備える
前記（４）記載の固体撮像素子。
（６）前記画素は、電荷蓄積領域が所定の半導体基板に埋め込まれたフォトダイオードを含む
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
　前記画素は、
　第１および第２の容量素子と、
　前記リセットレベルおよび前記信号レベルを順に生成して第１および第２の容量素子のそれぞれに保持させる前段回路と、
　前記第１の容量素子に保持された前記リセットレベルを読み出して出力する第１の後段回路と、
　前記第２の容量素子に保持された前記信号レベルを読み出して出力する第２の後段回路と
を備える前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
　前記画素は、
　第１および第２の容量素子と、
　前記リセットレベルと前記信号レベルとを順に生成して前記第１および第２の容量素子のそれぞれに保持させる前段回路と、
　前記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と前記第１および第２の容量素子の両方を前記後段ノードから切り離す制御と前記第１および第２の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と、
　前記第１および第２の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタと、
　前記後段ノードを介して前記リセットレベルおよび前記信号レベルを前記第１および第２の容量素子から順に読み出して出力する後段回路と
備える前記（１）から（６）のいずれかに記載の固体撮像素子。
（９）各々がアナログの画素信号を生成して保持する複数の画素を二次元格子状に配列した画素アレイ部と、
　前記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された前記画素信号を時間積分して積分信号を出力する複数の積分回路と、
　前記複数の積分回路のそれぞれの前記積分信号を加算してデジタル信号に変換するアナログデジタル変換器と、
　前記デジタル信号を用いて所定の画像認識処理を行う画像認識部と
を具備する撮像装置。
（１０）二次元格子状に配列された複数の画素の各々がアナログの画素信号を生成して保持するサンプルホールド手順と、
　複数の積分回路が、前記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された前記画素信号を時間積分して積分信号を出力する積分手順と、
　前記複数の積分回路のそれぞれの前記積分信号をアナログ加算してデジタル信号に変換するアナログデジタル変換手順と
を具備する固体撮像素子の制御方法。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　記録部
　１３０　撮像制御部
　２００　固体撮像素子
　２０１　画素チップ
　２０２　回路チップ
　２０３　上側画素チップ
　２０４　下側画素チップ
　２１１　垂直走査回路
　２１２　タイミング制御回路
　２１３　ＤＡＣ
　２２０　画素アレイ部
　２２１　上側画素アレイ部
　２２２　下側画素アレイ部
　２５０　負荷ＭＯＳ回路ブロック
　２５１　負荷ＭＯＳトランジスタ
　２６０　カラム信号処理回路
　２６１、２６１－１、２６１－２　切替回路
　２６２－１～２６２－Ｋ、２６３－１～２６３－Ｋ　バイパススイッチ
　２７０－１～２７０－Ｋ　積分回路
　２７１　入力スイッチ
　２７２　抵抗素子
　２７３　オペアンプ
　２７４、２８１、２８２－１～２８２－Ｋ、４２３　容量素子
　２７５、２８６　オートゼロスイッチ
　２８３－１～２８３－（Ｋ－１）　接続スイッチ
　２８０－１、２８０－２　ＡＤＣ
　２８５　コンパレータ
　２８７　カウンタ
　２８９　ＣＤＳ回路
　２９０　画像認識部
　２９１　ＣＮＮ処理部
　２９２　データ照合部
　３００　画素
　３０１　有効画素
　３１０　前段回路
　３１１　光電変換素子
　３１２　転送トランジスタ
　３１３　ＦＤリセットトランジスタ
　３１４、４３２　ＦＤ
　３１５　前段増幅トランジスタ
　３１６、４３４　電流源トランジスタ
　３１７　排出トランジスタ
　３１８　プリチャージトランジスタ
　３２１、３２２　容量素子
　３２３　前段リセットトランジスタ
　３２４　前段選択トランジスタ
　３３０　選択回路
　３３１、３３２　選択トランジスタ
　３４１　後段リセットトランジスタ
　３５０、３５０－ｒ、３５０－ｓ　後段回路
　３５１、３５１－ｒ、３５１－ｓ　後段増幅トランジスタ
　３５２、３５２－ｒ、３５２－ｓ　後段選択トランジスタ
　４２０　レギュレータ
　４２１　ローパスフィルタ
　４２２　バッファアンプ
　４３０　ダミー画素
　４３１　リセットトランジスタ
　４３３　増幅トランジスタ
　４４０　切り替え部
　４４１　インバータ
　４４２　切り替え回路
　４４３、４４４　スイッチ
　５０１、５１１　基板
　５０２　電荷蓄積部
　５０３　ｐ層
　５０４　シリコン酸化膜
　５０５　ｎ＋領域
　５１４　浮遊電極
　１２０３１　撮像部

Claims (10)

  1. 　各々がアナログの画素信号を生成して保持する複数の画素を二次元格子状に配列した画素アレイ部と、
    　前記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された前記画素信号を時間積分して積分信号を出力する複数の積分回路と、
    　前記複数の積分回路のそれぞれの前記積分信号をアナログ加算してデジタル信号に変換するアナログデジタル変換器と
    を具備する固体撮像素子。
  2. 　前記積分回路の画素ごとの積分時間は、当該画素に対応するフィルタ係数の絶対値に応じた時間である
    請求項１記載の固体撮像素子。
  3. 　前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
    　前記画素は、前記フィルタ係数の符号が正である場合には前記リセットレベルおよび前記信号レベルを所定の順序で出力し、前記フィルタ係数の符号が負である場合には前記リセットレベルおよび前記信号レベルを前記順序と逆順で出力する
    請求項２記載の固体撮像素子。
  4. 　前記複数の積分回路は、第１および第２の積分回路を含み、
    　前記アナログデジタル変換器は、
    　一端が前記第１の積分回路に接続された第１の容量素子と、
    　一端が前記第２の積分回路に接続された第２の容量素子と、
    　前記第１および第２の容量素子のそれぞれの他端に２つの入力端子の一方が接続された比較器と、
    　前記比較器の出力信号が反転するまでの期間に亘って計数値を計数するカウンタと
    を備える請求項１記載の固体撮像素子。
  5. 　前記アナログデジタル変換器は、所定の切替信号に従って前記第１の容量素子の他端と前記第２の容量素子の他端とを接続する接続スイッチをさらに備える
    請求項４記載の固体撮像素子。
  6. 　前記画素は、電荷蓄積領域が所定の半導体基板に埋め込まれたフォトダイオードを含む
    請求項１記載の固体撮像素子。
  7. 　前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
    　前記画素は、
    　第１および第２の容量素子と、
    　前記リセットレベルおよび前記信号レベルを順に生成して第１および第２の容量素子のそれぞれに保持させる前段回路と、
    　前記第１の容量素子に保持された前記リセットレベルを読み出して出力する第１の後段回路と、
    　前記第２の容量素子に保持された前記信号レベルを読み出して出力する第２の後段回路と
    を備える請求項１記載の固体撮像素子。
  8. 　前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
    　前記画素は、
    　第１および第２の容量素子と、
    　前記リセットレベルと前記信号レベルとを順に生成して前記第１および第２の容量素子のそれぞれに保持させる前段回路と、
    　前記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と前記第１および第２の容量素子の両方を前記後段ノードから切り離す制御と前記第１および第２の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と、
    　前記第１および第２の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタと、
    　前記後段ノードを介して前記リセットレベルおよび前記信号レベルを前記第１および第２の容量素子から順に読み出して出力する後段回路と
    備える請求項１記載の固体撮像素子。
  9. 　各々がアナログの画素信号を生成して保持する複数の画素を二次元格子状に配列した画素アレイ部と、
    　前記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された前記画素信号を時間積分して積分信号を出力する複数の積分回路と、
    　前記複数の積分回路のそれぞれの前記積分信号を加算してデジタル信号に変換するアナログデジタル変換器と、
    　前記デジタル信号を用いて所定の画像認識処理を行う画像認識部と
    を具備する撮像装置。
  10. 　二次元格子状に配列された複数の画素の各々がアナログの画素信号を生成して保持するサンプルホールド手順と、
    　複数の積分回路が、前記複数の画素のうち垂直方向に配列された所定数の画素のそれぞれに保持された前記画素信号を時間積分して積分信号を出力する積分手順と、
    　前記複数の積分回路のそれぞれの前記積分信号をアナログ加算してデジタル信号に変換するアナログデジタル変換手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2023/016840 2022-06-27 2023-04-28 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 WO2024004370A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-102889 2022-06-27
JP2022102889 2022-06-27

Publications (1)

Publication Number Publication Date
WO2024004370A1 true WO2024004370A1 (ja) 2024-01-04

Family

ID=89381908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/016840 WO2024004370A1 (ja) 2022-06-27 2023-04-28 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (1)

Country Link
WO (1) WO2024004370A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033433A (ja) * 2012-07-12 2014-02-20 Canon Inc 撮像素子
JP2015156559A (ja) * 2014-02-20 2015-08-27 オリンパス株式会社 固体撮像装置および撮像システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033433A (ja) * 2012-07-12 2014-02-20 Canon Inc 撮像素子
JP2015156559A (ja) * 2014-02-20 2015-08-27 オリンパス株式会社 固体撮像装置および撮像システム

Similar Documents

Publication Publication Date Title
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021215105A1 (ja) 固体撮像素子
JP7227709B2 (ja) 固体撮像素子、および、撮像装置
WO2021215093A1 (ja) 固体撮像素子、および、撮像装置
JP2023053312A (ja) 固体撮像素子、および、撮像装置
WO2022181099A1 (ja) 固体撮像素子、および、撮像装置
WO2023007772A1 (ja) 固体撮像素子
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
WO2022209126A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024004370A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022196057A1 (ja) 固体撮像素子
WO2021261070A1 (ja) 固体撮像装置及び撮像装置
WO2024004377A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062940A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023157489A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062947A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062935A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023171109A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062962A1 (ja) 固体撮像素子
WO2023063024A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024116605A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023162471A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024180908A1 (ja) 固体撮像素子、光検出装置、および、固体撮像素子の製造方法
WO2023166854A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024042849A1 (ja) 固体撮像素子、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830823

Country of ref document: EP

Kind code of ref document: A1