WO2023085138A1 - 固体撮像装置およびその駆動方法、並びに電子機器 - Google Patents

固体撮像装置およびその駆動方法、並びに電子機器 Download PDF

Info

Publication number
WO2023085138A1
WO2023085138A1 PCT/JP2022/040594 JP2022040594W WO2023085138A1 WO 2023085138 A1 WO2023085138 A1 WO 2023085138A1 JP 2022040594 W JP2022040594 W JP 2022040594W WO 2023085138 A1 WO2023085138 A1 WO 2023085138A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
imaging device
solid
state imaging
Prior art date
Application number
PCT/JP2022/040594
Other languages
English (en)
French (fr)
Inventor
英治 平田
俊 海津
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023559563A priority Critical patent/JPWO2023085138A1/ja
Priority to EP22892637.4A priority patent/EP4432688A1/en
Priority to KR1020247013692A priority patent/KR20240109985A/ko
Priority to CN202280073214.4A priority patent/CN118202664A/zh
Publication of WO2023085138A1 publication Critical patent/WO2023085138A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/708—Pixels for edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to a solid-state imaging device, a method for driving the same, and electronic equipment, and more particularly to a solid-state imaging device, a method for driving the same, and an electronic equipment that enable a solid-state imaging device capable of spatial differential output to be realized at low cost.
  • Non-Patent Document 1 In an image sensor with a global shutter function, a shared pixel structure is known in which a plurality of pixels share pixel transistors for reading out signals from pixels (see, for example, Non-Patent Document 1).
  • signal processing that takes the spatial difference of images is used in various image processing.
  • edge detection by the Canny method see, for example, Non-Patent Document 2
  • Sobel filter also use image spatial differences.
  • the process of detecting the phase difference information of pixels for focus control is also one of the signal processes for obtaining the spatial difference because the difference between pixels is calculated.
  • Non-Patent Document 3 also discloses an application example in which object recognition is performed by combining a spatial difference image and machine learning. Processing that combines spatial difference images and machine learning includes super-resolution processing that restores a high-resolution luminance image from a high-resolution spatial difference image and a low-resolution luminance image (for example, Non-Patent Document 4 reference).
  • the image sensor When the spatial difference of the image is obtained by signal processing in the subsequent stage of the image sensor, the image sensor performs two AD conversions for one signal, the reset level and the signal level. AD conversion noise of times is given, and the SN ratio deteriorates.
  • the spatial difference is calculated after the image sensor, processing delay and power consumption increase due to the calculation are also concerns.
  • the present disclosure has been made in view of such circumstances, and enables a solid-state imaging device capable of spatial difference output to be realized at low cost.
  • the solid-state imaging device of the first aspect of the present disclosure includes a photoelectric conversion element; a first capacitive element holding a first signal level of the photoelectric conversion element; a pixel having a second capacitive element that holds a second signal level of the photoelectric conversion element; a readout circuit shared by a plurality of pixels including a first pixel and a second pixel; a vertical scanning circuit that controls the pixels and the readout circuit, The vertical scanning circuit performs a first control of simultaneously reading signal levels of different capacitive elements of the first and second capacitive elements in the first pixel and the second pixel.
  • a method for driving a solid-state imaging device includes: a photoelectric conversion element; a first capacitive element holding a first signal level of the photoelectric conversion element; a pixel having a second capacitive element that holds a second signal level of the photoelectric conversion element; a readout circuit shared by a plurality of pixels including a first pixel and a second pixel, A first control for simultaneously reading signal levels of different capacitive elements of the first and second capacitive elements is performed on the first pixel and the second pixel.
  • An electronic device includes: a photoelectric conversion element; a first capacitive element holding a first signal level of the photoelectric conversion element; a pixel having a second capacitive element that holds a second signal level of the photoelectric conversion element; a readout circuit shared by a plurality of pixels including a first pixel and a second pixel; a vertical scanning circuit that controls the pixels and the readout circuit, The vertical scanning circuit performs a first control for simultaneously reading signal levels of different capacitive elements of the first and second capacitive elements in the first pixel and the second pixel. Prepare.
  • the solid-state imaging device and electronic equipment may be independent devices or may be modules incorporated into other devices.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a solid-state imaging device according to the present disclosure
  • FIG. FIG. 4 is a diagram showing a circuit configuration example of a plurality of pixels forming one shared unit in a pixel array section
  • 3 is a block diagram showing a detailed configuration example of a constant current source circuit section and a column signal processing circuit
  • FIG. 4 is a timing chart for explaining the exposure operation of each pixel
  • 4 is a timing chart for explaining a readout operation of pixel signals of each pixel
  • 4 is a timing chart for explaining a readout operation of pixel difference outputs
  • It is a figure explaining the variation of a pixel difference output. It is a figure explaining the variation of a pixel difference output.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a solid-state imaging device according to the present disclosure.
  • the solid-state imaging device 1 of FIG. 1 includes a pixel array section 11, a vertical scanning circuit 12, a constant current source circuit section 13, a column signal processing circuit 14, a timing control circuit 15, a DAC (Digital to Analog Converter) 16, and an output section. 17.
  • the solid-state imaging device 1 is formed on, for example, a single semiconductor chip.
  • the pixel drive lines 22 are wired in the horizontal direction for each row, and the vertical signal lines 23 are wired in the vertical direction for each column.
  • the pixel drive line 22 is a wiring for transmitting a drive signal for driving when reading out the pixel signal VSL from the pixel 21 .
  • the pixel drive line 22 is shown as one wiring, but the number is not limited to one.
  • One end of the pixel drive line 22 is connected to an output terminal corresponding to each pixel row of the vertical scanning circuit 12 .
  • the vertical scanning circuit 12 is composed of a shift register, an address decoder, etc., and drives each pixel 21 of the pixel array section 11 simultaneously or in units of rows. That is, the vertical scanning circuit 12 controls the start and end of light reception (exposure) of each pixel 21 of the pixel array section 11 and the readout of signal charges accumulated in the photoelectric conversion elements.
  • a signal charge generated in each pixel 21 by a drive signal transmitted from the vertical scanning circuit 12 via the pixel drive line 22 is output as a pixel signal VSL to the vertical signal line 23 and transmitted to the column signal processing circuit 14. be.
  • the column signal processing circuit 14 performs AD conversion processing and CDS (Correlated Double Sampling) processing on pixel signals VSL supplied from one or more pixels 21 of the pixel array section 11 via vertical signal lines 23 . perform signal processing such as The column signal processing circuit 14 outputs the pixel data after AD conversion processing and CDS processing to the outside via the output section 17 .
  • AD conversion processing and CDS Correlated Double Sampling
  • the DAC 16 generates, as a reference signal, a ramp signal Ramp whose level (voltage) slopes as time elapses according to the clock signal from the timing control circuit 15 and supplies it to the column signal processing circuit 14 .
  • the exposure time is set to be the same for all pixels of the pixel array section 11, and after the end of the exposure, the charge is temporarily held, and the row unit It is possible to perform a global shutter operation (imaging) in which electric charges are read out sequentially.
  • FIG. 2 shows a circuit configuration example of a plurality of pixels forming one shared unit in the pixel array section 11. As shown in FIG.
  • the sharing unit 20 in FIG. 2 is composed of 4 pixels, 2 pixels in the row direction and 2 pixels in the column direction (2 ⁇ 2).
  • the four pixels 21 forming the shared unit 20 are denoted by reference numerals 21A to 21D in order to distinguish them.
  • the pixels 21A to 21D are simply referred to as pixels 21 when there is no particular need to distinguish between them.
  • the pixels 21A and 21C are arranged in the same row in the pixel array section 11, and the pixels 21B and 21D are arranged in the same row adjacent to the pixels 21A and 21C. Pixels 21A and 21B are arranged in the same column in pixel array section 11, and pixels 21C and 21D are arranged in the same column adjacent to pixels 21A and 21B.
  • the shared unit 20 may be composed of 9 pixels or the like consisting of 3 pixels in the row direction and 3 pixels in the column direction (3 ⁇ 3).
  • the sharing unit 20 does not need to be composed of a plurality of pixels in each of the row direction and the column direction.
  • the sharing unit 20 may be a plurality of pixels arranged only in the column direction or row direction.
  • Each pixel 21 constituting the shared unit 20 includes a photoelectric conversion element 41, a transfer transistor 42, a reset transistor 43, an FD (Floating Diffusion) 44, an amplification transistor 45, a current source transistor 46, capacitive elements 48 and 49, and a selection transistor. 51 and 52 are provided.
  • the sharing unit 20 also has a readout circuit 21R shared by the pixels 21A to 21D, and the readout circuit 21R includes a shared reset transistor 53, a shared amplification transistor 54, and a shared selection transistor 55.
  • the photoelectric conversion element 41 is composed of, for example, a photodiode, and generates and accumulates charges (signal charges) corresponding to the amount of received light.
  • the transfer transistor 42 when turned on by a transfer signal TRG from the vertical scanning circuit 12 , transfers charges generated by the photoelectric conversion element 41 to the FD 44 .
  • the reset transistor 43 When the reset transistor 43 is turned on by the FD reset signal RST from the vertical scanning circuit 12, the charge accumulated in the FD 44 is discharged to the drain (power supply potential VDD), thereby resetting the potential of the FD 44.
  • the FD 44 accumulates the charge transferred from the photoelectric conversion element 41 and generates a voltage corresponding to the amount of charge.
  • the amplification transistor 45 forms a source follower circuit together with the current source transistor 46, amplifies the voltage level of the FD 44, and outputs it to the node 47 (hereinafter referred to as the capacitance input node 47).
  • the drain of the amplification transistor 45 is connected to the power supply potential VDD.
  • a current source transistor 46 supplies a constant current under the control of the vertical scanning circuit 12 .
  • the current supplied by current source transistor 46 is on the order of a few nanoamperes (nA) to tens of nanoamperes (nA) to suppress IR drop.
  • each of the capacitive elements 48 and 49 is commonly connected to the capacitive input node 47 .
  • the other end of the capacitive element 48 is connected to the selection transistor 51 and the other end of the capacitive element 49 is connected to the selection transistor 52 .
  • Capacitive elements 48 and 49 hold a predetermined voltage level output from amplifying transistor 45 . Assume that the storage capacity of the capacitive element 48 is C1, and the storage capacity of the capacitive element 49 is C2.
  • the selection transistor 51 selects the capacitive element 48 and connects it to the subsequent stage, and the selection transistor 52 selects the capacitive element 49 and connects it to the subsequent stage. More specifically, when the select transistor 51 is turned on by a select signal ⁇ r from the vertical scanning circuit 12, it connects the capacitive element 48 and a node 56 (hereinafter referred to as a shared amplification transistor node 56). The selection transistor 52 connects the capacitive element 49 and the shared amplification transistor node 56 when turned on by the selection signal ⁇ s from the vertical scanning circuit 12 .
  • the shared reset transistor 53 initializes the level of the shared amplification transistor node 56 to a predetermined potential VREG when turned on by the shared reset signal RSTB from the vertical scanning circuit 12 .
  • a potential different from the power supply potential VDD (for example, a potential lower than the power supply potential VDD) is set to the potential VREG.
  • the shared amplification transistor 54 amplifies the voltage level supplied to the shared amplification transistor node 56 and outputs it to the vertical signal line 23 via the shared selection transistor 55 .
  • the shared selection transistor 55 When turned on by the shared selection signal SEL from the vertical scanning circuit 12, the shared selection transistor 55 outputs the voltage level signal amplified by the shared amplification transistor 54 to the vertical signal line 23 as the pixel signal VSL.
  • N-type MOS Metal Oxide Semiconductor transistors
  • the pixel transistor when the pixel transistor is turned on by the drive signal supplied to the gate, it is in the closed state where the drain and source are connected.
  • the transfer signal TRG, the FD reset signal RST, the selection signal ⁇ r, and the selection signal ⁇ s supplied from the vertical scanning circuit 12 to the pixels 21A to 21D are distinguished, and the signals to the pixels 21A to 21D are respectively , "0" to "3".
  • the transfer signal TRG, the FD reset signal RST, the selection signal ⁇ r, and the selection signal ⁇ s supplied to the pixel 21A are described as the transmission signal TRG0, the FD reset signal RST0, the selection signal ⁇ r0, and the selection signal ⁇ s0, respectively.
  • the transfer signal TRG, the FD reset signal RST, the selection signal ⁇ r, and the selection signal ⁇ s supplied to the pixel 21B are referred to as the transfer signal TRG1, the FD reset signal RST1, the selection signal ⁇ r1, and the selection signal ⁇ s1, respectively. It is Similarly, each signal supplied to the pixel 21C is labeled “2”, and each signal supplied to the pixel 21D is labeled "3".
  • a potential Vsig corresponding to the signal level of 21 is held, and a signal corresponding to these potentials is output to the column signal processing circuit 14 through the vertical signal line 23 as the pixel signal VSL.
  • FIG. 3 is a block diagram showing a detailed configuration example of the constant current source circuit section 13 and the column signal processing circuit 14. As shown in FIG.
  • the constant current source circuit section 13 has a plurality of current sources 81, and the current sources 81 are composed of load MOS transistors, for example. As described with reference to FIG. 2, when two pixels arranged in the row direction are used as the shared unit 20 and connected to one vertical signal line 23, the current source 81 is provided for each two columns of the pixel array section 11. be done. The current source 81 and the shared amplification transistor 54 connected to the same vertical signal line 23 form a source follower circuit.
  • the column signal processing circuit 14 has multiple ADCs 101 and multiple digital signal processing units 102 .
  • ADC 101 and digital signal processing unit 102 are provided for each vertical signal line 23 . That is, if the number of vertical signal lines 23 is I, the number of ADCs 101 and digital signal processing units 102 included in the column signal processing circuit 14 is I.
  • the ADC 101 has capacitive elements (capacitors) 111 and 112, a comparator (comparator) 113, and a counter 114, and converts an analog signal input via the vertical signal line 23 into a digital count value (AD conversion )do.
  • the digital signal processing unit 102 has a subtraction processing circuit 121 that subtracts the two AD-converted count values.
  • a pixel signal VSL output from the pixel 21 is input to the capacitive element 111 of the ADC 101 via the vertical signal line 23 .
  • the capacitive element 112 receives, as a reference signal, a ramp signal Ramp whose level (voltage) slopes as time elapses from the DAC 16 (FIG. 1).
  • the capacitive elements 111 and 112 are for removing the DC components of the ramp signal Ramp and the pixel signal VSL so that the comparator 113 can compare only the AC components of the ramp signal and the pixel signal.
  • a comparator (comparator) 113 outputs a difference signal obtained by comparing the pixel signal VSL and the ramp signal Ramp to the counter 114 .
  • a Hi (High) difference signal is supplied to the counter 114 when the ramp signal Ramp is greater than the pixel signal VSL
  • a Lo (Low) difference signal is supplied to the counter 114 when the ramp signal Ramp is less than the pixel signal VSL.
  • a signal is provided to the counter 114 .
  • the counter 114 counts only while the Hi difference signal is being supplied in the first AD conversion period, and supplies the P-phase count value, which is the count result, to the subtraction processing circuit 121 . Also, the counter 114 counts only while the Hi difference signal is being supplied in the second AD conversion period, and supplies the D-phase count value, which is the counting result, to the subtraction processing circuit 121 .
  • the subtraction processing circuit 121 uses the P-phase count value and the D-phase count value supplied from the counter 114 to perform CDS processing. That is, the subtraction processing circuit 121 subtracts the P-phase count value from the D-phase count value, and supplies the result as pixel data to the output section 17 via the signal line 103 .
  • FIG. 4 shows a timing chart when each pixel 21 of the pixel array section 11 performs the exposure operation. This exposure operation is performed simultaneously for all the pixels in the pixel array section 11 .
  • the vertical scanning circuit 12 controls the FD reset signal RST and the transfer signal TRG to Hi level and supplies them to each pixel 21 of the pixel array section 11 .
  • the photoelectric conversion element 41 is initialized. This control is hereinafter referred to as "PD reset".
  • the FD reset signal RST and the transfer signal TRG are controlled to the Lo level, so that each pixel 21 of the pixel array section 11 starts exposure.
  • the vertical scanning circuit 12 controls the selection signal ⁇ s in all pixels to high level, and controls the transfer signal TRG to high level during the period from time T5 to time T6.
  • signal charges corresponding to the amount of exposure are transferred to the FD 44 , and the voltage level corresponding to the voltage level of the FD 44 at that time is held in the capacitive element 49 .
  • a voltage level held in the capacitive element 49 corresponds to a signal level of the pixel 21 .
  • VDD-Vsig the reset level
  • VDD-Vgs-Vsig the signal level
  • the selection signal ⁇ s is controlled to the Lo level.
  • the vertical scanning circuit 12 controls the current source transistors 46 of all pixels to supply a predetermined current during the period from time T0 to time T7.
  • each current source 81 of the constant current source circuit section 13 is turned off, and current does not flow through the current source 81 .
  • FIG. 5 shows a timing chart when each pixel 21 of the pixel array section 11 performs the readout operation of the pixel signal VSL.
  • This readout operation is sequentially executed in a predetermined order for a plurality of pixels 21 forming the sharing unit 20.
  • FIG. A read operation will be described.
  • the vertical scanning circuit 12 controls the shared reset signal RSTB of all rows to Lo level at the first time T10 of the readout period. Then, the vertical scanning circuit 12 controls the FD reset signal RST and the shared selection signal SEL to Hi level during the readout period from time T10 to time T17.
  • the vertical scanning circuit 12 controls the selection signal ⁇ r of the pixel to be read to Hi level and turns on the selection transistor 51 during the period from time T11 after time T10 to time T13.
  • the potential of the shared amplification transistor node 56 becomes the reset level Vrst
  • the potential of the pixel signal VSL output to the vertical signal line 23 becomes the reset level Vrst' corresponding to the reset level Vrst.
  • the DAC 16 gradually increases the level of the ramp signal Ramp supplied to the ADC 101 during the first AD conversion period from time T12 after time T11 to time T13.
  • the ADC 101 compares the ramp signal Ramp with the reset level Vrst' of the pixel signal VSL and continues counting until the comparison result is inverted. As a result, the P-phase count value corresponding to the reset level Vrst' is read.
  • the vertical scanning circuit 12 controls the shared reset signal RSTB to Hi level during the period from time T14 after time T13 to time T15. Thereby, when a parasitic capacitance exists in the shared amplification transistor node 56, the history of the previous signal held in the parasitic capacitance can be erased.
  • the vertical scanning circuit 12 controls the selection signal ⁇ s to Hi level.
  • the potential of the shared amplification transistor node 56 becomes the signal level Vsig
  • the potential of the pixel signal VSL output to the vertical signal line 23 becomes the signal level Vsig' corresponding to the signal level Vsig.
  • the signal level is lower than the reset level, but during reading, the signal level becomes higher than the reset level because the shared amplification transistor node 56 is used as a reference.
  • the difference between the reset level Vrst' and the signal level Vsig' corresponds to the net signal level after removing the reset noise and offset noise of the FD44.
  • the DAC 16 gradually increases the level of the ramp signal Ramp supplied to the ADC 101 during the second AD conversion period from time T17 to time T18 after time T16.
  • the ADC 101 compares the ramp signal Ramp with the signal level Vsig' of the pixel signal VSL on the vertical signal line 23, and continues counting until the comparison result is inverted. As a result, the D-phase count value, which is the count value corresponding to the signal level Vsig', is read.
  • the vertical scanning circuit 12 controls the current source transistor 46 of the read target pixel to supply a predetermined current during the period from time T10 to time T18.
  • Each current source 81 of the constant current source circuit section 13 is also controlled to be in an ON state, and a constant current flows through the current source 81 .
  • the pixels 21A to 21D that make up the sharing unit 20 for example, the pixels 21A, 21B, 21C, and 21D are set as readout target pixels in order, and the above-described readout operation is driven, so that each pixel 21 of the sharing unit 20 of pixel signals VSL can be read out.
  • two pixels such as pixels 21A and 21B
  • the pixel signal VSL obtained by adding the signals of the two pixels (pixel addition) can be read out.
  • the solid-state imaging device 1 performs exposure control to simultaneously start and end exposure for all pixels of the pixel array section 11 .
  • the reset level Vrst and the signal level Vsig are generated in order, the potential of the reset level Vrst is held in the capacitive element 48 and the potential of the signal level Vsig is held in the capacitive element 49 .
  • the signal level Vsig is read out after the reset level Vrst in the control of FIG. 5 described above, the order is not limited to this.
  • the reset level Vrst can also be read after the signal level Vsig.
  • the vertical scanning circuit 12 controls the selection signal ⁇ r to Hi level after controlling the selection signal ⁇ s to Hi level. Also, in this case, it is necessary to reverse the inclination of the slope of the ramp signal Ramp.
  • FIG. 6 is a timing chart of the read operation when outputting the pixel difference between the pixels 21A and 21B arranged in the vertical direction (column direction) among the pixels 21A to 21D forming the sharing unit 20.
  • FIG. 6 is a timing chart of the read operation when outputting the pixel difference between the pixels 21A and 21B arranged in the vertical direction (column direction) among the pixels 21A to 21D forming the sharing unit 20.
  • the vertical scanning circuit 12 controls the shared reset signal RSTB of all rows to Lo level at the first time T20 of the readout period. Then, the vertical scanning circuit 12 sets the FD reset signals RST0 and RST1 and the shared selection signal SEL of the pixels 21A and 21B, which are the readout target pixels in the shared unit 20, to Hi during the readout period from time T20 to time T29. Control to level.
  • the vertical scanning circuit 12 controls the selection signal ⁇ r0 of the pixel 21A to the Hi level to turn on the selection transistor 51 of the pixel 21A and to turn on the selection transistor 51 of the pixel 21B.
  • the selection signal ⁇ s1 is controlled to Hi level to turn on the selection transistor 52 of the pixel 21B.
  • the reset level Vrst0 of the pixel 21A and the signal level Vsig1 of the pixel 21B are simultaneously read out, and the potential of the shared amplification transistor node 56 becomes the sum of the reset level Vrst0 of the pixel 21A and the signal level Vsig1 of the pixel 21B (Vrst0+ Vsig1).
  • the potential of the pixel signal VSL output to the vertical signal line 23 is the sum of the reset level Vrst0' of the pixel 21A and the signal level Vsig1' of the pixel 21B (Vrst0'+Vsig1').
  • the DAC 16 gradually increases the level of the ramp signal Ramp supplied to the ADC 101 during the first AD conversion period from time T22 to time T23 after time T21.
  • the ADC 101 compares the ramp signal Ramp with the voltage level of the sum of the reset level Vrst0' of the pixel 21A and the signal level Vsig1' of the pixel 21B (Vrst0'+Vsig1'), and continues counting until the comparison result is inverted. .
  • the count value of the counter 114 becomes a value corresponding to the sum of the P-phase count value of the pixel 21A and the D-phase count value of the pixel 21B (pixel A_P+pixel B_D).
  • the vertical scanning circuit 12 controls the shared reset signal RSTB to Hi level during the period from time T24 after time T23 to time T25. Thereby, when a parasitic capacitance exists in the shared amplification transistor node 56, the history of the previous signal held in the parasitic capacitance can be erased.
  • the vertical scanning circuit 12 controls the selection signal ⁇ s0 of the pixel 21A to Hi level to turn on the selection transistor 52 of the pixel 21A.
  • the selection signal ⁇ r1 of 21B is controlled to Hi level to turn on the selection transistor 51 of the pixel 21B.
  • the signal level Vsig0 of the pixel 21A and the reset level Vrst1 of the pixel 21B are simultaneously read out, and the potential of the shared amplification transistor node 56 becomes the sum of the signal level Vsig0 of the pixel 21A and the reset level Vrst1 of the pixel 21B (Vsig0+ Vrst1).
  • the potential of the pixel signal VSL output to the vertical signal line 23 is the sum (Vsig0'+Vrst1') of the signal level Vsig0' of the pixel 21A and the reset level Vrst1' of the pixel 21B.
  • the DAC 16 gradually increases the level of the ramp signal Ramp supplied to the ADC 101 during the second AD conversion period from time T27 to time T28 after time T26.
  • the ADC 101 compares the ramp signal Ramp with the sum (Vsig0'+Vrst1') of the signal level Vsig0' of the pixel 21A and the reset level Vrst1' of the pixel 21B, and continues counting until the comparison result is inverted. .
  • the count value of the counter 114 becomes a value corresponding to the sum of the D-phase count value of the pixel 21A and the P-phase count value of the pixel 21B (pixel A_D+pixel B_P).
  • the subtraction processing circuit 121 calculates the sum (pixel A_P+pixel B_D) of the P-phase count value of the pixel 21A and the D-phase count value of the pixel 21B, which is supplied first from the counter 114, and the pixel 21A, which is supplied second.
  • CDS processing is performed by subtracting the sum (pixel A_D+pixel B_P) of the D-phase count value of the pixel 21B and the P-phase count value of the pixel 21B.
  • the subtraction processing circuit 121 performs the subtraction processing of Equation (1) below.
  • CDS processing (pixel A_P + pixel B_D) - (pixel A_D + pixel B_P) (1)
  • Pixel 21A Pixel A_P - Pixel A_D
  • Pixel 21B Pixel B_P - Pixel B_D
  • a pixel difference between the pixel 21A and the pixel 21B is represented by the following formula (2).
  • Pixel 21A ⁇ pixel 21B (pixel A_P ⁇ pixel A_D) ⁇ (pixel B_P ⁇ pixel B_D) (2)
  • the reset level Vrst0' of the pixel 21A and the signal level Vsig1' of the other pixel 21B are simultaneously read out, and then the signal of the pixel 21A is read out.
  • the difference between the pixel signals of the two pixels can be obtained.
  • the pixel difference can be obtained by two AD conversion processes, so noise can be reduced and the SN ratio can be improved. Further, the control in FIG. 6 can be executed in the same period as the one-pixel readout period described in FIG. Obtainable. Further, as for the control of the pixel 21, it is only necessary to change the control of the selection signals ⁇ s0 and ⁇ r that control the selection transistors 51 and 52 of the pixel 21, and no additional circuit or wiring is required.
  • the pixel difference output can be realized with low noise, high speed, low power consumption, and low cost by the control of FIG.
  • the pixel 21A is the first pixel
  • the pixel 21B is the second pixel
  • the capacitive element 48 holding the reset level Vrst is the first capacitive element
  • the capacitive element 49 holding the signal level Vsig is the first capacitive element.
  • the control is such that the potentials of different capacitor elements of the first and second capacitor elements are simultaneously read out in the first pixel and the second pixel. Such control is hereinafter referred to as "simultaneous readout by crossing the capacitive elements of the first pixel and the second pixel".
  • the readout control for outputting the pixel difference between the pixel 21A and the pixel 21B described in FIG. 6 outputs the difference between two pixels arranged in the vertical direction (column direction) in the sharing unit 20, as shown on the left side of FIG. control.
  • a pixel difference between the pixel 21C and the pixel 21D can also be output by the same control.
  • Such a pixel difference output of two pixels in the vertical direction can accurately detect the luminance difference in the vertical direction, in other words, the edge in the horizontal direction in the luminance image.
  • the solid-state imaging device 1 performs simultaneous readout by crossing the capacitive elements of two pixels arranged in the horizontal direction (row direction) in the shared unit 20, thereby It is possible to output the difference between two pixels arranged side by side.
  • the difference between the pixel 21A and the pixel 21C can be output by performing simultaneous readout by crossing the capacitance elements of the pixel 21A and the pixel 21C.
  • the difference between the pixel 21B and the pixel 21D can be output by performing simultaneous reading by crossing the capacitive elements of the pixel 21B and the pixel 21D.
  • Such a pixel difference output of two pixels in the horizontal direction can accurately detect the luminance difference in the horizontal direction, in other words, the edge in the vertical direction in the luminance image.
  • Such a horizontal two-pixel pixel difference output efficiently and effectively captures both horizontal and vertical luminance differences, in other words both horizontal and vertical edges in the luminance image. It can be detected with high accuracy.
  • a general image sensor Since a general image sensor performs readout operations on a row-by-row basis, it often detects edges in the vertical direction. The accuracy of focus control for detecting phase difference information is also improved.
  • any of vertical direction difference, horizontal direction difference, and oblique direction difference can be performed, and switching is also easy.
  • Two pixels to be added are regarded as one pixel of the first pixel or the second pixel, and simultaneous reading is performed by crossing the capacitive elements of the above-described first pixel and the second pixel to obtain two pixels.
  • a unitary pixel difference output can be performed.
  • the solid-state imaging device 1 simultaneously scans the upper two pixels of the pixels 21A and 21C and the lower two pixels of the pixels 21B and 21D in the shared unit 20 by crossing the capacitive elements. By reading out, the difference (vertical direction difference) between the upper two-pixel added data of the pixels 21A and 21B and the lower two-pixel added data of the pixels 21C and 21D can be obtained in one read operation. .
  • the solid-state imaging device 1 is configured such that the two pixels on the left side of the pixels 21A and 21B and the two pixels on the right side of the pixels 21C and 21D in the shared unit 20 cross the capacitive elements at the same time.
  • the difference horizontal direction difference
  • the difference between the left two-pixel added data of the pixels 21A and 21B and the right two-pixel added data of the pixels 21C and 21D can be obtained in one read operation.
  • the SN ratio can be improved.
  • the black circles shown within the four pixels 21A to 21D in FIG. 8 indicate the positions of the center of gravity of the two pixels added.
  • the centroid position of the left diagonal two pixels 21A and 21D coincides with the centroid position of the right diagonal two pixels 21B and 21C.
  • FIG. 9 is a block diagram showing another configuration example of the column signal processing circuit 14. As shown in FIG. FIG. 9 also shows the constant current source circuit section 13 as in FIG.
  • the column signal processing circuit 14 of FIG. 9 is different from the column signal processing circuit 14 of FIG. is common with the column signal processing circuit 14 of FIG.
  • the saturation detection circuit 122 detects whether the signal level of the pixel signal VSL output from the pixel 21 is saturated in each of the first AD conversion period and the second AD conversion period.
  • FIG. 10 shows timing charts when the pixel signal VSL is saturated in each of the first AD conversion period and the second AD conversion period.
  • the pixel signal VSL and the ramp signal Ramp are not equal, and the count value is supplied to the saturation detection circuit 122 as the upper limit value (full count).
  • the saturation detection circuit 122 detects that the pixel 21 is saturated when the upper limit of the count value is supplied from the counter 115 in each of the first AD conversion period and the second AD conversion period.
  • the selection circuit 123 is notified.
  • the selection circuit 123 is supplied with pixel data as a result of the subtraction processing from the subtraction processing circuit 121, and is notified from the saturation detection circuit 122 when saturation occurs. When saturation does not occur in each of the first AD conversion period and the second AD conversion period, the selection circuit 123 outputs the pixel data from the subtraction processing circuit 121 to the output unit 17 via the signal line 103. supply.
  • the selection circuit 123 when saturation occurs in each of the first AD conversion period and the second AD conversion period, the selection circuit 123 outputs a value indicating that the pixel data is an error via the signal line 103 to the output section 17. supply to Also, if saturation occurs in either the first AD conversion period or the second AD conversion period, the selection circuit 123 may detect that the pixel data from the subtraction processing circuit 121 and the pixel data are in error. A value indicating that is supplied to the output unit 17 via the signal line 103 .
  • the pixels 21 arranged in a matrix in the pixel array section 11 are the pixels 21 that perform the pixel signal output (hereinafter referred to as single pixel luminance output) in units of one pixel described in FIG. It has been explained that it is one of the pixels 21 that perform differential output (hereinafter referred to as spatial differential output) in the vertical direction, horizontal direction, or diagonal direction described with reference to FIG.
  • the pixels 21 that perform single-pixel luminance output and the pixels 21 that perform spatial difference output it is also possible to control the pixels 21 that perform single-pixel luminance output and the pixels 21 that perform spatial difference output to be mixed.
  • the solid-state imaging device 1, of the four pixels 21A to 21 forming the shared unit 20 converts two pixels 21A and 21D in the diagonal left direction to Control is performed so that the pixels 21 that perform the spatial difference output perform the spatial difference output in the diagonal direction, and the two pixels 21B and 21C in the right diagonal direction perform the single pixel luminance output as the pixels 21 that perform the single pixel luminance output. can be done.
  • the solid-state imaging device 1 has two pixels 21b and 21h in the horizontal direction. Spatial difference output, two pixels 21d and 21f can be controlled to perform vertical spatial difference output, and the remaining pixels 21a, 21c, 21e, 21g, and 21i can be controlled to perform single pixel luminance output.
  • the multiple pixel positions for spatial difference output are not limited to the examples of A and B in FIG. 11, and can be arbitrarily determined.
  • two pixels in the vertical direction may be pixels 21 that perform spatial difference output
  • the remaining two pixels in the vertical direction may be pixels 21 that perform single-pixel luminance output.
  • pixel signals VSL of a plurality of pixels 21 that perform single-pixel luminance output may be read out simultaneously and pixel addition may be performed.
  • pixels 21 that perform single-pixel luminance output and pixels 21 that perform spatial difference output may be mixed on a row-by-row basis in the pixel array section 11 .
  • Switching control on a row-by-row basis is easy to implement.
  • pixels 21 that perform single-pixel luminance output and pixels 21 that perform spatial difference output are intermingled.
  • the pixels 21 for spatial difference output may be distributed at a density of .
  • the High level period of the selection signal ⁇ r and the selection signal ⁇ s must be different between the pixels 21 performing single pixel luminance output and the pixels 21 performing spatial difference output in the same row. Therefore, as shown in the enlarged view surrounded by the dashed line in FIG. 13, the signal lines of the selection signal ⁇ r and the selection signal ⁇ s of the pixels 21 performing the single-pixel luminance output and the pixels 21 performing the spatial difference output in the same row need to be separated. In the enlarged view of FIG.
  • the selection signals ⁇ r and ⁇ s are transmitted to the pixels 21 performing the spatial difference output.
  • Signal lines 151A' to 151D' are provided for transmitting selection signals ⁇ s.
  • the signal line 151 for transmitting the selection signal ⁇ r and the signal line 151 for transmitting the selection signal ⁇ s are different, two signal lines 151 are originally provided for one pixel 21. 13, one signal line 151 is used for space reasons.
  • the number of pixels 21 that perform spatial difference output is arbitrary, and the ratio of the number of pixels 21 that perform spatial difference output and the number of pixels 21 that perform single pixel luminance output in the pixel array section 11 is also arbitrary. is.
  • the pixels 21 for vertical, horizontal, or diagonal spatial difference output may be arranged arbitrarily.
  • the pixels 21 that perform spatial difference output may be operated at a higher frame rate than the pixels 21 that perform single-pixel luminance output.
  • Control for mixing the pixels 21 that perform spatial difference output and the pixels 21 that perform single pixel luminance output within the sharing unit 20 shown in FIG. and the control of mixing the pixels 21 that perform single-pixel luminance output and the pixels 21 that perform spatial difference output in the same row shown in FIG. They may be combined arbitrarily within the pixel array section 11 .
  • Moving Object Detection Processing Control of the diagonal direction difference shown on the right side of FIG. Moving object detection processing that can be executed using control for obtaining a difference with 2-pixel added data will be described.
  • FIG. 14 is a diagram for explaining moving object detection processing that is executed using diagonal direction difference control.
  • the exposure timing was the same for all pixels. , and two pixels on the right side (pixels 21B and 21C) are controlled to have different exposure timings.
  • the vertical scanning circuit 12 of the solid-state imaging device 1 exposes pixels 21A and 21D, which are two pixels diagonally to the left, at time T41, which is the first timing within one frame period.
  • the vertical scanning circuit 12 starts exposing the pixels 21B and 21C, which are two pixels diagonally to the right, at time T43, which is the second timing within one frame period, and after the exposure time TEX has passed, Exposure ends at time T44. Therefore, the two diagonally left pixels and the two diagonally right pixels have different exposure timings (exposure start times), but the same exposure time.
  • the digital signal processing unit 102 can detect whether or not the subject is a moving object by determining whether the diagonal pixel difference between the left diagonal two pixels and the right diagonal two pixels is equal to or less than a predetermined threshold value. Since the moving object detection result can be obtained in the next frame, a minute moving object detection result can be obtained at high speed depending on the setting of the exposure time.
  • FIG. 15 is a block diagram showing a configuration example of a solid-state imaging device according to the second embodiment of the present disclosure.
  • the second embodiment of FIG. 15 is different in that a frame signal processing circuit 201 is newly provided between the column signal processing circuit 14 and the output section 17, but is common in other respects.
  • the solid-state imaging device 1 performs the operation of generating a spatial difference image 221 by the above-described spatial difference output control and the operation of generating a luminance image 222 by the above-described single-pixel luminance output control in a predetermined manner. It operates while switching at the timing.
  • the spatial difference image 221 is generated with a resolution higher than a predetermined resolution, but the luminance image 222 is generated with a low resolution lower than that of the spatial difference image 221 .
  • Intensity images 222 are alternately generated. Note that the spatial difference image 221 and the luminance image 222 do not necessarily have to be generated alternately. good too.
  • the frame signal processing circuit 201 generates a high-resolution luminance image 223 from one high-resolution spatial difference image 221 and one low-resolution luminance image 222.
  • Execute high-resolution image generation processing For example, the frame signal processing circuit 201 uses a convolutional neural network (hereinafter referred to as a CNN (Convolutional Neural Network)) 233 composed of a convolutional network unit 231 and a deconvolutional network unit 232 to generate a single space.
  • a high-resolution luminance image 223 is generated from the difference image 221 and the luminance image 222 .
  • the power consumption of the solid-state imaging device 1 can be reduced by generating the spatial difference image 221 with high resolution and generating the luminance image 222 with low resolution.
  • the high-resolution luminance image 223 can be output while suppressing power consumption.
  • the solid-state imaging device 1 may generate a luminance image and a spatial difference image in the spatial direction instead of generating the spatial difference image and the luminance image in the time direction (by time division).
  • luminance values are embedded in the number of low-resolution pixels in some pixels in the high-resolution spatial difference image by controlling the light reception of the pixel array section 11.
  • a mixed luminance/difference image 251 is generated.
  • the frame signal processing circuit 201 executes high-resolution image generation processing for generating a high-resolution luminance image 223 from the luminance/difference mixed image 251 .
  • FIG. 19 shows an example of processing by the frame signal processing circuit 201 to generate a high-resolution luminance image at a high frame rate.
  • the solid-state imaging device 1 performs the operation of generating a spatial difference image 301 by the above-described spatial difference output control and the operation of generating a luminance image 302 by the above-described single-pixel luminance output control in a predetermined manner. It operates while switching at the timing.
  • the spatial difference image 301 and the luminance image 302 are generated with the same resolution and higher resolution than a predetermined resolution.
  • one frame of the luminance image 302 is generated every time three frames of the spatial difference image 301 are generated, but the timing of generating the luminance image 302 is not limited to this example.
  • the number of generated frames of the spatial difference image 301 is greater than the number of generated frames of the luminance image 302 .
  • the frame signal processing circuit 201 generates luminance images 311 of the same resolution at the same time as the spatial difference image 301 from one spatial difference image 301 and two luminance images 302 generated before and after it, for example, by machine learning. to generate
  • the frame signal processing circuit 201 generates one spatial difference image 301 1 generated at time T101, one luminance image 302 0 generated at time T101 earlier, and one luminance image 302 0 generated at time T101 later.
  • a high-resolution luminance image 311-1 at time T101 is generated using the one luminance image 302-1 and the three images obtained.
  • the frame signal processing circuit 201 processes one spatial difference image 3012 generated at time T102, one luminance image 3020 generated at time before that, and one luminance image 3020 generated at time T102 after that. Using the generated one luminance image 302-1 and the three images, a high-resolution luminance image 311-2 at time T102 is generated.
  • the frame signal processing circuit 201 generates a high-density luminance image 303 from the temporally high-density spatial difference image 301 and the low-density luminance image 302 .
  • the solid-state imaging device 1 generates more spatial difference images 301 than luminance images 302 by light reception control of the pixel array unit 11 .
  • the power consumption of the solid-state imaging device 1 can be suppressed and the high-resolution luminance image 303 can be generated at a high frame rate.
  • FIG. 20 shows another example of processing for generating a high-resolution luminance image at a high frame rate.
  • the solid-state imaging device 1 generates a luminance/difference mixed image 321 in which luminance values are embedded in the number of low-resolution pixels in some pixels in the high-resolution spatial difference image by light reception control of the pixel array unit 11 in time series. to generate The frame signal processing circuit 201 generates a high-resolution luminance image 331 from the high-resolution luminance/difference mixed image 321 .
  • the frame signal processing circuit 201 generates a high-density luminance image 331 from the luminance/difference mixed image 321, which is a combination of a high-density spatial difference image in the spatial direction and a low-density luminance image. .
  • the solid-state imaging device 1 suppresses the power consumption of the solid-state imaging device 1 and produces a high-resolution luminance image 331. can be generated at high frame rates.
  • High-resolution luminance images 311 and 331 generated at a high frame rate can be used as slow-motion images.
  • the technology of the present disclosure is not limited to application to solid-state imaging devices. That is, the technology of the present disclosure can be applied to an image capture unit (photoelectric conversion unit ) can be applied to general electronic equipment that uses a solid-state imaging device.
  • the solid-state imaging device may be formed as a single chip, or may be a module having an imaging function in which an imaging section and a signal processing section or an optical system are packaged together.
  • FIG. 21 is a block diagram showing a configuration example of an imaging device as an electronic device to which the technology of the present disclosure is applied.
  • An imaging device 600 in FIG. 21 includes an optical unit 601 including a lens group, a solid-state imaging device (imaging device) 602 adopting the configuration of the solid-state imaging device 1 in FIG. Processor) circuit 603 .
  • the imaging device 600 also includes a frame memory 604 , a display unit 605 , a recording unit 606 , an operation unit 607 and a power supply unit 608 .
  • DSP circuit 603 , frame memory 604 , display unit 605 , recording unit 606 , operation unit 607 and power supply unit 608 are interconnected via bus line 609 .
  • the optical unit 601 captures incident light (image light) from a subject and forms an image on the imaging surface of the solid-state imaging device 602 .
  • the solid-state imaging device 602 converts the amount of incident light imaged on the imaging surface by the optical unit 601 into an electric signal for each pixel, and outputs the electric signal as a pixel signal.
  • the solid-state imaging device 1 of FIG. It is possible to use a solid-state imaging device that controls the spatial difference output for simultaneous readout by crossing the capacitive elements.
  • the display unit 605 is composed of a thin display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays moving images or still images captured by the solid-state imaging device 602 .
  • a recording unit 606 records a moving image or still image captured by the solid-state imaging device 602 in a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 607 issues operation commands for various functions of the imaging device 600 under the user's operation.
  • a power source unit 608 appropriately supplies various power sources to the DSP circuit 603, the frame memory 604, the display unit 605, the recording unit 606, and the operation unit 607, to these supply targets.
  • the solid-state imaging device 1 As described above, by using the solid-state imaging device 1 to which the above-described embodiment is applied as the solid-state imaging device 602, pixel difference output can be realized with low noise, high speed, low power consumption, and low cost. Therefore, even in the imaging device 600 such as a video camera, a digital still camera, and a camera module for a mobile device such as a mobile phone, it is possible to improve the image quality of the captured image.
  • FIG. 27 is a diagram showing a usage example of an image sensor using the solid-state imaging device 1 described above.
  • the solid-state imaging device 1 described above can be used as an image sensor in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays, for example, as follows.
  • ⁇ Devices that capture images for viewing purposes, such as digital cameras and mobile devices with camera functions.
  • Devices used for transportation such as in-vehicle sensors that capture images behind, around, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, and ranging sensors that measure the distance between vehicles.
  • Devices used in home appliances such as TVs, refrigerators, air conditioners, etc., to take pictures and operate devices according to gestures ⁇ Endoscopes, devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare purposes such as surveillance cameras for crime prevention and cameras for personal authentication
  • microscopes used for beauty such as microscopes used for beauty
  • Sports such as action cameras and wearable cameras for use in sports ⁇ Cameras, etc. for monitoring the condition of fields and crops , agricultural equipment
  • the vertical scanning circuit simultaneously reads out the first signal level of the first pixel and the second signal level of the second pixel, and then reads out the signal level of the first pixel.
  • the solid-state imaging device according to (1) wherein the second signal level and the first signal level of the second pixel are simultaneously read out.
  • the solid-state imaging device according to (1) or (2), wherein the readout circuit has a reset transistor, an amplification transistor, and a selection transistor.
  • the readout circuit is shared by four pixels each including two pixels in a row direction and two pixels in a column direction.
  • an ADC that converts the signal level read by the readout circuit into a count value
  • a subtraction processing circuit that performs subtraction processing on the two converted count values, The subtraction processing circuit divides the count value corresponding to the sum of the first signal level of the first pixel and the second signal level of the second pixel, the second
  • the solid-state imaging device according to any one of (1) to (6), wherein subtraction processing is performed on the count value corresponding to the sum of the signal level of and the first signal level of the second pixel.
  • the vertical scanning circuit mixes the pixels that perform the first control and the pixels that perform the second control for reading out luminance signals in units of pixels in a pixel array section in which the pixels are two-dimensionally arranged in a matrix.
  • the solid-state imaging device according to any one of (1) to (8).
  • Device (11) The solid-state imaging device according to (9) or (10), wherein the vertical scanning circuit mixes the pixels for which the first control is performed and the pixels for which the second control is performed on a row-by-row basis in the pixel array section. .
  • the vertical scanning circuit mixes pixels for which the first control is performed and pixels for which the second control is performed in the same row of the pixel array section;
  • the vertical scanning circuit includes two pixels arranged in a first diagonal direction and two pixels arranged in a second diagonal direction different from the first diagonal direction among the plurality of pixels sharing the readout circuit, The solid-state imaging device according to any one of (1) to (13), wherein the first control is performed after changing the exposure timing.
  • the solid-state imaging device according to (14), wherein moving object detection processing is performed based on the result of the first control in which the exposure timing is different.
  • the first From the luminance/difference mixed image in which luminance values are embedded by the second control for reading the luminance signal in units of one pixel into some pixels of the spatial difference image of the first resolution by the first control, the first The solid-state imaging device according to any one of (1) to (16), further comprising a frame signal processing circuit that generates a luminance image with a resolution of .
  • the solid-state imaging device according to any one of (1) to (17).
  • a photoelectric conversion element (20) a photoelectric conversion element; a first capacitive element holding a first signal level of the photoelectric conversion element; a pixel having a second capacitive element that holds a second signal level of the photoelectric conversion element; a readout circuit shared by a plurality of pixels including a first pixel and a second pixel; a vertical scanning circuit that controls the pixels and the readout circuit, The vertical scanning circuit performs a first control for simultaneously reading out signal levels of different capacitive elements of the first and second capacitive elements in the first pixel and the second pixel. electronic equipment.
  • 1 solid-state imaging device 11 pixel array section, 12 vertical scanning circuit, 13 constant current source circuit section, 14 column signal processing circuit, 15 timing control circuit, 17 output section, 20 shared unit, 21 pixel, 22 pixel drive line, 23 Vertical signal line, 41 photoelectric conversion element, PD photodiode, 42 transfer transistor, 43 reset transistor, 44 FD, 45 amplification transistor, 46 current source transistor, 47 node (capacitance input node), 48 capacitive element, 49 capacitive element, 51 selection transistor, 52 selection transistor, 53 shared reset transistor, 54 shared amplification transistor, 55 shared selection transistor, 56 node (shared amplification transistor node), 81 current source, 102 digital signal processing unit, 103 signal line, 111 capacitive element, 112 capacitive element, 113 comparator, 114 counter, 115 counter, 121 subtraction processing circuit, 122 saturation detection circuit, 123 selection circuit, 201 frame signal processing circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、空間差分出力が可能な固体撮像装置を低コストで実現できるようにする固体撮像装置およびその駆動方法、並びに電子機器に関する。 固体撮像装置は、光電変換素子と、第１の容量素子と、第２の容量素子とを有する画素と、第１の画素と第２の画素とを含む複数の画素で共有される読み出し回路と、画素および読み出し回路を制御する垂直走査回路とを備え、垂直走査回路は、第１の画素と第２の画素とで、第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う。本開示は、例えば、画素毎に一対の容量を設け、それらの容量に、AD変換の対象となるリセットレベルおよび信号レベルの２つの信号を保持させる固体撮像装置等に適用できる。

Description

固体撮像装置およびその駆動方法、並びに電子機器
　本開示は、固体撮像装置およびその駆動方法、並びに電子機器に関し、特に、空間差分出力が可能な固体撮像装置を低コストで実現できるようにした固体撮像装置およびその駆動方法、並びに電子機器に関する。
　グローバルシャッタ機能を有するイメージセンサにおいて、画素毎に一対の容量を設け、それらの容量に、AD変換の対象となるリセットレベルおよび信号レベルの２つの信号を保持させる固体撮像装置が提案されている（例えば、特許文献１参照）。
　グローバルシャッタ機能を有するイメージセンサにおいて、画素から信号を読み出すための画素トランジスタを複数画素で共有する共有画素構造が知られている（例えば、非特許文献１参照）。
　ところで、画像の空間差分を取る信号処理は、様々な画像処理で利用されている。例えば、Canny法によるエッジ検出（例えば、非特許文献２参照）や、ソベルフィルタなどにも、画像の空間差分が用いられている。フォーカス制御のために、画素の位相差情報を検出する処理も、画素間の差分を演算するので、空間差分を取る信号処理の一つである。
　画像の空間差分の信号処理は、イメージセンサの後段の信号処理チップ等で行われることが多いが、イメージセンサの内部で行うようにしたものも提案されている（例えば、非特許文献３参照）。非特許文献３には、空間差分画像と機械学習とを組み合わせて物体認識を行う応用例も開示されている。空間差分画像と機械学習を組み合わせた処理には、高解像度の空間差分画像と低解像度の輝度画像とから、高解像度の輝度画像を復元する超解像処理などもある（例えば、非特許文献４参照）。
国際公開第２０２１／２１５１０５号
Masahiro Kobayashi, et al., "A 1.8erms Temporal Noise Over 110dB Dynamic Range 3.4μm Pixel Pitch Global Shutter CMOS Image Sensor with Dual-Gain Amplifiers, SS-ADC and Multiple- Accumulation Shutter" ISSCC Dig. Tech. Papers, pp. 74-75, Feb. 2017 Canny, J., A Computational Approach To Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679-698, 1986、インターネット＜URL: https://ieeexplore.ieee.org/document/4767851＞ Christopher Young, et al., "A Data-Compressive 1.5b/2.75b Log-Gradient QVGA Image Sensor with Multi-Scale Readout for Always-On Object Detection," ISSCC Dig. Tech. Papers, pp. 98-99, Feb. 2019 Kamyar Nazeri, Harrish Thasarathan, Mehran Ebrahimi, "Edge-Informed Single Image Super-Resolution", Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019、インターネット＜URL: https://openaccess.thecvf.com/content_ICCVW_2019/html/AIM/Nazeri_Edge-Informed_Single_Image_Super-Resolution_ICCVW_2019_paper.html＞
　イメージセンサの後段において信号処理により画像の空間差分を得る場合、イメージセンサは１つの信号につきリセットレベルおよび信号レベルの２回のAD変換を行うので、２つの信号の差分を取るためには計４回のAD変換ノイズが付与されることになり、SN比が悪化する。イメージセンサの後段で空間差分を演算する場合、演算に伴う処理遅延や消費電力増加も懸念される。
　一方、イメージセンサ内部で空間差分を演算する場合、空間差分演算のためのバッファ回路を設けるなど、追加の構成要素が必要となり、チップコストの増大や消費電力増加が懸念される。
　本開示は、このような状況に鑑みてなされたものであり、空間差分出力が可能な固体撮像装置を低コストで実現できるようにするものである。
　本開示の第１の側面の固体撮像装置は、
　光電変換素子と、
　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
　を有する画素と、
　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と、
　前記画素および前記読み出し回路を制御する垂直走査回路と
　を備え、
　前記垂直走査回路は、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う。
　本開示の第２の側面の固体撮像装置の駆動方法は、
　光電変換素子と、
　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
　を有する画素と、
　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と
　を備える固体撮像装置が、
　前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う。
　本開示の第３の側面の電子機器は、
　光電変換素子と、
　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
　を有する画素と、
　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と、
　前記画素および前記読み出し回路を制御する垂直走査回路と
　を備え、
　前記垂直走査回路は、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
　固体撮像装置
　を備える。
　本開示の第１乃至第３の側面においては、光電変換素子と、前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、前記光電変換素子の第２の信号レベルを保持する第２の容量素子とを有する画素と、第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路とを備える固体撮像装置において、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御が行われる。
　固体撮像装置及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本開示に係る固体撮像装置の第１実施の形態の構成例を示すブロック図である。 画素アレイ部において１つの共有単位を構成する複数画素の回路構成例を示す図である。 定電流源回路部およびカラム信号処理回路の詳細構成例を示すブロック図である。 各画素の露光動作を説明するタイミングチャートである。 各画素の画素信号の読み出し動作を説明するタイミングチャートである。 画素差分出力の読み出し動作を説明するタイミングチャートである。 画素差分出力のバリエーションを説明する図である。 画素差分出力のバリエーションを説明する図である。 カラム信号処理回路のその他の構成例を示すブロック図である。 画素信号が飽和した場合の動作を説明するタイミングチャートである。 空間差分出力と単画素輝度出力のハイブリッドの例を説明する図である。 空間差分出力と単画素輝度出力のハイブリッドの例を説明する図である。 空間差分出力と単画素輝度出力のハイブリッドの例を説明する図である。 ２画素加算と斜め方向差分を用いた動体検出処理の例を説明する図である。 本開示に係る固体撮像装置の第２実施の形態の構成例を示すブロック図である。 第２実施の形態の固体撮像装置が実行する第１の画像処理を説明する図である。 第２実施の形態の固体撮像装置が実行する第１の画像処理を説明する図である。 第２実施の形態の固体撮像装置が実行する第１の画像処理を説明する図である。 第２実施の形態の固体撮像装置が実行する第２の画像処理を説明する図である。 第２実施の形態の固体撮像装置が実行する第２の画像処理を説明する図である。 本開示の技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 イメージセンサの使用例を説明する図である。
　以下、添付図面を参照しながら、本開示の技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．固体撮像装置の第１実施の形態の構成例
２．共有単位の画素回路構成例
３．カラム信号処理回路の構成例
４．１画素単位の画素信号出力動作
５．差分画素信号の出力動作
６．画素差分のバリエーション
７．カラム信号処理回路のその他の構成例
８．空間差分出力と単画素輝度出力のハイブリッド
９．動体検出処理
１０．固体撮像装置の第２実施の形態の構成例
１１．第２実施の形態の第１の画像処理例
１２．第２実施の形態の第２の画像処理例
１３．電子機器への適用例
＜１．固体撮像装置の第１実施の形態の構成例＞
　図１は、本開示に係る固体撮像装置の第１実施の形態の構成例を示すブロック図である。
　図１の固体撮像装置１は、画素アレイ部１１、垂直走査回路１２、定電流源回路部１３、カラム信号処理回路１４、タイミング制御回路１５、DAC（Digital to Analog Converter）１６、および、出力部１７を備える。固体撮像装置１は、例えば、単一の半導体チップに形成されている。
　画素アレイ部１１には、受光した光量に応じた光電荷を生成し、蓄積する光電変換素子を有する画素２１が、行方向及び列方向の行列状に２次元配置されている。ここで、行方向とは、画素アレイ部１１の水平方向の配列方向を言い、列方向とは、画素アレイ部１１の垂直方向の配列方向を言う。
　画素アレイ部１１の行列状の画素配列に対して、画素駆動線２２が行ごとに水平方向に沿って配線され、垂直信号線２３が列ごとに垂直方向に沿って配線されている。画素駆動線２２は、画素２１から画素信号VSLを読み出す際の駆動を行うための駆動信号を伝送する配線である。図１では、画素駆動線２２について１本の配線として示しているが、１本に限られるものではない。画素駆動線２２の一端は、垂直走査回路１２の各画素行に対応した出力端に接続されている。
　垂直走査回路１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１の各画素２１を全画素同時あるいは行単位等で駆動する。すなわち、垂直走査回路１２は、画素アレイ部１１の各画素２１の受光（露光）の開始および終了や、光電変換素子に蓄積された信号電荷の読み出しを制御する。垂直走査回路１２から画素駆動線２２を介して伝送される駆動信号により、各画素２１で生成された信号電荷は、画素信号VSLとして垂直信号線２３へ出力され、カラム信号処理回路１４へ伝送される。
　定電流源回路部１３は、画素アレイ部１１の列方向の複数画素に対応して電流源８１（図３）を有し、同列に配置された各画素２１へ定電流を供給する。
　カラム信号処理回路１４は、画素アレイ部１１の１以上の画素２１から垂直信号線２３を介して供給される画素信号VSLに対してAD変換処理やCDS(Correlated Double Sampling；相関２重サンプリング)処理などの信号処理を実行する。カラム信号処理回路１４は、AD変換処理およびCDS処理後の画素データを、出力部１７を介して、外部へ出力する。
　タイミング制御回路１５は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路１２、DAC１６、および、カラム信号処理回路１４に供給する。例えば、タイミング制御回路１５は、画素２１の受光動作や読み出し動作のタイミング信号を垂直走査回路１２、DAC１６、および、カラム信号処理回路１４に供給する。
　DAC１６は、タイミング制御回路１５からのクロック信号に応じて、時間が経過するにつれてレベル（電圧）が傾斜状に変化するランプ信号Rampを基準信号として生成して、カラム信号処理回路１４に供給する。
　出力部１７は、カラム信号処理回路１４から供給される画素データを所定のフォーマットに整形して、外部の装置へ出力する。
　以上の構成を有する固体撮像装置１の各画素２１は、例えば、露光時間を画素アレイ部１１の全画素で同一に設定し、露光終了後は電荷を一時的に保持しておいて、行単位に順次電荷を読み出すグローバルシャッタ方式の動作（撮像）が可能である。
　画素アレイ部１１の各画素２１は、画素信号VSLの読み出しを行うための画素トランジスタを、隣接する複数画素で共有する共有画素構造により構成されている。
＜２．共有単位の画素回路構成例＞
　図２は、画素アレイ部１１において１つの共有単位を構成する複数画素の回路構成例を示している。
　図２の共有単位２０は、行方向に２画素および列方向に２画素（２ｘ２）の４画素で構成される。
　図２では、共有単位２０を構成する４つの画素２１を区別するため、画素２１A乃至２１Dの符号が付されている。以下の説明において、画素２１A乃至２１Dを特に区別する必要がない場合には、単に、画素２１と称して説明する。
　画素２１Aおよび２１Cは、画素アレイ部１１内の同じ行に配列されるとともに、画素２１Bおよび２１Dが、画素２１Aおよび２１Cに隣接する同じ行に配列されている。また、画素２１Aおよび２１Bが、画素アレイ部１１内の同じ列に配列されるとともに、画素２１Cおよび２１Dが、画素２１Aおよび２１Bに隣接する同じ列に配列されている。
　なお、共有単位２０は、２ｘ２の４画素に限定されるものではなく、その他の複数画素でもよい。例えば、行方向に３画素および列方向に３画素（３ｘ３）からなる９画素等で共有単位２０が構成されてもよい。また、共有単位２０は、行方向および列方向それぞれに複数画素で構成される必要もなく、例えば、列方向又は行方向のみに配列された複数画素を共有単位２０としてもよい。ただし、後述するように、画像のエッジ検出性能を考慮すれば、行方向および列方向それぞれに複数画素備えた構成であることが望ましい。
　共有単位２０を構成する各画素２１は、光電変換素子４１、転送トランジスタ４２、リセットトランジスタ４３、FD（Floating Diffusion）４４、増幅トランジスタ４５、電流源トランジスタ４６、容量素子４８および４９、並びに、選択トランジスタ５１および５２を備える。
　また、共有単位２０は、画素２１A乃至２１Dに共有される読み出し回路２１Rを有し、読み出し回路２１Rは、共有リセットトランジスタ５３、共有増幅トランジスタ５４、および、共有選択トランジスタ５５を備える。
　光電変換素子４１は、例えばフォトダイオードで構成され、受光した光量に応じた電荷（信号電荷）を生成し、かつ、蓄積する。転送トランジスタ４２は、垂直走査回路１２からの転送信号TRGによりオンされたとき、光電変換素子４１で生成された電荷をFD４４へ転送する。
　リセットトランジスタ４３は、垂直走査回路１２からのFDリセット信号RSTによりオンされたとき、FD４４に蓄積されている電荷がドレイン（電源電位VDD）に排出されることで、FD４４の電位をリセットする。FD４４は、光電変換素子４１から転送された電荷を蓄積し、電荷量に応じた電圧を生成する。
　増幅トランジスタ４５は、電流源トランジスタ４６とソースフォロワ回路を構成し、FD４４の電圧レベルを増幅してノード４７（以下、容量入力ノード４７と称する。）に出力する。増幅トランジスタ４５のドレインは、電源電位VDDに接続されている。電流源トランジスタ４６は、垂直走査回路１２の制御にしたがい、一定の電流を供給する。電流源トランジスタ４６が供給する電流は、IRドロップを抑制するため、数ナノアンペア（ｎＡ）乃至数十ナノアンペア（ｎＡ）のオーダーとされる。
　容量素子４８および４９のそれぞれの一端は、容量入力ノード４７に共通に接続されている。容量素子４８の他端は、選択トランジスタ５１に接続され、容量素子４９の他端は、選択トランジスタ５２に接続されている。容量素子４８および４９は、増幅トランジスタ４５から出力される所定の電圧レベルを保持する。容量素子４８の蓄積容量をC1、容量素子４９の蓄積容量をC2とする。
　選択トランジスタ５１は、容量素子４８を選択して後段と接続し、選択トランジスタ５２は、容量素子４９を選択して後段と接続する。より具体的には、選択トランジスタ５１は、垂直走査回路１２からの選択信号Φrによりオンされたとき、容量素子４８とノード５６（以下、共有増幅トランジスタノード５６と称する。）とを接続する。選択トランジスタ５２は、垂直走査回路１２からの選択信号Φsによりオンされたとき、容量素子４９と共有増幅トランジスタノード５６とを接続する。
　共有リセットトランジスタ５３は、垂直走査回路１２からの共有リセット信号RSTBによりオンされたとき、共有増幅トランジスタノード５６のレベルを所定の電位VREGに初期化する。電位VREGには、電源電位VDDと異なる電位（例えば、電源電位VDDより低い電位）が設定される。
　共有増幅トランジスタ５４は、共有増幅トランジスタノード５６に供給される電圧レベルを増幅して、共有選択トランジスタ５５を介して垂直信号線２３に出力する。共有選択トランジスタ５５は、垂直走査回路１２からの共有選択信号SELによりオンされたとき、共有増幅トランジスタ５４により増幅された電圧レベルの信号を画素信号VSLとして垂直信号線２３に出力する。
　なお、共有単位２０内の各種の画素トランジスタには、例えば、N型のMOS（Metal Oxide Semiconductor）トランジスタを用いることができる。この場合、ゲートに供給される駆動信号により画素トランジスタがオンされたときは、ドレインとソースが接続される閉状態である。
　図２では、垂直走査回路１２から画素２１A乃至２１Dそれぞれに供給される転送信号TRG、FDリセット信号RST、選択信号Φr、および、選択信号Φsを区別して、画素２１A乃至２１Dへの信号に、それぞれ、“０”乃至“３”が付されている。例えば、画素２１Aに供給される転送信号TRG、FDリセット信号RST、選択信号Φr、および、選択信号Φsは、それぞれ、転送信号TRG0、FDリセット信号RST0、選択信号Φr0、および、選択信号Φs0と記載され、画素２１Bに供給される転送信号TRG、FDリセット信号RST、選択信号Φr、および、選択信号Φsは、それぞれ、転送信号TRG1、FDリセット信号RST1、選択信号Φr1、および、選択信号Φs1と記載されている。同様に、画素２１Cへ供給される各信号には“２”が付され、画素２１Dへ供給される各信号には“３”が付されている。
　画素２１の動作については、図４乃至図６を参照して後述するが、画素２１の容量素子４８には、画素２１のリセットレベルに対応する電位Vrstが保持され、容量素子４９には、画素２１の信号レベルに対応する電位Vsigが保持され、それらの電位に応じた信号が、画素信号VSLとして、垂直信号線２３を通ってカラム信号処理回路１４へ出力される。
＜３．カラム信号処理回路の構成例＞
　図３は、定電流源回路部１３およびカラム信号処理回路１４の詳細構成例を示すブロック図である。
　定電流源回路部１３は、複数の電流源８１を有し、電流源８１は、例えば負荷MOSトランジスタで構成される。図２で説明したように、行方向に並ぶ２画素が共有単位２０とされ、１本の垂直信号線２３に接続されている場合、電流源８１は、画素アレイ部１１の２列単位に設けられる。電流源８１は、同じ垂直信号線２３に接続された共有増幅トランジスタ５４とソースフォロワ回路を構成する。
　カラム信号処理回路１４は、複数のADC１０１と、複数のデジタル信号処理部１０２とを有する。ADC１０１とデジタル信号処理部１０２は、垂直信号線２３ごとに設けられている。すなわち、垂直信号線２３の本数をＩ本とすると、カラム信号処理回路１４が有するADC１０１およびデジタル信号処理部１０２の個数は、Ｉ個である。
　ADC１０１は、容量素子（キャパシタ）１１１および１１２、コンパレータ（比較器）１１３、並びに、カウンタ１１４を有し、垂直信号線２３を介して入力されるアナログの信号をデジタルのカウント値に変換（AD変換）する。デジタル信号処理部１０２は、AD変換された２つのカウント値を減算処理する減算処理回路１２１を有する。
　画素２１から出力された画素信号VSLは、垂直信号線２３を介して、ADC１０１の容量素子１１１に入力される。一方、容量素子１１２には、DAC１６（図１）から、時間が経過するにつれてレベル（電圧）が傾斜状に変化するランプ信号Rampが、基準信号として入力される。
　なお、容量素子１１１および１１２は、コンパレータ１１３においてランプ信号および画素信号のAC成分のみで比較することができるように、ランプ信号Rampおよび画素信号VSLのDC成分を除去するためのものである。
　コンパレータ（比較器）１１３は、画素信号VSLとランプ信号Rampとを比較して得られる差信号をカウンタ１１４に出力する。例えば、ランプ信号Rampが画素信号VSLより大である場合にはHi(High)の差信号がカウンタ１１４に供給され、ランプ信号Rampが画素信号VSLより小である場合にはLo(Low)の差信号がカウンタ１１４に供給される。
　カウンタ１１４は、第１のAD変換期間で、Hiの差信号が供給されている間だけカウントし、カウント結果であるP相カウント値を減算処理回路１２１に供給する。また、カウンタ１１４は、第２のAD変換期間で、Hiの差信号が供給されている間だけカウントし、カウント結果であるD相カウント値を減算処理回路１２１に供給する。
　減算処理回路１２１は、カウンタ１１４から供給されるP相カウント値およびD相カウント値を用いて、CDS処理を行う。すなわち、減算処理回路１２１は、D相カウント値から、P相カウント値を減算処理し、その結果を、画素データとして信号線１０３を介して、出力部１７へ供給する。
＜４．１画素単位の画素信号出力動作＞
　図４および図５を参照して、画素アレイ部１１の各画素２１のグローバルシャッタ動作について説明する。
　図４は、画素アレイ部１１の各画素２１が露光動作を行う際のタイミングチャートを示している。この露光動作は、画素アレイ部１１の全画素で同時に実行される。
　初めに、時刻T0において、垂直走査回路１２は、FDリセット信号RSTおよび転送信号TRGをHiレベルに制御し、画素アレイ部１１の各画素２１に供給する。これにより、光電変換素子４１が初期化される。以下、この制御を「PDリセット」と称する。
　時刻T1において、FDリセット信号RSTおよび転送信号TRGがLoレベルに制御されることにより、画素アレイ部１１の各画素２１で露光が開始される。
　垂直走査回路１２は、露光期間の終了直前の時刻T2において、全画素において共有リセット信号RSTBおよび選択信号ΦrをHiレベルに制御しつつ、時刻T2から時刻T3までの期間、FDリセット信号RSTをHiレベルに制御する。これにより、FD４４が初期化され、そのときのFD４４の電圧レベルに応じた電圧レベルが容量素子４８に保持される。この制御を以下、「FDリセット」と称する。容量素子４８に保持された電圧レベルが、画素２１のリセットレベルに対応する。
　時刻T3の後の時刻T4において、選択信号ΦrはLoレベルに戻されるが、共有リセット信号RSTBは、Hiレベルのままとされる。
　垂直走査回路１２は、露光期間の終了タイミングとなる時刻T5において、全画素において選択信号ΦsをHiレベルに制御するとともに、時刻T5から時刻T6までの期間、転送信号TRGをHiレベルに制御する。これにより、露光量に応じた信号電荷がFD４４へ転送され、そのときのFD４４の電圧レベルに応じた電圧レベルが容量素子４９に保持される。容量素子４９に保持された電圧レベルが、画素２１の信号レベルに対応する。
　容量入力ノード４７の電圧レベルは、リセットレベル（VDD－Vsig）から、信号レベル（VDD－Vgs－Vsig）に低下する。ここで、VDDは、電源電圧であり、Vsigは、CDS処理により得られる正味の信号レベルである。Vgsは、増幅トランジスタ４５のゲート－ソース間電圧である。
　時刻T6の後の時刻T7において、選択信号ΦsがLoレベルに制御される。
　垂直走査回路１２は、時刻T0から時刻T7までの期間、全画素の電流源トランジスタ４６を制御して、所定の電流を供給させる。一方、定電流源回路部１３の各電流源８１はオフ状態とされ、電流源８１に電流は流れない。
　図５は、画素アレイ部１１の各画素２１が画素信号VSLの読み出し動作を行う際のタイミングチャートを示している。
　この読み出し動作は、共有単位２０を構成する複数の画素２１に対して所定の順番で順次実行されるが、図５では、共有単位２０内の所定の１画素を読み出し対象画素として、その画素の読み出し動作を説明する。
　初めに、垂直走査回路１２は、読み出し期間の最初の時刻T10に、全行の共有リセット信号RSTBをLoレベルに制御する。そして、垂直走査回路１２は、読み出し期間である時刻T10から時刻T17の期間において、FDリセット信号RSTおよび共有選択信号SELをHiレベルに制御する。
　次に、垂直走査回路１２は、時刻T10の後の時刻T11から時刻T13までの期間、読み出し対象画素の選択信号ΦrをHiレベルに制御し、選択トランジスタ５１をオンする。これにより、共有増幅トランジスタノード５６の電位がリセットレベルVrstとなり、垂直信号線２３に出力される画素信号VSLの電位が、リセットレベルVrstに対応したリセットレベルVrst’となる。
　DAC１６は、時刻T11の後の時刻T12から時刻T13までの第１のAD変換期間において、ADC１０１に供給するランプ信号Rampのレベルを徐々に上昇させる。ADC１０１は、ランプ信号Rampと、画素信号VSLのリセットレベルVrst’とを比較し、比較結果が反転するまでカウントを継続する。これにより、リセットレベルVrst’に対応するカウント値であるP相カウント値が読み出される。
　次に、垂直走査回路１２は、時刻T13の後の時刻T14から時刻T15までの期間、共有リセット信号RSTBをHiレベルに制御する。これにより、共有増幅トランジスタノード５６に寄生容量が存在する際に、その寄生容量に保持される前回の信号の履歴を消去することができる。
　共有増幅トランジスタノード５６の初期化後の時刻T16から時刻T18までの期間、垂直走査回路１２は、選択信号ΦsをHiレベルに制御する。これにより、共有増幅トランジスタノード５６の電位が信号レベルVsigとなり、垂直信号線２３に出力される画素信号VSLの電位が、信号レベルVsigに対応した信号レベルVsig’となる。露光時においては、リセットレベルより信号レベルの方が低かったが、読み出しの際においては、共有増幅トランジスタノード５６を基準とするため、リセットレベルより信号レベルの方が高くなる。リセットレベルVrst’と信号レベルVsig’との差分が、FD４４のリセットノイズやオフセットノイズを除去した正味の信号レベルに相当する。
　DAC１６は、時刻T16の後の時刻T17から時刻T18までの第２のAD変換期間において、ADC１０１に供給するランプ信号Rampのレベルを徐々に上昇させる。ADC１０１は、ランプ信号Rampと、垂直信号線２３の画素信号VSLの信号レベルVsig’とを比較し、比較結果が反転するまでカウントを継続する。これにより、信号レベルVsig’に対応するカウント値であるD相カウント値が読み出される。
　垂直走査回路１２は、時刻T10から時刻T18までの期間、読み出し対象画素の電流源トランジスタ４６を制御して、所定の電流を供給させる。また、定電流源回路部１３の各電流源８１もオン状態に制御され、電流源８１に定電流が流れる。
　共有単位２０を構成する画素２１A乃至２１Dについて、例えば、画素２１A、２１B、２１C、２１Dの順で順番に読み出し対象画素とし、上述した読み出し動作の駆動を行うことで、共有単位２０の各画素２１の画素信号VSLを読み出すことができる。
　また、例えば、画素２１Aおよび２１Bのように、２画素を同時に読み出し対象画素とすることで、２画素の信号を加算（画素加算）した画素信号VSLを読み出すこともできる。
　以上のように、固体撮像装置１は、画素アレイ部１１の全画素について同時に露光を開始し、終了する露光制御を行う。この露光制御により、リセットレベルVrstおよび信号レベルVsigが順に生成され、リセットレベルVrstの電位が容量素子４８に保持され、信号レベルVsigの電位が容量素子４９に保持される。
　なお、上述した図５の制御では、リセットレベルVrstの後に、信号レベルVsigを読み出しているが、この順番に限定されない。信号レベルVsigの後に、リセットレベルVrstを読み出すこともできる。この場合には、垂直走査回路１２は、選択信号ΦsをHiレベルに制御した後に、選択信号ΦrをHiレベルに制御する。また、この場合、ランプ信号Rampのスロープの傾きを逆にする必要がある。
＜５．差分画素信号の出力動作＞
　次に、共有単位２０内の２画素の画素信号の差分を出力する場合の画素２１の読み出し動作について説明する。
　図６は、共有単位２０を構成する画素２１A乃至２１Dのうち、縦方向（列方向）に並ぶ画素２１Aと画素２１Bとの画素差分を出力する場合の読み出し動作のタイミングチャートである。
　なお、露光動作については図４で説明した駆動と同様であるので、その説明は省略する。
　初めに、垂直走査回路１２は、読み出し期間の最初の時刻T20に、全行の共有リセット信号RSTBをLoレベルに制御する。そして、垂直走査回路１２は、読み出し期間である時刻T20から時刻T29の期間において、共有単位２０内の読み出し対象画素である画素２１Aおよび２１BのFDリセット信号RST0およびRST1と、共有選択信号SELをHiレベルに制御する。
　次に、垂直走査回路１２は、時刻T20の後の時刻T21から時刻T23までの期間、画素２１Aの選択信号Φr0をHiレベルに制御して画素２１Aの選択トランジスタ５１をオンするとともに、画素２１Bの選択信号Φs1をHiレベルに制御して画素２１Bの選択トランジスタ５２をオンする。これにより、画素２１AのリセットレベルVrst0と、画素２１Bの信号レベルVsig1が同時に読み出され、共有増幅トランジスタノード５６の電位が、画素２１AのリセットレベルVrst0と、画素２１Bの信号レベルVsig1の和（Vrst0+ Vsig1）となる。そして、垂直信号線２３に出力される画素信号VSLの電位が、画素２１AのリセットレベルVrst0’と、画素２１Bの信号レベルVsig1’の和（Vrst0’+Vsig1’）となる。
　DAC１６は、時刻T21の後の時刻T22から時刻T23までの第１のAD変換期間において、ADC１０１に供給するランプ信号Rampのレベルを徐々に上昇させる。ADC１０１は、ランプ信号Rampと、画素２１AのリセットレベルVrst0’および画素２１Bの信号レベルVsig1’の和（Vrst0’+Vsig1’）の電圧レベルとを比較し、比較結果が反転するまでカウントを継続する。これにより、カウンタ１１４のカウント値は、画素２１AのP相カウント値と、画素２１BのD相カウント値との和（画素A_P＋画素B_D）に相当する値となる。
　次に、垂直走査回路１２は、時刻T23の後の時刻T24から時刻T25までの期間、共有リセット信号RSTBをHiレベルに制御する。これにより、共有増幅トランジスタノード５６に寄生容量が存在する際に、その寄生容量に保持される前回の信号の履歴を消去することができる。
　共有増幅トランジスタノード５６の初期化後の時刻T26から時刻T28までの期間、垂直走査回路１２は、画素２１Aの選択信号Φs0をHiレベルに制御して画素２１Aの選択トランジスタ５２をオンするとともに、画素２１Bの選択信号Φr1をHiレベルに制御して画素２１Bの選択トランジスタ５１をオンする。これにより、画素２１Aの信号レベルVsig0と、画素２１BのリセットレベルVrst1が同時に読み出され、共有増幅トランジスタノード５６の電位が、画素２１Aの信号レベルVsig0と、画素２１BのリセットレベルVrst1の和（Vsig0+ Vrst1）となる。そして、垂直信号線２３に出力される画素信号VSLの電位が、画素２１Aの信号レベルVsig0’と、画素２１BのリセットレベルVrst1’の和（Vsig0’+Vrst1’）となる。
　DAC１６は、時刻T26の後の時刻T27から時刻T28までの第２のAD変換期間において、ADC１０１に供給するランプ信号Rampのレベルを徐々に上昇させる。ADC１０１は、ランプ信号Rampと、画素２１Aの信号レベルVsig0’および画素２１BのリセットレベルVrst1’の和（Vsig0’+Vrst1’）の電圧レベルとを比較し、比較結果が反転するまでカウントを継続する。これにより、カウンタ１１４のカウント値は、画素２１AのD相カウント値と、画素２１BのP相カウント値との和（画素A_D＋画素B_P）に相当する値となる。
　減算処理回路１２１は、カウンタ１１４から最初に供給される、画素２１AのP相カウント値と画素２１BのD相カウント値との和（画素A_P＋画素B_D）と、２回目に供給される、画素２１AのD相カウント値と、画素２１BのP相カウント値との和（画素A_D＋画素B_P）を減算処理することにより、CDS処理を行う。
　すなわち、減算処理回路１２１は、以下式（１）の減算処理を行う。
　CDS処理＝（画素A_P＋画素B_D）－（画素A_D＋画素B_P）・・・・（１）
　ここで、仮に、図５で説明した駆動により、画素２１Aと画素２１Bの画素信号VSLを個別に読み出した後、画素２１Aと画素２１Bとの画素差分を計算する場合について検討する。
　画素２１Aおよび画素２１BそれぞれのP相カウント値とD相カウント値が、以下のように読み出される。
　画素２１A＝画素A_P－画素A_D
　画素２１B＝画素B_P－画素B_D
　画素２１Aと画素２１Bとの画素差分は、以下の式（２）となる。
　画素２１A－画素２１B＝（画素A_P－画素A_D）－（画素B_P－画素B_D）・・・（２）
　式（２）を変形すると、以下の式（３）と表すことができる。
　画素２１A－画素２１B＝（画素A_P－画素A_D）－（画素B_P－画素B_D）
　　　　　　　　　　　＝画素A_P－画素A_D－画素B_P＋画素B_D
　　　　　　　　　　　＝画素A_P＋画素B_D－画素A_D－画素B_P
　　　　　　　　　　　＝（画素A_P＋画素B_D）－（画素A_D＋画素B_P）・・・（３）
　この式（３）は、上述した式（１）と等しいことから、図５のフローチャートで説明した駆動により、画素２１Aと画素２１Bとの画素差分が得られていることが分かる。
　すなわち、画素差分を出力する２画素（画素２１Aと画素２１B）のうちの一方である画素２１AのリセットレベルVrst0’と他方である画素２１Bの信号レベルVsig1’を同時に読み出し、その後、画素２１Aの信号レベルVsig0’と画素２１BのリセットレベルVrst1’を同時に読み出すことで、２画素の画素信号の差分を得ることができる。
　画素２１Aと画素２１Bの画素信号VSLを個別に読み出した後、後段のデジタル信号処理部１０２などにおいて画素２１Aと画素２１Bとの画素差分を計算する場合、１画素の画素データ取得に２回のAD変換処理を行うため、合計４回のAD変換処理を行う必要があり、ノイズ（読み出しノイズ）の影響が大きくなる。
　これに対して、図６の制御では、２回のAD変換処理で画素差分を得ることができるので、ノイズを低減することができ、SN比を向上させることができる。また、図６の制御は、図５で説明した１画素の読み出し期間と同じ期間で実行することが可能であり、後段ブロックでの差分演算処理等も不要であるので、短期間で画素差分を得ることができる。さらに、画素２１の制御については、画素２１の選択トランジスタ５１および５２を制御する選択信号Φs0およびΦrの制御を変更するだけであり、追加の回路や配線等も不要である。
　すなわち、固体撮像装置１によれば、図６の制御により、低ノイズ、高速、低消費電力、低コストで画素差分出力を実現することができる。
　図６の読み出し制御は、画素２１Aを第１の画素、画素２１Bを第２の画素として、リセットレベルVrstを保持する容量素子４８を第１の容量素子、信号レベルVsigを保持する容量素子４９を第２の容量素子とすると、第１の画素と第２の画素とで、第１および第２の容量素子の互いに異なる容量素子の電位を同時に読み出す制御である。このような制御を、以下では、「第１の画素と第２の画素とで容量素子をクロスして同時読み出しを行う」のように称することとする。
＜６．画素差分のバリエーション＞
　図７および図８を参照して、画素差分出力のバリエーションについて説明する。
　図６で説明した画素２１Aと画素２１Bとの画素差分を出力する読み出し制御は、図７の左側に示されるように、共有単位２０内の縦方向（列方向）に並ぶ２画素の差分を出力する制御である。同様の制御により、画素２１Cと画素２１Dとの画素差分も出力することができる。
　このような縦方向の２画素の画素差分出力は、縦方向に輝度差、換言すれば、輝度画像における横方向のエッジを精度よく検出することができる。
　また、固体撮像装置１は、図７の中央に示されるように、共有単位２０内の横方向（行方向）に並ぶ２画素で容量素子をクロスして同時読み出しを行うことで、横方向に並ぶ２画素の差分を出力することができる。例えば、画素２１Aと画素２１Cとで容量素子をクロスして同時読み出しを行うことで、画素２１Aと画素２１Cの差分を出力することができる。また例えば、画素２１Bと画素２１Dとで容量素子をクロスして同時読み出しを行うことで、画素２１Bと画素２１Dの差分を出力することができる。
　このような横方向の２画素の画素差分出力は、横方向に輝度差、換言すれば、輝度画像における縦方向のエッジを精度よく検出することができる。
　また、固体撮像装置１は、図７の右側に示されるように、共有単位２０内の斜め方向に並ぶ２画素で容量素子をクロスして同時読み出しを行うことで、斜め方向に並ぶ２画素の差分を出力することができる。例えば、画素２１Aと画素２１Dとで容量素子をクロスして同時読み出しを行うことで、画素２１Aと画素２１Dの差分を出力することができる。また例えば、画素２１Bと画素２１Cとで容量素子をクロスして同時読み出しを行うことで、画素２１Bと画素２１Cの差分を出力することができる。
　このような横方向の２画素の画素差分出力は、横方向の輝度差と縦方向の輝度差の両方、換言すれば、輝度画像における横方向のエッジと縦方向のエッジの両方を効率的かつ精度よく検出することができる。
　一般的なイメージセンサは行単位で読み出し動作を行うため、縦方向のエッジを検出する動作が多くなるが、本来であれば、縦方向と横方向の両方のエッジを検出する方が、画像の位相差情報を検出するフォーカス制御などの精度も向上する。
　固体撮像装置１の上述した制御によれば、縦方向差分、横方向差分、斜め方向差分のいずれも行うことができ、切替も容易である。
　図８は、画素差分出力と画素加算の組み合わせの例を示している。
　加算対象の２画素を第１の画素または第２の画素の１画素とみなして、上述した第１の画素と第２の画素とで容量素子をクロスして同時読み出しを行うことで、２画素単位の画素差分出力を行うことができる。
　例えば、固体撮像装置１は、図８の左側に示されるように、共有単位２０内の画素２１Aおよび２１Cの上側２画素と画素２１Bおよび２１Dの下側２画素とで容量素子をクロスして同時読み出しを行うことで、画素２１Aと画素２１Bの上側２画素加算データと、画素２１Cと画素２１Dの下側２画素加算データとの差分（縦方向差分）を１回の読み出し動作で得ることができる。
　また例えば、固体撮像装置１は、図８の中央に示されるように、共有単位２０内の画素２１Aおよび２１Bの左側２画素と画素２１Cおよび２１Dの右側２画素とで容量素子をクロスして同時読み出しを行うことで、画素２１Aおよび２１Bの左側２画素加算データと、画素２１Cおよび２１Dの右側２画素加算データとの差分（横方向差分）を１回の読み出し動作で得ることができる。
　さらに、固体撮像装置１は、図８の右側に示されるように、共有単位２０内の画素２１Aおよび２１Dの左斜め２画素と画素２１Bおよび２１Cの右斜め２画素とで容量素子をクロスして同時読み出しを行うことで、画素２１Aおよび２１Dの左斜め２画素加算データと、画素２１Bおよび２１Cの右斜め２画素加算データとの差分（斜め方向差分）を１回の読み出し動作で得ることができる。
　画素差分出力と画素加算を組み合わせることにより、SN比を向上させることができる。
　図８において画素２１A乃至２１Dの４画素内に示された黒丸印は、画素加算された２画素の重心位置を示している。斜め方向の画素加算および画素差分出力では、画素２１Aおよび２１Dの左斜め２画素の重心位置と、画素２１Bおよび２１Cの右斜め２画素の重心位置が一致する。
＜７．カラム信号処理回路のその他の構成例＞
　図９は、カラム信号処理回路１４のその他の構成例を示すブロック図である。図９では、図３と同様に定電流源回路部１３についても示してある。
　図９において、図３に示した構成と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、異なる部分に着目して説明する。
　図９のカラム信号処理回路１４は、デジタル信号処理部１０２が、減算処理回路１２１に加えて、飽和検知回路１２２および選択回路１２３を備える点で、図３のカラム信号処理回路１４と異なり、その他の点で、図３のカラム信号処理回路１４と共通する。
　飽和検知回路１２２は、第１のAD変換期間と第２のAD変換期間のそれぞれにおいて画素２１から出力された画素信号VSLの信号レベルが飽和したか否かを検知する。
　図１０は、第１のAD変換期間と第２のAD変換期間のそれぞれにおいて、画素信号VSLが飽和した場合のタイミングチャートを示している。
　画素信号VSLの飽和が発生した場合には、画素信号VSLとランプ信号Rampとが等しくなることなく、カウント値が上限値（フルカウント）となって飽和検知回路１２２に供給される。
　図９に戻り、飽和検知回路１２２は、第１のAD変換期間と第２のAD変換期間のそれぞれにおいて、カウント値の上限値がカウンタ１１５から供給された場合に、画素２１が飽和したことを選択回路１２３に通知する。
　選択回路１２３には、減算処理回路１２１から減算処理結果である画素データが供給され、飽和検知回路１２２から、飽和が発生した場合に、その旨が通知される。選択回路１２３は、第１のAD変換期間と第２のAD変換期間のそれぞれにおいて飽和が発生していない場合は、減算処理回路１２１からの画素データを、信号線１０３を介して出力部１７へ供給する。
　一方、第１のAD変換期間と第２のAD変換期間のそれぞれにおいて飽和が発生した場合、選択回路１２３は、画素データがエラーであることを示す値を、信号線１０３を介して出力部１７へ供給する。また、第１のAD変換期間または第２のAD変換期間のどちらかにおいて飽和が発生した場合、選択回路１２３は、減算処理回路１２１からの画素データと、画素データがエラーである可能性があることを示す値を、信号線１０３を介して出力部１７へ供給する。
　図９に示したカラム信号処理回路１４の構成例によれば、画素信号VSLが飽和しているか、飽和している可能性がある信頼度の低い画素データであることを外部のデータ送付先に通知することができる。
＜８．空間差分出力と単画素輝度出力のハイブリッド＞
　上述した例では、画素アレイ部１１において行列状に配列された各画素２１が、図５で説明した１画素単位の画素信号出力（以下、単画素輝度出力と称する。）を行う画素２１か、図６で説明した縦方向、横方向、または、斜め方向の差分出力（以下、空間差分出力と称する。）を行う画素２１のどちらかであることとして説明した。
　しかしながら、画素アレイ部１１において、単画素輝度出力を行う画素２１と、空間差分出力を行う画素２１とを混在させる制御も可能である。
　例えば、共有単位２０内の複数の画素２１に対して、単画素輝度出力を行う画素２１と、空間差分出力を行う画素２１とを混在させる制御が可能である。具体的には、固体撮像装置１は、図１１のAに示されるように、共有単位２０を構成する画素２１A乃至２１の４画素のうち、左斜め方向の画素２１Aおよび２１Dの２画素を、空間差分出力を行う画素２１として斜め方向の空間差分出力を行い、右斜め方向の画素２１Bおよび２１Cの２画素を、単画素輝度出力を行う画素２１として単画素輝度出力を行うように制御することができる。
　また例えば、図１１のBに示されるように、共有単位２０が画素２１a乃至２１iからなる３ｘ３の９画素で構成される場合、固体撮像装置１は、画素２１bおよび２１hの２画素で横方向の空間差分出力、画素２１dおよび２１fの２画素で縦方向の空間差分出力を行い、残りの画素２１a、２１c、２１e、２１g、および２１iで単画素輝度出力を行うように制御することができる。
　単画素輝度出力を行うかまたは空間差分出力を行うかは、選択トランジスタ５１および５２のオンタイミング、換言すれば、選択信号Φrおよび選択信号ΦsのHiレベル期間を変更するだけであるため、制御の選択および切替が容易である。
　空間差分出力を行う複数の画素位置は、図１１のAおよびBの例に限定されず、任意に決定することができる。例えば、図１１のAの２ｘ２の４画素のうち、縦方向の２画素を空間差分出力を行う画素２１として、残りの縦方向の２画素を単画素輝度出力を行う画素２１としてもよい。また、単画素輝度出力を行う複数の画素２１の画素信号VSLについては同時に読み出して画素加算を行ってもよい。
　また、図１２に示されるように、単画素輝度出力を行う画素２１と、空間差分出力を行う画素２１とを、画素アレイ部１１の行単位で混在させてもよい。行単位による制御の切替は、実装が容易である。
　空間差分出力を行う画素２１の行数は任意であり、画素アレイ部１１内における空間差分出力を行う画素２１と、単画素輝度出力を行う画素２１の行数の比率も任意である。空間差分出力を行う画素２１と、単画素輝度出力を行う画素２１の制御を所定の行単位で切り替えてもよい。空間差分出力を行う画素２１の行は、単画素輝度出力を行う画素２１の行よりも高フレームレートで動作させてもよい。
　さらに、図１３に示されるように、画素アレイ部１１の同一行のなかでも、単画素輝度出力を行う画素２１と、空間差分出力を行う画素２１とを混在させ、画素アレイ部１１内の任意の密度で、空間差分出力を行う画素２１を分布させてもよい。
　ただし、この場合、選択信号Φrおよび選択信号ΦsのHiレベル期間を、同一行の単画素輝度出力を行う画素２１と空間差分出力を行う画素２１とで異ならせる必要がある。そのため、図１３において破線で囲まれた拡大図に示されるように、同一行の単画素輝度出力を行う画素２１と空間差分出力を行う画素２１とで、選択信号Φrおよび選択信号Φsの信号線を分ける必要がある。図１３の拡大図では、同一行の単画素輝度出力を行う画素２１に選択信号Φrおよび選択信号Φsを伝送する信号線１５１A乃至１５１Dとは別に、空間差分出力を行う画素２１に選択信号Φrおよび選択信号Φsを伝送する信号線１５１A’乃至１５１D’が設けられている。
　なお、選択信号Φrを伝送する信号線１５１と、選択信号Φsを伝送する信号線１５１とは異なるので、本来、一つの画素２１に対して２本の信号線１５１が設けられているが、図１３では、スペースの都合上、１本の信号線１５１で表している。
　同一行のなかで、空間差分出力を行う画素２１の画素数は任意であり、画素アレイ部１１内における空間差分出力を行う画素２１と単画素輝度出力を行う画素２１の画素数の比率も任意である。縦方向、横方向、または、斜め方向の空間差分出力を行う画素２１を任意に配置してもよい。空間差分出力を行う画素２１は、単画素輝度出力を行う画素２１よりも高フレームレートで動作させてもよい。
　図１１に示した共有単位２０内での空間差分出力を行う画素２１と単画素輝度出力を行う画素２１を混在させる制御、図１２に示した単画素輝度出力を行う画素２１と、空間差分出力を行う画素２１とを行単位で混在させる制御、および、図１３で示した同一行のなかでも、単画素輝度出力を行う画素２１と、空間差分出力を行う画素２１とを混在させる制御を、画素アレイ部１１内で任意に組み合わせてもよい。
＜９．動体検出処理＞
　図８の右側に示した斜め方向差分の制御、即ち、２ｘ２の４画素で構成される共有単位２０を、左斜めの画素２１Aおよび２１Dの２画素加算データと、右斜めの画素２１Bおよび２１Cの２画素加算データとで差分をとる制御を用いて実行できる動体検出処理について説明する。
　図１４は、斜め方向差分の制御を用いて実行する動体検出処理を説明する図である。
　上述した斜め方向の画素差分出力では露光タイミングが全画素で同一であったが、動体検出処理を行う場合には、固体撮像装置１は、差分をとる左斜め２画素（画素２１Aおよび２１D）と、右斜め２画素（画素２１Bおよび２１C）とで、露光タイミングを異ならせるように制御する。
　例えば、固体撮像装置１の垂直走査回路１２は、図１４に示されるように、左斜め２画素である画素２１Aおよび２１Dについては、１フレーム期間内の第１のタイミングである時刻T41に露光を開始し、露光時間であるTEX時間経過後の時刻T42に露光を終了する。また、垂直走査回路１２は、右斜め２画素である画素２１Bおよび２１Cについては、１フレーム期間内の第２のタイミングである時刻T43に露光を開始し、露光時間であるTEX時間経過後の時刻T44に露光を終了する。したがって、左斜め２画素と右斜め２画素とは、露光タイミング（露光開始時刻）は異なるが、露光時間は同一である。
　図８を参照して説明したように、斜め方向２画素の画素加算および画素差分出力では、左斜め２画素の重心位置と、右斜め２画素の重心位置が一致するという特徴がある。そのため、固体撮像装置１が撮像する被写体が静止物体である場合には、左斜め２画素と、右斜め２画素で、斜め方向画素差分出力がゼロとなる。一方、被写体が移動物体である場合には、左斜め２画素と、右斜め２画素で、斜め方向画素差分に出力差が生じる。デジタル信号処理部１０２において、左斜め２画素と右斜め２画素の斜め方向画素差分が所定の閾値以下であるかを判定することにより、被写体が動体であるか否かを検出することができる。次のフレームには、動体検出結果を得ることができるので、露光時間の設定次第で、微小な動体検出結果を高速に得ることができる。
＜１０．固体撮像装置の第２実施の形態の構成例＞
　図１５は、本開示に係る固体撮像装置の第２実施の形態の構成例を示すブロック図である。
　図１５の第２実施の形態において、図１に示した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１５の第２実施の形態においては、カラム信号処理回路１４と出力部１７との間に、フレーム信号処理回路２０１が新たに設けられている点が異なり、その他の点で共通する。
　フレーム信号処理回路２０１は、カラム信号処理回路１４から行単位で順次供給される画素データを内部メモリに蓄積してフレーム画像とし、フレーム画像に対する所定の画像処理、例えば、高解像度画像生成処理（超解像処理）などを行う。所定の画像処理後の画像データが、出力部１７を介して外部の装置へ出力される。
＜１１．第２実施の形態の第１の画像処理例＞
　図１６乃至図１８を参照して、第２実施の形態の固体撮像装置１が実行する第１の画像処理について説明する。
　固体撮像装置１は、図１６に示されるように、上述した空間差分出力制御により空間差分画像２２１を生成する動作と、上述した単画素輝度出力制御により輝度画像２２２を生成する動作を、所定のタイミングで切り替えながら動作する。空間差分画像２２１は、所定の解像度以上の高解像度で生成されるが、輝度画像２２２は、空間差分画像２２１よりも低い低解像度で生成される。
　図１６では、時系列に、空間差分画像２２１０、輝度画像２２２０、空間差分画像２２１１、輝度画像２２２１、空間差分画像２２１２、・・・が生成されており、空間差分画像２２１と輝度画像２２２が交互に生成されている。なお、空間差分画像２２１と輝度画像２２２は、必ずしも交互に生成される必要はなく、例えば、空間差分画像２２１が複数フレーム生成されるごとに、１枚の輝度画像２２２が生成されるようにしてもよい。
　フレーム信号処理回路２０１は、例えば、図１７に示されるように、高解像度の１枚の空間差分画像２２１と、低解像度の１枚の輝度画像２２２とから、高解像度の輝度画像２２３を生成する高解像度画像生成処理を実行する。例えば、フレーム信号処理回路２０１は、畳み込みネットワーク部２３１と、逆畳み込みネットワーク部２３２とで構成される畳み込みニューラルネットワーク（以下、CNN（Convolutional Neural Network）と称する。）２３３を用いて、１枚の空間差分画像２２１および輝度画像２２２とから、高解像度の輝度画像２２３を生成する。
　一般に、輝度画像のデータ量は多くなるため、輝度画像生成にかかる消費電力は、空間差分画像生成にかかる消費電力よりも大きくなる。上述のように、空間差分画像２２１を高解像度で生成し、輝度画像２２２を低解像度で生成する動作を行うことにより、固体撮像装置１の消費電力を低減することができる。そして、フレーム信号処理回路２０１の高解像度画像生成処理により、高解像度の輝度画像２２３を生成して出力することで、消費電力を抑制しつつ、高解像度の輝度画像２２３を出力することができる。
　高解像度の輝度画像２２３を生成して出力することで、例えば、スマートフォンやIoT機器、ドローン等の移動体、監視カメラ等の電子機器において、消費電力を抑制しつつ、視認性を上げることができる。
　なお、固体撮像装置１は、空間差分画像と輝度画像を時間方向に（時分割で）生成するのではなく、空間方向に輝度画像と空間差分画像を生成してもよい。
　すなわち、固体撮像装置１は、画素アレイ部１１の受光制御により、図１８に示されるように、高解像度の空間差分画像内の一部の画素に、低解像度の画素数で輝度値が埋め込まれた輝度/差分混在画像２５１を生成する。この場合、フレーム信号処理回路２０１は、輝度/差分混在画像２５１から、高解像度の輝度画像２２３を生成する高解像度画像生成処理を実行する。
＜１２．第２実施の形態の第２の画像処理例＞
　図１９および図２０を参照して、第２実施の形態の固体撮像装置１が実行する第２の画像処理について説明する。
　図１９は、フレーム信号処理回路２０１による、高解像度の輝度画像を高フレームレートで生成する処理の例を示している。
　固体撮像装置１は、図１９に示されるように、上述した空間差分出力制御により空間差分画像３０１を生成する動作と、上述した単画素輝度出力制御により輝度画像３０２を生成する動作を、所定のタイミングで切り替えながら動作する。空間差分画像３０１と輝度画像３０２は、同じ解像度で、かつ、所定の解像度以上の高解像度で生成される。図１９の例では、空間差分画像３０１が３フレーム生成されるごとに、１フレームの輝度画像３０２が生成されているが、輝度画像３０２が生成されるタイミングは、この例に限られない。ただし、空間差分画像３０１の生成フレーム数は、輝度画像３０２の生成フレーム数よりも多い。
　フレーム信号処理回路２０１は、例えば機械学習により、１枚の空間差分画像３０１と、その前後に生成された２枚の輝度画像３０２とから、空間差分画像３０１と同一時刻の同一解像度の輝度画像３１１を生成する。
　例えば、フレーム信号処理回路２０１は、時刻T101に生成された１枚の空間差分画像３０１１と、それより前の時刻に生成された１枚の輝度画像３０２０と、それより後の時刻に生成された１枚の輝度画像３０２１との３枚の画像を用いて、時刻T101における高解像度の輝度画像３１１１を生成する。
　同様に、フレーム信号処理回路２０１は、時刻T102に生成された１枚の空間差分画像３０１２と、それより前の時刻に生成された１枚の輝度画像３０２０と、それより後の時刻に生成された１枚の輝度画像３０２１との３枚の画像を用いて、時刻T102における高解像度の輝度画像３１１２を生成する。
　フレーム信号処理回路２０１は、以上のように、時間方向に高密度な空間差分画像３０１と、低密度な輝度画像３０２とから、高密度な輝度画像３０３を生成する。固体撮像装置１は、画素アレイ部１１の受光制御により、空間差分画像３０１の枚数を、輝度画像３０２の枚数よりも多く生成する。そして、フレーム信号処理回路２０１で高解像度の輝度画像３０３を生成することで、固体撮像装置１の消費電力を抑制しつつ、高解像度の輝度画像３０３を高フレームレートで生成することができる。
　図２０は、高解像度の輝度画像を高フレームレートで生成する処理の別の例を示している。
　固体撮像装置１は、画素アレイ部１１の受光制御により、高解像度の空間差分画像内の一部の画素に、低解像度の画素数で輝度値が埋め込まれた輝度/差分混在画像３２１を時系列に生成する。フレーム信号処理回路２０１は、高解像度の輝度/差分混在画像３２１から、高解像度の輝度画像３３１を生成する。
　例えば、フレーム信号処理回路２０１は、時刻T111に生成された１枚の輝度/差分混在画像３２１０から、時刻T111における高解像度の輝度画像３３１０を生成する。続いて、フレーム信号処理回路２０１は、時刻T112に生成された１枚の輝度/差分混在画像３２１１から、時刻T112における高解像度の輝度画像３３１１を生成する。時刻T112より後の時刻についても同様である。
　フレーム信号処理回路２０１は、以上のように、空間方向に高密度な空間差分画像と、低密度な輝度画像との組み合わせである輝度/差分混在画像３２１から、高密度な輝度画像３３１を生成する。固体撮像装置１は、輝度/差分混在画像３２１において空間差分画像の密度を輝度画像よりも高くした画像を生成することで、固体撮像装置１の消費電力を抑制しつつ、高解像度の輝度画像３３１を高フレームレートで生成することができる。
　高フレームレートで生成される高解像度の輝度画像３１１および３３１は、スローモーション画像として利用することができる。
＜１３．電子機器への適用例＞
　本開示の技術は、固体撮像装置への適用に限られるものではない。即ち、本開示の技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像装置を用いる複写機など、画像取込部（光電変換部）に固体撮像装置を用いる電子機器全般に対して適用可能である。固体撮像装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール形態であってもよい。
　図２１は、本開示の技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
　図２１の撮像装置６００は、レンズ群などからなる光学部６０１、図１の固体撮像装置１の構成が採用される固体撮像装置（撮像デバイス）６０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路６０３を備える。また、撮像装置６００は、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７、および電源部６０８も備える。DSP回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７および電源部６０８は、バスライン６０９を介して相互に接続されている。
　光学部６０１は、被写体からの入射光（像光）を取り込んで固体撮像装置６０２の撮像面上に結像する。固体撮像装置６０２は、光学部６０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置６０２として、図１の固体撮像装置１、即ち、第１の画素と第２の画素を含む複数の画素２１で共有単位２０を構成し、第１の画素と第２の画素とで容量素子をクロスして同時読み出しを行う空間差分出力の制御を行う固体撮像装置を用いることができる。
　表示部６０５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、固体撮像装置６０２で撮像された動画または静止画を表示する。記録部６０６は、固体撮像装置６０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部６０７は、ユーザによる操作の下に、撮像装置６００が持つ様々な機能について操作指令を発する。電源部６０８は、DSP回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６および操作部６０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　上述したように、固体撮像装置６０２として、上述した実施の形態を適用した固体撮像装置１を用いることで、低ノイズ、高速、低消費電力、低コストで画素差分出力を実現することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置６００においても、撮像画像の高画質化を図ることができる。
＜イメージセンサの使用例＞
　図２７は、上述の固体撮像装置１を用いたイメージセンサの使用例を示す図である。
　上述の固体撮像装置１は、イメージセンサとして、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の構成例の全てまたは一部を適宜組み合わせた形態を採用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示の技術は、以下の構成を取ることができる。
（１）
　光電変換素子と、
　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
　を有する画素と、
　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と、
　前記画素および前記読み出し回路を制御する垂直走査回路と
　を備え、
　前記垂直走査回路は、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
　固体撮像装置。
（２）
　前記垂直走査回路は、前記第１の制御として、前記第１の画素の前記第１の信号レベルと前記第２の画素の前記第２の信号レベルを同時に読み出した後、前記第１の画素の前記第２の信号レベルと前記第２の画素の前記第１の信号レベルを同時に読み出す
　前記（１）に記載の固体撮像装置。
（３）
　前記読み出し回路は、リセットトランジスタ、増幅トランジスタ、および、選択トランジスタを有する
　前記（１）または（２）に記載の固体撮像装置。
（４）
　前記読み出し回路は、行方向に２画素および列方向に２画素からなる４画素で共有される
　前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（５）
　前記第１の画素および前記第２の画素は、前記４画素のうち、列方向、行方向、または、斜め方向に並ぶ２画素である
　前記（４）に記載の固体撮像装置。
（６）
　前記垂直走査回路は、前記４画素のうちの所定の２画素を前記第１の画素、残りの２画素を前記第２の画素とみなして、前記第１の制御を行う
　前記（４）または（５）に記載の固体撮像装置。
（７）
　前記読み出し回路により読み出された信号レベルをカウント値に変換するADCと、
　変換された２つの前記カウント値を減算処理する減算処理回路と
　をさらに備え、
　前記減算処理回路は、前記第１の画素の前記第１の信号レベルと前記第２の画素の前記第２の信号レベルの和に相当する前記カウント値と、前記第１の画素の前記第２の信号レベルと前記第２の画素の前記第１の信号レベルの和に相当する前記カウント値を減算処理する
　前記（１）乃至（６）のいずれかに記載の固体撮像装置。
（８）
　前記画素の信号レベルの飽和を検知する飽和検知回路をさらに備える
　前記（７）に記載の固体撮像装置。
（９）
　前記垂直走査回路は、前記画素が行列状に２次元配置された画素アレイ部において、前記第１の制御を行う画素と、１画素単位の輝度信号を読み出す第２の制御を行う画素とを混在させる
　前記（１）乃至（８）のいずれかに記載の固体撮像装置。
（１０）
　前記垂直走査回路は、前記読み出し回路を共有する複数の前記画素に対して、前記第１の制御を行う画素と前記第２の制御を行う画素とを混在させる
　前記（９）に記載の固体撮像装置。
（１１）
　前記垂直走査回路は、前記第１の制御を行う画素と前記第２の制御を行う画素とを、前記画素アレイ部の行単位で混在させる
　前記（９）または（１０）に記載の固体撮像装置。
（１２）
　前記垂直走査回路は、前記画素アレイ部の同一行のなかで、前記第１の制御を行う画素と前記第２の制御を行う画素とを混在させる
　前記（９）乃至（１１）のいずれかに記載の固体撮像装置。
（１３）
　前記第１の制御を行う画素は、前記第２の制御を行う画素よりも高フレームレートで動作する
　前記（９）乃至（１２）のいずれかに記載の固体撮像装置。
（１４）
　前記垂直走査回路は、前記読み出し回路を共有する複数の前記画素のうちの第１の斜め方向に並ぶ２画素と、前記第１の斜め方向と異なる第２の斜め方向に並ぶ２画素とで、露光タイミングを異ならせた後、前記第１の制御を行う
　前記（１）乃至（１３）のいずれかに記載の固体撮像装置。
（１５）
　前記露光タイミングが異なる前記第１の制御の結果に基づいて、動体検出処理が行われる
　前記（１４）に記載の固体撮像装置。
（１６）
　前記第１の制御による第１の解像度の空間差分画像と、１画素単位の輝度信号を読み出す第２の制御による第１の解像度よりも低い第２の解像度の輝度画像とを用いて、前記第１の解像度の輝度画像を生成するフレーム信号処理回路をさらに備える
　前記（１）乃至（１５）のいずれかに記載の固体撮像装置。
（１７）
　前記第１の制御による第１の解像度の空間差分画像の一部の画素に、１画素単位の輝度信号を読み出す第２の制御による輝度値が埋め込まれた輝度/差分混在画像から、前記第１の解像度の輝度画像を生成するフレーム信号処理回路をさらに備える
　前記（１）乃至（１６）のいずれかに記載の固体撮像装置。
（１８）
　第１の時刻に前記第１の制御により生成された空間差分画像と、１画素単位の輝度信号を読み出す第２の制御により前記第１の時刻より前の時刻に生成された第１の輝度画像と、前記第２の制御により前記第１の時刻より後の時刻に生成された第２の輝度画像とを用いて、前記第１の時刻の輝度画像を生成するフレーム信号処理回路をさらに備える
　前記（１）乃至（１７）のいずれかに記載の固体撮像装置。
（１９）
　光電変換素子と、
　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
　を有する画素と、
　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と
　を備える固体撮像装置が、
　前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
　固体撮像装置の駆動方法。
（２０）
　光電変換素子と、
　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
　を有する画素と、
　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と、
　前記画素および前記読み出し回路を制御する垂直走査回路と
　を備え、
　前記垂直走査回路は、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
　固体撮像装置
　を備える電子機器。
　１　固体撮像装置，　１１　画素アレイ部，　１２　垂直走査回路，　１３　定電流源回路部，　１４　カラム信号処理回路，　１５　タイミング制御回路，　１７　出力部，　２０　共有単位，　２１　画素，　２２　画素駆動線，　２３　垂直信号線，　４１　光電変換素子，　PD　フォトダイオード，　４２　転送トランジスタ，　４３　リセットトランジスタ，　４４　FD，　４５　増幅トランジスタ，　４６　電流源トランジスタ，　４７　ノード（容量入力ノード），　４８　容量素子，　４９　容量素子，　５１　選択トランジスタ，　５２　選択トランジスタ，　５３　共有リセットトランジスタ，　５４　共有増幅トランジスタ，　５５　共有選択トランジスタ，　５６　ノード（共有増幅トランジスタノード），　８１　電流源，　１０２　デジタル信号処理部，　１０３　信号線，　１１１　容量素子，　１１２　容量素子，　１１３　コンパレータ，　１１４　カウンタ，　１１５　カウンタ，　１２１　減算処理回路，　１２２　飽和検知回路，　１２３　選択回路，　２０１　フレーム信号処理回路

Claims (20)

  1. 　光電変換素子と、
    　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
    　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
    　を有する画素と、
    　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と、
    　前記画素および前記読み出し回路を制御する垂直走査回路と
    　を備え、
    　前記垂直走査回路は、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
    　固体撮像装置。
  2. 　前記垂直走査回路は、前記第１の制御として、前記第１の画素の前記第１の信号レベルと前記第２の画素の前記第２の信号レベルを同時に読み出した後、前記第１の画素の前記第２の信号レベルと前記第２の画素の前記第１の信号レベルを同時に読み出す
    　請求項１に記載の固体撮像装置。
  3. 　前記読み出し回路は、リセットトランジスタ、増幅トランジスタ、および、選択トランジスタを有する
    　請求項１に記載の固体撮像装置。
  4. 　前記読み出し回路は、行方向に２画素および列方向に２画素からなる４画素で共有される
    　請求項１に記載の固体撮像装置。
  5. 　前記第１の画素および前記第２の画素は、前記４画素のうち、列方向、行方向、または、斜め方向に並ぶ２画素である
    　請求項４に記載の固体撮像装置。
  6. 　前記垂直走査回路は、前記４画素のうちの所定の２画素を前記第１の画素、残りの２画素を前記第２の画素とみなして、前記第１の制御を行う
    　請求項４に記載の固体撮像装置。
  7. 　前記読み出し回路により読み出された信号レベルをカウント値に変換するADCと、
    　変換された２つの前記カウント値を減算処理する減算処理回路と
    　をさらに備え、
    　前記減算処理回路は、前記第１の画素の前記第１の信号レベルと前記第２の画素の前記第２の信号レベルの和に相当する前記カウント値と、前記第１の画素の前記第２の信号レベルと前記第２の画素の前記第１の信号レベルの和に相当する前記カウント値を減算処理する
    　請求項１に記載の固体撮像装置。
  8. 　前記画素の信号レベルの飽和を検知する飽和検知回路をさらに備える
    　請求項７に記載の固体撮像装置。
  9. 　前記垂直走査回路は、前記画素が行列状に２次元配置された画素アレイ部において、前記第１の制御を行う画素と、１画素単位の輝度信号を読み出す第２の制御を行う画素とを混在させる
    　請求項１に記載の固体撮像装置。
  10. 　前記垂直走査回路は、前記読み出し回路を共有する複数の前記画素に対して、前記第１の制御を行う画素と前記第２の制御を行う画素とを混在させる
    　請求項９に記載の固体撮像装置。
  11. 　前記垂直走査回路は、前記第１の制御を行う画素と前記第２の制御を行う画素とを、前記画素アレイ部の行単位で混在させる
    　請求項９に記載の固体撮像装置。
  12. 　前記垂直走査回路は、前記画素アレイ部の同一行のなかで、前記第１の制御を行う画素と前記第２の制御を行う画素とを混在させる
    　請求項９に記載の固体撮像装置。
  13. 　前記第１の制御を行う画素は、前記第２の制御を行う画素よりも高フレームレートで動作する
    　請求項９に記載の固体撮像装置。
  14. 　前記垂直走査回路は、前記読み出し回路を共有する複数の前記画素のうちの第１の斜め方向に並ぶ２画素と、前記第１の斜め方向と異なる第２の斜め方向に並ぶ２画素とで、露光タイミングを異ならせた後、前記第１の制御を行う
    　請求項１に記載の固体撮像装置。
  15. 　前記露光タイミングが異なる前記第１の制御の結果に基づいて、動体検出処理が行われる
    　請求項１４に記載の固体撮像装置。
  16. 　前記第１の制御による第１の解像度の空間差分画像と、１画素単位の輝度信号を読み出す第２の制御による第１の解像度よりも低い第２の解像度の輝度画像とを用いて、前記第１の解像度の輝度画像を生成するフレーム信号処理回路をさらに備える
    　請求項１に記載の固体撮像装置。
  17. 　前記第１の制御による第１の解像度の空間差分画像の一部の画素に、１画素単位の輝度信号を読み出す第２の制御による輝度値が埋め込まれた輝度/差分混在画像から、前記第１の解像度の輝度画像を生成するフレーム信号処理回路をさらに備える
    　請求項１に記載の固体撮像装置。
  18. 　第１の時刻に前記第１の制御により生成された空間差分画像と、１画素単位の輝度信号を読み出す第２の制御により前記第１の時刻より前の時刻に生成された第１の輝度画像と、前記第２の制御により前記第１の時刻より後の時刻に生成された第２の輝度画像とを用いて、前記第１の時刻の輝度画像を生成するフレーム信号処理回路をさらに備える
    　請求項１に記載の固体撮像装置。
  19. 　光電変換素子と、
    　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
    　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
    　を有する画素と、
    　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と
    　を備える固体撮像装置が、
    　前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
    　固体撮像装置の駆動方法。
  20. 　光電変換素子と、
    　前記光電変換素子の第１の信号レベルを保持する第１の容量素子と、
    　前記光電変換素子の第２の信号レベルを保持する第２の容量素子と
    　を有する画素と、
    　第１の画素と第２の画素とを含む複数の前記画素で共有される読み出し回路と、
    　前記画素および前記読み出し回路を制御する垂直走査回路と
    　を備え、
    　前記垂直走査回路は、前記第１の画素と前記第２の画素とで、前記第１および第２の容量素子の互いに異なる容量素子の信号レベルを同時に読み出す第１の制御を行う
    　固体撮像装置
    　を備える電子機器。
PCT/JP2022/040594 2021-11-12 2022-10-31 固体撮像装置およびその駆動方法、並びに電子機器 WO2023085138A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023559563A JPWO2023085138A1 (ja) 2021-11-12 2022-10-31
EP22892637.4A EP4432688A1 (en) 2021-11-12 2022-10-31 Solid-state imaging device, method for driving same, and electronic apparatus
KR1020247013692A KR20240109985A (ko) 2021-11-12 2022-10-31 고체 촬상 장치 및 그 구동 방법, 그리고 전자 기기
CN202280073214.4A CN118202664A (zh) 2021-11-12 2022-10-31 固态成像装置、用于驱动固态成像装置的方法和电子装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-185078 2021-11-12
JP2021185078 2021-11-12

Publications (1)

Publication Number Publication Date
WO2023085138A1 true WO2023085138A1 (ja) 2023-05-19

Family

ID=86335830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040594 WO2023085138A1 (ja) 2021-11-12 2022-10-31 固体撮像装置およびその駆動方法、並びに電子機器

Country Status (5)

Country Link
EP (1) EP4432688A1 (ja)
JP (1) JPWO2023085138A1 (ja)
KR (1) KR20240109985A (ja)
CN (1) CN118202664A (ja)
WO (1) WO2023085138A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019836A1 (ja) * 2013-08-05 2015-02-12 ソニー株式会社 撮像装置、電子機器
WO2021006048A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 信号処理装置および信号処理方法
WO2021215105A1 (ja) 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019836A1 (ja) * 2013-08-05 2015-02-12 ソニー株式会社 撮像装置、電子機器
WO2021006048A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 信号処理装置および信号処理方法
WO2021215105A1 (ja) 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CANNY, J.: "A Computational Approach To Edge Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 8, no. 6, 1986, pages 679 - 698, XP000604891, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/4767851> DOI: 10.1109/TPAMI.1986.4767851
CHRISTOPHER YOUNG ET AL.: "A Data-Compressive 1.5b/2.75b Log-Gradient QVGA Image Sensor with Multi-Scale Readout for Always-On Object Detection", ISSCC DIG. TECH. PAPERS, February 2019 (2019-02-01), pages 98 - 99
KAMYAR NAZERIHARRISH THASARATHANMEHRAN EBRAHIMI: "Edge-Informed Single Image Super-Resolution", PROCEEDINGS OF THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV, 2019, Retrieved from the Internet <URL:https://openaccess.thecvf.com/content_ICCVW_2019/html/AIM/Nazeri_Edge-Informed_Single_Image_Super-Resolution_ICCVW_2019_paper.html>
MASAHIRO KOBAYASHI ET AL.: "A 1.8erms Temporal Noise Over 110dB Dynamic Range 3.4um Pixel Pitch Global Shutter CMOS Image Sensor with Dual-Gain Amplifiers, SS-ADC and Multiple- Accumulation Shutter", ISSCC DIG. TECH., February 2017 (2017-02-01), pages 74 - 75, XP033073464, DOI: 10.1109/ISSCC.2017.7870267

Also Published As

Publication number Publication date
EP4432688A1 (en) 2024-09-18
JPWO2023085138A1 (ja) 2023-05-19
CN118202664A (zh) 2024-06-14
KR20240109985A (ko) 2024-07-12

Similar Documents

Publication Publication Date Title
WO2016147885A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
KR102632643B1 (ko) 이미지 센서 및 전자 기기
JP6809462B2 (ja) 固体撮像装置およびその制御方法、並びに電子機器
JP6991704B2 (ja) 固体撮像素子およびその制御方法、並びに電子機器
JP6694605B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
TWI335172B (en) Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers
WO2017169885A1 (ja) 撮像装置、駆動方法、および、電子機器
JPWO2017169216A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
JP2017084892A (ja) 撮像装置
JP2015222885A (ja) 撮像装置及びその駆動方法
WO2016114153A1 (ja) 固体撮像装置、駆動方法、及び、電子機器
JP2017175345A (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2018501708A (ja) 撮像装置、駆動方法、電子機器
WO2016158482A1 (ja) 固体撮像素子、撮像装置、並びに電子機器
WO2021033388A1 (ja) 撮像素子、撮像素子の駆動方法、及び、電子機器
KR20160015712A (ko) 이미지 촬상 장치 및 방법
WO2016190116A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP7005493B2 (ja) 固体撮像素子および固体撮像素子の動作方法、撮像装置、並びに電子機器
JP6954268B2 (ja) 固体撮像装置、信号処理方法、および電子機器
JP6821590B2 (ja) 撮像素子、撮像方法、および電子機器
JP6740230B2 (ja) 固体撮像装置および電子機器
WO2023085138A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP2019114956A (ja) 画像処理装置、撮像システム、移動体
US20200029045A1 (en) Solid-state imaging device and electronic apparatus
WO2017010260A1 (ja) 固体撮像素子および駆動方法、並びに電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892637

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023559563

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280073214.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022892637

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022892637

Country of ref document: EP

Effective date: 20240612