WO2023166848A1 - 撮像装置、画像処理装置および撮像装置の制御方法 - Google Patents

撮像装置、画像処理装置および撮像装置の制御方法 Download PDF

Info

Publication number
WO2023166848A1
WO2023166848A1 PCT/JP2023/000064 JP2023000064W WO2023166848A1 WO 2023166848 A1 WO2023166848 A1 WO 2023166848A1 JP 2023000064 W JP2023000064 W JP 2023000064W WO 2023166848 A1 WO2023166848 A1 WO 2023166848A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
output
vertical
sample
pixel
Prior art date
Application number
PCT/JP2023/000064
Other languages
English (en)
French (fr)
Inventor
隆 細江
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023166848A1 publication Critical patent/WO2023166848A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • This technology relates to imaging devices. Specifically, the present technology relates to an imaging device, an image processing device, and a control method for an imaging device that perform a global shutter operation and a rolling shutter operation.
  • imaging devices there is a column ADC method in which an ADC (Analog to Digital Converter) is arranged for each column outside the pixel array section and sequentially reads pixel signals row by row, and there is a rolling shutter method in which exposure is started sequentially row by row.
  • ADC Analog to Digital Converter
  • a global shutter method has been proposed in which a pair of capacitors for holding a reset level and a signal level is provided for each pixel and exposure is started simultaneously for all pixels (see, for example, Non-Patent Document 1).
  • This technology was created in view of this situation, and aims to relax restrictions on the output timing of pixel signals used for feature data.
  • the present technology has been made to solve the above-described problems, and a first aspect thereof includes a signal generation unit that generates a signal based on charges read from a photoelectric conversion unit; a sample-and-hold circuit that holds the signal generated by the signal generator; a first vertical signal line that transmits the signal read from the sample-and-hold circuit; and a second vertical signal line that transmits the signal generated by the signal generator. a signal line; a first switch provided between the signal generator and the sample-and-hold circuit; and a second switch provided between the signal generator and the second vertical signal line. It is an imaging device. As a result, a signal generated based on charges read from the photoelectric conversion unit and a signal read from the sample-and-hold circuit are output in parallel.
  • the first aspect includes a first ADC (Analog to Digital Converter) that AD-converts the signal output to the first vertical signal line for each column, and a signal output to the second vertical signal line for each column
  • ADC Analog to Digital Converter
  • the first aspect may further include a first interface for transmitting the signal output from the first ADC to the outside, and a second interface for transmitting the signal output from the second ADC to the outside.
  • the first aspect may further include an interface for transmitting the signal output from the first ADC and the signal output from the second ADC to the outside in a time division manner. This brings about an effect of transmitting a signal generated based on charges read out from the photoelectric conversion unit and a signal read out from the sample-and-hold circuit via one interface.
  • the first aspect includes timing for outputting the signal read from the sample-and-hold circuit to the first vertical signal line, and outputting the signal generated by the signal generation unit to the second vertical signal line.
  • a vertical scanning circuit that controls the timing may also be provided. This brings about an effect that the output timing of the signal generated based on the charges read out from the photoelectric conversion section is controlled separately from the output timing of the signal read out from the sample-and-hold circuit.
  • the vertical scanning circuit converts the signal generated by the signal generator while the signal read from the sample-and-hold circuit is being output to the first vertical signal line. It may be output to the second vertical signal line. This brings about the effect of improving real-time output of the signal generated based on the charge read out from the photoelectric conversion unit.
  • the vertical scanning circuit causes the sample-and-hold circuit to hold a signal generated by exposure by the global shutter method, and converts the signal generated by exposure by the rolling shutter method into the second vertical scanning circuit. It may be output to the signal line. As a result, it is possible to obtain a high-resolution image free from rolling shutter distortion while outputting feature data.
  • the vertical scanning circuit may output the signal generated by the signal generator to the second vertical signal line multiple times within a vertical synchronization period. This brings about the effect of improving real-time output of the signal generated based on the charge read out from the photoelectric conversion unit.
  • the signal generated by the signal generator may include at least one of ROI (Region Of Interest) image data, reduced image data, and phase difference data.
  • ROI Region Of Interest
  • This provides an effect of outputting feature data for recognition, exposure adjustment, motion detection, focus adjustment, etc., while outputting a high-resolution image without rolling shutter distortion.
  • the first aspect may further include a control unit that controls at least one of global shutter operation and rolling shutter operation based on a signal transmitted via the second vertical signal line. This brings about an effect that imaging control is performed based on the signal read out from the photoelectric conversion unit.
  • the signal generation unit includes a readout transistor that reads out charges from the photoelectric conversion unit, a floating diffusion that holds the charges read out by the readout transistor, and a potential of the floating diffusion. and a reset transistor for resetting the charge held in the floating diffusion, wherein the sample-and-hold circuit includes a first capacitive element having one end connected to the first switch and a second capacitive element having one end connected to the first switch; a first switching transistor connected in series to the first capacitive element; and a second switching transistor connected in series to the second capacitive element. may be provided. This brings about the effect of using a voltage domain system sample and hold circuit.
  • the first aspect has an output circuit that outputs the signal held by the sample-and-hold circuit to the first vertical signal line, and both the first and second capacitive elements are separated from the output circuit.
  • a post-stage reset transistor for initializing a level of a connection point between the sample-and-hold circuit and the output circuit may be further provided. As a result, the reset noise level is set to a level corresponding to the parasitic capacitance when the first and second capacitive elements are disconnected.
  • a second aspect includes a pixel array section in which pixels provided with sample-and-hold circuits are arranged in row and column directions, and a first output section for outputting a signal from the sample-and-hold circuit based on a global shutter operation. a second output unit for outputting from the pixel the signal skipped by the sample-and-hold circuit based on the rolling shutter operation; a first processing unit for processing the signal output from the first output unit; 2.
  • An image comprising: a second processing unit for processing signals output from two output units; and a synthesizing unit for synthesizing the signals processed by the first processing unit and the signals processed by the second processing unit. processing equipment. As a result, the image from which the rolling shutter distortion has been removed is processed based on the feature data obtained based on the rolling shutter operation.
  • the pixel includes a photoelectric conversion unit, a readout transistor that reads out electric charge from the photoelectric conversion unit, a floating diffusion that holds the electric charge read out by the readout transistor, and the floating An amplifying transistor that generates a signal corresponding to the potential of the diffusion, and a reset transistor that resets the charge held in the floating diffusion may be provided.
  • the second aspect further includes a first switch provided between the amplification transistor and the sample-and-hold circuit, and a second switch provided between the amplification transistor and the second output section.
  • the sample and hold circuit includes a first capacitive element having one end connected to the first switch, a second capacitive element having one end connected to the first switch, and a second capacitive element connected in series to the first capacitive element. and a second switching transistor connected in series with the second capacitive element.
  • the first output section includes a first vertical signal line for transmitting the signal read from the sample-and-hold circuit in the column direction, and outputting the signal to the first vertical signal line.
  • a first ADC for AD-converting the signals obtained by column-by-column
  • the second output section includes a second vertical signal line for transmitting the signals skipped by the sample-and-hold circuit in the column direction
  • a second ADC that AD-converts the signal output to the line for each column may be provided. This brings about an effect that the signal generated based on the charge read out from the photoelectric conversion unit and the signal read out from the sample-and-hold circuit are AD-converted in parallel.
  • the signal skipped by the sample-and-hold circuit may be output from the pixel to the second output section multiple times within a vertical synchronization period.
  • the output of the signal skipped by the sample-and-hold circuit based on the rolling shutter operation is improved in real time.
  • the signal output from the pixel to the second output unit may include at least one of ROI image data, reduced image data, and phase difference data. This provides an effect of outputting feature data for recognition, exposure adjustment, motion detection, focus adjustment, etc., while outputting a high-resolution image without rolling shutter distortion.
  • the second aspect may further include a control section that controls the pixel array section based on the signal processed by the second processing section. This brings about an effect that the pixel array section is controlled based on the signal read out from the photoelectric conversion section.
  • a third aspect includes a procedure of generating a signal based on charges read from a photoelectric conversion unit provided in a pixel, a procedure of holding the signal generated in the pixel in the pixel,
  • a control method for an imaging device comprising: a procedure for outputting a signal held in the pixel; and a procedure for outputting the signal generated in the pixel within an output period of the signal held in the pixel. is. This brings about an effect that the signal generated based on the charge read out from the photoelectric conversion unit and the signal held in the pixel are output in parallel.
  • FIG. 1 is a block diagram showing a configuration example of an imaging device according to a first embodiment
  • FIG. 1 is a block diagram showing a configuration example of a solid-state imaging device according to a first embodiment
  • FIG. 3A and 3B are diagrams illustrating a configuration example of a pixel according to the first embodiment
  • FIG. 1 is a diagram showing a configuration example of a pixel circuit according to a first embodiment
  • FIG. 2 is a block diagram showing a configuration example of a column signal processing circuit and load MOS circuit blocks according to the first embodiment
  • FIG. 4A and 4B are diagrams illustrating an operation example of the imaging device according to the first embodiment
  • FIG. 4 is a timing chart showing an example of readout operation of the imaging device according to the first embodiment
  • FIG. 4 is a diagram showing a first example of normal image data and feature data according to the first embodiment
  • FIG. 10 is a diagram showing a second example of normal image data and feature data according to the first embodiment
  • FIG. 10 is a diagram showing a third example of normal image data and feature data according to the first embodiment
  • FIG. 4 is a diagram showing an arrangement example of image plane phase difference pixels used for reading out phase difference data according to the first embodiment
  • FIG. 10 is a diagram showing a fourth example of normal image data and feature data according to the first embodiment
  • 8A and 8B are diagrams illustrating an example of the configuration and operation of an image processing apparatus according to a second embodiment
  • FIG. FIG. 10 is a diagram showing an example of the configuration and operation of an image processing apparatus according to a third embodiment
  • FIG. 12 is a diagram showing an example of a format when data is transmitted by the image processing apparatus according to the third embodiment;
  • FIG. FIG. 12 is a diagram showing an example of the configuration and operation of an image processing apparatus according to a fourth embodiment;
  • FIG. FIG. 12 is a diagram showing an example of the configuration and operation of an image processing apparatus according to a fifth embodiment;
  • FIG. FIG. 11 is a circuit diagram showing a configuration example of a pixel according to a sixth embodiment;
  • FIG. 14 is a timing chart showing an example of global shutter operation according to the sixth embodiment;
  • FIG. FIG. 14 is a timing chart showing an example of read operation according to the sixth embodiment;
  • FIG. FIG. 14 is a timing chart showing another example of read operation according to the sixth embodiment;
  • FIG. 14 is a diagram showing an example of the state of each pixel when reading a reset level and when initializing a subsequent node according to the sixth embodiment;
  • FIG. 12 is a diagram showing an example of the state of pixels when reading signal levels according to the sixth embodiment;
  • FIG. 21 is a circuit diagram showing a configuration example of a pixel in a first modified example of the sixth embodiment;
  • FIG. 14 is a timing chart showing an example of global shutter operation in the first modified example of the sixth embodiment;
  • FIG. FIG. 14 is a timing chart showing an example of read operation in the first modified example of the sixth embodiment;
  • FIG. It is a figure which shows an example of the laminated structure of the solid-state image sensor in the 2nd modification of 6th Embodiment.
  • FIG. 14 is a circuit diagram showing a configuration example of a pixel in a second modification of the sixth embodiment; It is a figure which shows an example of the laminated structure of the solid-state image sensor in the 3rd modification of 6th Embodiment.
  • FIG. 11 is a circuit diagram showing a configuration example of a pixel according to a seventh embodiment;
  • FIG. 14 is a timing chart showing an example of global shutter operation according to the seventh embodiment;
  • FIG. FIG. 22 is a timing chart showing an example of global shutter operation for odd frames according to the eighth embodiment;
  • FIG. FIG. 22 is a timing chart showing an example of readout operation for odd-numbered frames according to the eighth embodiment;
  • FIG. FIG. 21 is a timing chart showing an example of global shutter operation for even-numbered frames according to the eighth embodiment;
  • FIG. 22 is a timing chart showing an example of read operation of even-numbered frames according to the eighth embodiment;
  • FIG. 21 is a circuit diagram showing a configuration example of a column signal processing circuit according to a ninth embodiment;
  • FIG. 21 is a timing chart showing an example of global shutter operation according to the ninth embodiment;
  • FIG. FIG. 22 is a timing chart showing an example of read operation according to the ninth embodiment;
  • FIG. FIG. 22 is a circuit diagram showing a configuration example of a pixel according to the tenth embodiment;
  • 1 is a block diagram showing a schematic configuration example of a vehicle control system;
  • FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit;
  • First embodiment (example of reading normal image data and feature data in parallel) 2.
  • Second Embodiment (An example in which an interface for outputting normal image data and an interface for outputting feature data are separately provided) 3.
  • Third Embodiment (example in which an interface for outputting normal image data and an interface for outputting feature data are shared) 4.
  • Fourth embodiment (an example in which the imaging device side performs arithmetic processing on feature data and controls a solid-state imaging device) 5.
  • Fifth embodiment (example of synthesizing normal image data and feature data) 6.
  • FIG. 1 is a block diagram showing a configuration example of an imaging device according to the first embodiment.
  • the imaging device 100 generates image data and feature data based on incident light.
  • the imaging device 100 includes an imaging lens 110 , a solid-state imaging device 200 , a recording section 120 , an imaging control section 130 and a communication section 140 .
  • a digital camera or an electronic device (smartphone, personal computer, etc.) having an imaging function is assumed.
  • the solid-state imaging device 200 generates image data and feature data under the control of the imaging control section 130 .
  • the solid-state imaging device 200 performs a global shutter operation (hereinafter referred to as GS operation) using a sample and hold circuit and a rolling shutter operation (hereinafter referred to as RS operation) skipping the sample and hold circuit.
  • GS operation global shutter operation
  • RS operation rolling shutter operation
  • a voltage domain type sample and hold circuit may be used.
  • the solid-state imaging device 200 can generate normal image data based on the GS operation and generate feature data based on the RS operation.
  • Feature data can include, for example, at least one of ROI (Region Of Interest) image data, reduced image data, and phase difference data. At this time, data of some pixels can be read out as feature data.
  • ROI Region Of Interest
  • the imaging lens 110 collects light from the subject and guides it to the solid-state imaging device 200 .
  • the imaging control unit 130 controls the solid-state imaging device 200 to generate image data and feature data.
  • the imaging control unit 130 supplies imaging control signals including, for example, the vertical synchronization signal XVS to the solid-state imaging device 200 via the signal line 139 .
  • the vertical synchronizing signal XVS is a signal indicating the timing of imaging, and a periodic signal with a constant frequency (eg, 60 Hz) is used as the vertical synchronizing signal XVS.
  • the recording unit 120 records image data.
  • the recording unit 120 may be a non-volatile semiconductor storage device such as an SSD (Solid State Drive), or a portable storage medium such as an SD card.
  • Communication unit 140 transmits the feature data to the outside.
  • the communication unit 140 may have a wireless communication function that can use WiFi, a mobile phone network, or the like, or may have a short-range communication function such as BlueThooth.
  • the imaging device 100 may include a display unit that displays image data.
  • the solid-state imaging device 200 supplies image data to the recording unit 120 via the signal line 209 .
  • the solid-state imaging device 200 supplies feature data to the communication section 140 via the signal line 208 .
  • FIG. 2 is a block diagram showing a configuration example of the solid-state imaging device according to the first embodiment.
  • the solid-state imaging device 200 includes a vertical scanning circuit 211, a pixel array section 220, and a timing control circuit 212.
  • the solid-state imaging device 200 also includes vertical signal lines 308 and 309 , DACs (Digital to Analog Converters) 213 and 214 , load MOS circuit blocks 230 and 250 , and column signal processing circuits 240 and 260 .
  • DACs Digital to Analog Converters
  • a set of pixels 300 arranged in the horizontal direction is hereinafter referred to as a "row”, and a set of pixels 300 arranged in a direction perpendicular to the row is referred to as a "column”.
  • a plurality of pixels 300 are arranged in a two-dimensional grid in the pixel array section 220 .
  • Each pixel 300 photoelectrically converts incident light to generate an analog pixel signal and feature data.
  • Each pixel 300 includes a sample-and-hold circuit that holds a signal generated based on charges read out from the photoelectric conversion unit.
  • Each pixel 300 is connected to vertical signal lines 308 and 309 for each column.
  • Each pixel 300 performs a GS operation using a sample and hold circuit and an RS operation skipping the sample and hold circuit. In RS operation, no sample-and-hold circuit is used.
  • Each pixel 300 outputs an image signal read out based on the GS operation to the vertical signal line 309 and outputs feature data read out based on the RS operation to the vertical signal line 308 .
  • a vertical signal line 309 transmits a signal output based on the GS operation in the column direction.
  • a vertical signal line 308 transmits a signal output based on the RS operation in the column direction.
  • Each circuit in the solid-state imaging device 200 may be provided on a single semiconductor chip, for example. Note that the vertical signal line 309 is an example of the first output section described in the claims.
  • the vertical signal line 308 is an example of the second output section described in the claims.
  • the timing control circuit 212 controls the operation timings of the vertical scanning circuit 211, the DACs 213 and 214, and the column signal processing circuits 240 and 260 in synchronization with the vertical synchronization signal XVS from the imaging control section .
  • Each of the DACs 213 and 214 generates a sawtooth ramp signal by DA (Digital to Analog) conversion.
  • the DAC 213 supplies the generated ramp signal to the column signal processing circuit 240
  • the DAC 214 supplies the generated ramp signal to the column signal processing circuit 260 .
  • the vertical scanning circuit 211 exposes all the pixels 300 at once by the GS method, and exposes the pixels row by row by the RS method. Also, the vertical scanning circuit 211 selects and drives all the pixels 300 in the pixel array section 220 and causes the sample-and-hold circuit to hold analog pixel signals. Also, the vertical scanning circuit 211 sequentially selects and drives the rows of the sample-and-hold circuits to output the analog pixel signals held by the sample-and-hold circuits to the vertical signal lines 309 . Further, the vertical scanning circuit 211 sequentially selects and drives the rows of the pixel array section 220 to output the feature data generated based on the charge read from the photoelectric conversion section to the vertical signal line 308 .
  • Each load MOS circuit block 230 and 250 is provided with a MOS transistor for supplying a constant current for each column.
  • a pixel signal output to the vertical signal line 309 is supplied to the column signal processing circuit 260 via the load MOS circuit block 250 .
  • the feature data output to the vertical signal line 308 is supplied to the column signal processing circuit 240 via the load MOS circuit block 230 .
  • the column signal processing circuit 260 performs signal processing such as AD conversion processing and CDS (Correlated Double Sampling) processing on pixel signals for each column.
  • the column signal processing circuit 260 supplies the image data made up of the processed signals to the recording section 120 .
  • the column signal processing circuit 240 performs signal processing such as AD conversion processing and CDS processing on the feature data for each column.
  • the column signal processing circuit 240 supplies feature data composed of the processed signal to the communication unit 140 .
  • FIG. 3 is a diagram showing a configuration example of a pixel according to the first embodiment.
  • the pixel 300 includes a signal generator 310 , a global transistor 361 , a rolling transistor 362 , a sample hold circuit 330 and an output circuit 350 .
  • the global transistor 361 is an example of the first switch described in the claims.
  • the rolling transistor 362 is an example of the second switch described in the claims.
  • the signal generation unit 310 generates a signal based on the charge read from the photoelectric conversion unit.
  • the signal generation unit 310 includes a photoelectric conversion unit 311 , a transfer transistor 312 , an FD (Floating Diffusion) reset transistor 313 , an FD 314 , a preamplification transistor 315 and a current source transistor 316 .
  • the photoelectric conversion unit 311 generates charges through photoelectric conversion.
  • the photoelectric conversion unit 311 is, for example, a photodiode.
  • the transfer transistor 312 transfers charges from the photoelectric conversion unit 311 to the FD 314 according to the transfer signal trg from the vertical scanning circuit 211 .
  • the FD reset transistor 313 extracts charges from the FD 314 and initializes it according to the FD reset signal rst from the vertical scanning circuit 211 .
  • the FD 314 accumulates charges and generates a voltage corresponding to the amount of charges.
  • a pre-amplification transistor 315 generates a signal by amplifying the voltage level of the FD 314 .
  • the drains of the FD reset transistor 313 and the pre-amplification transistor 315 are connected to the power supply voltage VDD.
  • Current source transistor 316 is connected to the source of pre-amplification transistor 315 .
  • the current source transistor 316 supplies the current id1 under the control of the vertical scanning circuit 211.
  • the global transistor 361 is connected between the signal generator 310 and the sample hold circuit 330 .
  • the global transistor 361 switches between on and off according to the switching signal SW1 from the vertical scanning circuit 211 .
  • Rolling transistor 362 is connected between signal generator 310 and vertical signal line 308 . The rolling transistor 362 switches between on and off according to the switching signal SW2 from the vertical scanning circuit 211 .
  • the sample hold circuit 330 holds the signal generated by the signal generator 310 .
  • the sample hold circuit 330 includes capacitive elements 321 and 322 and switching transistors 331 and 332 .
  • the capacitive element 321 holds electric charge corresponding to the reset level of the FD 314 .
  • the capacitive element 322 holds electric charge corresponding to the signal level of the FD 314 .
  • the switching transistor 331 opens and closes the path between the capacitive element 321 and the output circuit 350 .
  • the switching transistor 332 opens and closes the path between the capacitive element 322 and the output circuit 350 .
  • the output circuit 350 amplifies the signal held by the sample hold circuit 330 and outputs it to the vertical signal line 309 .
  • the output circuit 350 includes a post-amplification transistor 351 and a post-selection transistor 352 .
  • the post-amplification transistor 351 amplifies the signal held by the sample-and-hold circuit 330 .
  • the post-stage selection transistor 352 outputs the signal amplified by the post-stage amplification transistor 351 to the vertical signal line 309 as a pixel signal in accordance with the post-stage selection signal selb from the vertical scanning circuit 211 .
  • nMOS n-channel Metal Oxide Semiconductor
  • the rolling transistor 362 by turning on the rolling transistor 362, the charge accumulated in the photoelectric conversion unit 311 during the exposure period after the rolling shutter is read for each row and output to the vertical signal line 308 (P3). .
  • the exposure and signal reading in the RS operation can be repeated while the signal is being read from the sample-and-hold circuit 330 in the GS operation.
  • FIG. 4 is a diagram showing a configuration example of a pixel circuit according to the first embodiment.
  • the sample-and-hold circuit 330 includes a preceding node 320 and a succeeding node 340 .
  • Pre-stage node 320 is connected to the source of global transistor 361 .
  • the post-stage node 340 is connected to the gate of the post-stage amplification transistor 351 .
  • One end of each capacitive element 321 and 322 is commonly connected to the preceding node 320 .
  • the other end of each capacitive element 321 and 322 is commonly connected to a post-stage node 340 via switching transistors 331 and 332, respectively.
  • the switching transistor 331 opens and closes the path between the capacitive element 321 and the subsequent node 340 according to the switching signal ⁇ r from the vertical scanning circuit 211 .
  • the switching transistor 332 opens and closes the path between the capacitive element 322 and the post-stage node 340 according to the switching signal ⁇ s from the vertical scanning circuit 211 .
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure.
  • the photoelectric conversion unit 311 is initialized, and global shutter exposure is started simultaneously for all pixels.
  • the vertical scanning circuit 211 supplies the high level FD reset signal rst over the pulse period while setting the switching signals ⁇ r and SW1 to high level for all pixels.
  • the FD 314 is initialized, and the capacitive element 321 holds a level corresponding to the reset level of the FD 314 at that time.
  • the vertical scanning circuit 211 supplies the high-level transfer signal trg over the pulse period while setting the switching signals ⁇ s and SW1 to high level for all pixels at the end of exposure.
  • the signal charge corresponding to the exposure amount after the global shutter is transferred to the FD 314 , and the capacitive element 322 holds the level corresponding to the signal level of the FD 314 at that time.
  • the vertical scanning circuit 211 sequentially selects rows after exposure is completed, and causes the sample-and-hold circuit 330 to sequentially output the reset level and signal level of the rows to the vertical signal line 309 .
  • the vertical scanning circuit 211 supplies the high-level switching signal ⁇ r for a predetermined period while setting the post-stage selection signal selb of the selected row to high level.
  • the capacitive element 321 is connected to the post-stage node 340 , and the reset level is sequentially read out via the post-stage selection transistor 352 and the vertical signal line 309 .
  • the vertical scanning circuit 211 supplies a high-level switching signal ⁇ s for a predetermined period while keeping the post-stage selection signal selb of the selected row at a high level.
  • the capacitive element 322 is connected to the post-stage node 340 , and the signal level is sequentially read out via the post-stage selection transistor 352 and the vertical signal line 309 .
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst and transfer signal trg to pixels in the same row at the start of exposure.
  • the photoelectric conversion unit 311 is initialized, and rolling shutter exposure is started for each row.
  • the vertical scanning circuit 211 supplies the high level FD reset signal rst over the pulse period while setting the switching signal SW2 to high level for the pixels in the same row.
  • the FD 314 is initialized, and a signal corresponding to the reset level of the FD 314 at that time is read row by row via the vertical signal line 308 .
  • the vertical scanning circuit 211 supplies the high level transfer signal trg over the pulse period while setting the switching signal SW2 to high level for the pixels in the same row at the end of exposure.
  • the signal charge corresponding to the exposure amount after the rolling shutter is transferred to the FD 314, and the signal corresponding to the signal level of the FD 314 at that time is read out row by row via the vertical signal line 308.
  • FIG. 5 is a block diagram showing a configuration example of the load MOS circuit block 250 and the column signal processing circuit 260 according to the first embodiment.
  • a vertical signal line 309 is wired to the load MOS circuit block 250 for each column. Assuming that the number of columns is I (I is an integer), I vertical signal lines 309 are wired. A load MOS transistor 251 that supplies a constant current id2 is connected to each of the vertical signal lines 309 .
  • a plurality of ADCs 261 and a digital signal processing unit 262 are arranged in the column signal processing circuit 260 .
  • ADC 261 is arranged for each column. Assuming that the number of columns is I, I ADCs 261 are arranged.
  • the ADC 261 uses the ramp signal Rmp from the DAC 214 to convert the analog pixel signal from the corresponding column into a digital signal.
  • This ADC 261 supplies a digital signal to the digital signal processing section 262 .
  • the ADC 261 is a single-slope ADC that includes a comparator and a counter.
  • the digital signal processing unit 262 performs predetermined signal processing such as CDS processing on each digital signal for each column.
  • the digital signal processing unit 262 supplies image data made up of processed digital signals to the recording unit 120 .
  • the load MOS circuit block 230 and the column signal processing circuit 240 in FIG. 2 can also be configured in the same manner as the load MOS circuit block 250 and the column signal processing circuit 260. However, in the load MOS circuit block 230, a vertical signal line 308 is wired for each column. Assuming that the number of columns is I, the load MOS circuit block 230 is wired with I vertical signal lines 308 .
  • the ADC 261 provided in the column signal processing circuit 260 is an example of the first output section described in the claims.
  • the ADC provided in the column signal processing circuit 240 is an example of the second output section described in the claims.
  • FIG. 6 is a diagram showing an operation example of the imaging device according to the first embodiment.
  • the rolling shutter RS2 is performed after the rolling shutter RS1 within the period of the capacity reading GA of the GS operation. At this time, exposure is started for each row at the timing of the rolling shutter RS2, and charges corresponding to the amount of exposure are accumulated in the photoelectric conversion unit 311 of each pixel. Next, a signal corresponding to the charge accumulated in the photoelectric conversion unit 311 of each pixel is read row by row at the timing of rolling readout RE2 and output to the vertical signal line 308 as feature data RD2.
  • the timing of the end of the rolling shutter RS2 may be after the period of the capacity readout GA has elapsed. Also, when imaging two or more frames, it is necessary to finish reading the capacity of the first frame and exposure by the rolling shutter method before the timing of starting the global shutter of the second frame.
  • the feature data RD1 and RD2 may be of different types or may be of the same type.
  • the feature data RD1 and RD2 may be reduced image data
  • the feature data RD1 may be ROI image data
  • the feature data RD2 may be reduced image data
  • the feature data RD1 may be ROI image data
  • the feature data RD2 may be phase difference data. good.
  • FIG. 7 is a timing chart showing an example of readout operation of the imaging device according to the first embodiment.
  • a in the same figure is a diagram showing the timing of the GS operation and the RS operation.
  • b is a diagram showing the exposure timing of the GS operation.
  • c is a diagram showing the read timing of the GS operation.
  • d in the same figure is a diagram showing the exposure and readout timings of the RS operation.
  • [1:N] in rst[1:N]trg[1:N] and SW1[1:N] indicates pixels in the 1st to Nth rows.
  • N is an integer indicating the total number of rows, and n is an integer from 1 to N.
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst[1:N] and transfer signal trg[1:N] to all pixels at the start of the exposure period GK. do. At this time, the vertical scanning circuit 211 maintains the switching signals SW1[1:N] and SW2[1:N] at low level for all pixels. Thereby, the photoelectric conversion unit 311 is initialized, and the exposure period GK in the GS operation is started.
  • the vertical scanning circuit 211 sets the switching signals ⁇ r and SW1[1:N] to high level for all pixels, and keeps the FD reset signal rst[1 at high level over the pulse period. : N].
  • the FD 314 is initialized, and the capacitive element 321 holds a signal corresponding to the reset level of the FD 314 at that time.
  • the vertical scanning circuit 211 sets the switching signals ⁇ s and SW1[1:N] to high level for all pixels at the end of the exposure period GK, and keeps the transfer signal trg[1:N] at high level over the pulse period. supply. As a result, the signal charge corresponding to the exposure amount after the global shutter is transferred to the FD 314 , and the signal corresponding to the signal level of the FD 314 at that time is held in the capacitive element 322 .
  • the vertical scanning circuit 211 sequentially selects rows after the end of the exposure period GK, and outputs the reset level and signal level of the row from the sample-and-hold circuit 330 to the vertical signal line. 309 to output in order.
  • the vertical scanning circuit 211 supplies a high-level switching signal ⁇ r for a predetermined period while setting the post-selection signal selb[n] of the selected row to a high level.
  • the vertical scanning circuit 211 maintains the switching signals SW1[1:N] and SW2[1:N] at low level for all pixels.
  • the capacitive element 321 is connected to the post-stage node 340 and the reset level is read out to the vertical signal line 309 .
  • the vertical scanning circuit 211 supplies a high-level switching signal ⁇ s for a predetermined period while keeping the selected row's post-selection signal selb[n] at a high level. . At this time, the vertical scanning circuit 211 maintains the switching signals SW1[1:N] and SW2[1:N] at low level for all pixels. As a result, the capacitive element 322 is connected to the post-stage node 340 and the signal level is read out to the vertical signal line 309 .
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst[n] and transfer signal trg[n] to pixels in the same row at the start of the exposure period RK1, as indicated by a and d in FIG. ].
  • the photoelectric conversion unit 311 is initialized, and the exposure period RK1 is started for each row.
  • the vertical scanning circuit 211 sets the switching signal SW2[n] to high level for the pixels in the same row, and outputs the high level FD reset signal rst[n] over the pulse period. supply.
  • the FD 314 is initialized, and a signal corresponding to the reset level of the FD 314 at that time is read out to the vertical signal line 308 row by row.
  • the vertical scanning circuit 211 supplies the high-level transfer signal trg[n] over the pulse period while setting the switching signal SW2[n] to high level for the pixels in the same row at the end of the exposure period RK1.
  • a signal charge corresponding to the exposure amount of the exposure period RK1 is transferred to the FD 314, and a signal corresponding to the signal level of the FD 314 at that time is read out to the vertical signal line 308 row by row.
  • the vertical scanning circuit 211 can operate similarly during the exposure period RK2 after the exposure period RK1 within the period of the capacitance readout GA of the GS operation.
  • FIG. 8 is a diagram showing a first example of normal image data and feature data according to the first embodiment.
  • a in the same figure indicates the normal image data GD
  • b in the same figure indicates the first example of the characteristic data RD1.
  • the normal image data GD is, for example, all-pixel data. Normal image data GD can be generated based on the GS operation. The normal image data GD may be still image data or moving image data. The normal image data GD can be used, for example, for viewing purposes.
  • the first example of the feature data RD1 is the ROI image data EX1.
  • the ROI image data EX1 an example is shown in which the area surrounded by the black frame in a in the figure is set as the ROI.
  • the ROI image data EX1 the number of bits for AD conversion may be reduced.
  • the ROI image data EX1 can be used, for example, for recognition and exposure adjustment.
  • FIG. 9 is a diagram showing a second example of normal image data and feature data according to the first embodiment.
  • a in the same figure indicates the normal image data GD
  • b in the same figure indicates the second example of the feature data RD1.
  • the normal image data GD of a in the figure is the same as the normal image data GD of a in FIG.
  • the second example of the feature data RD1 is the reduced image data EX2.
  • the angle of view of the reduced image data EX2 may be equal to the angle of view of the normal image data GD.
  • the AD conversion resolution may be reduced.
  • the reduced image data EX2 can be used, for example, for recognition and motion detection.
  • the reduced image data EX2 may be used for live view.
  • FIG. 10 is a diagram showing a third example of normal image data and feature data according to the first embodiment.
  • a in the same figure indicates the normal image data GD
  • b in the same figure indicates a third example of the feature data RD1.
  • the normal image data GD of a in the figure is the same as the normal image data GD of a in FIG.
  • the third example of the feature data RD1 is the phase difference data EX3.
  • the phase difference data EX3 can be used, for example, for depth information and focus adjustment.
  • FIG. 11 is a diagram showing an arrangement example of image plane phase difference pixels used for reading phase difference data according to the first embodiment.
  • pixels 300 are arranged in the row direction and the column direction in the pixel array section 220 .
  • the Bayer array is taken as an example of the arrangement of the pixels 300 .
  • the green pixel Pg is arranged in the diagonal direction
  • the blue pixel Pb and the red pixel Pr are arranged one by one.
  • pairs of phase difference pixels Ps1 and Ps2 are discretely arranged in a Bayer array.
  • the phase difference pixels Ps1 and Ps2 are arranged in the pixel array section 220 close to each other.
  • the phase difference pixels Ps1 and Ps2 are covered with light shielding films 511 and 521, respectively.
  • Slits 512 and 522 are formed in the light shielding films 511 and 521, respectively.
  • the slits 512 and 522 are arranged at positions offset in opposite directions.
  • phase difference pixels Ps1 and Ps2 When reading the phase difference data as feature data in the RS operation, only the phase difference data of the phase difference pixels such as the phase difference pixels Ps1 and Ps2 should be read. Note that the phase difference pixels Ps1 and Ps2 are unnecessary when phase difference data is not used as feature data. Also, the circuits of the phase difference pixels Ps1 and Ps2 are the same as the circuits of the other pixels (circuits in FIG. 3). Also, the phase difference pixels Ps1 and Ps2 are provided with color filters.
  • FIG. 12 is a diagram showing a fourth example of normal image data and feature data according to the first embodiment.
  • a in the same figure indicates the normal image data GD
  • d in the same figure indicates the fourth example of the characteristic data RD1.
  • the normal image data GD of a in the figure is the same as the normal image data GD of a in FIG.
  • the fourth example of the feature data RD1 is all-pixel data EX4.
  • the all pixel data EX4 may be still image data or moving image data.
  • the all-pixel data EX4 can be used, for example, for recognition and motion detection.
  • normal image data GD without rolling shutter distortion can be generated.
  • the rolling shutter operation can generate all-pixel data EX4 with less noise and a higher dynamic range than the normal image data GD. Therefore, the normal image data GD may be used for moving images, and the total pixel data EX4 may be used for still images.
  • the vertical signal line 309 for outputting the normal image data GD and the vertical signal line 308 for outputting the feature data RD1 and RD2 are separately provided.
  • the feature data RD1 and RD2 can be read in parallel with the normal image data GD, and a plurality of feature data RD1 and RD2 can be obtained within the same vertical synchronization period. Therefore, it is possible to improve the real-time performance of the feature data RD1 and RD2, improve the followability of capturing moving images, and improve the accuracy of recognition and detection.
  • the solid-state imaging device 200 is provided with the vertical signal line 309 for outputting the normal image data GD and the vertical signal line 308 for outputting the feature data RD1 and RD2 separately.
  • the imaging apparatus is provided with an interface for outputting the normal image data GD and an interface for outputting the feature data RD1 and RD2 separately.
  • FIG. 13 is a diagram showing an example of the configuration and operation of an image processing device according to the second embodiment.
  • the image processing device includes an imaging device 100 and a host 510 .
  • the imaging device 100 includes interfaces 501 and 502 as the communication unit 140 in FIG.
  • the interface 501 converts the normal image data GD into a data format receivable by the host 510 and transmits the data to the host 510 .
  • Interface 502 converts feature data RD1 and RD2 into a data format receivable by host 510 and transmits the data to host 510 .
  • the host 510 receives the normal image data GD and the feature data RD1 and RD2 transmitted from the imaging device 100.
  • Host 510 may be a personal computer or a cloud computer.
  • the host 510 may be a mobile information terminal such as a smart phone in which the imaging device 100 is incorporated.
  • the host 510 may be used as a web conference camera or as a surveillance camera.
  • the host 510 includes receivers 511 and 512 , a display 513 , a detector 514 , an arithmetic processor 515 and a controller 516 .
  • the receiving unit 511 receives the normal image data GD from the imaging device 100 .
  • the receiving unit 512 receives the feature data RD1 and RD2 from the imaging device 100 .
  • a display unit 513 displays the normal image data GD received by the receiving unit 511 .
  • Detection section 514 detects characteristic data RD1 and RD2 received by reception section 512 . Detection is, for example, a process of extracting depth information from phase difference data.
  • Arithmetic processing unit 515 performs arithmetic processing on feature data RD1 and RD2 received by receiving unit 512 .
  • the arithmetic processing may be, for example, object recognition processing such as obstacle recognition, lane recognition, sign recognition, and pedestrian detection, motion vector detection processing, or brightness information detection processing.
  • Control unit 516 controls the external device based on feature data RD1 and RD2.
  • the external device may be, for example, an authentication device, or a mobile object such as an automobile, ship, aircraft, drone, or robot.
  • the control includes, for example, driving control of moving bodies for avoiding obstacles, entrance/exit control based on face authentication, and sorting control based on the quality of agricultural products and products.
  • the imaging apparatus 100 executes processing PA1, and transmits the feature data RD1 and RD2 to the host 510 via the interface 502 in parallel with transmitting the normal image data GD to the host 510 via the interface 501.
  • the host 510 executes the process PB1 and receives a plurality of feature data RD1 and RD2 from the imaging device 100 along with the normal image data GD. Then, the host 510 sequentially executes detection RA1, arithmetic processing RB1 and control RC1 for feature data RD1, and sequentially executes detection RA2, arithmetic processing RB2 and control RC2 for feature data RD2. Therefore, the host 510 can improve the real-time performance of the controls RC1 and RC2, and improve the accuracy of the controls RC1 and RC2.
  • the imaging apparatus 100 is provided with the interface 501 that outputs the normal image data GD and the interface 502 that outputs the feature data RD1 and RD2 separately.
  • the host 510 can receive a plurality of feature data RD1 and RD2 together with the normal image data GD from the imaging device 100, and the real-time performance of the controls RC1 and RC2 can be achieved without deteriorating the quality of the normal image data GD. can be improved.
  • the imaging apparatus 100 is separately provided with the interface 501 for outputting the normal image data GD and the interface 502 for outputting the characteristic data RD1 and RD2.
  • the imaging apparatus is provided with an interface shared by the output of the normal image data GD and the output of the feature data RD1 and RD2, and the normal image data GD and the feature data RD1 and RD2 are output in a time division manner. do.
  • FIG. 14 is a diagram showing an example of the configuration and operation of an image processing device according to the third embodiment.
  • the image processing device includes an imaging device 100 and a host 610 .
  • the imaging device 100 includes an interface 601 as the communication unit 140 in FIG.
  • the interface 601 converts the normal image data GD and the feature data RD1 to RD4 into a data format receivable by the host 610 and transmits them to the host 610 in a time division manner.
  • a host 610 includes a receiver 611 instead of the receivers 511 and 512 of the second embodiment.
  • the receiving unit 611 receives the normal image data GD and the feature data RD1 to RD4 from the imaging device 100 in a time-division manner.
  • Other configurations of the host 610 of the third embodiment are the same as those of the host 510 of the above-described second embodiment.
  • the imaging apparatus 100 executes processing PA2 and transmits the normal image data GD and the feature data RD1 to RD4 to the host 610 via the interface 601 in a time division manner.
  • the host 610 executes the process PB2 and receives a plurality of feature data RD1 to RD4 from the imaging device 100 along with the normal image data GD. Then, the host 610 can sequentially execute detection RA1 to RA4, arithmetic processing RB1 to RB4, and control RC1 to RC4, respectively, for each feature data RD1 to RD4. Therefore, the host 610 can improve the real-time performance of the controls RC1 to RC4 and improve the accuracy of the controls RC1 to RC4 without deteriorating the quality of the normal image data GD.
  • FIG. 15 is a diagram showing an example of a format when data is transmitted by the image processing apparatus according to the third embodiment.
  • MIPI Mobile Industry Processor Interface
  • FIG. 15 is a diagram showing an example of a format when data is transmitted by the image processing apparatus according to the third embodiment.
  • MIPI Mobile Industry Processor Interface
  • FIG. 15 is a diagram showing an example of a format when data is transmitted by the image processing apparatus according to the third embodiment.
  • MIPI Mobile Industry Processor Interface
  • feature data RD1 and RD2 can be transmitted as 'Data Type 1 Image Data', and normal image data GD can be transmitted as 'Data Type 2 Image Data'.
  • FS is an abbreviation for Frame Start.
  • FE is an abbreviation for Frame End.
  • ED stands for Packet Header containing Embedded Data type code.
  • D1 is an abbreviation for Packet Header containing Data Type 1 Image Data code.
  • D2 is an abbreviation for Packet Header containing Data Type 2 Image Data code.
  • PF is an abbreviation for Packet Footer + Filler (if applicable).
  • the interface 601 is shared by the output of the normal image data GD and the output of the feature data RD1 and RD2, and the normal image data GD and the feature data RD1 and RD2 are time-divided. to output.
  • the host 510 can receive a plurality of feature data RD1 and RD2 from the imaging device 100 together with the normal image data GD, thereby suppressing an increase in circuit scale and improving the real-time performance of the controls RC1 and RC2. be able to.
  • the feature data RD1 and RD2 are arithmetically processed on the host 510 side to control the external device.
  • the imaging device side performs arithmetic processing on the feature data, controls the solid-state imaging device 200, and transmits the arithmetic processing result of the feature data to the host.
  • FIG. 16 is a diagram showing an example of the configuration and operation of an image processing apparatus according to the fourth embodiment.
  • the image processing device includes an imaging device 700 and a host 710 .
  • the imaging apparatus 700 is obtained by adding an arithmetic processing unit 705 and a control unit 706 to the imaging apparatus 100 of the second embodiment described above.
  • Other configurations of the imaging device 700 of the fourth embodiment are the same as those of the imaging device 100 of the above-described second embodiment.
  • the arithmetic processing unit 705 arithmetically processes the feature data RD1 and RD2 output from the solid-state imaging device 200 .
  • the control unit 706 controls the solid-state imaging device 200 based on the arithmetic processing results of the feature data RD1 and RD2.
  • Control of the solid-state imaging device 200 includes, for example, exposure control, focus control, zoom control, and ROI control. Control of the solid-state imaging device 200 may be control of global shutter operation or control of rolling shutter operation.
  • the host 710 has the detection unit 514 and the arithmetic processing unit 515 removed from the host 510 of the second embodiment described above.
  • Other configurations of the host 710 of the fourth embodiment are the same as those of the host 510 of the above-described second embodiment.
  • the imaging apparatus 100 executes processing PA3, sequentially executes arithmetic processing RX1 and control RY1 for feature data RD1, and sequentially executes arithmetic processing RX2 and control RY2 for feature data RD2.
  • feature data RD1 and RD2 are ROI image data.
  • the arithmetic processing RX1 detects the brightness of the ROI image data from the feature data RD1, and the control RY1 controls the timing of the rolling shutter RS2 for the feature data RD2 based on the brightness detection result of the feature data RD1.
  • the feature data RD1 is reduced image data and the feature data RD2 is ROI image data.
  • a moving object may be detected based on the feature data RD1, and the ROI of the feature data RD2 may be specified so as to include the moving object.
  • the feature data RD1 and RD2 are phase difference data.
  • a phase difference is detected by detecting each feature data RD1 and RD2, and each phase difference is converted into an in-focus position by each arithmetic processing RX1 and RX2.
  • the lens can be moved for each in-focus position calculated based on the feature data RD1 and RD2.
  • the imaging device 700 In parallel with transmitting the normal image data GD to the host 710 via the interface 501, the imaging device 700 also transmits to the host 710 via the interface 502 the arithmetic processing results of the feature data RD1 and RD2.
  • the host 710 executes the process PB3 and receives from the imaging device 700 the result of arithmetic processing of the plurality of feature data RD1 and RD2 along with the normal image data GD. Then, the host 710 can execute the control RC1 based on the arithmetic processing result of the feature data RD1, and can execute the control RC2 based on the arithmetic processing result of the feature data RD2. Therefore, the host 710 can improve the real-time performance of the controls RC1 and RC2 while reducing the load on the arithmetic processing of the feature data RD1 and RD2, and improve the accuracy of the controls RC1 and RC2.
  • the imaging device 700 performs arithmetic processing on the characteristic data RD1 and RD2, controls the solid-state imaging device 200, and transmits the arithmetic processing result of the characteristic data to the host 710. .
  • the imaging apparatus 700 can improve the real-time control of the solid-state imaging device 200, reduce the computational processing load of the host 710, and control the external device in real-time by the host 710. can be improved.
  • the vertical signal line 309 for outputting the normal image data GD and the vertical signal line 309 for outputting the feature data RD1 and RD2 are used.
  • a signal line 308 is provided separately.
  • the host is provided with a synthesizing unit for synthesizing at least one of the feature data RD1 and RD2 and the normal image data GD.
  • FIG. 17 is a diagram showing an example of the configuration and operation of an image processing device according to the fifth embodiment.
  • the image processing device includes an imaging device 100 and a host 810.
  • the host 810 receives the normal image data GD and the characteristic data RD1 and RD2, and combines at least one of the characteristic data RD1 and RD2 with the normal image data GD.
  • the host 810 includes receiving units 511 and 512 , arithmetic processing units 813 and 814 , and a synthesizing unit 815 .
  • the arithmetic processing unit 813 arithmetically processes the normal image data GD.
  • Arithmetic processing unit 814 performs arithmetic processing on feature data RD1 and RD2.
  • the synthesizing unit 815 synthesizes at least one of the feature data RD1 and RD2 with the normal image data GD based on the result of arithmetic processing of the normal image data GD and the feature data RD1 and RD2.
  • the imaging apparatus 100 executes processing PA4, transmits normal image data GD to the host 810 via the interface 501, and transmits feature data RD1 and RD2 to the host 810 via the interface 502.
  • the host 810 executes the process PB4 and receives the normal image data GD and the feature data RD1 and RD2 from the imaging device 100. Then, the host 810 executes the arithmetic processing RF1 on the feature data RD1, the arithmetic processing RF2 on the feature data RD2, and the arithmetic processing GF on the normal image data GD. Then, the host 810 can execute synthesis GR of at least one of the feature data RD1 and RD2 and the normal image data GD based on these arithmetic processing results.
  • feature data RD1 is reduced image data and feature data RD2 is ROI image data.
  • the feature data RD2 may be used for the ROI portion of the normal image data GD
  • the feature data RD1 may be used for the background portion of the normal image data GD.
  • the synthesizing unit 815 for synthesizing at least one of the feature data RD1 and RD2 and the normal image data GD is provided.
  • the sample and hold circuit 330 is provided with the post-stage node 340 to which the switching transistors 331 and 332 are commonly connected.
  • a post-stage reset transistor is connected to post-stage node 340 to which switching transistors 331 and 332 are commonly connected.
  • FIG. 18 is a circuit diagram showing a configuration example of a pixel 300 according to the sixth embodiment.
  • a pixel 300 according to the sixth embodiment has a post-stage reset transistor 341 added to the pixel 300 according to the first embodiment.
  • Other configurations of the pixel 300 of the sixth embodiment are the same as those of the pixel 300 of the first embodiment described above.
  • the post-stage reset transistor 341 is connected between the potential Vreg and the post-stage node 340 .
  • the post-stage reset transistor 341 initializes the level of the post-stage node 340 to a predetermined potential Vreg according to the post-stage reset signal rstb from the vertical scanning circuit 211 .
  • a potential different from the power supply potential VDD (for example, a potential lower than VDD) is set to the potential Vreg.
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure. Thereby, the photoelectric conversion unit 311 is initialized.
  • this control will be referred to as "PD reset”.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst over the pulse period while setting the post-stage reset signal rstb and the switching signals ⁇ r and SW1 to high level for all pixels. .
  • the FD 314 is initialized, and the capacitive element 321 holds a level corresponding to the reset level of the FD 314 at that time. This control is hereinafter referred to as "FD reset".
  • the reset level of the FD 314 at the time of FD reset and the level corresponding to the reset level are collectively referred to as "P phase” or "reset level.” called.
  • the vertical scanning circuit 211 supplies a high-level transfer signal trg over the pulse period while setting the post-stage reset signal rstb and the switching signals ⁇ s and SW1 to high level for all pixels.
  • a signal charge corresponding to the amount of exposure is transferred to the FD 314 , and a level corresponding to the signal level of the FD 314 at that time is held in the capacitive element 322 .
  • phase D the signal level of the FD 314 when transferring the signal charge and the level corresponding to the signal level (holding level of the capacitive element 322 and level of the vertical signal line 309) are collectively referred to as "phase D" or “signal called level.
  • the vertical scanning circuit 211 sequentially selects rows after the end of exposure, and sequentially outputs the reset level and signal level of the rows.
  • the vertical scanning circuit 211 supplies the high-level switching signal ⁇ r for a predetermined period while setting the post-stage selection signal selb of the selected row to high level.
  • the capacitive element 321 is connected to the post-stage node 340 , and the reset level is read out to the vertical signal line 309 via the post-stage selection transistor 352 .
  • the vertical scanning circuit 211 supplies the high-level post-stage reset signal rstb over the pulse period while keeping the post-stage selection signal selb of the selected row at the high level.
  • the level of the subsequent node 340 is initialized.
  • switching transistors 331 and 332 are both open, and capacitive elements 321 and 322 are disconnected from subsequent node 340 .
  • the vertical scanning circuit 211 supplies the high-level switching signal ⁇ s for a predetermined period while keeping the post-stage selection signal selb of the selected row at the high level.
  • the capacitive element 322 is connected to the post-stage node 340 , and the signal level is read out to the vertical signal line 309 via the post-stage selection transistor 352 .
  • sample-and-hold circuit 330 of the selected row performs control to connect capacitive element 321 to post-stage node 340, to disconnect capacitive elements 321 and 322 from post-stage node 340, and to connect capacitive element 322 to post-node 340. 340 are performed in order. Further, when the capacitive elements 321 and 322 are disconnected from the post-stage node 340 , the post-stage reset transistor 341 of the selected row initializes the level of the post-stage node 340 . Output circuit 350 of the selected row sequentially reads the reset level and signal level from capacitive elements 321 and 322 via post-stage node 340 and outputs them to vertical signal line 309 .
  • FIG. 19 is a timing chart showing an example of global shutter operation according to the sixth embodiment.
  • the vertical scanning circuit 211 supplies all rows (in other words, all pixels) with high-level FD reset signals rst[1:N] and It supplies transfer signals trg[1:N]. As a result, all pixels are PD-reset, and exposure is started simultaneously for all rows.
  • the vertical scanning circuit 211 sets the post-stage reset signal rstb[1:N] and the switching signals ⁇ r[1:N] and SW1[1:N] to high in all pixels. level, the FD reset signal rst[1:N] of high level is supplied over the pulse period. As a result, all pixels are FD-reset, and the reset level is sample-held.
  • the vertical scanning circuit 211 returns the switching signal ⁇ r[1:N] to low level at timing T3 after timing T2.
  • the vertical scanning circuit 211 sets the post-stage reset signal rstb[1:N] and the switching signals ⁇ s[1:N] and SW1[1:N] to a high level in all pixels at timing T4 when exposure ends. while supplying a high-level transfer signal trg[1:N] over the pulse period. This samples and holds the signal level. Also, the level of the preceding node 320 drops from the reset level (VDD-Vgs) to the signal level (VDD-Vgs-Vsig). where VDD is the power supply voltage and Vsig is the net signal level obtained by the CDS process. Vgs is the gate-to-source voltage of the pre-amplification transistor 315 .
  • the vertical scanning circuit 211 returns the switching signals ⁇ s[1:N] and SW1[1:N] to low level at timing T5 after timing T4.
  • the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to supply the current id1[1:N].
  • the current id[1:N] becomes large, the IR drop increases, so the current id1[1:N] must be on the order of several nanoamperes (nA) to several tens of nanoamperes (nA).
  • the load MOS transistors 251 of all columns are in the OFF state, and the current id2 is not supplied to the vertical signal line 309 .
  • FIG. 20 is a timing chart showing an example of read operation according to the sixth embodiment.
  • the vertical scanning circuit 211 sets the subsequent stage selection signal selb[n] of the nth row to high level. Also, in the readout period, the vertical scanning circuit 211 sets the switching signal SW1[n] of the n-th row to low level.
  • the vertical scanning circuit 211 transitions the post-stage reset signal rstb[n] of the n-th row from high level to low level at timing T10.
  • the vertical scanning circuit 211 supplies a high-level switching signal ⁇ r[n] to the nth row over the period from timing T11 immediately after timing T10 to timing T13.
  • the potential of the post-stage node 340 becomes the reset level Vrst.
  • the DAC 214 gradually increases the level of the ramp signal Rmp over the period from timing T12 after timing T11 to timing T13.
  • the ADC 261 compares the ramp signal Rmp with the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the P-phase level (reset level) is read.
  • the vertical scanning circuit 211 supplies the high-level post-stage reset signal rstb[n] to the n-th row over the pulse period from timing T14 immediately after timing T13.
  • the vertical scanning circuit 211 supplies the high-level post-stage reset signal rstb[n] to the n-th row over the pulse period from timing T14 immediately after timing T13.
  • the vertical scanning circuit 211 supplies a high-level switching signal ⁇ s[n] to the n-th row over a period from timing T15 immediately after initialization of the subsequent node 340 to timing T17.
  • the potential of the post-stage node 340 becomes the signal level Vsig.
  • the signal level was lower than the reset level, but at the time of reading, the signal level becomes higher than the reset level because the latter node 340 is used as a reference.
  • the difference between the reset level Vrst and the signal level Vsig corresponds to the net signal level after removing reset noise and offset noise of the FD 314 .
  • the DAC 214 gradually increases the level of the ramp signal Rmp over the period from timing T16 after timing T15 to timing T17.
  • the ADC 261 compares the ramp signal Rmp with the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the D-phase level (signal level) is read.
  • the vertical scanning circuit 211 controls the current source transistor 316 of the n-th row to be read to supply the current id1[n] over the period from timing T10 to timing T17. Also, the timing control circuit 212 controls the load MOS transistors 251 of all columns to supply the current id2 during the readout period of all rows.
  • the solid-state imaging device 200 reads the signal level after the reset level, the order is not limited to this. As illustrated in FIG. 21, the solid-state imaging device 200 can also read the reset level after the signal level. In this case, as illustrated in the figure, the vertical scanning circuit 211 supplies a high level switching signal ⁇ r after a high level switching signal ⁇ s. At this time, the slope of the ramp signal is reversed.
  • FIG. 22 is a diagram showing an example of the state of each pixel when the reset level is read and when the subsequent node is initialized according to the sixth embodiment.
  • a indicates the state of the pixel 300 when the reset level is read
  • b indicates the state of the pixel 300 when the subsequent node 340 is initialized.
  • the switching transistors 331, 332, 361 and 362 and the post-stage reset transistor 341 are represented by the symbol of a switch for convenience of explanation.
  • the vertical scanning circuit 211 closes the switching transistor 331 and opens the switching transistors 332, 361 and 362 and the post-stage reset transistor 341. Thereby, the reset level is read out through the output circuit 350 .
  • the vertical scanning circuit 211 opens the switching transistors 331, 332, 361 and 362 after reading the reset level, and closes the post-stage reset transistor 341. Thereby, capacitive elements 321 and 322 are disconnected from post-stage node 340, and the level of post-stage node 340 is initialized.
  • the capacitance value of the parasitic capacitance Cp of the post-stage node 340 disconnected from the capacitive elements 321 and 322 is much smaller than that of the capacitive elements 321 and 322 .
  • the parasitic capacitance Cp is several femtofarads (fF)
  • the capacitive elements 321 and 322 are on the order of several tens of femtofarads.
  • FIG. 23 is a diagram showing an example of the state of the pixel 300 when reading the signal level according to the sixth embodiment.
  • the vertical scanning circuit 211 closes the switching transistor 332 and opens the switching transistors 331 , 361 and 362 and the post-stage reset transistor 341 . Thereby, the signal level is read out via the output circuit 350 .
  • the post-stage reset transistor 341 is driven during reading, so kTC noise is generated at that time.
  • the capacitive elements 321 and 322 are disconnected when the post-stage reset transistor 341 is driven, and the parasitic capacitance Cp at that time is small. Therefore, the kTC noise during readout can be ignored compared to the kTC noise during exposure. Therefore, the kTC noise during exposure and readout is expressed by Equation 1.
  • the post-stage reset transistor 341 initializes the post-stage node 340 when the switching transistors 331 and 332 disconnect the capacitive elements 321 and 322 from the post-stage node 340 . Since capacitive elements 321 and 322 are separated, the level of reset noise due to their driving is a level corresponding to parasitic capacitance smaller than their capacities. This noise reduction can improve the image quality of the image data.
  • the signal generator 310 can be separated from the preceding node 320, and noise from the signal generator 310 can be cut off.
  • the signal was read while the preceding node 320 was in the floating state.
  • the pixel 300 of the first modification of the sixth embodiment is provided with a pre-stage reset transistor 323 that fixes the potential of the pre-stage node 320 during readout.
  • FIG. 24 is a circuit diagram showing a configuration example of the pixel 300 in the first modified example of the sixth embodiment.
  • a pixel 300 of the first modification of the sixth embodiment differs from the sixth embodiment in that a pre-stage reset transistor 323 is further provided.
  • VDD1 be the power supply voltage of the signal generator 310 and the output circuit 350 of the first modification of the sixth embodiment.
  • Pre-stage reset transistor 323 is connected between power supply voltage VDD ⁇ b>2 and pre-stage node 320 .
  • the previous stage reset transistor 323 fixes the level of the previous stage node 320 to the power supply voltage VDD2 at the time of reading according to the previous stage reset signal rsta from the vertical scanning circuit 211 . It is desirable to set this power supply voltage VDD2 to a value that satisfies the following equation.
  • VDD2 VDD1-Vgs Equation 2
  • Vgs is the voltage between the gate and source of the preamplifying transistor 315 .
  • Equation 2 By setting a value that satisfies Equation 2, it is possible to reduce the potential fluctuation between the preceding node 320 and the succeeding node 340 when it is dark. This can improve sensitivity non-uniformity (PRNU: Photo Response Non-Uniformity).
  • PRNU Photo Response Non-Uniformity
  • FIG. 25 is a timing chart showing an example of global shutter operation in the first modified example of the sixth embodiment.
  • the timing chart of the first modification of the sixth embodiment differs from that of the sixth embodiment in that the vertical scanning circuit 211 further supplies the previous stage reset signal rsta[1:N].
  • the vertical scanning circuit 211 supplies a high-level switching signal SW1[1:N] to all pixels from timing T2 immediately before the end of exposure to timing T5.
  • the pre-stage reset signal rsta[1:N] is controlled to low level.
  • FIG. 26 is a timing chart showing an example of read operation in the first modified example of the sixth embodiment.
  • the switching signal SW1[n] is controlled to a low level.
  • the switching transistor 361 is shifted to an open state, and the previous stage node 320 is disconnected from the signal generating section 310 . Thereby, noise from the signal generator 310 can be blocked during reading.
  • the vertical scanning circuit 211 supplies the high-level pre-stage reset signal rsta[n] to the n-th row during the n-th row readout period from timing T10 to timing T17.
  • the vertical scanning circuit 211 controls the current source transistors 316 of all pixels to stop supplying the current id1[1:N].
  • Current id2 is supplied in the same manner as in the sixth embodiment.
  • the control of the current id1[1:N] becomes simpler than in the sixth embodiment.
  • the pre-stage reset transistor 323 shifts to the closed state at the time of reading, and the potential of the pre-stage node 320 is fixed, thereby improving sensitivity non-uniformity. can do.
  • the circuits in the solid-state imaging device 200 are provided on a single semiconductor chip.
  • the solid-state imaging device 200 of the second modification of the sixth embodiment differs from the sixth embodiment in that the circuits in the solid-state imaging device 200 are distributed over two semiconductor chips.
  • FIG. 27 is a diagram showing an example of the layered structure of the solid-state imaging device 200 in the second modified example of the sixth embodiment.
  • a solid-state imaging device 200 according to a second modification of the sixth embodiment includes a lower pixel chip 202 and an upper pixel chip 201 stacked on the lower pixel chip 202 . These chips are electrically connected, for example, by Cu--Cu bonding. In addition to Cu--Cu bonding, vias and bumps can also be used for connection.
  • An upper pixel array section 221 is arranged in the upper pixel chip 201 .
  • a lower pixel array section 222 and column signal processing circuits 240 and 260 are arranged in the lower pixel chip 202 .
  • Some of the pixels in the pixel array section 220 are arranged in the upper pixel array section 221 and the rest are arranged in the lower pixel array section 222 .
  • a vertical scanning circuit 211, a timing control circuit 212, DACs 213 and 214, and load MOS circuit blocks 230 and 250 are also arranged in the lower pixel chip 202. FIG. These circuits are omitted in the figure.
  • the upper pixel chip 201 is manufactured by, for example, a process dedicated to pixels
  • the lower pixel chip 202 is manufactured by, for example, a CMOS (Complementary MOS) process.
  • CMOS Complementary MOS
  • FIG. 28 is a circuit diagram showing a configuration example of the pixel 300 in the second modified example of the sixth embodiment.
  • the signal generator 310 is arranged on the upper pixel chip 201
  • the other circuits and elements are arranged on the lower pixel chip 202 .
  • the current source transistor 316 can also be placed further on the lower pixel chip 202 . As illustrated in the figure, by distributing the elements in the pixel 300 in the upper pixel chip 201 and the lower pixel chip 202 that are stacked, the pixel area per chip can be reduced. , the miniaturization of pixels is facilitated.
  • the circuits and elements in the pixel 300 are distributed over two semiconductor chips, so that the pixel can be easily miniaturized.
  • FIG. 29 is a diagram showing an example of the layered structure of the solid-state imaging device 200 in the third modified example of the sixth embodiment.
  • a solid-state imaging device 200 of the third modification of the sixth embodiment includes an upper pixel chip 201 , a lower pixel chip 202 and a circuit chip 203 . These chips are stacked and electrically connected, for example, by Cu--Cu bonding. In addition to Cu--Cu bonding, vias and bumps can also be used for connection.
  • An upper pixel array section 221 is arranged in the upper pixel chip 201 .
  • a lower pixel array section 222 is arranged in the lower pixel chip 202 .
  • Some of the pixels in the pixel array section 220 are arranged in the upper pixel array section 221 and the rest are arranged in the lower pixel array section 222 .
  • a column signal processing circuit 260 In the circuit chip 203, a column signal processing circuit 260, a vertical scanning circuit 211, a timing control circuit 212, a DAC 213 and a load MOS circuit block 250 are arranged. Circuits other than the column signal processing circuit 260 are omitted in the figure.
  • the lower pixel chip 202 of the second layer can be manufactured by a dedicated process for capacitors and switches.
  • the circuits in the solid-state imaging device 200 are distributed over the three semiconductor chips. Pixels can be further miniaturized by comparison.
  • the reset level is sampled and held within the exposure period, but in this configuration the exposure period cannot be made shorter than the reset level sample and hold period.
  • the solid-state imaging device 200 of the seventh embodiment differs from that of the sixth embodiment in that the exposure period is made shorter by adding transistors for discharging charges from the photoelectric conversion elements.
  • FIG. 30 is a circuit diagram showing a configuration example of a pixel 300 according to the seventh embodiment.
  • the pixel 300 of the seventh embodiment differs from that of the sixth embodiment in that an ejection transistor 317 is further included in the signal generation section 310 .
  • the discharge transistor 317 is connected to a connection point between the photoelectric conversion unit 311 and the transfer transistor 312 .
  • the discharge transistor 317 functions as an overflow drain that discharges charges from the photoelectric conversion section 311 according to the discharge signal ofg from the vertical scanning circuit 211 .
  • An nMOS transistor, for example, is used as the discharge transistor 317 .
  • blooming may occur when charges are transferred from the photoelectric conversion unit 311 to the FD 314 for all pixels. Then, the potentials of the FD 314 and the previous stage node 320 drop when the FD is reset. Following this potential drop, currents for charging and discharging the capacitative elements 321 and 322 continue to be generated, and the IR drop of the power supply and ground changes from the steady state without blooming.
  • the discharge transistor 317 the charge of the photoelectric conversion section 311 is discharged to the overflow drain side. Therefore, the IR drop at the time of sample-holding the reset level and the signal level is approximately the same, and streaking noise can be suppressed.
  • FIG. 31 is a timing chart showing an example of global shutter operation according to the seventh embodiment.
  • the vertical scanning circuit 211 sets the discharge signals fg[1:N] of all the pixels to high level, and pulses the FD reset signal rst[1:N] of high level to all pixels. Supply over a period of time. As a result, PD reset and FD reset are performed for all pixels. Also, the reset level is sample-held.
  • the vertical scanning circuit 211 returns the discharge signals THERfg[1:N] of all pixels to low level. Then, the vertical scanning circuit 211 supplies high-level transfer signals trg[1:N] to all pixels over a period from timing T2 immediately before the end of exposure to timing T3 at the end of exposure. This samples and holds the signal level.
  • both the transfer transistor 312 and the FD reset transistor 313 must be turned on at the start of exposure (that is, at PD reset).
  • the FD 314 must be reset at the same time when the PD is reset. Therefore, it is necessary to reset the FD again within the exposure period and sample and hold the reset level, and the exposure period cannot be shorter than the sample and hold period of the reset level.
  • a certain amount of waiting time is required until the voltage and current stabilize. A period is required.
  • the reset level can be sample-held by performing the FD reset before releasing the PD reset (starting exposure). As a result, the exposure period can be made shorter than the sample-and-hold period of the reset level.
  • the first to third modifications of the sixth embodiment can also be applied to the seventh embodiment.
  • the discharge transistor 317 for discharging charges from the photoelectric conversion unit 311 since the discharge transistor 317 for discharging charges from the photoelectric conversion unit 311 is provided, it is possible to perform FD reset and sample-hold the reset level before the start of exposure. As a result, the exposure period can be made shorter than the sample-and-hold period of the reset level.
  • the signal level is read after the reset level for each frame.
  • sensitivity non-uniformity PRNU
  • PRNU sensitivity non-uniformity
  • the solid-state imaging device 200 of the eighth embodiment is superior to the sixth embodiment in improving PRNU by exchanging the level held by the capacitive element 321 and the level held by the capacitive element 322 for each frame. Different from the form.
  • the solid-state imaging device 200 of the eighth embodiment continuously images a plurality of frames in synchronization with the vertical synchronization signal XVS.
  • the odd-numbered frames are called “odd-numbered frames”, and the even-numbered frames are called “even-numbered frames”.
  • FIG. 32 is a timing chart showing an example of global shutter operation for odd frames according to the eighth embodiment.
  • the signal generation unit 310 causes the capacitive element 321 to hold the reset level by setting the switching signal ⁇ r[1:N] and then the switching signal ⁇ s[1:N] to a high level during the exposure period of the odd-numbered frame. Next, the signal level is held in the capacitive element 322 .
  • FIG. 33 is a timing chart showing an example of the odd-numbered frame readout operation according to the eighth embodiment.
  • the output circuit 350 sets the switching signal ⁇ r[n] and then the switching signal ⁇ s[n] to a high level within the reading period of the odd-numbered frame, and reads the signal level after the reset level.
  • FIG. 34 is a timing chart showing an example of global shutter operation for even-numbered frames according to the eighth embodiment.
  • the signal generation unit 310 causes the capacitive element 322 to hold the reset level by setting the switching signal ⁇ s[1:N] and then the switching signal ⁇ r[1:N] to a high level within the exposure period of the even-numbered frame. Next, the signal level is held in the capacitive element 321 .
  • FIG. 35 is a timing chart showing an example of the even-numbered frame read operation according to the eighth embodiment.
  • the output circuit 350 sets the switching signal ⁇ s[n] and then the switching signal ⁇ r[n] to high level during the readout period of the even-numbered frame, and then reads the signal level after the reset level.
  • the levels held in the capacitive elements 321 and 322 are reversed between even frames and odd frames.
  • the polarity of the PRNU is also reversed between even and odd frames.
  • the post-stage column signal processing circuit 260 obtains the arithmetic mean of the odd-numbered frames and the even-numbered frames. This allows PRNUs with opposite polarities to cancel each other out.
  • This control is effective for capturing moving images and adding frames. In addition, it is possible to realize this by only changing the driving method without adding an element to the pixel 300 .
  • the level held in the capacitive element 321 and the level held in the capacitive element 322 are opposite between the odd-numbered frame and the even-numbered frame.
  • the polarity of PRNU can be reversed.
  • the column signal processing circuit 260 can suppress deterioration of PRNU by averaging these odd-numbered frames and even-numbered frames.
  • the column signal processing circuit 260 obtains the difference between the reset level and the signal level for each column.
  • the solid-state imaging device 200 of the ninth embodiment differs from that of the sixth embodiment in that whether or not the black spot phenomenon has occurred is determined for each pixel.
  • FIG. 36 is a circuit diagram showing a configuration example of the column signal processing circuit 260 according to the ninth embodiment.
  • a plurality of ADCs 270 and a digital signal processing section 290 are arranged in the column signal processing circuit 260 of the ninth embodiment.
  • a plurality of CDS processing units 291 and a plurality of selectors 292 are arranged in the digital signal processing unit 290 .
  • ADC 270, CDS processing unit 291 and selector 292 are provided for each column.
  • the ADC 270 also includes a comparator 280 and a counter 271 .
  • a comparator 280 compares the level of the vertical signal line 309 with the ramp signal Rmp from the DAC 214 and outputs a comparison result VCO.
  • a comparison result VCO is supplied to the counter 271 and the timing control circuit 212 .
  • Comparator 280 includes selector 281 , capacitive elements 282 and 283 , auto-zero switches 284 and 286 , and comparator 285 .
  • the selector 281 connects either the vertical signal line 309 of the corresponding column or the node of the predetermined reference voltage VREF to the non-inverting input terminal (+) of the comparator 285 according to the input side selection signal selin, connect through
  • the input side selection signal selin is supplied from the timing control circuit 212 .
  • a ramp signal Rmp is input to the inverting input terminal (-) via the capacitive element 283 .
  • the comparator 285 compares the levels of the non-inverting input terminal (+) and the inverting input terminal (-) and outputs the comparison result VCO to the counter 271 .
  • the auto-zero switch 284 short-circuits the non-inverting input terminal (+) and the output terminal of the comparison result VCO according to the auto-zero signal AZ from the timing control circuit 212 .
  • the auto-zero switch 286 short-circuits the inverting input terminal (-) and the output terminal of the comparison result VCO according to the auto-zero signal AZ.
  • the counter 271 counts the count value until the comparison result VCO is inverted, and outputs a digital signal CNT_out indicating the count value to the CDS processing section 291 .
  • the CDS processing unit 291 performs CDS processing on the digital signal CNT_out.
  • the CDS processing unit 291 calculates the difference between the digital signal CNT_out corresponding to the reset level and the digital signal CNT_out corresponding to the signal level, and outputs the difference as CDS_out to the selector 292 .
  • the selector 292 outputs either the CDS-processed digital signal CDS_out or the full-code digital signal FULL as the pixel data of the corresponding column according to the output-side selection signal selout from the timing control circuit 212 .
  • FIG. 37 is a timing chart showing an example of global shutter operation according to the ninth embodiment.
  • the method of controlling the transistors during the global shutter in the ninth embodiment is the same as in the sixth embodiment.
  • the dashed-dotted line in the figure shows the potential variation of the FD 314 when weak sunlight is incident so that the amount of overflowed charge is relatively small.
  • the dotted line in FIG. 3 indicates the potential fluctuation of the FD 314 when strong sunlight is incident so that the amount of overflowed charge is relatively large.
  • the reset level is lowered at timing T3 when the FD reset is completed, but the level is not lowered at this point.
  • the reset level drops completely at timing T3.
  • the signal level is the same as the reset level, and the potential difference between them is "0", so the digital signal after CDS processing is the same as in the dark state and darkens.
  • a phenomenon in which a pixel becomes black even when very high illuminance light such as sunlight is incident is called a black spot phenomenon or blooming.
  • the level of the FD 314 of the pixel where the black dot phenomenon occurs is too low, the operating point of the signal generator 310 cannot be secured, and the current id1 of the current source transistor 316 fluctuates. Since the current source transistor 316 of each pixel is connected to a common power supply and ground, when the current fluctuates in one pixel, the IR drop fluctuation of that pixel affects the sample level of other pixels. end up A pixel where the black dot phenomenon occurs becomes an aggressor, and a pixel whose sample level changes due to that pixel becomes a victim. This results in streaking noise.
  • the black dot phenomenon is less likely to occur in a pixel with a black dot (blooming) because the overflowing charge is discarded to the drain transistor 317 side.
  • the discharge transistor 317 even if the discharge transistor 317 is provided, there is a possibility that part of the charge will flow to the FD 314, and the black spot phenomenon may not be eradicated.
  • the addition of the discharge transistor 317 has the disadvantage that the effective area/charge ratio for each pixel is reduced. Therefore, it is desirable to suppress the black spot phenomenon without using the discharge transistor 317 .
  • the first is adjustment of the clip level of the FD 314 .
  • the second method is to judge whether or not a black dot phenomenon has occurred during reading, and replace the output with a full code when the black dot phenomenon has occurred.
  • the high level of the FD reset signal rst (in other words, the gate of the FD reset transistor 313) in FIG.
  • the difference (ie amplitude) between these high and low levels is set to a value corresponding to the dynamic range.
  • the value is adjusted to a value obtained by adding a margin to that value.
  • the value corresponding to the dynamic range corresponds to the difference between the power supply voltage VDD and the potential of the FD 314 when the digital signal becomes full code.
  • the dynamic range changes depending on the analog gain of the ADC.
  • a low analog gain requires a large dynamic range, while a high analog gain requires a small dynamic range. Therefore, the gate voltage when the FD reset transistor 313 is turned off can be changed according to the analog gain.
  • FIG. 38 is a timing chart showing an example of read operation according to the ninth embodiment.
  • the switching signal ⁇ r becomes high level at the timing T11 immediately after the readout start timing T10
  • the potential of the vertical signal line 309 fluctuates in the pixel on which sunlight is incident.
  • the dashed-dotted line in FIG. 4 indicates the potential fluctuation of the vertical signal line 309 when weak sunlight is incident.
  • a dotted line in the figure indicates the potential fluctuation of the vertical signal line 309 when strong sunlight is incident.
  • the timing control circuit 212 supplies, for example, the input side selection signal selin of "0" to connect the comparator 285 to the vertical signal line 309. During this auto-zero period, the timing control circuit 212 performs auto-zero with the auto-zero signal AZ.
  • the timing control circuit 212 supplies, for example, the input side selection signal selin of "1" within the determination period from timing T12 to timing T13.
  • the input side selection signal selin disconnects the comparator 285 from the vertical signal line 309 and connects it to the node of the reference voltage VREF.
  • This reference voltage VREF is set to the expected value of the level of the vertical signal line 309 when no blooming occurs.
  • Vrst corresponds to, for example, Vreg-Vgs2, where Vgs2 is the gate-source voltage of the rear-stage amplifying transistor 351 .
  • the DAC 214 reduces the level of the ramp signal Rmp from Vrmp_az to Vrmp_sun within the determination period.
  • the reset level Vrst of the vertical signal line 309 is substantially the same as the reference voltage VREF, and the potential of the inverting input terminal (+) of the comparator 285 is autozero. Not much different from time to time.
  • the comparison result VCO becomes high level.
  • the timing control circuit 212 can determine whether blooming has occurred based on whether the comparison result VCO becomes low level within the determination period.
  • the timing control circuit 212 connects the comparator 285 to the vertical signal line 309 after timing T13 after the determination period has elapsed. Further, after the P-phase settling period of timings T13 to T14 has passed, the P-phase is read out during the period of timings T14 to T15. After the D-phase settling period of timings T15 to T19 elapses, the D-phase is read out during the period of timings T19 to T20.
  • the timing control circuit 212 controls the selector 292 with the output side selection signal selout to output the digital signal CDS_out after the CDS processing as it is.
  • the timing control circuit 212 controls the selector 292 by the output side selection signal selout to output the full-code digital signal FULL instead of the digital signal CDS_out after the CDS processing. Let Thereby, the black spot phenomenon can be suppressed.
  • the timing control circuit 212 determines whether or not the black spot phenomenon has occurred based on the comparison result VCO, and outputs the full code when the black spot phenomenon has occurred. , the black spot phenomenon can be suppressed.
  • capacitive elements 321 and 322 and switching transistors 331 and 332 are provided as sample-and-hold circuits, but in this tenth embodiment, capacitors C1 and C2 are provided as sample-and-hold circuits. .
  • FIG. 39 is a circuit diagram showing a configuration example of a pixel according to the tenth embodiment.
  • this pixel 300' includes a sample and hold circuit 330' instead of the sample and hold circuit 330 of the first embodiment.
  • Other configurations of the pixel 300' of the tenth embodiment are the same as those of the pixel 300 of the first embodiment described above.
  • the pixel 300' has capacitances C1 and C2. Capacitor C1 is connected between preceding node 320 and the ground potential. Capacitor C2 is connected between preceding node 320 and succeeding node 340 .
  • Vn (3*kT/C) 1/2 Equation 4
  • k is Boltzmann's constant, and the unit is, for example, Joules per Kelvin (J/K).
  • T is the absolute temperature, and the unit is, for example, Kelvin (K).
  • the unit of Vn is, for example, volts (V), and the unit of C is, for example, farads (F).
  • the switching transistors 331 and 332 of the first embodiment can be eliminated. can.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 40 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an exterior information detection unit 12030, an interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 41 is a diagram showing an example of the installation position of the imaging unit 12031.
  • FIG. 41 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 41 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided in the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the course of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the imaging device 100 in FIG. 1 can be applied to the imaging unit 12031 .
  • the technology according to the present disclosure it is possible to reduce kTC noise and obtain an easier-to-see captured image, thereby reducing driver fatigue.
  • the present technology can also have the following configuration.
  • a signal generation unit that generates a signal based on the charge read from the photoelectric conversion unit; a sample-and-hold circuit that holds the signal generated by the signal generator; a first vertical signal line that transmits a signal read from the sample and hold circuit; a second vertical signal line that transmits the signal generated by the signal generator; a first switch provided between the signal generator and the sample-and-hold circuit;
  • An imaging device comprising: a second switch provided between the signal generator and the second vertical signal line.
  • a first ADC Analog to Digital Converter
  • the imaging device further comprising a second ADC that AD-converts the signal output to the second vertical signal line for each column.
  • a first interface that transmits the signal output from the first ADC to the outside;
  • the imaging apparatus further comprising a second interface that transmits the signal output from the second ADC to the outside.
  • the imaging apparatus further comprising an interface for transmitting the signal output from the first ADC and the signal output from the second ADC to the outside in a time division manner.
  • the imaging device controlling the timing of outputting the signal read from the sample-and-hold circuit to the first vertical signal line and the timing of outputting the signal generated by the signal generator to the second vertical signal line;
  • the imaging device according to any one of (1) to (4), further comprising a vertical scanning circuit.
  • the vertical scanning circuit transmits the signal generated by the signal generator to the second vertical signal line while the signal read from the sample-and-hold circuit is being output to the first vertical signal line.
  • the imaging device according to (5) above for outputting.
  • the vertical scanning circuit causing the sample-and-hold circuit to hold a signal generated by exposure by the global shutter method;
  • the imaging device according to (5) or (6), wherein a signal generated by rolling shutter exposure is output to the second vertical signal line.
  • the signal generated by the signal generator includes at least one of ROI (Region Of Interest) image data, reduced image data, and phase difference data.
  • Imaging device. Any of the above (1) to (9), further comprising a control unit that controls at least one of a global shutter operation and a rolling shutter operation based on a signal transmitted via the second vertical signal line.
  • the imaging device according to any one of the above.
  • the signal generation unit a readout transistor for reading an electric charge from the photoelectric conversion unit; a floating diffusion that holds the charge read by the read transistor; an amplification transistor that generates the signal based on the potential of the floating diffusion; a reset transistor for resetting the charge held in the floating diffusion;
  • the sample and hold circuit is a first capacitive element having one end connected to the first switch; a second capacitive element having one end connected to the first switch; a first switching transistor connected in series with the first capacitive element;
  • the imaging device according to any one of (1) to (10), further comprising a second switching transistor connected in series with the second capacitive element.
  • an output circuit that outputs the signal held by the sample-and-hold circuit to the first vertical signal line; (11) further comprising a post-stage reset transistor for initializing a level of a connection point between the sample-and-hold circuit and the output circuit when both the first and second capacitive elements are disconnected from the output circuit. ).
  • (13) a pixel array section in which pixels provided with sample-and-hold circuits are arranged in the row direction and the column direction; a first output unit that outputs a signal from the sample and hold circuit based on a global shutter operation; a second output unit for outputting from the pixel the signal skipped by the sample-and-hold circuit based on a rolling shutter operation; a first processing unit that processes the signal output from the first output unit; a second processing unit that processes the signal output from the second output unit;
  • An image processing apparatus comprising: a synthesizing unit that synthesizes a signal processed by the first processing unit and a signal processed by the second processing unit.
  • the pixel is a photoelectric conversion unit; a readout transistor for reading an electric charge from the photoelectric conversion unit; a floating diffusion that holds the charge read by the read transistor; an amplification transistor that generates a signal corresponding to the potential of the floating diffusion;
  • the image processing device further comprising a reset transistor that resets the charge held in the floating diffusion.
  • a first switch provided between the amplifying transistor and the sample and hold circuit; further comprising a second switch provided between the amplifying transistor and the second output unit;
  • the sample and hold circuit is a first capacitive element having one end connected to the first switch; a second capacitive element having one end connected to the first switch; a first switching transistor connected in series with the first capacitive element;
  • the image processing device according to (14), further comprising a second switching transistor connected in series with the second capacitive element.
  • the first output unit a first vertical signal line that transmits a signal read from the sample-and-hold circuit in the column direction; a first ADC that AD-converts the signal output to the first vertical signal line for each column; The second output unit a second vertical signal line for transmitting the signal skipped by the sample-and-hold circuit in the column direction;
  • the image processing device according to any one of (13) to (15), further comprising a second ADC that AD-converts the signal output to the second vertical signal line for each column.
  • the image processing device according to any one of (13) to (16), wherein the signal skipped by the sample-and-hold circuit is output from the pixel to the second output unit multiple times within a vertical synchronization period. .
  • imaging device 110 imaging lens 120 recording unit 130 imaging control unit 140 communication unit 200 solid-state imaging device 201 upper pixel chip 202 lower pixel chip 203 circuit chip 211 vertical scanning circuit 212 timing control circuit 213, 214 DAC 220 pixel array section 221 upper pixel array section 222 lower pixel array section 230, 250 load MOS circuit block 251 load MOS transistor 240, 260 column signal processing circuit 261, 270 ADC 262, 290 digital signal processing unit 271 counter 280 comparator 281, 292 selector 282, 283, 321, 322 capacitive element 284, 286 auto-zero switch 285 comparator 291 CDS processing unit 300 pixel 310 signal generation unit 311 photoelectric conversion unit 312 transfer transistor 313 FD reset transistor 314 FD 315 front-stage amplification transistor 316 current source transistor 317 discharge transistor 321, 322 capacitive element 323 front-stage reset transistor 330 sample hold circuit 331, 332 switching transistor 361 global transistor 362 rolling transistor 341 rear-stage reset transistor 350 output circuit 351 rear-stage amplification transistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

特徴データに用いられる画素信号の出力のタイミングの制約を緩和する。　撮像装置は、信号生成部と、サンプルホールド回路と、第１垂直信号線と、第２垂直信号線と、第１スイッチと、第２スイッチとを備える。信号生成部は、光電変換部から読み出された電荷に基づいて信号を生成する。サンプルホールド回路は、信号生成部にて生成された信号をホールドする。第１垂直信号線は、サンプルホールド回路から読み出された信号を伝送する。第２垂直信号線は、信号生成部で生成された信号を伝送する。第１スイッチは、信号生成部とサンプルホールド回路との間に設けられている。第２スイッチは、信号生成部と第２垂直信号線との間に設けられている。

Description

撮像装置、画像処理装置および撮像装置の制御方法
　本技術は、撮像装置に関する。詳しくは、本技術は、グローバルシャッタ動作とローリングシャッタ動作を実施する撮像装置、画像処理装置および撮像装置の制御方法に関する。
　撮像装置では、画素アレイ部の外部にカラムごとにＡＤＣ（Analog to Digital Converter）を配置し、画素信号を１行ずつ順に読み出すカラムＡＤＣ方式において、１行ずつ順に露光を開始するローリングシャッタ方式がある。また、リセットレベルおよび信号レベルを保持させる一対の容量を画素毎に設け、全画素で同時に露光を開始するグローバルシャッタ方式が提案されている（例えば、非特許文献１参照）。
　さらに、ＡＩ（Artificial Intelligence）などを用いた認識に対する需要が高まっており、観賞用途などの高解像度の通常画像とともに、位相差情報に代表される認識用途などの特徴データの出力の要望がある。
Jae-kyu Lee, et al., A 2.1e-Temporal Noise and -105dB Parasitic Light Sensitivity Backside-Illuminated 2.3 μm-Pixel Voltage-Domain Global Shutter CMOS Image Sensor Using High-Capacity DRAM Capacitor Technology, ISSCC 2020.
　しかしながら、上述の従来技術では、特徴データに用いられる画素信号を出力する垂直信号線は、通常画像に用いられる画素信号を出力する垂直信号線と共用される。このため、通常画像に用いられる画素信号の出力に垂直信号線が用いられているときは、特徴データに用いられる画素信号を出力することができず、特徴データに用いられる画素信号の出力のタイミングの制約が大きかった。
　本技術はこのような状況に鑑みて生み出されたものであり、特徴データに用いられる画素信号の出力のタイミングの制約を緩和することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、光電変換部から読み出された電荷に基づいて信号を生成する信号生成部と、前記信号生成部にて生成された信号をホールドするサンプルホールド回路と、前記サンプルホールド回路から読み出された信号を伝送する第１垂直信号線と、前記信号生成部で生成された信号を伝送する第２垂直信号線と、前記信号生成部と前記サンプルホールド回路との間に設けられた第１スイッチと、前記信号生成部と前記第２垂直信号線との間に設けられた第２スイッチとを具備する撮像装置である。これにより、光電変換部から読み出された電荷に基づいて生成された信号と、サンプルホールド回路から読み出された信号とが並列に出力されるという作用をもたらす。
　また、第１の側面は、上記第１垂直信号線に出力された信号をカラムごとにＡＤ変換する第１ＡＤＣ（Analog to Digital Converter）と、上記第２垂直信号線に出力された信号をカラムごとにＡＤ変換する第２ＡＤＣとをさらに具備してもよい。これにより、光電変換部から読み出された電荷に基づいて生成された信号と、サンプルホールド回路から読み出された信号とが並列にＡＤ変換されるという作用をもたらす。
　また、第１の側面は、上記第１ＡＤＣから出力された信号を外部に送信する第１インタフェースと、上記第２ＡＤＣから出力された信号を外部に送信する第２インタフェースとをさらに具備してもよい。これにより、光電変換部から読み出された電荷に基づいて生成された信号と、サンプルホールド回路から読み出された信号とが並列に送信されるという作用をもたらす。
　また、第１の側面は、上記第１ＡＤＣから出力された信号と、上記第２ＡＤＣから出力された信号とを時分割的に外部に送信するインタフェースをさらに具備してもよい。これにより、１つのインタフェースを介し、光電変換部から読み出された電荷に基づいて生成された信号と、サンプルホールド回路から読み出された信号とが送信されるという作用をもたらす。
　また、第１の側面は、上記サンプルホールド回路から読み出された信号を上記第１垂直信号線に出力するタイミングと、上記信号生成部で生成された信号を上記第２垂直信号線に出力するタイミングとを制御する垂直走査回路をさらに具備してもよい。これにより、光電変換部から読み出された電荷に基づいて生成された信号の出力タイミングが、サンプルホールド回路から読み出された信号の出力タイミングと別個に制御されるという作用をもたらす。
　また、第１の側面によれば、上記垂直走査回路は、上記サンプルホールド回路から読み出された信号が上記第１垂直信号線に出力されている間に上記信号生成部で生成された信号を上記第２垂直信号線に出力させてもよい。これにより、光電変換部から読み出された電荷に基づいて生成された信号の出力のリアルタイム性が向上されるという作用をもたらす。
　また、第１の側面によれば、上記垂直走査回路は、グローバルシャッタ方式による露光によって生成された信号を上記サンプルホールド回路にホールドさせ、ローリングシャッタ方式による露光によって生成された信号を上記第２垂直信号線に出力させてもよい。これにより、特徴データを出力させつつ、ローリングシャッタ歪のない高解像度画像が得られるという作用をもたらす。
　また、第１の側面によれば、上記垂直走査回路は、上記信号生成部で生成された信号を垂直同期期間内に上記第２垂直信号線に複数回出力させてもよい。これにより、光電変換部から読み出された電荷に基づいて生成された信号の出力のリアルタイム性が向上されるという作用をもたらす。
　また、第１の側面によれば、上記信号生成部で生成された信号は、ＲＯＩ（Region Of Interest）画像データ、縮小画像データおよび位相差データの少なくとも１つを含んでもよい。これにより、ローリングシャッタ歪のない高解像度画像を出力させつつ、認識用、露光調整用、動き検出用または焦点調整用などの特徴データが出力されるという作用をもたらす。
　また、第１の側面は、上記第２垂直信号線を介して伝送される信号に基づいて、グローバルシャッタ動作およびローリングシャッタ動作のいずれか少なくとも１つを制御する制御部をさらに備えてもよい。これにより、光電変換部から読み出された信号に基づいて撮像制御が実施されるという作用をもたらす。
　また、第１の側面によれば、上記信号生成部は、上記光電変換部から電荷を読み出す読出しトランジスタと、上記読出しトランジスタにて読み出された電荷を保持するフローティングディフュージョンと、上記フローティングディフュージョンの電位に基づいて上記信号を生成する増幅トランジスタと、上記フローティングディフュージョンに保持された電荷をリセットするリセットトランジスタとを備え、上記サンプルホールド回路は、上記第１スイッチに一端が接続された第１容量素子と、上記第１スイッチに一端が接続された第２容量素子と、上記第１容量素子に直列に接続された第１切替トランジスタと、上記第２容量素子に直列に接続された第２切替トランジスタとを備えてもよい。これにより、ボルテージドメイン方式のサンプルホールド回路が使用されるという作用をもたらす。
　また、第１の側面は、前記サンプルホールド回路にホールドされた信号を前記第１垂直信号線に出力する出力回路と、前記第１および第２の容量素子の両方が前記出力回路から切り離されたときに前記サンプルホールド回路と前記出力回路との接続点のレベルを初期化する後段リセットトランジスタとをさらに具備してもよい。これにより、リセットノイズのレベルは、第１および第２の容量素子が切り離された時の寄生容量に応じたレベルに設定されるという作用をもたらす。
　また、第２の側面は、サンプルホールド回路が設けられた画素がロウ方向およびカラム方向に配列された画素アレイ部と、グローバルシャッタ動作に基づいて上記サンプルホールド回路から信号を出力する第１出力部と、ローリングシャッタ動作に基づいて上記サンプルホールド回路がスキップされた信号を上記画素から出力する第２出力部と、上記第１出力部から出力された信号を処理する第１処理部と、上記第２出力部から出力された信号を処理する第２処理部と、上記第１処理部に処理された信号と、上記第２処理部に処理された信号とを合成する合成部とを具備する画像処理装置である。これにより、ローリングシャッタ動作に基づいて得られた特徴データに基づいて、ローリングシャッタ歪が除去された画像が加工されるという作用をもたらす。
　また、第２の側面によれば、上記画素は、光電変換部と、上記光電変換部から電荷を読み出す読出しトランジスタと、上記読出しトランジスタにて読み出された電荷を保持するフローティングディフュージョンと、上記フローティングディフュージョンの電位に応じた信号を生成する増幅トランジスタと、上記フローティングディフュージョンに保持された電荷をリセットするリセットトランジスタとを備えてもよい。これにより、画像信号および特徴データが各画素から生成されるという作用をもたらす。
　また、第２の側面は、上記増幅トランジスタと上記サンプルホールド回路との間に設けられた第１スイッチと、上記増幅トランジスタと上記第２出力部との間に設けられた第２スイッチとをさらに備え、上記サンプルホールド回路は、上記第１スイッチに一端が接続された第１容量素子と、上記第１スイッチに一端が接続された第２容量素子と、上記第１容量素子に直列に接続された第１切替トランジスタと、上記第２容量素子に直列に接続された第２切替トランジスタとを備えてもよい。これにより、ローリングシャッタ動作に基づいてサンプルホールド回路がスキップされた信号が出力されるという作用をもたらす。
　また、第２の側面によれば、上記第１出力部は、上記サンプルホールド回路から読み出された信号を上記カラム方向に伝送する第１垂直信号線と、上記第１垂直信号線に出力された信号をカラムごとにＡＤ変換する第１ＡＤＣとを備え、上記第２出力部は、上記サンプルホールド回路がスキップされた信号を上記カラム方向に伝送する第２垂直信号線と、上記第２垂直信号線に出力された信号をカラムごとにＡＤ変換する第２ＡＤＣとを備えてもよい。これにより、光電変換部から読み出された電荷に基づいて生成された信号と、サンプルホールド回路から読み出された信号とが並列にＡＤ変換されるという作用をもたらす。
　また、第２の側面によれば、上記サンプルホールド回路がスキップされた信号は、垂直同期期間内に上記画素から上記第２出力部に複数回出力されてもよい。これにより、ローリングシャッタ動作に基づいてサンプルホールド回路がスキップされた信号の出力のリアルタイム性が向上されるという作用をもたらす。
　また、第２の側面によれば、上記画素から上記第２出力部に出力される信号は、ＲＯＩ画像データ、縮小画像データおよび位相差データの少なくとも１つを含んでもよい。これにより、ローリングシャッタ歪のない高解像度画像を出力させつつ、認識用、露光調整用、動き検出用または焦点調整用などの特徴データが出力されるという作用をもたらす。
　また、第２の側面は、上記第２処理部にて処理された信号に基づいて上記画素アレイ部を制御する制御部をさらに備えてもよい。これにより、光電変換部から読み出された信号に基づいて画素アレイ部が制御されるという作用をもたらす。
　また、第３の側面は、画素に設けられた光電変換部から読み出された電荷に基づいて信号を生成する手順と、上記画素内で生成された信号を上記画素内にホールドする手順と、上記画素内にホールドされた信号を出力する手順と、上記画素内で生成された信号を、上記画素内にホールドされた信号の出力の期間内に出力する手順とを具備する撮像装置の制御方法である。これにより、光電変換部から読み出された電荷に基づいて生成された信号と、画素内にホールドされた信号とが並列に出力されるという作用をもたらす。
第１の実施の形態に係る撮像装置の構成例を示すブロック図である。 第１の実施の形態に係る固体撮像素子の構成例を示すブロック図である。 第１の実施の形態に係る画素の構成例を示す図である。 第１の実施の形態に係る画素回路の構成例を示す図である。 第１の実施の形態に係るカラム信号処理回路および負荷ＭＯＳ回路ブロックの構成例を示すブロック図である。 第１の実施の形態に係る撮像装置の動作例を示す図である。 第１の実施の形態に係る撮像装置の読出し動作例を示すタイミングチャートである。 第１の実施の形態に係る通常画像データと特徴データの第１の例を示す図である。 第１の実施の形態に係る通常画像データと特徴データの第２の例を示す図である。 第１の実施の形態に係る通常画像データと特徴データの第３の例を示す図である。 第１の実施の形態に係る位相差データの読出しに用いられる像面位相差画素の配置例を示す図である。 第１の実施の形態に係る通常画像データと特徴データの第４の例を示す図である。 第２の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。 第３の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。 第３の実施の形態に係る画像処理装置のデータ送信時のフォーマットの一例を示す図である。 第４の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。 第５の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。 第６の実施の形態に係る画素の構成例を示す回路図である。 第６の実施の形態に係るグローバルシャッタ動作の一例を示すタイミングチャートである。 第６の実施の形態に係る読出し動作の一例を示すタイミングチャートである。 第６の実施の形態に係る読出し動作の別の例を示すタイミングチャートである。 第６の実施の形態に係るリセットレベルの読出しのときと、後段ノードの初期化のときとのそれぞれの画素の状態の一例を示す図である。 第６の実施の形態に係る信号レベルの読出しのときの画素の状態の一例を示す図である。 第６の実施の形態の第１の変形例における画素の構成例を示す回路図である。 第６の実施の形態の第１の変形例におけるグローバルシャッタ動作の一例を示すタイミングチャートである。 第６の実施の形態の第１の変形例における読出し動作の一例を示すタイミングチャートである。 第６の実施の形態の第２の変形例における固体撮像素子の積層構造の一例を示す図である。 第６の実施の形態の第２の変形例における画素の構成例を示す回路図である。 第６の実施の形態の第３の変形例における固体撮像素子の積層構造の一例を示す図である。 第７の実施の形態に係る画素の構成例を示す回路図である。 第７の実施の形態に係るグローバルシャッタ動作の一例を示すタイミングチャートである。 第８の実施の形態に係る奇数フレームのグローバルシャッタ動作の一例を示すタイミングチャートである。 第８の実施の形態に係る奇数フレームの読出し動作の一例を示すタイミングチャートである。 第８の実施の形態に係る偶数フレームのグローバルシャッタ動作の一例を示すタイミングチャートである。 第８の実施の形態に係る偶数フレームの読出し動作の一例を示すタイミングチャートである。 第９の実施の形態に係るカラム信号処理回路の構成例を示す回路図である。 第９の実施の形態に係るグローバルシャッタ動作の一例を示すタイミングチャートである。 第９の実施の形態に係る読出し動作の一例を示すタイミングチャートである。 第１０の実施の形態に係る画素の構成例を示す回路図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（通常画像データと特徴データを並列に読み出す例）
　２．第２の実施の形態（通常画像データを出力するインタフェースと特徴データを出力するインタフェースとを別個に設けた例）
　３．第３の実施の形態（通常画像データを出力するインタフェースと特徴データを出力するインタフェースとを共有した例）
　４．第４の実施の形態（撮像装置側で特徴データを演算処理し、固体撮像素子を制御する例）
　５．第５の実施の形態（通常画像データと特徴データを合成する例）
　６．第６の実施の形態（後段リセットトランジスタを追加し、第１および第２の容量素子に画素信号を保持させる例）
　７．第７の実施の形態（排出トランジスタを追加し、第１および第２の容量素子に画素信号を保持させる例）
　８．第８の実施の形態（第１および第２の容量素子に画素信号を保持させ、フレームごとに保持させるレベルを入れ替える例）
　９．第９の実施の形態（第１および第２の容量素子に画素信号を保持させ、読出しの際に前段のソースフォロワをオフ状態にする例）
　１０．第１０の実施の形態（前段ノードと接地端子との間に挿入された第１の容量素子と、前段ノードと後段ノードとの間に挿入された第２の容量素子を設けた例）
　１１．移動体への応用例
　＜１．第１の実施の形態＞
　図１は、第１の実施の形態に係る撮像装置の構成例を示すブロック図である。
　同図において、撮像装置１００は、入射光に基づいて画像データおよび特徴データを生成する。撮像装置１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０、撮像制御部１３０および通信部１４０を備える。撮像装置１００としては、デジタルカメラや、撮像機能を持つ電子装置（スマートフォンやパーソナルコンピュータなど）が想定される。
　固体撮像素子２００は、撮像制御部１３０の制御に従って、画像データおよび特徴データを生成する。固体撮像素子２００は、サンプルホールド回路を用いたグローバルシャッタ動作（以下、ＧＳ動作と言う）およびサンプルホールド回路をスキップしたローリングシャッタ動作（以下、ＲＳ動作と言う）を行う。ボルテージドメイン方式のサンプルホールド回路を用いてもよい。このとき、固体撮像素子２００は、ＧＳ動作に基づいて通常画像データを生成し、ＲＳ動作に基づいて特徴データを生成することができる。特徴データは、例えば、ＲＯＩ（Region Of Interest）画像データ、縮小画像データおよび位相差データの少なくとも１つを含むことができる。このとき、一部の画素のデータを特徴データとして読み出すことができる。
　撮像レンズ１１０は、被写体からの光を集光して固体撮像素子２００に導く。撮像制御部１３０は、固体撮像素子２００を制御して画像データおよび特徴データを生成させる。この撮像制御部１３０は、例えば、垂直同期信号ＸＶＳを含む撮像制御信号を固体撮像素子２００に信号線１３９を介して供給する。なお、垂直同期信号ＸＶＳは、撮像のタイミングを示す信号であり、一定の周波数（６０ヘルツなど）の周期信号が垂直同期信号ＸＶＳとして用いられる。
　記録部１２０は、画像データを記録する。記録部１２０は、ＳＳＤ（Solid State Drivet）などの不揮発性半導体記憶装置でもよいし、ＳＤカードなどの可搬性記憶媒体でもよい。通信部１４０は、特徴データを外部に送信する。通信部１４０は、ＷｉＦｉや携帯電話網などを利用可能な無線通信機能を備えてもよいし、ＢｌｕｅＴｈｏｏｔｈなどの近距離通信機能を備えてもよい。なお、撮像装置１００は、画像データを表示する表示部を備えてもよい。固体撮像素子２００は、信号線２０９を介して画像データを記録部１２０に供給する。固体撮像素子２００は、信号線２０８を介して特徴データを通信部１４０に供給する。
　図２は、第１の実施の形態に係る固体撮像素子の構成例を示すブロック図である。
　同図において、固体撮像素子２００は、垂直走査回路２１１と、画素アレイ部２２０と、タイミング制御回路２１２とを備える。また、固体撮像素子２００は、垂直信号線３０８および３０９と、ＤＡＣ（Digital to Analog Converter）２１３および２１４と、負荷ＭＯＳ回路ブロック２３０および２５０と、カラム信号処理回路２４０および２６０とを備える。
　以下、水平方向に配列された画素３００の集合を「ロウ」と称し、ロウに垂直な方向に配列された画素３００の集合を「カラム」と称する。
　画素アレイ部２２０には、二次元格子状に複数の画素３００が配列される。各画素３００は、入射光を光電変換してアナログの画素信号および特徴データを生成する。各画素３００は、光電変換部から読み出された電荷に基づいて生成された信号をホールドするサンプルホールド回路を備える。各画素３００は、カラムごとに垂直信号線３０８および３０９に接続される。各画素３００は、サンプルホールド回路を用いたＧＳ動作およびサンプルホールド回路をスキップしたＲＳ動作を行う。ＲＳ動作では、サンプルホールド回路は使用されない。各画素３００は、ＧＳ動作に基づいて読出した画像信号を垂直信号線３０９に出力し、ＲＳ動作に基づいて読出した特徴データを垂直信号線３０８に出力する。垂直信号線３０９は、ＧＳ動作に基づいて出力された信号をカラム方向に伝送する。垂直信号線３０８は、ＲＳ動作に基づいて出力された信号をカラム方向に伝送する。固体撮像素子２００内の各回路は、例えば、単一の半導体チップに設けてもよい。なお、垂直信号線３０９は、特許請求の範囲に記載の第１出力部の一例である。垂直信号線３０８は、特許請求の範囲に記載の第２出力部の一例である。
　タイミング制御回路２１２は、撮像制御部１３０からの垂直同期信号ＸＶＳに同期して垂直走査回路２１１と、ＤＡＣ２１３および２１４と、カラム信号処理回路２４０および２６０とのそれぞれの動作タイミングを制御する。
　各ＤＡＣ２１３および２１４は、ＤＡ（Digital to Analog）変換により、のこぎり波状のランプ信号を生成する。ＤＡＣ２１３は、生成したランプ信号をカラム信号処理回路２４０に供給し、ＤＡＣ２１４は、生成したランプ信号をカラム信号処理回路２６０に供給する。
　垂直走査回路２１１は、ＧＳ方式により全ての画素３００を一斉に露光させ、ＲＳ方式により画素をロウごとに露光させる。また、垂直走査回路２１１は、画素アレイ部２２０の全ての画素３００を選択して駆動し、アナログの画素信号をサンプルホールド回路にホールドさせる。また、垂直走査回路２１１は、サンプルホールド回路のロウを順に選択して駆動し、サンプルホールド回路にホールドされたアナログの画素信号を垂直信号線３０９に出力させる。また、垂直走査回路２１１は、画素アレイ部２２０のロウを順に選択して駆動し、光電変換部から読み出された電荷に基づいて生成された特徴データを垂直信号線３０８に出力させる。
　各負荷ＭＯＳ回路ブロック２３０および２５０には、定電流を供給するＭＯＳトランジスタがカラムごとに設けられる。垂直信号線３０９に出力された画素信号は、負荷ＭＯＳ回路ブロック２５０を介してカラム信号処理回路２６０に供給される。垂直信号線３０８に出力された特徴データは、負荷ＭＯＳ回路ブロック２３０を介してカラム信号処理回路２４０に供給される。
　カラム信号処理回路２６０は、画素信号に対してＡＤ変換処理やＣＤＳ（Correlated Double Sampling）処理などの信号処理をカラムごとに実行する。カラム信号処理回路２６０は、処理後の信号からなる画像データを記録部１２０に供給する。カラム信号処理回路２４０は、特徴データに対してＡＤ変換処理やＣＤＳ処理などの信号処理をカラムごとに実行する。カラム信号処理回路２４０は、処理後の信号からなる特徴データを通信部１４０に供給する。
　図３は、第１の実施の形態に係る画素の構成例を示す図である。
　同図において、画素３００は、信号生成部３１０と、グローバルトランジスタ３６１と、ローリングトランジスタ３６２と、サンプルホールド回路３３０と、出力回路３５０とを備える。なお、グローバルトランジスタ３６１は、特許請求の範囲に記載の第１スイッチの一例である。ローリングトランジスタ３６２は、特許請求の範囲に記載の第２スイッチの一例である。
　信号生成部３１０は、光電変換部から読み出された電荷に基づいて信号を生成する。信号生成部３１０は、光電変換部３１１、転送トランジスタ３１２、ＦＤ（Floating Diffusion）リセットトランジスタ３１３、ＦＤ３１４、前段増幅トランジスタ３１５および電流源トランジスタ３１６を備える。
　光電変換部３１１は、光電変換により電荷を生成する。光電変換部３１１は、例えば、フォトダイオードである。転送トランジスタ３１２は、垂直走査回路２１１からの転送信号ｔｒｇに従って、光電変換部３１１からＦＤ３１４へ電荷を転送する。
　ＦＤリセットトランジスタ３１３は、垂直走査回路２１１からのＦＤリセット信号ｒｓｔに従って、ＦＤ３１４から電荷を引き抜いて初期化する。ＦＤ３１４は、電荷を蓄積し、電荷量に応じた電圧を生成する。前段増幅トランジスタ３１５は、ＦＤ３１４の電圧レベルを増幅した信号を生成する。
　また、ＦＤリセットトランジスタ３１３および前段増幅トランジスタ３１５のドレインは、電源電圧ＶＤＤに接続される。電流源トランジスタ３１６は、前段増幅トランジスタ３１５のソースに接続される。電流源トランジスタ３１６は、垂直走査回路２１１の制御に従って、電流ｉｄ１を供給する。
　グローバルトランジスタ３６１は、信号生成部３１０とサンプルホールド回路３３０との間に接続される。グローバルトランジスタ３６１は、垂直走査回路２１１からの切替信号ＳＷ１に従って、オンとオフを切り替える。ローリングトランジスタ３６２は、信号生成部３１０と垂直信号線３０８との間に接続される。ローリングトランジスタ３６２は、垂直走査回路２１１からの切替信号ＳＷ２に従って、オンとオフを切り替える。
　サンプルホールド回路３３０は、信号生成部３１０にて生成された信号をホールドする。サンプルホールド回路３３０は、容量素子３２１および３２２と、切替トランジスタ３３１および３３２とを備える。容量素子３２１は、ＦＤ３１４のリセットレベルに応じた電荷を保持する。容量素子３２２は、ＦＤ３１４の信号レベルに応じた電荷を保持する。切替トランジスタ３３１は、容量素子３２１と出力回路３５０との間の経路を開閉する。切替トランジスタ３３２は、容量素子３２２と出力回路３５０との間の経路を開閉する。
　出力回路３５０は、サンプルホールド回路３３０にホールドされた信号を増幅して垂直信号線３０９に出力する。出力回路３５０は、後段増幅トランジスタ３５１および後段選択トランジスタ３５２を備える。後段増幅トランジスタ３５１は、サンプルホールド回路３３０にホールドされた信号を増幅する。後段選択トランジスタ３５２は、垂直走査回路２１１からの後段選択信号ｓｅｌｂに従って、後段増幅トランジスタ３５１により増幅された信号を画素信号として垂直信号線３０９に出力する。
　なお、画素３００内の各種のトランジスタ（転送トランジスタ３１２など）として、例えば、ｎＭＯＳ（n-channel Metal Oxide Semiconductor）トランジスタが用いられる。
　そして、ＧＳ動作では、グローバルトランジスタ３６１がオンすることにより、グローバルシャッタ後の露光期間に光電変換部３１１に蓄積された電荷が全画素から読み出され、サンプルホールド回路３３０にホールドされる（Ｐ１）。そして、切替トランジスタ３３１がオンすることにより、容量素子３２１に保持されたリセットレベルに応じた信号が垂直信号線３０９にロウごとに出力される。その後、切替トランジスタ３３２がオンすることにより、容量素子３２２に保持された信号レベルに応じた信号が垂直信号線３０９にロウごとに出力される（Ｐ２）。
　一方、ＲＳ動作では、ローリングトランジスタ３６２がオンすることにより、ローリングシャッタ後の露光期間に光電変換部３１１に蓄積された電荷がロウごとに読み出され、垂直信号線３０８に出力される（Ｐ３）。このＲＳ動作における露光および信号の読出しは、ＧＳ動作におけるサンプルホールド回路３３０からの信号の読出し中に繰り返し行うことができる。
　図４は、第１の実施の形態に係る画素回路の構成例を示す図である。
　同図において、サンプルホールド回路３３０は、前段ノード３２０および後段ノード３４０を備える。前段ノード３２０は、グローバルトランジスタ３６１のソースに接続される。後段ノード３４０は、後段増幅トランジスタ３５１のゲートに接続される。各容量素子３２１および３２２の一端は、前段ノード３２０に共通に接続される。各容量素子３２１および３２２の他端は、切替トランジスタ３３１および３３２をそれぞれ介し、後段ノード３４０に共通に接続される。
　切替トランジスタ３３１は、垂直走査回路２１１からの切替信号Φｒに従って、容量素子３２１と後段ノード３４０との間の経路を開閉する。切替トランジスタ３３２は、垂直走査回路２１１からの切替信号Φｓに従って、容量素子３２２と後段ノード３４０との間の経路を開閉する。
　ＧＳ動作において、垂直走査回路２１１は、露光開始時に全画素へハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、光電変換部３１１が初期化され、グローバルシャッタ方式の露光が全画素同時に開始される。
　そして、垂直走査回路２１１は、露光終了の直前に、全画素について切替信号ΦｒおよびＳＷ１をハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のリセットレベルに応じたレベルが容量素子３２１に保持される。
　次に、垂直走査回路２１１は、露光終了時に全画素について切替信号ΦｓおよびＳＷ１をハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、グローバルシャッタ後の露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４の信号レベルに応じたレベルが容量素子３２２に保持される。
　次に、垂直走査回路２１１は、露光終了後にロウを順に選択して、そのロウのリセットレベルおよび信号レベルをサンプルホールド回路３３０から垂直信号線３０９に順に出力させる。垂直走査回路２１１は、リセットレベルを出力させる際に、選択したロウの後段選択信号ｓｅｌｂをハイレベルにしつつ、ハイレベルの切替信号Φｒを所定期間に亘って供給する。これにより、容量素子３２１が後段ノード３４０に接続され、リセットレベルが後段選択トランジスタ３５２および垂直信号線３０９を順次介して読み出される。
　次に、垂直走査回路２１１は、信号レベルを出力させる際に、選択したロウの後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの切替信号Φｓを所定期間に亘って供給する。これにより、容量素子３２２が後段ノード３４０に接続され、信号レベルが後段選択トランジスタ３５２および垂直信号線３０９を順次介して読み出される。
　一方、ＲＳ動作において、垂直走査回路２１１は、露光開始時に同一ロウの画素へハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、光電変換部３１１が初期化され、ローリングシャッタ方式の露光がロウごとに開始される。
　そして、垂直走査回路２１１は、露光終了の直前に、同一ロウの画素について切替信号ＳＷ２をハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のリセットレベルに応じた信号が垂直信号線３０８を介してロウごとに読み出される。
　次に、垂直走査回路２１１は、露光終了時に同一ロウの画素について切替信号ＳＷ２をハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、ローリングシャッタ後の露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４の信号レベルに応じた信号が垂直信号線３０８を介してロウごとに読み出される。
　図５は、第１の実施の形態に係る負荷ＭＯＳ回路ブロック２５０およびカラム信号処理回路２６０の構成例を示すブロック図である。
　負荷ＭＯＳ回路ブロック２５０には、カラムごとに垂直信号線３０９が配線される。カラム数をＩ（Ｉは、整数）とすると、Ｉ本の垂直信号線３０９が配線される。また、垂直信号線３０９のそれぞれには、一定の電流ｉｄ２を供給する負荷ＭＯＳトランジスタ２５１が接続される。
　カラム信号処理回路２６０には、複数のＡＤＣ２６１とデジタル信号処理部２６２とが配置される。ＡＤＣ２６１は、カラムごとに配置される。カラム数をＩとすると、Ｉ個のＡＤＣ２６１が配置される。
　ＡＤＣ２６１は、ＤＡＣ２１４からのランプ信号Ｒｍｐを用いて、対応するカラムからのアナログの画素信号をデジタル信号に変換する。このＡＤＣ２６１は、デジタル信号をデジタル信号処理部２６２に供給する。例えば、ＡＤＣ２６１として、コンパレータおよびカウンタを備えるシングルスロープ型のＡＤＣが配置される。
　デジタル信号処理部２６２は、カラムごとのデジタル信号のそれぞれに対して、ＣＤＳ処理などの所定の信号処理を行う。デジタル信号処理部２６２は、処理後のデジタル信号からなる画像データを記録部１２０に供給する。
　なお、図２の負荷ＭＯＳ回路ブロック２３０およびカラム信号処理回路２４０についても、負荷ＭＯＳ回路ブロック２５０およびカラム信号処理回路２６０と同様に構成することができる。ただし、負荷ＭＯＳ回路ブロック２３０には、カラムごとに垂直信号線３０８が配線される。カラム数をＩとすると、負荷ＭＯＳ回路ブロック２３０には、Ｉ本の垂直信号線３０８が配線される。なお、カラム信号処理回路２６０に設けられるＡＤＣ２６１は、特許請求の範囲に記載の第１出力部の一例である。カラム信号処理回路２４０に設けられるＡＤＣは、特許請求の範囲に記載の第２出力部の一例である。
　図６は、第１の実施の形態に係る撮像装置の動作例を示す図である。
　同図において、ＧＳ動作では、グローバルシャッタＧＳのタイミングで全画素の露光が開始され、露光量に応じた電荷が全画素の光電変換部３１１に蓄積される。次に、各画素の光電変換部３１１に蓄積された電荷に応じた信号が容量転送ＣＴのタイミングでサンプルホールド回路３３０にホールドされる。次に、サンプルホールド回路３３０にホールドされた信号は容量読出しＧＡのタイミングでロウごとに順次読み出され、通常画像データＧＤとして垂直信号線３０９に出力される。
　一方、ＲＳ動作では、容量読出しＧＡの期間内において、ローリングシャッタＲＳ１のタイミングでロウごとに露光が開始され、露光量に応じた電荷が各画素の光電変換部３１１に蓄積される。次に、各画素の光電変換部３１１に蓄積された電荷に応じた信号は、ローリング読出しＲＥ１のタイミングでロウごとに順次読み出され、特徴データＲＤ１として垂直信号線３０８に出力される。
　また、ＲＳ動作では、ＧＳ動作の容量読出しＧＡの期間内において、ローリングシャッタＲＳ１後にローリングシャッタＲＳ２が実施される。このとき、ローリングシャッタＲＳ２のタイミングでロウごとに露光が開始され、露光量に応じた電荷が各画素の光電変換部３１１に蓄積される。次に、各画素の光電変換部３１１に蓄積された電荷に応じた信号は、ローリング読出しＲＥ２のタイミングでロウごとに読み出され、特徴データＲＤ２として垂直信号線３０８に出力される。
　なお、ローリングシャッタＲＳ２の終了のタイミングは、容量読出しＧＡの期間の経過後であってもよい。また、２フレーム以上の撮像を実施する場合、２フレーム目のグローバルシャッタの開始のタイミングの前に、１フレーム目の容量読出しとローリングシャッタ方式による露光とを終了させる必要がある。
　また、特徴データＲＤ１およびＲＤ２は、互いに種類が異なってもよいし、互いに種類が等しくてもよい。例えば、特徴データＲＤ１およびＲＤ２は縮小画像データでもよいし、特徴データＲＤ１はＲＯＩ画像データ、特徴データＲＤ２は縮小画像データでもよいし、特徴データＲＤ１はＲＯＩ画像データ、特徴データＲＤ２は位相差データでもよい。
　図７は、第１の実施の形態に係る撮像装置の読出し動作例を示すタイミングチャートである。なお、同図におけるａは、ＧＳ動作およびＲＳ動作のタイミングを示す図である。同図におけるｂは、ＧＳ動作の露光のタイミングを示す図である。同図におけるｃは、ＧＳ動作の読出しのタイミングを示す図である。同図におけるｄは、ＲＳ動作の露光および読出しのタイミングを示す図である。ここで、同図のｒｓｔ［ｎ］、ｔｒｇ［ｎ］、ｓｅｌｂ［ｎ］およびＳＷ２［ｎ］における［ｎ］は、Ｎロウのうちｎロウ目の画素を示す。ｒｓｔ［１：Ｎ］ｔｒｇ［１：Ｎ］およびＳＷ１［１：Ｎ］における［１：Ｎ］は、１乃至Ｎロウ目の画素を示す。Ｎは全ロウ数を示す整数であり、ｎは、１乃至Ｎの整数である。
　同図におけるａおよびｂにおいて、ＧＳ動作では、垂直走査回路２１１は、露光期間ＧＫの開始時に全画素へハイレベルのＦＤリセット信号ｒｓｔ［１：Ｎ］および転送信号ｔｒｇ［１：Ｎ］を供給する。このとき、垂直走査回路２１１は、全画素について切替信号ＳＷ１［１：Ｎ］およびＳＷ２［１：Ｎ］をローレベルに維持する。これにより、光電変換部３１１が初期化され、ＧＳ動作における露光期間ＧＫが開始される。
　そして、垂直走査回路２１１は、露光期間ＧＫの終了の直前に、全画素について切替信号ΦｒおよびＳＷ１［１：Ｎ］をハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔ［１：Ｎ］を供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のリセットレベルに応じた信号が容量素子３２１に保持される。
　次に、垂直走査回路２１１は、露光期間ＧＫの終了時に全画素について切替信号ΦｓおよびＳＷ１［１：Ｎ］をハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇ［１：Ｎ］を供給する。これにより、グローバルシャッタ後の露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４の信号レベルに応じた信号が容量素子３２２に保持される。
　次に、同図におけるａおよびｃに示すように、垂直走査回路２１１は、露光期間ＧＫの終了後にロウを順に選択して、そのロウのリセットレベルおよび信号レベルをサンプルホールド回路３３０から垂直信号線３０９に順に出力させる。垂直走査回路２１１は、リセットレベルを出力させる際に、選択したロウの後段選択信号ｓｅｌｂ［ｎ］をハイレベルにしつつ、ハイレベルの切替信号Φｒを所定期間に亘って供給する。このとき、垂直走査回路２１１は、全画素について切替信号ＳＷ１［１：Ｎ］およびＳＷ２［１：Ｎ］をローレベルに維持する。これにより、容量素子３２１が後段ノード３４０に接続され、リセットレベルが垂直信号線３０９に読み出される。
　次に、垂直走査回路２１１は、信号レベルを出力させる際に、選択したロウの後段選択信号ｓｅｌｂ［ｎ］をハイレベルにしたままで、ハイレベルの切替信号Φｓを所定期間に亘って供給する。このとき、垂直走査回路２１１は、全画素について切替信号ＳＷ１［１：Ｎ］およびＳＷ２［１：Ｎ］をローレベルに維持する。これにより、容量素子３２２が後段ノード３４０に接続され、信号レベルが垂直信号線３０９に読み出される。
　一方、同図におけるａおよびｄに示すように、ＲＳ動作において、垂直走査回路２１１は、露光期間ＲＫ１の開始時に同一ロウの画素へハイレベルのＦＤリセット信号ｒｓｔ［ｎ］および転送信号ｔｒｇ［ｎ］を供給する。これにより、光電変換部３１１が初期化され、露光期間ＲＫ１がロウごとに開始される。
　そして、垂直走査回路２１１は、露光期間ＲＫ１の終了の直前に、同一ロウの画素について切替信号ＳＷ２［ｎ］をハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔ［ｎ］を供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のリセットレベルに応じた信号が垂直信号線３０８にロウごとに読み出される。
　次に、垂直走査回路２１１は、露光期間ＲＫ１の終了時に同一ロウの画素について切替信号ＳＷ２［ｎ］をハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇ［ｎ］を供給する。これにより、露光期間ＲＫ１の露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４の信号レベルに応じた信号が垂直信号線３０８にロウごとに読み出される。
　垂直走査回路２１１は、ＧＳ動作の容量読出しＧＡの期間内において、露光期間ＲＫ１後の露光期間ＲＫ２についても同様に動作することができる。
　図８は、第１の実施の形態に係る通常画像データと特徴データの第１の例を示す図である。なお、同図におけるａは、通常画像データＧＤを示し、同図におけるｂは、特徴データＲＤ１の第１の例を示す。
　同図におけるａにおいて、通常画像データＧＤは、例えば、全画素データである。通常画像データＧＤは、ＧＳ動作に基づいて生成することができる。通常画像データＧＤは、静止画データでもよいし、動画データでもよい。通常画像データＧＤは、例えば、観賞用として用いることができる。
　同図におけるｂにおいて、特徴データＲＤ１の第１の例は、ＲＯＩ画像データＥＸ１である。同図におけるｂでは、同図におけるａの黒枠で囲まれた領域をＲＯＩとして設定した例を示した。ＲＯＩ画像データＥＸ１では、ＡＤ変換のビット数を減らしてもよい。ＲＯＩ画像データＥＸ１は、例えば、認識用や露光調整用として用いることができる。
　図９は、第１の実施の形態に係る通常画像データと特徴データの第２の例を示す図である。なお、同図におけるａは、通常画像データＧＤを示し、同図におけるｂは、特徴データＲＤ１の第２の例を示す。
　同図におけるａの通常画像データＧＤは、図８におけるａの通常画像データＧＤと同様である。
　同図におけるｂにおいて、特徴データＲＤ１の第２の例は、縮小画像データＥＸ２である。縮小画像データＥＸ２の画角は、通常画像データＧＤの画角と等しくてもよい。縮小画像データＥＸ２では、ＡＤ変換の分解能を減らしてもよい。縮小画像データＥＸ２は、例えば、認識用や動き検出用として用いることができる。縮小画像データＥＸ２は、ライブビュー用に用いてもよい。
　図１０は、第１の実施の形態に係る通常画像データと特徴データの第３の例を示す図である。なお、同図におけるａは、通常画像データＧＤを示し、同図におけるｂは、特徴データＲＤ１の第３の例を示す。
　同図におけるａの通常画像データＧＤは、図８におけるａの通常画像データＧＤと同様である。
　同図におけるｂにおいて、特徴データＲＤ１の第３の例は、位相差データＥＸ３である。位相差データＥＸ３は、例えば、奥行き情報や焦点調整用として用いることができる。
　図１１は、第１の実施の形態に係る位相差データの読出しに用いられる像面位相差画素の配置例を示す図である。
　同図において、画素アレイ部２２０には、ロウ方向およびカラム方向に画素３００が配置される。同図では、画素３００の配置としてベイヤ配列を例にとった。このとき、縦横２×２の画素３００のうち対角方向に緑色画素Ｐｇが配置され、青色画素Ｐｂと赤色画素Ｐｒが１画素ずつ配置される。
　また、画素アレイ部２２０には、位相差画素Ｐｓ１およびＰｓ２のペアがベイヤ配列内に離散的に配置される。位相差画素Ｐｓ１およびＰｓ２は、互いに近接して画素アレイ部２２０に配置される。各位相差画素Ｐｓ１およびＰｓ２は、遮光膜５１１および５２１で覆われる。各遮光膜５１１および５２１には、スリット５１２および５２２が形成される。スリット５１２および５２２は、互いに反対方向にずれた位置に配置される。
　ＲＳ動作において位相差データを特徴データとして読み出す場合、位相差画素Ｐｓ１およびＰｓ２などの位相差画素の位相差データのみを読み出せばよい。なお、特徴データとして位相差データが用いられない場合、位相差画素Ｐｓ１およびＰｓ２は不要である。また、位相差画素Ｐｓ１およびＰｓ２の回路は、他の画素の回路（図３の回路）と同様である。また、位相差画素Ｐｓ１およびＰｓ２には、カラーフィルタが設けられる。
　図１２は、第１の実施の形態に係る通常画像データと特徴データの第４の例を示す図である。なお、同図におけるａは、通常画像データＧＤを示し、同図におけるｄは、特徴データＲＤ１の第４の例を示す。
　同図におけるａの通常画像データＧＤは、図８におけるａの通常画像データＧＤと同様である。
　同図におけるｂにおいて、特徴データＲＤ１の第４の例は、全画素データＥＸ４である。全画素データＥＸ４は、静止画データでもよいし、動画データでもよい。全画素データＥＸ４は、例えば、認識用や動き検出用として用いることができる。
　グローバルシャッタ動作では、ローリングシャッタ歪のない通常画像データＧＤを生成することができる。一方、ローリングシャッタ動作では、通常画像データＧＤに比べて、ノイズが少なくダイナミックレンジの高い全画素データＥＸ４を生成することができる。このため、動画では通常画像データＧＤを使用し、静止画では全画素データＥＸ４を使用してもよい。
　このように、上述の第１の実施の形態では、通常画像データＧＤを出力する垂直信号線３０９と、特徴データＲＤ１およびＲＤ２を出力する垂直信号線３０８とを別個に設ける。これにより、特徴データＲＤ１およびＲＤ２を通常画像データＧＤと並列に読み出すことができ、同一の垂直同期期間内に複数の特徴データＲＤ１およびＲＤ２を取得することが可能となる。このため、特徴データＲＤ１およびＲＤ２のリアルタイム性を向上させることができ、動画の撮像の追従性を向上させたり、認識および検出の精度を向上させたりすることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では通常画像データＧＤを出力する垂直信号線３０９と、特徴データＲＤ１およびＲＤ２を出力する垂直信号線３０８とを固体撮像素子２００に別個に設けた。この第２の実施の形態では通常画像データＧＤを出力するインタフェースと特徴データＲＤ１およびＲＤ２を出力するインタフェースとを撮像装置に別個に設ける。
　図１３は、第２の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。
　同図において、画像処理装置は、撮像装置１００およびホスト５１０を備える。撮像装置１００は、図１の通信部１４０としてインタフェース５０１および５０２を備える。インタフェース５０１は、通常画像データＧＤをホスト５１０で受信可能なデータ形式に変換し、ホスト５１０に送信する。インタフェース５０２は、特徴データＲＤ１およびＲＤ２をホスト５１０で受信可能なデータ形式に変換し、ホスト５１０に送信する。
　ホスト５１０は、撮像装置１００から送信された通常画像データＧＤと特徴データＲＤ１およびＲＤ２とを受信する。ホスト５１０は、パーソナルコンピュータでもよいし、クラウドコンピュータでもよい。ホスト５１０は、撮像装置１００が組み込まれたスマートフォンなどの携帯情報端末でもよい。ホスト５１０は、ＷＥＢ会議カメラに用いられてもよいし、監視カメラに用いられてもよい。
　ホスト５１０は、受信部５１１および５１２と、表示部５１３と、検波部５１４と、演算処理部５１５および制御部５１６とを備える。
　受信部５１１は、通常画像データＧＤを撮像装置１００から受信する。受信部５１２は、特徴データＲＤ１およびＲＤ２を撮像装置１００から受信する。表示部５１３は、受信部５１１で受信された通常画像データＧＤを表示する。検波部５１４は、受信部５１２で受信された特徴データＲＤ１およびＲＤ２を検波する。検波は、例えば、位相差データから奥行き情報を抽出する処理である。演算処理部５１５は、受信部５１２で受信された特徴データＲＤ１およびＲＤ２を演算処理する。演算処理は、例えば、障害物認識、車線認識、標識認識、歩行者検知などのオブジェクトの認識処置でもよいし、動きベクトルの検出処理でもよいし、輝度情報などの検出処理でもよい。制御部５１６は、特徴データＲＤ１およびＲＤ２に基づいて外部機器を制御する。外部機器は、例えば、認証装置でもよいし、自動車、船舶、航空機、ドローン、ロボットなどの移動体でもよい。制御は、例えば、障害物を回避するための移動体の駆動制御、顔認証に基づく入退出制御、農産物や生産物の良否に基づく選別制御である。
　ここで、撮像装置１００は処理ＰＡ１を実行し、インタフェース５０１を介し通常画像データＧＤをホスト５１０に送信するのと並行してインタフェース５０２を介し特徴データＲＤ１およびＲＤ２をホスト５１０に送信する。
　ホスト５１０は、処理ＰＢ１を実行し、通常画像データＧＤとともに複数の特徴データＲＤ１およびＲＤ２を撮像装置１００から受信する。そして、ホスト５１０は、特徴データＲＤ１について、検波ＲＡ１、演算処理ＲＢ１および制御ＲＣ１を順次実行し、特徴データＲＤ２について、検波ＲＡ２、演算処理ＲＢ２および制御ＲＣ２を順次実行する。このため、ホスト５１０は、制御ＲＣ１およびＲＣ２のリアルタイム性を向上させることができ、制御ＲＣ１およびＲＣ２の精度を向上させることができる。
　このように、上述の第２の実施の形態では、通常画像データＧＤを出力するインタフェース５０１と特徴データＲＤ１およびＲＤ２を出力するインタフェース５０２とを撮像装置１００に別個に設ける。これにより、ホスト５１０は、通常画像データＧＤとともに複数の特徴データＲＤ１およびＲＤ２を撮像装置１００から受信することができ、通常画像データＧＤの品質を低下させることなく、制御ＲＣ１およびＲＣ２のリアルタイム性を向上させることができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では通常画像データＧＤを出力するインタフェース５０１と特徴データＲＤ１およびＲＤ２を出力するインタフェース５０２とを撮像装置１００に別個に設けた。この第３の実施の形態では通常画像データＧＤの出力と特徴データＲＤ１およびＲＤ２の出力とに共用されるインタフェースを撮像装置に設け、通常画像データＧＤと特徴データＲＤ１およびＲＤ２とを時分割で出力する。
　図１４は、第３の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。
　同図において、画像処理装置は、撮像装置１００およびホスト６１０を備える。撮像装置１００は、図１の通信部１４０としてインタフェース６０１を備える。インタフェース６０１は、通常画像データＧＤと特徴データＲＤ１乃至ＲＤ４とをホスト６１０で受信可能なデータ形式に変換し、ホスト６１０に時分割で送信する。
　ホスト６１０は、上述の第２の実施の形態の受信部５１１および５１２に代えて、受信部６１１を備える。受信部６１１は、通常画像データＧＤと特徴データＲＤ１乃至ＲＤ４とを時分割で撮像装置１００から受信する。第３の実施の形態のホスト６１０のそれ以外の構成は、上述の第２の実施の形態のホスト５１０の構成と同様である。
　ここで、撮像装置１００は処理ＰＡ２を実行し、インタフェース６０１を介し通常画像データＧＤと特徴データＲＤ１乃至ＲＤ４とを時分割でホスト６１０に送信する。
　ホスト６１０は、処理ＰＢ２を実行し通常画像データＧＤとともに複数の特徴データＲＤ１乃至ＲＤ４を撮像装置１００から受信する。そして、ホスト６１０は、各特徴データＲＤ１乃至ＲＤ４について、検波ＲＡ１乃至ＲＡ４、演算処理ＲＢ１乃至ＲＢ４および制御ＲＣ１乃至ＲＣ４をそれぞれ順次実行することができる。このため、ホスト６１０は、常画像データＧＤの品質を低下させることなく、制御ＲＣ１乃至ＲＣ４のリアルタイム性を向上させることができ、制御ＲＣ１乃至ＲＣ４の精度を向上させることができる。
　図１５は、第３の実施の形態に係る画像処理装置のデータ送信時のフォーマットの一例を示す図である。なお、同図では、通常画像データＧＤと特徴データＲＤ１およびＲＤ２とを時分割で送信する時のフォーマットとして、ＭＩＰＩ（Mobile Industry Processor Interface）を例にとった。
　同図において、特徴データＲＤ１およびＲＤ２は、'Ｄａｔａ　Ｔｙｐｅ　１　Ｉｍａｇｅ　Ｄａｔａ'として送信し、通常画像データＧＤは、'Ｄａｔａ　Ｔｙｐｅ　２　Ｉｍａｇｅ　Ｄａｔａ'として送信することができる。
　なお、ＦＳは、Ｆｒａｍｅ　Ｓｔａｒｔの略である。ＦＥは、Ｆｒａｍｅ　Ｅｎｄの略である。ＥＤは、Ｐａｃｋｅｔ　Ｈｅａｄｅｒ　ｃｏｎｔａｉｎｉｎｇ　Ｅｍｂｅｄｄｅｄ　Ｄａｔａ　ｔｙｐｅ　ｃｏｄｅの略である。Ｄ１は、Ｐａｃｋｅｔ　Ｈｅａｄｅｒ　ｃｏｎｔａｉｎｉｎｇ　Ｄａｔａ　Ｔｙｐｅ　１　Ｉｍａｇｅ　Ｄａｔａ　ｃｏｄｅの略である。Ｄ２は、Ｐａｃｋｅｔ　Ｈｅａｄｅｒ　ｃｏｎｔａｉｎｉｎｇ　Ｄａｔａ　Ｔｙｐｅ　２　Ｉｍａｇｅ　Ｄａｔａ　ｃｏｄｅの略である。ＰＦは、Ｐａｃｋｅｔ　Ｆｏｏｔｅｒ＋Ｆｉｌｌｅｒ（ｉｆ　ａｐｐｌｉｃａｂｌｅ）の略である。
　このように、上述の第３の実施の形態では、通常画像データＧＤの出力と特徴データＲＤ１およびＲＤ２の出力とでインタフェース６０１を共用し、通常画像データＧＤと特徴データＲＤ１およびＲＤ２とを時分割で出力する。これにより、ホスト５１０は、通常画像データＧＤとともに複数の特徴データＲＤ１およびＲＤ２を撮像装置１００から受信することが可能となり、回路規模の増大を抑制しつつ、制御ＲＣ１およびＲＣ２のリアルタイム性を向上させることができる。
　＜４．第４の実施の形態＞
　上述の第２の実施の形態ではホスト５１０側で特徴データＲＤ１およびＲＤ２を演算処理し、外部機器を制御した。この第４の実施の形態では撮像装置側で特徴データを演算処理し、固体撮像素子２００を制御するとともに、特徴データの演算処理結果をホストに送信する。
　図１６は、第４の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。
　同図において、画像処理装置は、撮像装置７００およびホスト７１０を備える。撮像装置７００は、上述の第２の実施の形態の撮像装置１００に演算処理部７０５および制御部７０６が追加されている。第４の実施の形態の撮像装置７００のそれ以外の構成は、上述の第２の実施の形態の撮像装置１００の構成と同様である。
　演算処理部７０５は、固体撮像素子２００から出力された特徴データＲＤ１およびＲＤ２を演算処理する。制御部７０６は、特徴データＲＤ１およびＲＤ２の演算処理結果に基づいて固体撮像素子２００を制御する。固体撮像素子２００の制御は、例えば、露光制御、焦点制御、ズーム制御、ＲＯＩ制御である。固体撮像素子２００の制御は、グローバルシャッタ動作の制御でもよいし、ローリングシャッタ動作の制御でもよい。
　ホスト７１０は、上述の第２の実施の形態のホスト５１０から検波部５１４および演算処理部５１５が除去されている。第４の実施の形態のホスト７１０のそれ以外の構成は、上述の第２の実施の形態のホスト５１０の構成と同様である。
　ここで、撮像装置１００は処理ＰＡ３を実行し、特徴データＲＤ１について、演算処理ＲＸ１および制御ＲＹ１を順次実行し、特徴データＲＤ２について、演算処理ＲＸ２および制御ＲＹ２を順次実行する。
　例えば、特徴データＲＤ１およびＲＤ２がＲＯＩ画像データであるものとする。このとき、演算処理ＲＸ１では、特徴データＲＤ１からＲＯＩ画像データの明るさを検出し、制御ＲＹ１では、特徴データＲＤ１の明るさの検出結果に基づいて特徴データＲＤ２についてのローリングシャッタＲＳ２のタイミングを制御してもよい。このとき、明るさの異なる複数のＲＯＩ画像データを取得することができ、ＲＯＩ画像データのダイナミックレンジを向上させることができる。
　あるいは、特徴データＲＤ１が縮小画像データ、特徴データＲＤ２がＲＯＩ画像データであるものとする。このとき、特徴データＲＤ１に基づいて動体を検出し、その動体が含まれるように特徴データＲＤ２のＲＯＩを指定してもよい。
　あるいは、特徴データＲＤ１およびＲＤ２が位相差データであるものとする。このとき、各特徴データＲＤ１およびＲＤ２の検波で位相差を検出し、各演算処理ＲＸ１およびＲＸ２で各位相差を合焦位置に変換する。そして、制御ＲＹ１およびＲＹ２では、各特徴データＲＤ１およびＲＤ２に基づいて演算された合焦位置ごとにレンズを移動させることができる。
　また、撮像装置７００は、インタフェース５０１を介し通常画像データＧＤをホスト７１０に送信するのと並行してインタフェース５０２を介し特徴データＲＤ１およびＲＤ２の演算処理結果をホスト７１０に送信する。
　ホスト７１０は、処理ＰＢ３を実行し、通常画像データＧＤとともに複数の特徴データＲＤ１およびＲＤ２の演算処理結果を撮像装置７００から受信する。そして、ホスト７１０は、特徴データＲＤ１の演算処理結果に基づいて制御ＲＣ１を実行し、特徴データＲＤ２の演算処理結果に基づいて制御ＲＣ２を実行することができる。このため、ホスト７１０は、特徴データＲＤ１およびＲＤ２の演算処理にかかる負荷を軽減しつつ、制御ＲＣ１およびＲＣ２のリアルタイム性を向上させることができ、制御ＲＣ１およびＲＣ２の精度を向上させることができる。
　このように、上述の第４の実施の形態では、撮像装置７００は、特徴データＲＤ１およびＲＤ２を演算処理し、固体撮像素子２００を制御するとともに、特徴データの演算処理結果をホスト７１０に送信する。これにより、撮像装置７００は、固体撮像素子２００の制御のリアルタイム性を向上させることが可能となるとともに、ホスト７１０の演算処理にかかる負荷を軽減しつつ、ホスト７１０による外部機器の制御のリアルタイム性を向上させることが可能となる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では通常画像データＧＤと特徴データＲＤ１およびＲＤ２とを並列に出力するために、通常画像データＧＤを出力する垂直信号線３０９と、特徴データＲＤ１およびＲＤ２を出力する垂直信号線３０８とを別個に設けた。この第５の実施の形態では特徴データＲＤ１およびＲＤ２のいずれか少なくとも１つと通常画像データＧＤとを合成する合成部をホストに設ける。
　図１７は、第５の実施の形態に係る画像処理装置の構成および動作の一例を示す図である。
　同図において、画像処理装置は、撮像装置１００およびホスト８１０を備える。ホスト８１０は、通常画像データＧＤと特徴データＲＤ１およびＲＤ２とを受信し、特徴データＲＤ１およびＲＤ２のいずれか少なくとも１つと通常画像データＧＤとを合成する。
　ホスト８１０は、受信部５１１および５１２と、演算処理部８１３および８１４と、合成部８１５とを備える。演算処理部８１３は、通常画像データＧＤを演算処理する。演算処理部８１４は、特徴データＲＤ１およびＲＤ２を演算処理する。合成部８１５は、通常画像データＧＤと特徴データＲＤ１およびＲＤ２との演算処理結果に基づいて、特徴データＲＤ１およびＲＤ２のいずれか少なくとも１つと通常画像データＧＤとを合成する。
　ここで、撮像装置１００は処理ＰＡ４を実行し、インタフェース５０１を介し通常画像データＧＤをホスト８１０に送信し、インタフェース５０２を介し特徴データＲＤ１およびＲＤ２をホスト８１０に送信する。
　ホスト８１０は、処理ＰＢ４を実行し、通常画像データＧＤと、特徴データＲＤ１およびＲＤ２とを撮像装置１００から受信する。そして、ホスト８１０は、特徴データＲＤ１について演算処理ＲＦ１を実行し、特徴データＲＤ２について演算処理ＲＦ２を実行し、通常画像データＧＤについて演算処理ＧＦを実行する。そして、ホスト８１０は、これらの演算処理結果に基づいて、特徴データＲＤ１およびＲＤ２のいずれか少なくとも１つと通常画像データＧＤとの合成ＧＲを実行することができる。
　例えば、特徴データＲＤ１が縮小画像データ、特徴データＲＤ２がＲＯＩ画像データであるものとする。このとき、通常画像データＧＤのうちＲＯＩの部分は特徴データＲＤ２を使用し、通常画像データＧＤの背景部分については特徴データＲＤ１を使用してもよい。
　このように、上述の第５の実施の形態では、特徴データＲＤ１およびＲＤ２のいずれか少なくとも１つと通常画像データＧＤとを合成する合成部８１５を設ける。これにより、ローリングシャッタ歪を低減しつつ、動画の撮像の追従性を向上させることが可能となるとともに、静止した被写体についての画質を向上させることができる。
　以下、ボルテージドメイン方式のサンプルホールド回路３３０を用いたＧＳ動作の変形例について説明する。
　＜６．第６の実施の形態＞
　上述の第１の実施の形態では切替トランジスタ３３１および３３２が共通に接続される後段ノード３４０をサンプルホールド回路３３０に設けた。この第６の実施の形態では切替トランジスタ３３１および３３２が共通に接続される後段ノード３４０に後段リセットトランジスタを接続する。
　図１８は、第６の実施の形態に係る画素３００の構成例を示す回路図である。
　第６の実施の形態の画素３００は、上述の第１の実施の形態の画素３００に後段リセットトランジスタ３４１が追加されている。第６の実施の形態の画素３００のそれ以外の構成は、上述の第１の実施の形態の画素３００の構成と同様である。
　後段リセットトランジスタ３４１は、電位Ｖｒｅｇと後段ノード３４０との間に接続される。後段リセットトランジスタ３４１は、垂直走査回路２１１からの後段リセット信号ｒｓｔｂに従って、後段ノード３４０のレベルを所定の電位Ｖｒｅｇに初期化する。電位Ｖｒｅｇには、電源電位ＶＤＤと異なる電位（例えば、ＶＤＤより低い電位）が設定される。
　垂直走査回路２１１は、露光開始時に全画素へハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、光電変換部３１１が初期化される。以下、この制御を「ＰＤリセット」と称する。
　そして、垂直走査回路２１１は、露光終了の直前に、全画素について後段リセット信号ｒｓｔｂと、切替信号ΦｒおよびＳＷ１とをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のリセットレベルに応じたレベルが容量素子３２１に保持される。この制御を以下、「ＦＤリセット」と称する。
　以下、ＦＤリセットの際のＦＤ３１４のリセットレベルと、そのリセットレベルに対応するレベル（容量素子３２１の保持レベルや、垂直信号線３０９のレベル）とをまとめて、「Ｐ相」または「リセットレベル」と称する。
　次に、垂直走査回路２１１は、露光終了時に、全画素について後段リセット信号ｒｓｔｂと、切替信号ΦｓおよびＳＷ１とをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４の信号レベルに応じたレベルが容量素子３２２に保持される。
　以下、信号電荷の転送の際のＦＤ３１４の信号レベルと、その信号レベルに対応するレベル（容量素子３２２の保持レベルや、垂直信号線３０９のレベル）とをまとめて、「Ｄ相」または「信号レベル」と称する。
　次に、垂直走査回路２１１は、露光終了後にロウを順に選択して、そのロウのリセットレベルおよび信号レベルを順に出力させる。垂直走査回路２１１は、リセットレベルを出力させる際に、選択したロウの後段選択信号ｓｅｌｂをハイレベルにしつつ、ハイレベルの切替信号Φｒを所定期間に亘って供給する。これにより、容量素子３２１が後段ノード３４０に接続され、リセットレベルが後段選択トランジスタ３５２を介して垂直信号線３０９に読み出される。
　次に、垂直走査回路２１１は、リセットレベルの読出し後に、選択したロウの後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの後段リセット信号ｒｓｔｂをパルス期間に亘って供給する。これにより、後段ノード３４０のレベルが初期化される。このとき、切替トランジスタ３３１および３３２は両方とも開状態であり、容量素子３２１および３２２は、後段ノード３４０から切り離される。
　次に、垂直走査回路２１１は、後段ノード３４０の初期化後に、選択したロウの後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの切替信号Φｓを所定期間に亘って供給する。これにより、容量素子３２２が後段ノード３４０に接続され、信号レベルが後段選択トランジスタ３５２を介して垂直信号線３０９に読み出される。
　上述の読出し制御により、選択されたロウのサンプルホールド回路３３０は、容量素子３２１を後段ノード３４０に接続する制御と、容量素子３２１および３２２を後段ノード３４０から切り離す制御と、容量素子３２２を後段ノード３４０に接続する制御とを順に行う。また、容量素子３２１および３２２が後段ノード３４０から切り離されたときに、選択されたロウの後段リセットトランジスタ３４１は、後段ノード３４０のレベルを初期化する。また、選択されたロウの出力回路３５０は、後段ノード３４０を介してリセットレベルおよび信号レベルを容量素子３２１および３２２から順に読出して垂直信号線３０９へ出力する。
　図１９は、第６の実施の形態に係るグローバルシャッタ動作の一例を示すタイミングチャートである。垂直走査回路２１１は、露光開始の直前のタイミングＴ０から、パルス期間経過後のタイミングＴ１に亘って、全てのロウ（言い換えれば、全画素）にハイレベルのＦＤリセット信号ｒｓｔ［１：Ｎ］および転送信号ｔｒｇ［１：Ｎ］を供給する。これにより、全画素がＰＤリセットされ、全ロウで同時に露光が開始される。
　そして、垂直走査回路２１１は、露光期間の終了直前のタイミングＴ２において、全画素において後段リセット信号ｒｓｔｂ［１：Ｎ］と、切替信号Φｒ［１：Ｎ］およびＳＷ１［１：Ｎ］とをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔ［１：Ｎ］を供給する。これにより、全画素がＦＤリセットされ、リセットレベルがサンプルホールドされる。
　次に、垂直走査回路２１１は、タイミングＴ２の後のタイミングＴ３において、切替信号Φｒ［１：Ｎ］をローレベルに戻す。
　次に、垂直走査回路２１１は、露光終了のタイミングＴ４において、全画素において後段リセット信号ｒｓｔｂ［１：Ｎ］と、切替信号Φｓ［１：Ｎ］およびＳＷ１［１：Ｎ］とをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇ［１：Ｎ］を供給する。これにより、信号レベルがサンプルホールドされる。また、前段ノード３２０のレベルは、リセットレベル（ＶＤＤ－Ｖｇｓ）から、信号レベル（ＶＤＤ－Ｖｇｓ－Ｖｓｉｇ）に低下する。ここで、ＶＤＤは、電源電圧であり、Ｖｓｉｇは、ＣＤＳ処理により得られる正味の信号レベルである。Ｖｇｓは、前段増幅トランジスタ３１５のゲート－ソース間電圧である。
　次に、垂直走査回路２１１は、タイミングＴ４の後のタイミングＴ５において、切替信号Φｓ［１：Ｎ］およびＳＷ１［１：Ｎ］をローレベルに戻す。
　また、垂直走査回路２１１は、全ロウ（全画素）の電流源トランジスタ３１６を制御して電流ｉｄ１［１：Ｎ］を供給させる。電流ｉｄ［１：Ｎ］が大電流となるとＩＲドロップが大きくなるため、電流ｉｄ１［１：Ｎ］は数ナノアンペア（ｎＡ）乃至数十ナノアンペア（ｎＡ）のオーダーにする必要がある。一方、全カラムの負荷ＭＯＳトランジスタ２５１は、オフ状態であり、垂直信号線３０９に電流ｉｄ２は供給されない。
　図２０は、第６の実施の形態に係る読出し動作の一例を示すタイミングチャートである。タイミングＴ１０からタイミングＴ１７までの第ｎロウの読出し期間において、垂直走査回路２１１は、第ｎロウの後段選択信号ｓｅｌｂ［ｎ］をハイレベルにする。また、読出し期間において、垂直走査回路２１１は、第ｎロウの切替信号ＳＷ１［ｎ］をローレベルにする。
　垂直走査回路２１１は、タイミングＴ１０において、第ｎロウの後段リセット信号ｒｓｔｂ［ｎ］をハイレベルからローレベルに遷移させる。
　次に、垂直走査回路２１１は、タイミングＴ１０の直後のタイミングＴ１１からタイミングＴ１３までの期間に亘って第ｎロウにハイレベルの切替信号Φｒ［ｎ］を供給する。後段ノード３４０の電位は、リセットレベルＶｒｓｔとなる。
　また、ＤＡＣ２１４は、タイミングＴ１１の後のタイミングＴ１２からタイミングＴ１３の期間に亘って、ランプ信号Ｒｍｐのレベルを徐々に上昇させる。ＡＤＣ２６１は、ランプ信号Ｒｍｐと垂直信号線３０９のレベルＶｒｓｔ'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、Ｐ相レベル（リセットレベル）が読み出される。
　次に、垂直走査回路２１１は、タイミングＴ１３の直後のタイミングＴ１４からパルス期間に亘って、第ｎロウにハイレベルの後段リセット信号ｒｓｔｂ［ｎ］を供給する。これにより、後段ノード３４０に寄生容量が存在する際に、その寄生容量に保持される前回の信号の履歴を消去することができる。
　次に、垂直走査回路２１１は、後段ノード３４０の初期化直後のタイミングＴ１５からタイミングＴ１７までの期間に亘って、第ｎロウにハイレベルの切替信号Φｓ［ｎ］を供給する。後段ノード３４０の電位は、信号レベルＶｓｉｇとなる。露光時においては、リセットレベルより信号レベルの方が低かったが、読出しの際においては、後段ノード３４０を基準とするため、リセットレベルより信号レベルの方が高くなる。リセットレベルＶｒｓｔと信号レベルＶｓｉｇとの差分が、ＦＤ３１４のリセットノイズやオフセットノイズを除去した正味の信号レベルに該当する。
　また、ＤＡＣ２１４は、タイミングＴ１５の後のタイミングＴ１６からタイミングＴ１７の期間に亘って、ランプ信号Ｒｍｐのレベルを徐々に上昇させる。ＡＤＣ２６１は、ランプ信号Ｒｍｐと垂直信号線３０９のレベルＶｒｓｔ'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、Ｄ相レベル（信号レベル）が読み出される。
　また、垂直走査回路２１１は、タイミングＴ１０からタイミングＴ１７の期間に亘って読出し対象の第ｎロウの電流源トランジスタ３１６を制御して電流ｉｄ１［ｎ］を供給させる。また、タイミング制御回路２１２は、全ロウの読出し期間内において、全カラムの負荷ＭＯＳトランジスタ２５１を制御して電流ｉｄ２を供給させる。
　なお、固体撮像素子２００は、リセットレベルの後に、信号レベルを読出しているが、この順番に限定されない。図２１に例示するように、固体撮像素子２００は、信号レベルの後に、リセットレベルを読み出すこともできる。この場合には、同図に例示するように、垂直走査回路２１１は、ハイレベルの切替信号Φｓの後に、ハイレベルの切替信号Φｒを供給する。このとき、ランプ信号のスロープの傾きを逆にする。
　図２２は、第６の実施の形態に係るリセットレベルの読出しのときと、後段ノードの初期化のときとのそれぞれの画素の状態の一例を示す図である。同図におけるａは、リセットレベルの読出しのときの画素３００の状態を示し、同図におけるｂは、後段ノード３４０の初期化のときの画素３００の状態を示す。また、同図において、切替トランジスタ３３１、３３２、３６１および３６２と、後段リセットトランジスタ３４１は、説明の便宜上、スイッチの図記号により表される。
　同図におけるａに例示するように、垂直走査回路２１１は、切替トランジスタ３３１を閉状態にし、切替トランジスタ３３２、３６１および３６２と後段リセットトランジスタ３４１とを開状態にする。これにより、出力回路３５０を介してリセットレベルが読み出される。
　次に、同図におけるｂに例示するように、垂直走査回路２１１は、リセットレベルの読出し後に切替トランジスタ３３１、３３２、３６１および３６２を開状態にし、後段リセットトランジスタ３４１を閉状態にする。これにより、容量素子３２１および３２２が後段ノード３４０から切り離され、後段ノード３４０のレベルが初期化される。
　このように容量素子３２１および３２２から切り離した状態の後段ノード３４０の寄生容量Ｃｐの容量値は、容量素子３２１および３２２と比べて非常に小さいものとする。例えば、寄生容量Ｃｐを数フェムトファラッド（ｆＦ）とすると、容量素子３２１および３２２は、数十フェムトファラッドのオーダーである。
　図２３は、第６の実施の形態に係る信号レベルの読出しのときの画素３００の状態の一例を示す図である。
　同図に例示するように、垂直走査回路２１１は、後段ノード３４０の初期化後において、切替トランジスタ３３２を閉状態にし、切替トランジスタ３３１、３６１および３６２と後段リセットトランジスタ３４１とを開状態にする。これにより、出力回路３５０を介して信号レベルが読み出される。
　ここで、画素３００の露光時のｋＴＣノイズについて考える。露光時において、露光終了の直前のリセットレベルのサンプリングと信号レベルのサンプリングとのそれぞれにおいてｋＴＣノイズが発生する。容量素子３２１および３２２のそれぞれの容量値をＣと仮定すると、露光時のｋＴＣノイズのレベルＶｎは、次の式により表される。
　　Ｖｎ＝（２＊ｋＴ／Ｃ）１／２　　　　　　　　　　　　　・・・式１
　また、図２２および図２３に例示したように、読出しの際に後段リセットトランジスタ３４１が駆動しているため、そのときにｋＴＣノイズが発生する。しかし、後段リセットトランジスタ３４１の駆動時に容量素子３２１および３２２が切り離されており、そのときの寄生容量Ｃｐが小さい。このため、読出しの際のｋＴＣノイズは、露光時のｋＴＣノイズと比べて無視することができる。したがって、露光および読出しの際のｋＴＣノイズは、式１により表される。
　このように、第６の実施の形態では、切替トランジスタ３３１および３３２が容量素子３２１および３２２を後段ノード３４０から切り離したときに後段リセットトランジスタ３４１が後段ノード３４０を初期化する。容量素子３２１および３２２が切り離されているため、その駆動によるリセットノイズのレベルは、それらの容量より小さな寄生容量に応じたレベルとなる。このノイズの低減により、画像データの画質を向上させることができる。
　また、読出し時に切替トランジスタ３６１を開状態にすることにより、信号生成部３１０を前段ノード３２０から切り離すことができ、信号生成部３１０からのノイズを遮断することができる。
　［第１の変形例］
　上述の第６の実施の形態では、前段ノード３２０がフローティング状態のままで信号を読み出していた。この第６の実施の形態の第１の変形例の画素３００では、読出し時に前段ノード３２０の電位を固定する前段リセットトランジスタ３２３を設ける。
　図２４は、第６の実施の形態の第１の変形例における画素３００の構成例を示す回路図である。この第６の実施の形態の第１の変形例の画素３００は、前段リセットトランジスタ３２３をさらに備える点において第６の実施の形態と異なる。また、第６の実施の形態の第１の変形例の信号生成部３１０および出力回路３５０の電源電圧をＶＤＤ１とする。
　前段リセットトランジスタ３２３は、電源電圧ＶＤＤ２と前段ノード３２０との間に接続される。前段リセットトランジスタ３２３は、垂直走査回路２１１からの前段リセット信号ｒｓｔａに従って、読出し時に前段ノード３２０のレベルを電源電圧ＶＤＤ２に固定する。この電源電圧ＶＤＤ２は、次の式を満たす値に設定することが望ましい。
　　ＶＤＤ２＝ＶＤＤ１－Ｖｇｓ　　　　　　　　　　　　　・・・式２
上式において、Ｖｇｓは、前段増幅トランジスタ３１５のゲート－ソース間電圧である。
　式２を満たす値に設定することにより、暗いときの前段ノード３２０と後段ノード３４０との間の電位変動を少なくすることができる。これにより、感度不均一性（PRNU: Photo Response Non-Uniformity）を改善することができる。
　図２５は、第６の実施の形態の第１の変形例におけるグローバルシャッタ動作の一例を示すタイミングチャートである。第６の実施の形態の第１の変形例のタイミングチャートは、垂直走査回路２１１が前段リセット信号ｒｓｔａ［１：Ｎ］をさらに供給する点において第６の実施の形態と異なる。
　垂直走査回路２１１は、露光終了の直前のタイミングＴ２からタイミングＴ５に亘って全画素へハイレベルの切替信号ＳＷ１［１：Ｎ］を供給する。前段リセット信号ｒｓｔａ［１：Ｎ］は、ローレベルに制御される。
　図２６は、第６の実施の形態の第１の変形例における読出し動作の一例を示すタイミングチャートである。各ロウの読出しの際に切替信号ＳＷ１［ｎ］はローレベルに制御される。この制御により、切替トランジスタ３６１が開状態に移行して、前段ノード３２０が信号生成部３１０から切り離される。これにより、読出しの際に信号生成部３１０からのノイズを遮断することができる。
　また、垂直走査回路２１１は、タイミングＴ１０からタイミングＴ１７までの第ｎロウの読出し期間において、第ｎロウにハイレベルの前段リセット信号ｒｓｔａ［ｎ］を供給する。
　また、読出しの際に、垂直走査回路２１１は、全画素の電流源トランジスタ３１６を制御して電流ｉｄ１［１：Ｎ］の供給を停止させる。電流ｉｄ２は、第６の実施の形態と同様に供給される。このように、第６の実施の形態と比較して、電流ｉｄ１［１：Ｎ］の制御がシンプルとなる。
　このように、第６の実施の形態の第１の変形例によれば、読出し時に前段リセットトランジスタ３２３が閉状態に移行し、前段ノード３２０の電位が固定されるため、感度不均一性を改善することができる。
　［第２の変形例］
　上述の第６の実施の形態では、固体撮像素子２００内の回路を単一の半導体チップに設けていたが、この構成では、画素３００を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第６の実施の形態の第２の変形例の固体撮像素子２００は、固体撮像素子２００内の回路を２つの半導体チップに分散して配置した点において第６の実施の形態と異なる。
　図２７は、第６の実施の形態の第２の変形例における固体撮像素子２００の積層構造の一例を示す図である。第６の実施の形態の第２の変形例の固体撮像素子２００は、下側画素チップ２０２と、その下側画素チップ２０２に積層された上側画素チップ２０１とを備える。これらのチップは、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　上側画素チップ２０１には、上側画素アレイ部２２１が配置される。下側画素チップ２０２には、下側画素アレイ部２２２とカラム信号処理回路２４０および２６０とが配置される。画素アレイ部２２０内の画素ごとに、その一部が、上側画素アレイ部２２１に配置され、残りが下側画素アレイ部２２２に配置される。
　また、下側画素チップ２０２には、垂直走査回路２１１と、タイミング制御回路２１２と、ＤＡＣ２１３および２１４と、負荷ＭＯＳ回路ブロック２３０および２５０も配置される。これらの回路は、同図において省略されている。
　また、上側画素チップ２０１は、例えば、画素専用のプロセスで製造され、下側画素チップ２０２は、例えば、ＣＭＯＳ（Complementary MOS）プロセスで製造される。
　図２８は、第６の実施の形態の第２の変形例における画素３００の構成例を示す回路図である。画素３００のうち、信号生成部３１０は、上側画素チップ２０１に配置され、それ以外の回路や素子（容量素子３２１および３２２など）は、下側画素チップ２０２に配置される。なお、電流源トランジスタ３１６をさらに下側画素チップ２０２に配置することもできる。同図に例示するように、画素３００内の素子を、積層した上側画素チップ２０１および下側画素チップ２０２に分散して配置することにより、１つのチップ当たりの画素の面積を小さくすることができ、画素の微細化が容易になる。
　このように、第６の実施の形態の第２の変形例によれば、画素３００内の回路や素子を２つの半導体チップに分散して配置するため、画素の微細化が容易になる。
　［第３の変形例］
　上述の第６の実施の形態の第２の変形例では、画素３００の一部と周辺回路（カラム信号処理回路２６０など）とを下側の下側画素チップ２０２に設けていた。しかし、この構成では、周辺回路の分だけ下側画素チップ２０２側の回路や素子の配置面積が上側画素チップ２０１より大きくなり、上側画素チップ２０１に、回路や素子の無い無駄なスペースが生じるおそれがある。この第６の実施の形態の第３の変形例の固体撮像素子２００は、固体撮像素子２００内の回路を３つの半導体チップに分散して配置した点において第６の実施の形態の第２の変形例と異なる。
　図２９は、第６の実施の形態の第３の変形例における固体撮像素子２００の積層構造の一例を示す図である。第６の実施の形態の第３の変形例の固体撮像素子２００は、上側画素チップ２０１、下側画素チップ２０２および回路チップ２０３を備える。これらのチップは積層され、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　上側画素チップ２０１には、上側画素アレイ部２２１が配置される。下側画素チップ２０２には、下側画素アレイ部２２２が配置される。画素アレイ部２２０内の画素ごとに、その一部が、上側画素アレイ部２２１に配置され、残りが下側画素アレイ部２２２に配置される。
　また、回路チップ２０３には、カラム信号処理回路２６０、垂直走査回路２１１、タイミング制御回路２１２、ＤＡＣ２１３および負荷ＭＯＳ回路ブロック２５０が配置される。カラム信号処理回路２６０以外の回路は、同図において省略されている。
　同図に例示したように３層構成にすることにより、２層構成と比較して無駄なスペースを削減し、さらに画素を微細化することができる。また、２層目の下側画素チップ２０２を、容量やスイッチのための専用のプロセスで製造することができる。
　このように、第６の実施の形態の第３の変形例では、固体撮像素子２００内の回路を３つの半導体チップに分散して配置するため、２つの半導体チップに分散して配置する場合と比較してさらに画素を微細化することができる。
　＜７．第７の実施の形態＞
　上述の第６の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第７の実施の形態の固体撮像素子２００は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第６の実施の形態と異なる。
　図３０は、第７の実施の形態に係る画素３００の構成例を示す回路図である。この第７の実施の形態の画素３００は、信号生成部３１０内に排出トランジスタ３１７をさらに備える点において第６の実施の形態と異なる。
　排出トランジスタ３１７は、光電変換部３１１と転送トランジスタ３１２との接続点に接続される。排出トランジスタ３１７は、垂直走査回路２１１からの排出信号оｆｇに従って光電変換部３１１から電荷を排出するオーバーフロードレインとして機能する。排出トランジスタ３１７として、例えば、ｎＭＯＳトランジスタが用いられる。
　上述の第６の実施の形態のように、排出トランジスタ３１７を設けない構成では、全画素について光電変換部３１１からＦＤ３１４へ電荷を転送した際に、ブルーミングが生じることがある。そして、ＦＤリセットの際にＦＤ３１４と前段ノード３２０の電位が降下する。この電位降下に追従して、容量素子３２１および３２２の充放電の電流が発生し続け、電源やグランドのＩＲドロップが、ブルーミングの無い定常状態から変化してしまう。
　その一方で、全画素の信号レベルのサンプルホールドの際には、信号電荷の転送後、光電変換部３１１内の電荷が空の状態になるため、ブルーミングが発生しなくなり、電源やグランドのＩＲドロップが、ブルーミングの無い定常状態となる。これらのリセットレベルおよび信号レベルのサンプルホールドの際のＩＲドロップの違いに起因して、ストリーキングノイズが生じる。
　これに対して、排出トランジスタ３１７を設けた第７の実施の形態では、光電変換部３１１の電荷がオーバーフロードレイン側に排出される。このため、リセットレベルおよび信号レベルのサンプルホールドの際のＩＲドロップが同程度となり、ストリーキングノイズを抑制することができる。
　図３１は、第７の実施の形態に係るグローバルシャッタ動作の一例を示すタイミングチャートである。露光開始のタイミング前のタイミングＴ０において、垂直走査回路２１１は、全画素の排出信号оｆｇ［１：Ｎ］をハイレベルにしつつ、全画素にハイレベルのＦＤリセット信号ｒｓｔ［１：Ｎ］をパルス期間に亘って供給する。これにより、全画素についてＰＤリセットおよびＦＤリセットが行われる。また、リセットレベルがサンプルホールドされる。
　そして、露光開始のタイミングＴ１において、垂直走査回路２１１は、全画素の排出信号оｆｇ［１：Ｎ］をローレベルに戻す。そして、露光終了の直前のタイミングＴ２から露光終了のタイミングＴ３までの期間に亘って、垂直走査回路２１１は、全画素にハイレベルの転送信号ｔｒｇ［１：Ｎ］を供給する。これにより、信号レベルがサンプルホールドされる。
　第６の実施の形態のように、排出トランジスタ３１７を設けない構成では、露光開始時（すなわち、ＰＤリセット時）に転送トランジスタ３１２およびＦＤリセットトランジスタ３１３の両方をオン状態にしなければならない。この制御では、ＰＤリセットの際に、同時にＦＤ３１４もリセットしなければならない。このため、露光期間内に再度ＦＤリセットを行い、リセットレベルをサンプルホールドする必要があり、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。全画素のリセットレベルをサンプルホールドする際には、電圧や電流が静定するまでにある程度の待ち時間が必要になり、例えば、数マイクロ秒（μｓ）から数十マイクロ秒（μｓ）のサンプルホールド期間が必要となる。
　これに対して、排出トランジスタ３１７を設ける第７の実施の形態では、ＰＤリセットとＦＤリセットとを個別に行うことができる。このため、同図に例示するように、ＰＤリセットの解除（露光開始）前にＦＤリセットを行って、リセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
　なお、第７の実施の形態に、第６の実施の形態の第１乃至第３の変形例を適応することもできる。
　このように、第７の実施の形態によれば、光電変換部３１１から電荷を排出する排出トランジスタ３１７を設けたため、露光開始前にＦＤリセットを行ってリセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
　＜８．第８の実施の形態＞
　上述の第６の実施の形態では、フレーム毎にリセットレベルの次に信号レベルを読出していたが、この構成では容量素子３２１および３２２のばらつきや、寄生容量により、感度不均一性（ＰＲＮＵ）が悪化するおそれがある。この第８の実施の形態の固体撮像素子２００は、フレームごとに、容量素子３２１に保持するレベルと容量素子３２２に保持するレベルとを入れ替えることにより、ＰＲＮＵを改善する点において第６の実施の形態と異なる。
　第８の実施の形態の固体撮像素子２００は、複数のフレームを垂直同期信号ＸＶＳに同期して連続して撮像する。奇数番目のフレームを「奇数フレーム」と称し、偶数番目のフレームを「偶数フレーム」と称する。
　図３２は、第８の実施の形態に係る奇数フレームのグローバルシャッタ動作の一例を示すタイミングチャートである。信号生成部３１０は、奇数フレームの露光期間内に切替信号Φｒ［１：Ｎ］の次に切替信号Φｓ［１：Ｎ］をハイレベルにすることにより、リセットレベルを容量素子３２１に保持させ、次に信号レベルを容量素子３２２に保持させる。
　図３３は、第８の実施の形態に係る奇数フレームの読出し動作の一例を示すタイミングチャートである。出力回路３５０は、奇数フレームの読出し期間内に切替信号Φｒ［ｎ］の次に切替信号Φｓ［ｎ］をハイレベルにしてリセットレベルの次に信号レベルを読み出す。
　図３４は、第８の実施の形態に係る偶数フレームのグローバルシャッタ動作の一例を示すタイミングチャートである。信号生成部３１０は、偶数フレームの露光期間内に切替信号Φｓ［１：Ｎ］の次に切替信号Φｒ［１：Ｎ］をハイレベルにすることにより、リセットレベルを容量素子３２２に保持させ、次に信号レベルを容量素子３２１に保持させる。
　図３５は、第８の実施の形態に係る偶数フレームの読出し動作の一例を示すタイミングチャートである。出力回路３５０は、偶数フレームの読出し期間内に切替信号Φｓ［ｎ］の次に切替信号Φｒ［ｎ］をハイレベルにしてリセットレベルの次に信号レベルを読み出す。
　図３２および図３４に例示したように、偶数フレームと奇数フレームとで、容量素子３２１および３２２のそれぞれに保持されるレベルが逆になる。これにより、偶数フレームと奇数フレームとで、ＰＲＮＵの極性も逆になる。後段のカラム信号処理回路２６０は、奇数フレームと偶数フレームとの加算平均を求める。これにより、極性が逆のＰＲＮＵ同士を相殺することができる。
　この制御は、動画の撮像や、フレーム同士の加算において有効な制御である。また、画素３００に素子を追加する必要はなく、駆動方式の変更のみにより実現することができる。
　なお、第８の実施の形態に、第６の実施の形態の第１乃至第３の変形例や、第７の実施の形態を適用することもできる。
　このように、第８の実施の形態では、奇数フレームと偶数フレームとで容量素子３２１に保持されるレベルと容量素子３２２に保持されるレベルとが逆になるため、奇数フレームと偶数フレームとでＰＲＮＵの極性を逆にすることができる。カラム信号処理回路２６０は、これらの奇数フレームおよび偶数フレームを加算平均することにより、ＰＲＮＵの悪化を抑制することができる。
　＜９．第９の実施の形態＞
　上述の第６の実施の形態では、カラム信号処理回路２６０は、カラム毎にリセットレベルと信号レベルとの差分を求めていた。しかし、この構成では、非常に高照度の光が画素に入射した際に、光電変換部３１１から電荷が溢れることにより輝度が低下し、黒く沈んでしまう黒点現象が生じるおそれがある。この第９の実施の形態の固体撮像素子２００は、黒点現象が生じたか否かを画素ごとに判定する点において第６の実施の形態と異なる。
　図３６は、第９の実施の形態に係るカラム信号処理回路２６０の構成例を示す回路図である。この第９の実施の形態のカラム信号処理回路２６０には、複数のＡＤＣ２７０とデジタル信号処理部２９０とが配置される。また、デジタル信号処理部２９０には、複数のＣＤＳ処理部２９１と複数のセレクタ２９２とが配置される。ＡＤＣ２７０、ＣＤＳ処理部２９１およびセレクタ２９２は、カラムごとに設けられる。
　また、ＡＤＣ２７０は、コンパレータ２８０およびカウンタ２７１を備える。コンパレータ２８０は、垂直信号線３０９のレベルと、ＤＡＣ２１４からのランプ信号Ｒｍｐとを比較し、比較結果ＶＣＯを出力する。比較結果ＶＣＯは、カウンタ２７１とタイミング制御回路２１２とに供給される。コンパレータ２８０は、セレクタ２８１と、容量素子２８２および２８３と、オートゼロスイッチ２８４および２８６と、比較器２８５とを備える。
　セレクタ２８１は、入力側選択信号ｓｅｌｉｎに従って、対応するカラムの垂直信号線３０９と、所定の参照電圧ＶＲＥＦのノードとのいずれかを比較器２８５の非反転入力端子（＋）に、容量素子２８２を介して接続する。入力側選択信号ｓｅｌｉｎは、タイミング制御回路２１２から供給される。反転入力端子（－）には、容量素子２８３を介してランプ信号Ｒｍｐが入力される。
　比較器２８５は、非反転入力端子（＋）と反転入力端子（－）とのそれぞれのレベルを比較して、比較結果ＶＣＯをカウンタ２７１へ出力する。
　オートゼロスイッチ２８４は、タイミング制御回路２１２からのオートゼロ信号ＡＺに従って、比較結果ＶＣＯの非反転入力端子（＋）と出力端子とを短絡する。オートゼロスイッチ２８６は、オートゼロ信号ＡＺに従って、比較結果ＶＣＯの反転入力端子（－）と出力端子とを短絡する。
　カウンタ２７１は、比較結果ＶＣＯが反転するまでに亘って計数値を計数し、その計数値を示すデジタル信号ＣＮＴ＿ｏｕｔをＣＤＳ処理部２９１へ出力する。
　ＣＤＳ処理部２９１は、デジタル信号ＣＮＴ＿ｏｕｔに対してＣＤＳ処理を行う。このＣＤＳ処理部２９１は、リセットレベルに対応するデジタル信号ＣＮＴ＿ｏｕｔと、信号レベルに対応するデジタル信号ＣＮＴ＿ｏｕｔとの差分を演算し、ＣＤＳ＿ｏｕｔとしてセレクタ２９２に出力する。
　セレクタ２９２は、タイミング制御回路２１２からの出力側選択信号ｓｅｌоｕｔに従って、ＣＤＳ処理後のデジタル信号ＣＤＳ＿ｏｕｔと、フルコードのデジタル信号ＦＵＬＬとのいずれかを対応するカラムの画素データとして出力する。
　図３７は、第９の実施の形態に係るグローバルシャッタ動作の一例を示すタイミングチャートである。第９の実施の形態のグローバルシャッタ時のトランジスタの制御方法は、第６の実施の形態と同様である。
　ここで、画素３００に非常に高照度の光が入射したものとする。この場合、光電変換部３１１の電荷が満杯になり、光電変換部３１１からＦＤ３１４へと電荷があふれ出し、ＦＤリセット後のＦＤ３１４の電位が低下する。同図における一点鎖線は、溢れた電荷量が比較的少なくなる程度の弱い太陽光が入射した際のＦＤ３１４の電位変動を示す。同図における点線は、溢れた電荷量が比較的多くなるような強い太陽光が入射した際のＦＤ３１４の電位変動を示す。
　弱い太陽光が入射した際は、ＦＤリセットの完了したタイミングＴ３においてリセットレベルが低下しているが、この時点ではレベルが下がりきってない。
　一方、強い太陽光が入射した際は、タイミングＴ３の時点でリセットレベルが下がりきってしまう。この場合、信号レベルがリセットレベルと同じになり、それらの電位差が「０」であるため、ＣＤＳ処理後のデジタル信号が、暗状態の場合と同じになって黒く沈んでしまう。このように、太陽光などの非常に高照度の光が入射したにも関わらず、その画素が黒くなる現象は、黒点現象あるいはブルーミングと呼ばれる。
　また、黒点現象の生じた画素のＦＤ３１４のレベルが下がりすぎると、信号生成部３１０の動作点が確保できなくなって、電流源トランジスタ３１６の電流ｉｄ１が変動する。各画素の電流源トランジスタ３１６は、共通の電源やグランドに接続されているため、ある画素で電流が変動した際に、その画素のＩＲドロップの変動が、他の画素のサンプルレベルに影響を及ぼしてしまう。黒点現象の生じた画素がアグレッサとなり、その画素によりサンプルレベルが変動した画素がビクティムとなる。この結果、ストリーキングノイズが生じる。
　なお、第７の実施の形態のように排出トランジスタ３１７を設けた場合、黒点（ブルーミング）のある画素では、溢れた電荷が排出トランジスタ３１７側に捨てられるため、黒点現象が生じにくい。ただし、排出トランジスタ３１７を設けても、一部の電荷がＦＤ３１４に流れる可能性があり、黒点現象の根治にはならない可能性がある。さらに、排出トランジスタ３１７の追加により、画素毎の有効面積／電荷量の比率が低下してしまうというデメリットもある。このため、排出トランジスタ３１７を用いずに、黒点現象を抑制することが望ましい。
　排出トランジスタ３１７を用いずに黒点現象を抑制する方法として２つの方法が考えられる。１つ目は、ＦＤ３１４のクリップレベルの調整である。２つ目は、読出しの際に黒点現象が生じたか否かを判断して、黒点現象の生じた際に、出力をフルコードに置き換える方法である。
　１つ目の方法に関して、同図のＦＤリセット信号ｒｓｔ（言い換えれば、ＦＤリセットトランジスタ３１３のゲート）のハイレベルは電源電圧ＶＤＤであり、ローレベルが、ＦＤ３１４のクリップレベルに該当する。第６の実施の形態では、これらのハイレベルとローレベルとの差（すなわち、振幅）は、ダイナミックレンジに対応する値に設定される。これに対して、第９の実施の形態では、その値にさらにマージンを加えた値に調整される。ここで、ダイナミックレンジに対応する値は、電源電圧ＶＤＤと、デジタル信号がフルコードになるときのＦＤ３１４の電位との差分に該当する。
　ＦＤリセットトランジスタ３１３のオフ時のゲート電圧（ＦＤリセット信号ｒｓｔのローレベル）を下げることにより、ブルーミングによりＦＤ３１４が低下しすぎて、前段増幅トランジスタ３１５の動作点がつぶれるのを防止することができる。
　なお、ダイナミックレンジは、ＡＤＣのアナログゲインによって変わる。アナログゲインが低いときは、大きなダイナミックレンジが必要となり、逆にアナログゲインが高い時は、ダイナミックレンジは少なくて済む。このため、ＦＤリセットトランジスタ３１３のオフ時のゲート電圧を、アナログゲインに応じて変更することもできる。
　図３８は、第９の実施の形態に係る読出し動作の一例を示すタイミングチャートである。読出しの開始のタイミングＴ１０の直後のタイミングＴ１１において切替信号Φｒがハイレベルになると、太陽光が入射した画素では、垂直信号線３０９の電位が変動する。同図における一点鎖線は、弱い太陽光が入射した際の垂直信号線３０９の電位変動を示す。同図における点線は、強い太陽光が入射した際の垂直信号線３０９の電位変動を示す。
　タイミングＴ１０からタイミングＴ１２までのオートゼロ期間において、タイミング制御回路２１２は、例えば、「０」の入力側選択信号ｓｅｌｉｎを供給し、比較器２８５を垂直信号線３０９に接続させる。このオートゼロ期間内にタイミング制御回路２１２は、オートゼロ信号ＡＺによりオートゼロを行う。
　２つ目の方法に関して、タイミングＴ１２からタイミングＴ１３までの判定期間内にタイミング制御回路２１２は、例えば、「１」の入力側選択信号ｓｅｌｉｎを供給する。この入力側選択信号ｓｅｌｉｎにより、比較器２８５が垂直信号線３０９から切り離され、参照電圧ＶＲＥＦのノードと接続される。この参照電圧ＶＲＥＦは、ブルーミングが生じなかったときの、垂直信号線３０９のレベルの期待値に設定される。Ｖｒｓｔは、例えば、後段増幅トランジスタ３５１のゲート－ソース間電圧をＶｇｓ２とすると、Ｖｒｅｇ－Ｖｇｓ２に該当する。また、ＤＡＣ２１４は、判定期間内にランプ信号ＲｍｐのレベルをＶｒｍｐ＿ａｚからＶｒｍｐ＿ｓｕｎに低下させる。
　また、判定期間内において、ブルーミングが発生しなかった場合、垂直信号線３０９のリセットレベルのＶｒｓｔは、参照電圧ＶＲＥＦとほぼ同じであり、比較器２８５の反転入力端子（＋）の電位がオートゼロのときとあまり変わらない。一方、非反転入力端子（－）は、Ｖｒｍｐ＿ａｚからＶｒｍｐ＿ｓｕｎに下がったため、比較結果ＶＣＯはハイレベルとなる。
　逆に、ブルーミングが発生した場合、リセットレベルＶｒｓｔは、参照電圧ＶＲＥＦよりも十分に高くなり、次の式が成立した際に、比較結果ＶＣＯがローレベルになる。
　　Ｖｒｓｔ－ＶＲＥＦ＞Ｖｒｍｐ＿ａｚ－Ｖｒｍｐ＿ｓｕｎ・・・式３
　つまり、タイミング制御回路２１２は、判定期間内に比較結果ＶＣＯがローレベルとなるか否かにより、ブルーミングが発生したか否かを判断することができる。
　なお、後段増幅トランジスタ３５１の閾値電圧のバラツキや、面内のＶｒｅｇのＩＲドロップ差等による誤判定が発生しないように、太陽判定のためのマージン（式３の右辺）をある程度大きく確保する必要がある。
　判定期間経過後のタイミングＴ１３以降において、タイミング制御回路２１２は、比較器２８５を垂直信号線３０９に接続させる。また、タイミングＴ１３乃至Ｔ１４のＰ相セトリング期間が経過すると、タイミングＴ１４乃至Ｔ１５の期間内にＰ相が読み出される。タイミングＴ１５乃至Ｔ１９のＤ相セトリング期間が経過すると、タイミングＴ１９乃至Ｔ２０の期間内にＤ相が読み出される。
　判定期間においてブルーミングが発生していないと判断した場合、タイミング制御回路２１２は、出力側選択信号ｓｅｌоｕｔによりセレクタ２９２を制御してＣＤＳ処理後のデジタル信号ＣＤＳ＿ｏｕｔをそのまま出力させる。
　一方、判定期間においてブルーミングが発生したと判断した場合、タイミング制御回路２１２は、出力側選択信号ｓｅｌоｕｔによりセレクタ２９２を制御してＣＤＳ処理後のデジタル信号ＣＤＳ＿ｏｕｔの代わりにフルコードのデジタル信号ＦＵＬＬを出力させる。これにより、黒点現象を抑制することができる。
　なお、第９の実施の形態に、第６の実施の形態の第１乃至第３の変形例や、第７および第８の実施の形態を適用することもできる。
　このように、第９の実施の形態によれば、タイミング制御回路２１２は、比較結果ＶＣＯに基づいて黒点現象が生じたか否かを判断し、黒点現象が生じた際にフルコードを出力させるため、黒点現象を抑制することができる。
　なお、上述の第９の実施の形態では、ＧＳ動作時の黒点現象の抑制方法について説明したが、上述の第１乃至の第５の実施におけるＲＳ動作時の黒点現象の抑制方法に適用してもよい。
　＜１０．第１０の実施の形態＞
　上述の第１の実施の形態ではサンプルホールド回路として容量素子３２１および３２２と、切替トランジスタ３３１および３３２とを設けたが、この第１０の実施の形態ではサンプルホールド回路として容量Ｃ１およびＣ２とを設ける。
　図３９は、第１０の実施の形態に係る画素の構成例を示す回路図である。
　同図において、この画素３００´は、上述の第１の実施の形態のサンプルホールド回路３３０に代えて、サンプルホールド回路３３０´を備える。第１０の実施の形態の画素３００´のそれ以外の構成は、上述の第１の実施の形態の画素３００の構成と同様である。
　画素３００´は、容量Ｃ１およびＣ２を備える。容量Ｃ１は、前段ノード３２０と接地電位との間に接続される。容量Ｃ２は、前段ノード３２０と後段ノード３４０との間に接続される。
　この第１０の実施の形態の画素の露光制御および読出し制御は、例えば、非特許文献１のFigure 5.5.2に記載されている。この第１０の実施の形態において、容量Ｃ１およびＣ２のそれぞれの容量値をＣと仮定すると、露光および読出しの際のｋＴＣノイズのレベルＶｎは、次の式により表される。
　　Ｖｎ＝（３＊ｋＴ／Ｃ）１／２　　　　　　　　　　　　　・・・式４
上式において、ｋは、ボルツマン定数であり、単位は、例えば、ジュール毎ケルビン（Ｊ／Ｋ）である。Ｔは絶対温度であり、単位は、例えば、ケルビン（Ｋ）である。また、Ｖｎの単位は、例えば、ボルト（Ｖ）であり、Ｃの単位は、例えば、ファラッド（Ｆ）である。
　このように、上述の第１０の実施の形態によれば、サンプルホールド回路として容量Ｃ１およびＣ２とを設けることにより、上述の第１の実施の形態の切替トランジスタ３３１および３３２を不要とすることができる。
　＜１１．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４１は、撮像部１２０３１の設置位置の例を示す図である。
　図４１では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、ｋＴＣノイズを低減し、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）光電変換部から読み出された電荷に基づいて信号を生成する信号生成部と、
　前記信号生成部にて生成された信号をホールドするサンプルホールド回路と、
　前記サンプルホールド回路から読み出された信号を伝送する第１垂直信号線と、
　前記信号生成部で生成された信号を伝送する第２垂直信号線と、
　前記信号生成部と前記サンプルホールド回路との間に設けられた第１スイッチと、
　前記信号生成部と前記第２垂直信号線との間に設けられた第２スイッチと
を具備する撮像装置。
（２）前記第１垂直信号線に出力された信号をカラムごとにＡＤ変換する第１ＡＤＣ（Analog to Digital Converter）と、
　前記第２垂直信号線に出力された信号をカラムごとにＡＤ変換する第２ＡＤＣとをさらに具備する前記（１）記載の撮像装置。
（３）前記第１ＡＤＣから出力された信号を外部に送信する第１インタフェースと、
　前記第２ＡＤＣから出力された信号を外部に送信する第２インタフェースとをさらに具備する前記（２）記載の撮像装置。
（４）前記第１ＡＤＣから出力された信号と、前記第２ＡＤＣから出力された信号とを時分割的に外部に送信するインタフェースをさらに具備する前記（２）記載の撮像装置。
（５）前記サンプルホールド回路から読み出された信号を前記第１垂直信号線に出力するタイミングと、前記信号生成部で生成された信号を前記第２垂直信号線に出力するタイミングとを制御する垂直走査回路をさらに具備する前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記垂直走査回路は、前記サンプルホールド回路から読み出された信号が前記第１垂直信号線に出力されている間に前記信号生成部で生成された信号を前記第２垂直信号線に出力させる
前記（５）記載の撮像装置。
（７）前記垂直走査回路は、
　グローバルシャッタ方式による露光によって生成された信号を前記サンプルホールド回路にホールドさせ、
　ローリングシャッタ方式による露光によって生成された信号を前記第２垂直信号線に出力させる
前記（５）または（６）に記載の撮像装置。
（８）前記垂直走査回路は、前記信号生成部で生成された信号を垂直同期期間内に前記第２垂直信号線に複数回出力させる
前記（５）から（７）のいずれかに記載の撮像装置。
（９）前記信号生成部で生成された信号は、ＲＯＩ（Region Of Interest）画像データ、縮小画像データおよび位相差データの少なくとも１つを含む
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）前記第２垂直信号線を介して伝送される信号に基づいて、グローバルシャッタ動作およびローリングシャッタ動作のいずれか少なくとも１つを制御する制御部をさらに備える前記（１）から（９）のいずれかに記載の撮像装置。
（１１）前記信号生成部は、
　前記光電変換部から電荷を読み出す読出しトランジスタと、
　前記読出しトランジスタにて読み出された電荷を保持するフローティングディフュージョンと、
　前記フローティングディフュージョンの電位に基づいて前記信号を生成する増幅トランジスタと、
　前記フローティングディフュージョンに保持された電荷をリセットするリセットトランジスタと
を備え、
　前記サンプルホールド回路は、
　前記第１スイッチに一端が接続された第１容量素子と、
　前記第１スイッチに一端が接続された第２容量素子と、
　前記第１容量素子に直列に接続された第１切替トランジスタと、
　前記第２容量素子に直列に接続された第２切替トランジスタと
を備える前記（１）から（１０）のいずれかに記載の撮像装置。
（１２）前記サンプルホールド回路にホールドされた信号を前記第１垂直信号線に出力する出力回路と、
　前記第１および第２の容量素子の両方が前記出力回路から切り離されたときに前記サンプルホールド回路と前記出力回路との接続点のレベルを初期化する後段リセットトランジスタとをさらに具備する前記（１１）記載の撮像装置。
（１３）サンプルホールド回路が設けられた画素がロウ方向およびカラム方向に配列された画素アレイ部と、
　グローバルシャッタ動作に基づいて前記サンプルホールド回路から信号を出力する第１出力部と、
　ローリングシャッタ動作に基づいて前記サンプルホールド回路がスキップされた信号を前記画素から出力する第２出力部と、
　前記第１出力部から出力された信号を処理する第１処理部と、
　前記第２出力部から出力された信号を処理する第２処理部と、
　前記第１処理部に処理された信号と、前記第２処理部に処理された信号とを合成する合成部と
を具備する画像処理装置。
（１４）前記画素は、
　光電変換部と、
　前記光電変換部から電荷を読み出す読出しトランジスタと、
　前記読出しトランジスタにて読み出された電荷を保持するフローティングディフュージョンと、
　前記フローティングディフュージョンの電位に応じた信号を生成する増幅トランジスタと、
　前記フローティングディフュージョンに保持された電荷をリセットするリセットトランジスタと
を備える前記（１３）記載の画像処理装置。
（１５）前記増幅トランジスタと前記サンプルホールド回路との間に設けられた第１スイッチと、
　前記増幅トランジスタと前記第２出力部との間に設けられた第２スイッチとをさらに備え、
　前記サンプルホールド回路は、
　前記第１スイッチに一端が接続された第１容量素子と、
　前記第１スイッチに一端が接続された第２容量素子と、
　前記第１容量素子に直列に接続された第１切替トランジスタと、
　前記第２容量素子に直列に接続された第２切替トランジスタと
を備える前記（１４）記載の画像処理装置。
（１６）前記第１出力部は、
　前記サンプルホールド回路から読み出された信号を前記カラム方向に伝送する第１垂直信号線と、
　前記第１垂直信号線に出力された信号をカラムごとにＡＤ変換する第１ＡＤＣと
を備え、
　前記第２出力部は、
　前記サンプルホールド回路がスキップされた信号を前記カラム方向に伝送する第２垂直信号線と、
　前記第２垂直信号線に出力された信号をカラムごとにＡＤ変換する第２ＡＤＣと
を備える前記（１３）から（１５）のいずれかに記載の画像処理装置。
（１７）前記サンプルホールド回路がスキップされた信号は、垂直同期期間内に前記画素から前記第２出力部に複数回出力される
前記（１３）から（１６）のいずれかに記載の画像処理装置。
（１８）前記画素から前記第２出力部に出力される信号は、ＲＯＩ画像データ、縮小画像データおよび位相差データの少なくとも１つを含む
前記（１３）から（１７）のいずれかに記載の画像処理装置。
（１９）前記第２処理部にて処理された信号に基づいて前記画素アレイ部を制御する制御部をさらに備える前記（１３）から（１８）のいずれかに記載の画像処理装置。
（２０）画素に設けられた光電変換部から読み出された電荷に基づいて信号を生成する手順と、
　前記画素内で生成された信号を前記画素内にホールドする手順と、
　前記画素内にホールドされた信号を出力する手順と、
　前記画素内で生成された信号を、前記画素内にホールドされた信号の出力の期間内に出力する手順と
を具備する撮像装置の制御方法。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　記録部
　１３０　撮像制御部
　１４０　通信部
　２００　固体撮像素子
　２０１　上側画素チップ
　２０２　下側画素チップ
　２０３　回路チップ
　２１１　垂直走査回路
　２１２　タイミング制御回路
　２１３、２１４　ＤＡＣ
　２２０　画素アレイ部
　２２１　上側画素アレイ部
　２２２　下側画素アレイ部
　２３０、２５０　負荷ＭＯＳ回路ブロック
　２５１　負荷ＭＯＳトランジスタ
　２４０、２６０　カラム信号処理回路
　２６１、２７０　ＡＤＣ
　２６２、２９０　デジタル信号処理部
　２７１　カウンタ
　２８０　コンパレータ
　２８１、２９２　セレクタ
　２８２、２８３、３２１、３２２　容量素子
　２８４、２８６　オートゼロスイッチ
　２８５　比較器
　２９１　ＣＤＳ処理部
　３００　画素
　３１０　信号生成部
　３１１　光電変換部
　３１２　転送トランジスタ
　３１３　ＦＤリセットトランジスタ
　３１４　ＦＤ
　３１５　前段増幅トランジスタ
　３１６　電流源トランジスタ
　３１７　排出トランジスタ
　３２１、３２２　容量素子
　３２３　前段リセットトランジスタ
　３３０　サンプルホールド回路
　３３１、３３２　切替トランジスタ
　３６１　グローバルトランジスタ
　３６２　ローリングトランジスタ
　３４１　後段リセットトランジスタ
　３５０　出力回路
　３５１　後段増幅トランジスタ
　３５２　後段選択トランジスタ
　１２０３１　撮像部

Claims (20)

  1. 　光電変換部から読み出された電荷に基づいて信号を生成する信号生成部と、
    　前記信号生成部にて生成された信号をホールドするサンプルホールド回路と、
    　前記サンプルホールド回路から読み出された信号を伝送する第１垂直信号線と、
    　前記信号生成部で生成された信号を伝送する第２垂直信号線と、
    　前記信号生成部と前記サンプルホールド回路との間に設けられた第１スイッチと、
    　前記信号生成部と前記第２垂直信号線との間に設けられた第２スイッチと
    を具備する撮像装置。
  2. 　前記第１垂直信号線に出力された信号をカラムごとにＡＤ変換する第１ＡＤＣ（Analog to Digital Converter）と、
    　前記第２垂直信号線に出力された信号をカラムごとにＡＤ変換する第２ＡＤＣとをさらに具備する請求項１記載の撮像装置。
  3. 　前記第１ＡＤＣから出力された信号を外部に送信する第１インタフェースと、
    　前記第２ＡＤＣから出力された信号を外部に送信する第２インタフェースとをさらに具備する請求項２記載の撮像装置。
  4. 　前記第１ＡＤＣから出力された信号と、前記第２ＡＤＣから出力された信号とを時分割的に外部に送信するインタフェースをさらに具備する請求項２記載の撮像装置。
  5. 　前記サンプルホールド回路から読み出された信号を前記第１垂直信号線に出力するタイミングと、前記信号生成部で生成された信号を前記第２垂直信号線に出力するタイミングとを制御する垂直走査回路をさらに具備する請求項１記載の撮像装置。
  6. 　前記垂直走査回路は、前記サンプルホールド回路から読み出された信号が前記第１垂直信号線に出力されている間に前記信号生成部で生成された信号を前記第２垂直信号線に出力させる
    請求項１記載の撮像装置。
  7. 　前記垂直走査回路は、
    　グローバルシャッタ方式による露光によって生成された信号を前記サンプルホールド回路にホールドさせ、
    　ローリングシャッタ方式による露光によって生成された信号を前記第２垂直信号線に出力させる
    請求項１記載の撮像装置。
  8. 　前記垂直走査回路は、前記信号生成部で生成された信号を垂直同期期間内に前記第２垂直信号線に複数回出力させる
    請求項１記載の撮像装置。
  9. 　前記信号生成部で生成された信号は、ＲＯＩ（Region Of Interest）画像データ、縮小画像データおよび位相差データの少なくとも１つを含む
    請求項１記載の撮像装置。
  10. 　前記第２垂直信号線を介して伝送される信号に基づいて、グローバルシャッタ動作およびローリングシャッタ動作のいずれか少なくとも１つを制御する制御部をさらに備える請求項１記載の撮像装置。
  11. 　前記信号生成部は、
    　前記光電変換部から電荷を読み出す読出しトランジスタと、
    　前記読出しトランジスタにて読み出された電荷を保持するフローティングディフュージョンと、
    　前記フローティングディフュージョンの電位に基づいて前記信号を生成する増幅トランジスタと、
    　前記フローティングディフュージョンに保持された電荷をリセットするリセットトランジスタと
    を備え、
    　前記サンプルホールド回路は、
    　前記第１スイッチに一端が接続された第１容量素子と、
    　前記第１スイッチに一端が接続された第２容量素子と、
    　前記第１容量素子に直列に接続された第１切替トランジスタと、
    　前記第２容量素子に直列に接続された第２切替トランジスタと
    を備える請求項１記載の撮像装置。
  12. 　前記サンプルホールド回路にホールドされた信号を前記第１垂直信号線に出力する出力回路と、
    　前記第１および第２の容量素子の両方が前記出力回路から切り離されたときに前記サンプルホールド回路と前記出力回路との接続点のレベルを初期化する後段リセットトランジスタとをさらに具備する請求項１１記載の撮像装置。
  13. 　サンプルホールド回路が設けられた画素がロウ方向およびカラム方向に配列された画素アレイ部と、
    　グローバルシャッタ動作に基づいて前記サンプルホールド回路から信号を出力する第１出力部と、
    　ローリングシャッタ動作に基づいて前記サンプルホールド回路がスキップされた信号を前記画素から出力する第２出力部と、
    　前記第１出力部から出力された信号を処理する第１処理部と、
    　前記第２出力部から出力された信号を処理する第２処理部と、
    　前記第１処理部に処理された信号と、前記第２処理部に処理された信号とを合成する合成部と
    を具備する画像処理装置。
  14. 　前記画素は、
    　光電変換部と、
    　前記光電変換部から電荷を読み出す読出しトランジスタと、
    　前記読出しトランジスタにて読み出された電荷を保持するフローティングディフュージョンと、
    　前記フローティングディフュージョンの電位に応じた信号を生成する増幅トランジスタと、
    　前記フローティングディフュージョンに保持された電荷をリセットするリセットトランジスタと
    を備える請求項１３記載の画像処理装置。
  15. 　前記増幅トランジスタと前記サンプルホールド回路との間に設けられた第１スイッチと、
    　前記増幅トランジスタと前記第２出力部との間に設けられた第２スイッチとをさらに備え、
    　前記サンプルホールド回路は、
    　前記第１スイッチに一端が接続された第１容量素子と、
    　前記第１スイッチに一端が接続された第２容量素子と、
    　前記第１容量素子に直列に接続された第１切替トランジスタと、
    　前記第２容量素子に直列に接続された第２切替トランジスタと
    を備える請求項１４記載の画像処理装置。
  16. 　前記第１出力部は、
    　前記サンプルホールド回路から読み出された信号を前記カラム方向に伝送する第１垂直信号線と、
    　前記第１垂直信号線に出力された信号をカラムごとにＡＤ変換する第１ＡＤＣと
    を備え、
    　前記第２出力部は、
    　前記サンプルホールド回路がスキップされた信号を前記カラム方向に伝送する第２垂直信号線と、
    　前記第２垂直信号線に出力された信号をカラムごとにＡＤ変換する第２ＡＤＣと
    を備える請求項１３記載の画像処理装置。
  17. 　前記サンプルホールド回路がスキップされた信号は、垂直同期期間内に前記画素から前記第２出力部に複数回出力される
    請求項１３記載の画像処理装置。
  18. 　前記画素から前記第２出力部に出力される信号は、ＲＯＩ画像データ、縮小画像データおよび位相差データの少なくとも１つを含む
    請求項１３記載の画像処理装置。
  19. 　前記第２処理部にて処理された信号に基づいて前記画素アレイ部を制御する制御部をさらに備える請求項１３記載の画像処理装置。
  20. 　画素に設けられた光電変換部から読み出された電荷に基づいて信号を生成する手順と、
    　前記画素内で生成された信号を前記画素内にホールドする手順と、
    　前記画素内にホールドされた信号を出力する手順と、
    　前記画素内で生成された信号を、前記画素内にホールドされた信号の出力の期間内に出力する手順と
    を具備する撮像装置の制御方法。
PCT/JP2023/000064 2022-03-01 2023-01-05 撮像装置、画像処理装置および撮像装置の制御方法 WO2023166848A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022030563 2022-03-01
JP2022-030563 2022-03-01

Publications (1)

Publication Number Publication Date
WO2023166848A1 true WO2023166848A1 (ja) 2023-09-07

Family

ID=87883645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000064 WO2023166848A1 (ja) 2022-03-01 2023-01-05 撮像装置、画像処理装置および撮像装置の制御方法

Country Status (1)

Country Link
WO (1) WO2023166848A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180227513A1 (en) * 2017-02-03 2018-08-09 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with selectable shutter modes and in-pixel cds
US20210235027A1 (en) * 2018-08-03 2021-07-29 Ams Sensors Belgium Bvba Pixel cell and method for operating a pixel cell

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180227513A1 (en) * 2017-02-03 2018-08-09 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with selectable shutter modes and in-pixel cds
US20210235027A1 (en) * 2018-08-03 2021-07-29 Ams Sensors Belgium Bvba Pixel cell and method for operating a pixel cell

Similar Documents

Publication Publication Date Title
KR102520518B1 (ko) 촬상 소자, 촬상 소자의 제어 방법, 및 전자기기
CN111095917B (zh) 固态摄像器件和电子设备
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2021215105A1 (ja) 固体撮像素子
JP7331180B2 (ja) 撮像素子及び電子機器
US11418746B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2021215093A1 (ja) 固体撮像素子、および、撮像装置
CN111886857A (zh) 固态摄像器件
WO2019193801A1 (ja) 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2020003646A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022209126A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022172586A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023166848A1 (ja) 撮像装置、画像処理装置および撮像装置の制御方法
TW202301656A (zh) 固體攝像元件及攝像裝置
JP7309713B2 (ja) コンパレータ及び撮像装置
JP2022017676A (ja) 撮像装置及び電子機器
WO2023062935A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023162471A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023157489A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023166854A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023007772A1 (ja) 固体撮像素子
WO2023067961A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062940A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023063024A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062947A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763111

Country of ref document: EP

Kind code of ref document: A1