WO2023157489A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2023157489A1
WO2023157489A1 PCT/JP2022/048207 JP2022048207W WO2023157489A1 WO 2023157489 A1 WO2023157489 A1 WO 2023157489A1 JP 2022048207 W JP2022048207 W JP 2022048207W WO 2023157489 A1 WO2023157489 A1 WO 2023157489A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixel
metadata
circuit
stage
Prior art date
Application number
PCT/JP2022/048207
Other languages
English (en)
French (fr)
Inventor
啓悟 中澤
凌平 川崎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023157489A1 publication Critical patent/WO2023157489A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • This technology relates to solid-state imaging devices. More specifically, the present invention relates to a solid-state imaging device, an imaging apparatus, and a control method for a solid-state imaging device that performs exposure by a global shutter method.
  • the solid-state imaging device can process the next frame F2 using metadata generated from a certain frame F1.
  • the position of the subject may change between the frame F1 and the frame F2, and if the metadata of the frame F1 is used, appropriate image processing cannot be performed based on the recognition result. There is a risk.
  • This technology was created in view of this situation, and aims to perform appropriate image processing in a solid-state imaging device that processes frames using metadata.
  • a first aspect of the present technology includes a plurality of pixels each provided with a sample-and-hold circuit for holding a pixel signal; an analog-to-digital conversion unit for generating a first digital signal by analog-to-digital conversion processing on each of the signals, and generating a second digital signal by analog-to-digital conversion processing on each of the held pixel signals;
  • a solid-state imaging device comprising a metadata extraction unit for extracting predetermined metadata from a digital signal and an image processing unit for performing predetermined processing on the second digital signal using the metadata, and the control method. This brings about an effect that appropriate image processing is executed.
  • the metadata extracting unit performs recognition processing for recognizing a predetermined object on the frame in which the first digital signal is arranged, and outputs data indicating the result of the recognition processing to the May be generated as metadata. This brings about the effect of executing appropriate image processing based on the recognition regret.
  • the metadata may indicate a predetermined area
  • the image processing section may perform processing to replace a color in the area with a specific color. This brings about an effect that the predetermined object is hidden.
  • the metadata may indicate a predetermined area
  • the image processing section may perform mosaic processing on the area. This brings about an effect that the predetermined object is hidden.
  • the metadata may indicate a predetermined region
  • the image processing section may extract the region as the region of interest from the frame in which the second digital signal is arranged. This brings about the effect that the predetermined processing is performed on the region of interest.
  • each of the plurality of pixels includes a pre-stage circuit that generates a pixel signal, a sample-and-hold circuit that holds the pixel signal, and a sample-and-hold circuit that reads out the pixel signal from the sample-and-hold circuit and outputs the pixel signal.
  • a post-stage circuit may be provided. This brings about the effect that the pixel signal is held for each pixel.
  • the sample-and-hold circuit includes first and second capacitive elements, control for connecting one of the first and second capacitive elements to a predetermined post-stage node, and A selection circuit may also be provided which sequentially performs control for connecting the other of the second capacitive elements to the post-stage node. This brings about the effect of holding the reset level and signal level.
  • the selection circuit controls to connect one of the first and second capacitive elements to a predetermined post-stage node and connects both the first and second capacitive elements to the post-stage node. and the control of connecting the other of the first and second capacitive elements to the post-stage node may be sequentially performed. This brings about the effect of reducing noise.
  • each of the plurality of pixels includes a post-stage reset transistor that initializes the level of the post-stage node when both the first and second capacitive elements are disconnected from the post-stage node. may be further provided. This brings about the effect of reducing noise.
  • a first digital signal is generated by a plurality of pixels each provided with a sample-and-hold circuit for holding a pixel signal, and signal processing for each of the held pixel signals.
  • a signal processing unit for generating a second digital signal by performing the signal processing on each of the held pixel signals; a metadata extraction unit for extracting predetermined metadata from the first digital signal; and a recording unit configured to record frames in which the processed second digital signal is arranged.
  • FIG. 1 is a block diagram showing an example of 1 composition of an imaging device in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a solid-state image sensing device in a 1st embodiment of this art. It is a circuit diagram showing a configuration example of a pixel in the first embodiment of the present technology. 1 is a block diagram showing one configuration example of a load MOS (Metal Oxide Semiconductor) circuit block and a column signal processing circuit according to the first embodiment of the present technology; FIG. 1 is a circuit diagram showing a configuration example of a pixel provided with two systems of post-stage circuits in the first embodiment of the present technology; FIG.
  • MOS Metal Oxide Semiconductor
  • FIG. 1 is a circuit diagram showing a configuration example of a pixel in which transistors in a sample-and-hold circuit are eliminated in the first embodiment of the present technology
  • FIG. 1 is a circuit diagram showing a configuration example of a charge domain pixel according to a first embodiment of the present technology
  • FIG. 1 is a block diagram showing a configuration example of a logic circuit according to a first embodiment of the present technology
  • FIG. It is a timing chart which shows an example of operation of a solid-state image sensing device in a 1st embodiment of this art.
  • FIG. 4 is a timing chart showing an example of operation of a solid-state imaging device in a comparative example; It is a figure showing an example of the 1st frame and a recognition result in a 1st embodiment of this art. It is a figure which shows an example of the frame of the 2nd time in 1st Embodiment of this technique, and a frame after a process. It is a flow chart which shows an example of operation of a solid-state image sensing device in a 1st embodiment of this art. It is a figure which shows an example of the frame of the 2nd time in the 1st modification of 1st Embodiment of this technique, and a frame after a process.
  • FIG. 14 is a diagram for explaining level variations due to reset feedthrough in the fourth embodiment of the present technology; It is a timing chart which shows an example of voltage control in a 4th embodiment of this art.
  • FIG. 14 is a timing chart showing an example of global shutter operation for odd frames according to the fifth embodiment of the present technology; FIG. It is a timing chart which shows an example of read-out operation
  • FIG. 14 is a timing chart showing an example of global shutter operation for even-numbered frames according to the fifth embodiment of the present technology; FIG.
  • FIG. 14 is a timing chart showing an example of rolling shutter operation according to the seventh embodiment of the present technology;
  • FIG. 8 is a block diagram which shows one structural example of the solid-state image sensor in 8th Embodiment of this technique.
  • FIG. 22 is a diagram for explaining effects in the eighth embodiment of the present technology; 1 is a block diagram showing a schematic configuration example of a vehicle control system; FIG. FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit;
  • First Embodiment Example of Holding Pixel Signals and Performing Signal Processing Twice
  • Second embodiment an example in which a post-stage reset transistor is added, a pixel signal is held, and signal processing is performed twice
  • Third Embodiment Example of adding an ejection transistor, holding a pixel signal, and performing signal processing twice
  • Fourth Embodiment Example of Holding Pixel Signals and Performing Signal Processing Twice to Control Reset Power Supply Voltage
  • FIG. 1 is a block diagram showing a configuration example of an imaging device 100 according to the first embodiment of the present technology.
  • This imaging device 100 is a device for capturing image data, and includes an imaging lens 110 , a solid-state imaging device 200 , a recording section 120 and an imaging control section 130 .
  • As the imaging device 100 a digital camera or an electronic device (smartphone, personal computer, etc.) having an imaging function is assumed.
  • the solid-state imaging device 200 captures image data (frames) under the control of the imaging control section 130 .
  • the solid-state imaging device 200 supplies frames to the recording section 120 via the signal line 209 .
  • the imaging lens 110 collects light and guides it to the solid-state imaging device 200 .
  • the imaging control unit 130 controls the solid-state imaging device 200 to capture frames.
  • the imaging control unit 130 supplies imaging control signals including, for example, the vertical synchronization signal XVS to the solid-state imaging device 200 via the signal line 139 .
  • the recording unit 120 records frames.
  • the vertical synchronization signal XVS is a signal indicating the timing of imaging, and a periodic signal with a constant frequency (60 Hz, etc.) is used as the vertical synchronization signal XVS.
  • the imaging device 100 records frames
  • the frames may be transmitted to the outside of the imaging device 100.
  • an external interface is additionally provided for transmitting frames.
  • the imaging device 100 may further display frames.
  • a display section is further provided.
  • FIG. 2 is a block diagram showing a configuration example of the solid-state imaging device 200 according to the first embodiment of the present technology.
  • This solid-state imaging device 200 includes a vertical scanning circuit 211 , a pixel array section 220 , a timing control circuit 212 , a DAC (Digital to Analog Converter) 213 , a load MOS circuit block 250 and a column signal processing circuit 260 .
  • a plurality of pixels 300 are arranged in a two-dimensional grid in the pixel array section 220 .
  • each circuit in the solid-state imaging device 200 is provided on, for example, a single semiconductor chip.
  • a set of pixels 300 arranged in the horizontal direction is hereinafter referred to as a "row”, and a set of pixels 300 arranged in the direction perpendicular to the row is referred to as a "column”.
  • the timing control circuit 212 controls the operation timings of the vertical scanning circuit 211, the DAC 213, and the column signal processing circuit 260 in synchronization with the vertical synchronization signal XVS from the imaging control section .
  • the DAC 213 generates a sawtooth ramp signal by DA (Digital to Analog) conversion.
  • the DAC 213 supplies the generated ramp signal to the column signal processing circuit 260 .
  • the vertical scanning circuit 211 sequentially selects and drives rows to output analog pixel signals.
  • the pixel 300 photoelectrically converts incident light to generate an analog pixel signal. This pixel 300 supplies a pixel signal to the column signal processing circuit 260 via the load MOS circuit block 250 .
  • the load MOS circuit block 250 is provided with a MOS transistor for supplying a constant current for each column.
  • the column signal processing circuit 260 executes signal processing such as AD conversion processing and CDS processing on pixel signals for each column.
  • the column signal processing circuit 260 supplies the image data (frame) composed of the processed signal to the recording unit 120 .
  • FIG. 3 is a circuit diagram showing one configuration example of the pixel 300 according to the first embodiment of the present technology.
  • This pixel 300 comprises a front-stage circuit 310 , a sample-and-hold circuit 320 and a rear-stage circuit 350 .
  • Vertical signal lines 309 are wired in the pixel array section 220 for each column.
  • the pre-stage circuit 310 includes a photoelectric conversion element 311 , a transfer transistor 312 , an FD (Floating Diffusion) reset transistor 313 , an FD 314 , a pre-stage amplification transistor 315 and a current source transistor 316 .
  • the photoelectric conversion element 311 generates charges by photoelectric conversion.
  • the transfer transistor 312 transfers charges from the photoelectric conversion element 311 to the FD 314 according to the transfer signal trg from the vertical scanning circuit 211 .
  • the FD reset transistor 313 extracts electric charge from the FD 314 according to the FD reset signal rst from the vertical scanning circuit 211 and initializes it.
  • the FD 314 accumulates charges and generates a voltage corresponding to the amount of charges.
  • the front-stage amplification transistor 315 amplifies the voltage level of the FD 314 and outputs it to the front-stage node 319 .
  • the sources of the FD reset transistor 313 and the pre-amplification transistor 315 are connected to the power supply voltage VDD.
  • the current source transistor 316 is connected to the drain of the pre-amplification transistor 315 .
  • a predetermined bias voltage BIAS is supplied to the gate of the current source transistor 316 .
  • the sample hold circuit 320 includes capacitive elements 321 and 322 and a selection circuit 330 .
  • One end of each of capacitive elements 321 and 322 is commonly connected to previous stage node 319 , and the other end of each is connected to select circuit 330 .
  • the capacitive elements 321 and 322 are examples of the first and second capacitive elements described in the claims.
  • the selection circuit 330 includes selection transistors 331 and 332 .
  • the selection transistor 331 opens and closes the path between the capacitive element 321 and the subsequent node 340 according to the selection signal ⁇ r from the vertical scanning circuit 211 .
  • the selection transistor 332 opens and closes the path between the capacitive element 322 and the subsequent node 340 according to the selection signal ⁇ s from the vertical scanning circuit 211 .
  • the post-stage circuit 350 includes a post-stage amplification transistor 351 and a post-stage selection transistor 352 .
  • the rear-stage amplification transistor 351 amplifies the level of the rear-stage node 340 .
  • the post-stage selection transistor 352 outputs a signal of a level amplified by the post-stage amplification transistor 351 to the vertical signal line 309 as a pixel signal in accordance with the post-stage selection signal selb from the vertical scanning circuit 211 .
  • nMOS n-channel Metal Oxide Semiconductor
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure. Thereby, the photoelectric conversion element 311 is initialized.
  • this control will be referred to as "PD reset”.
  • the vertical scanning circuit 211 supplies the high level FD reset signal rst over the pulse period while setting the selection signal ⁇ r to high level for all pixels.
  • the FD 314 is initialized, and the capacitive element 321 holds a level corresponding to the level of the FD 314 at that time.
  • This control is hereinafter referred to as "FD reset".
  • the level of the FD 314 at the time of FD reset and the level corresponding to that level are hereinafter collectively referred to as "P phase” or "reset level”. .
  • the vertical scanning circuit 211 supplies a high-level transfer signal trg over the pulse period while setting the selection signal ⁇ s to a high level for all pixels.
  • signal charges corresponding to the amount of exposure are transferred to the FD 314 , and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322 .
  • phase D phase D
  • signal level level
  • Exposure control that simultaneously starts and ends exposure for all pixels in this way is called a global shutter method.
  • the pre-stage circuits 310 of all pixels generate pixel signals (reset level and signal level).
  • the reset level of the pixel signal is held in the capacitor 321 and the signal level is held in the capacitor 322 .
  • the vertical scanning circuit 211 sequentially selects rows and sequentially outputs the reset level and signal level of the rows.
  • the vertical scanning circuit 211 supplies the high level selection signal ⁇ r for a predetermined period while setting the FD reset signal rst and the subsequent stage selection signal selb of the selected row to high level.
  • the capacitive element 321 is connected to the post-stage node 340, and the reset level is read.
  • the vertical scanning circuit 211 After reading the reset level, the vertical scanning circuit 211 supplies the high-level selection signal ⁇ s for a predetermined period while keeping the FD reset signal rst and the subsequent stage selection signal selb of the selected row at high level. Thereby, the capacitive element 322 is connected to the post-stage node 340, and the signal level is read.
  • the selection circuit 330 of the selected row sequentially performs control to connect the capacitive element 321 to the subsequent node 340 and control to connect the capacitive element 322 to the subsequent node 340 .
  • the post-stage circuit 350 of the selected row reads the pixel signal (reset level and signal level) from the sample-and-hold circuit 320 via the post-stage node 340 and outputs it to the vertical signal line 309 .
  • FIG. 4 is a block diagram showing one configuration example of the load MOS circuit block 250 and the column signal processing circuit 260 according to the first embodiment of the present technology.
  • a vertical signal line 309 is wired to the load MOS circuit block 250 for each column. Assuming that the number of columns is I (I is an integer), I vertical signal lines 309 are wired. A load MOS transistor 251 that supplies a constant current id2 is connected to each of the vertical signal lines 309 .
  • a signal processing unit 261 , a logic circuit 400 , and a high-speed interface 410 are arranged in the column signal processing circuit 260 .
  • the signal processing unit 261 includes multiple ADCs 262 .
  • ADC 262 is arranged for each column. Assuming that the number of columns is I, I ADCs 262 are arranged.
  • the ADC 262 uses the ramp signal Rmp from the DAC 213 to convert analog pixel signals from the corresponding columns into digital signals.
  • This ADC 262 supplies a digital signal to the logic circuit 400 .
  • the ADC 262 is a single-slope ADC that includes a comparator and a counter.
  • the counter in the ADC 262 performs down-counting when AD-converting the reset level, and performs up-counting when AD-converting the signal level.
  • CDS Correlated Double Sampling
  • the signal processing unit 261 performs signal processing including AD conversion processing and CDS processing.
  • the logic circuit 400 performs various signal processing other than the CDS processing on each digital signal for each column.
  • Logic circuit 400 provides frames of processed digital signals to high speed interface 410 .
  • a high-speed interface 410 outputs frames to the recording unit 120 .
  • circuit configuration of the pixel 300 is not limited to that illustrated in FIG. 3 as long as it can generate a pixel signal and sample and hold it.
  • the selection transistor 331 opens and closes the path between the capacitive element 321 and the post-circuit 350-1
  • the selection transistor 332 opens and closes the path between the capacitive element 322 and the post-circuit 350-2.
  • the post-stage circuit 350-1 includes a post-stage amplification transistor 351-1 and a post-stage selection transistor 352-1
  • the post-stage circuit 350-2 includes a post-stage amplification transistor 351-2 and a post-stage selection transistor 352-2.
  • two vertical signal lines are provided for each column, the post-stage circuit 350-1 outputs the pixel signal to the vertical signal line 309-1, and the post-stage circuit 350-2 outputs the pixel signal to the vertical signal line 309-2.
  • selection transistors 331 and 332 can be connected in series between the pre-stage circuit 310 and the post-stage circuit 350 .
  • the capacitive element 322 is connected to the connection node of the selection transistors 331 and 332
  • the capacitive element 321 is connected to the connection node of the selection transistor 331 and the post-stage circuit 350 .
  • the control method of this sample-and-hold circuit 320 is, for example, "Chen Xu et al., A Stacked Global-Shutter CMOS Imager with SC-Type Hybrid-GS Pixel and Self-Knee Point Calibration Single-Frame HDR and On-Chip Binarization Algorithm for Smart Vision Applications ISSCC2019.”
  • a sampling transistor 333 and a capacitive element 321 can be inserted in series between the pre-stage circuit 310 and the post-stage circuit 350, and the capacitive element 322 can be connected to their connection node.
  • a post-stage reset transistor 341 for initializing the post-stage node 340 is further provided.
  • the control method of this circuit is, for example, "Jae-kyu Lee, et al., A 2.1e-Temporal Noise and -105dB Parasitic Light Sensitivity Backside-Illuminated 2.3 ⁇ m-Pixel Voltage-Domain Global Shutter CMOS Image Sensor Using High-Capacity DRAM Capacitor Technology, ISSCC 2020.”
  • selection transistors 331-1 and 331-2 are inserted in series between the pre-stage circuit 310 and the post-stage circuit 350.
  • Serially connected select transistors 332-1 and 332-2 are inserted in parallel with the circuit composed of select transistors 331-1 and 331-2.
  • Capacitive element 321 is connected to a connection node between select transistors 331-1 and 331-2, and capacitive element 322 is connected to a connection node between select transistors 332-1 and 332-2.
  • FIG. 9 is a block diagram showing a configuration example of the logic circuit 400 according to the first embodiment of the present technology.
  • This logic circuit 400 includes a column interface 401 , an image processing section 402 , an ISP (Image Signal Processor) circuit 403 , a metadata extraction section 404 and a work memory 405 .
  • ISP Image Signal Processor
  • each of the pixels 300 described above holds a pixel signal in synchronization with the vertical synchronization signal XVS.
  • the signal processing unit 261 performs signal processing (AD conversion processing and CDS processing) for converting a pixel signal for each pixel into a digital signal after CDS processing twice in synchronization with the vertical synchronization signal XVS.
  • Each signal processing includes AD conversion processing for the reset level and AD conversion processing and CDS processing for the signal level, so four AD conversion processings and two CDS processings are executed in two signal processings. be.
  • the column interface 401 receives digital signals from the signal processing unit 261 and supplies image data (frames) in which they are arranged to the image processing unit 402 . Since signal processing is performed twice for each pixel in synchronization with the vertical synchronization signal XVS, two frames are generated for each period of the vertical synchronization signal XVS. These frames have the same data, but to distinguish them, the first frame is hereinafter referred to as "F1" and the second frame as "F2".
  • the image processing unit 402 performs various processes such as correction of defective pixels and dark correction on frames from the column interface 401 .
  • This image processing unit 402 processes the first frame F1 and supplies it to the ISP circuit 403 .
  • the ISP circuit 403 performs processing for reducing the amount of data on the frame F1 as necessary. When the processing load on the metadata extraction unit 404 is heavy, the ISP circuit 403 reduces the data amount. For example, downscaling and tone reduction are performed. Further, when the image from the signal processing unit 261 is a Bayer array image and the format of the input image to the metadata extraction unit 404 is a color image with three colors of R, G, and B for each pixel, the ISP circuit 403 Perform demosaic processing to convert the array image to a color image. The ISP circuit 403 supplies the processed frame F ⁇ b>1 to the metadata extraction unit 404 .
  • the metadata extraction unit 404 extracts predetermined metadata from the frame F1.
  • the metadata extraction unit 404 performs, for example, recognition processing for recognizing a predetermined object on the frame F1, and generates data indicating the processing result as metadata.
  • the metadata includes, for example, information as to whether or not the recognition target has been recognized, information as to the type, name, and attributes of the recognized object, information indicating the area of the object, and the like. Attributes include, for example, gender and age.
  • the metadata extraction unit 404 supplies the extracted metadata to the image processing unit 402 .
  • the work memory 405 holds data used in recognition processing. For example, recognition processing is executed by a neural network, and intermediate data exchanged between layers in the neural network is temporarily held in the work memory 405 . Also, weights used in the neural network are stored in advance in the work memory 405 .
  • the image processing unit 402 performs predetermined processing on the second frame F2 using the metadata extracted from the first frame F1. For example, for frame F2, a process of replacing the color of the object region indicated by the metadata with a specific color (eg, black) is performed.
  • the image processing unit 402 supplies the processed frame to the high-speed interface 410 as F2'.
  • each pixel 300 is provided with a sample-and-hold circuit that holds a pixel signal.
  • the signal processing unit 261 performs signal processing (AD conversion processing and CDS processing) on each pixel signal held in the pixel 300 in synchronization with the vertical synchronization signal XVS to generate a digital signal after CDS processing. times.
  • the frame in which the first digital signal is arranged is F1
  • the frame in which the second digital signal is arranged is F2.
  • the first digital signal is an example of the first digital signal described in the claims
  • the second digital signal is an example of the second digital signal described in the claims.
  • the metadata extraction unit 404 extracts metadata from the frame F1 and supplies it to the image processing unit 402.
  • the image processing unit 402 performs predetermined processing on the frame F2 using the metadata of the frame F1.
  • FIG. 10 is a timing chart showing an example of the operation of the solid-state imaging device 200 according to the first embodiment of the present technology.
  • the vertical scanning circuit 211 exposes all the pixels in the pixel array section 220 over the exposure period from timing T0 to T1. Also, at timing T1, the vertical synchronization signal XVS falls.
  • the signal processing unit 261 sequentially reads out the held pixel signals row by row, performs signal processing (AD conversion processing and CDS processing), and generates a frame F1.
  • the image processing unit 402 also performs image processing such as defective pixel correction on the frame F1, and supplies the processed image to the metadata extraction unit 404 via the ISP circuit 403 (not shown).
  • the metadata extraction unit 404 extracts metadata from the frame F1 and supplies it to the image processing unit 402 during the period from timing T2 to timing T3.
  • the signal processing unit 261 sequentially reads out the held pixel signals row by row, performs signal processing, and generates a frame F2. Since the signal processing is performed on the same pixel signals as the first time, the frame F2 has the same data as the frame F1.
  • the image processing unit 402 performs predetermined processing on the frame F2 using the metadata, and supplies the processed frame F2′ to the high-speed interface 410 .
  • the high speed interface 410 outputs the frame F2' to the outside.
  • the vertical synchronization signal XVS falls. Note that when capturing a plurality of frames in synchronization with the vertical synchronization signal XVS, all pixels are exposed within the exposure period from a predetermined timing to timing T4, and the next pixel signal is generated.
  • FIG. 11 is a timing chart showing an example of the operation of the solid-state imaging device 200 in the comparative example.
  • the vertical scanning circuit 211 exposes all the pixels in the pixel array section 220 over the exposure period from timings T0 to T1.
  • the signal processing unit 261 sequentially reads pixel signals row by row, performs signal processing (AD conversion processing and CDS processing), and generates a frame F1.
  • the image processing unit 402 also performs image processing such as defective pixel correction on the frame F1, and supplies the processed image to the metadata extraction unit 404 via the ISP circuit 403 (not shown).
  • the vertical scanning circuit 211 exposes all the pixels in the pixel array section 220 over the exposure period from timings T2 to T3. At timing T3, the vertical synchronizing signal XVS falls. Also, the metadata extraction unit 404 extracts metadata from the frame F1 and supplies it to the image processing unit 402 during the exposure period.
  • the signal processing unit 261 sequentially reads pixel signals row by row, performs signal processing, and generates a frame F2.
  • the pixel signals generated by the exposures at timings T0 to T1 are destroyed by the exposures at timings T2 to T3. Therefore, when a moving object is captured, the frame F2 has different data from the frame F1.
  • the image processing unit 402 performs predetermined processing on the frame F2 using the metadata, and supplies the processed frame F2′ to the high-speed interface 410.
  • the high speed interface 410 outputs the frame F2' to the outside.
  • the image processing unit 402 can perform processing using the metadata on an appropriate region, and can perform appropriate image processing on the frame F2'.
  • FIG. 12 is a diagram showing an example of the first frame and recognition results in the first embodiment of the present technology.
  • a is an example of the first frame 500
  • b in the same figure is a diagram showing an example of the recognition result.
  • a frame 500 includes subjects such as a person 501 and a building 502 .
  • the recognition target is a human being.
  • a person 501 is recognized, and information indicating a rectangular area 510 including the object is generated as metadata.
  • a thick dotted rectangular area 510 in the figure corresponds to the area indicated by the metadata.
  • FIG. 13 is a diagram showing an example of the second frame and the frame after processing in the first embodiment of the present technology.
  • a is an example of a second frame 510
  • b in the figure is an example of a frame 520 processed using metadata.
  • the second signal processing generates a frame 510 that is the same as the first frame 500 .
  • the area 521 indicated by the metadata is filled with a specific color (eg, black).
  • FIG. 14 is a flow chart showing an example of the operation of the solid-state imaging device 200 according to the first embodiment of the present technology. This operation is started, for example, when a predetermined application for capturing a frame is executed.
  • the vertical scanning circuit 211 in the solid-state imaging device 200 exposes all pixels simultaneously (step S901). For each pixel, the sample-and-hold circuit 320 within that pixel samples and holds the pixel signal (step S902).
  • the signal processing unit 261 performs signal processing (AD conversion processing and CDS processing) on each of the held pixel signals to generate the first frame (step S903).
  • the image processing unit 402 performs image processing on the frame (step S904), and the metadata extraction unit 404 extracts metadata from the processed frame (step S905).
  • the signal processing unit 261 performs signal processing on each of the held pixel signals to generate a second frame (step S906).
  • the image processing unit 402 refers to the metadata and determines whether or not the object has been recognized (step S907). When the object is recognized (step S907: Yes), the image processing unit 402 uses the metadata to perform image processing such as painting (step S908). On the other hand, if the target object is not recognized (step S907: No), the image processing unit 402 performs normal image processing such as defective pixel correction without using metadata (step S909). After step S908 or S909, the solid-state imaging device 200 finishes the operation for capturing the frame.
  • steps S901 to S909 are repeatedly executed in synchronization with the vertical synchronization signal XVS.
  • a pixel signal is held for each pixel, and metadata extracted from the first frame is used to generate a second frame that is the same as the first frame. Since the frame is processed, more appropriate image processing can be performed than the comparative example which does not hold the pixel signal.
  • the image processing unit 402 performs a process of filling the area indicated by the metadata with a specific color (eg, black) for the frame F2.
  • a specific color eg, black
  • the process using metadata is not limited to the process of filling in black or the like.
  • the solid-state imaging device 200 in the first modification of the first embodiment differs from the first embodiment in that the area indicated by the metadata is subjected to mosaic processing.
  • FIG. 15 is a diagram showing an example of the second frame and the frame after processing in the first modified example of the first embodiment of the present technology.
  • a is an example of a second frame 510
  • b in the figure is an example of a frame 520 processed using metadata.
  • the image processing unit 402 performs mosaic processing on the area 522 indicated by the metadata.
  • the mosaic processing is performed on the region 522 indicated by the metadata, so that the recognized object can be hidden by the mosaic.
  • the image processing unit 402 performs a process of filling the area indicated by the metadata with a specific color (eg, black) for the frame F2.
  • a specific color eg, black
  • the process using metadata is not limited to the process of filling in black or the like.
  • the solid-state imaging device 200 in the second modification of the first embodiment differs from the first embodiment in that the region indicated by metadata is extracted as a region of interest (ROI).
  • ROI region of interest
  • FIG. 16 is a diagram showing an example of the second frame and the region of interest in the second modified example of the first embodiment of the present technology.
  • a is an example of the second frame 510
  • b in the same figure is an example of the region of interest 530.
  • FIG. 16 is a diagram showing an example of the second frame and the region of interest in the second modified example of the first embodiment of the present technology.
  • a is an example of the second frame 510
  • b in the same figure is an example of the region of interest 530.
  • the image processing unit 402 extracts the region indicated by the metadata from the frame 510 as the region of interest 530 .
  • the metadata for example, detection results of suspicious behavior, possession of dangerous substances, and presence or absence of suspicious substances are used. Then, the image processing unit 402 performs various image processing such as defective pixel correction on the region of interest 530 .
  • FIGS. 13, 15 and 16 the entire human being is targeted for recognition, but only the face can also be targeted for recognition. Objects other than humans, such as vehicle license plates, can also be recognized.
  • the region indicated by the metadata is extracted as a region of interest (ROI). ) can be used to set the ROI.
  • ROI region of interest
  • the selection circuit 330 connects the capacitive elements 321 and 322 in order to the post-stage node 340, but this configuration may not sufficiently suppress noise.
  • the pixel 300 of the second embodiment differs from the first embodiment in that the latter node 340 is initialized when the selection circuit 330 disconnects the capacitive elements 321 and 322 from the latter node 340 .
  • FIG. 17 is a circuit diagram showing one configuration example of the pixel 300 according to the second embodiment of the present technology.
  • the pixel 300 of the second embodiment differs from the first embodiment in that it further includes a post-stage reset transistor 341 .
  • the post-stage reset transistor 341 initializes the level of the post-stage node 340 to a predetermined potential Vreg according to the post-stage reset signal rstb from the vertical scanning circuit 211 .
  • a potential different from the power supply potential VDD (for example, a potential lower than VDD) is set to the potential Vreg.
  • the vertical scanning circuit 211 After reading the reset level, the vertical scanning circuit 211 supplies the high-level post-stage reset signal rstb over the pulse period while keeping the FD reset signal rst and the post-stage selection signal selb of the selected row at high level. As a result, the level of the subsequent node 340 is initialized. At this time, both select transistor 331 and select transistor 332 are in an open state, and capacitive elements 321 and 322 are disconnected from subsequent node 340 .
  • the vertical scanning circuit 211 After initialization of the post-stage node 340, the vertical scanning circuit 211 supplies the high-level selection signal ⁇ s for a predetermined period while keeping the FD reset signal rst and the post-stage selection signal selb of the selected row at high level. Thereby, the capacitive element 322 is connected to the post-stage node 340, and the signal level is read.
  • the selection circuit 330 of the selected row performs control to connect the capacitive element 321 to the post-stage node 340, to disconnect the capacitive elements 321 and 322 from the post-node 340, and to connect the capacitive element 322 to the post-node 340. and control to connect to .
  • the post-stage reset transistor 341 in the selected row initializes the level of the post-stage node 340 .
  • the post-stage circuit 350 of the selected row sequentially reads out the reset level and the signal level from the capacitive elements 321 and 322 via the post-stage node 340 and outputs them to the vertical signal line 309 .
  • FIG. 18 is a timing chart showing an example of global shutter operation according to the second embodiment of the present technology.
  • the vertical scanning circuit 211 supplies high-level FD reset signal rst and transfer signal trg to all rows (in other words, all pixels) from timing T0 immediately before the start of exposure to timing T1 after the pulse period has elapsed. do. As a result, all pixels are PD-reset, and exposure is started simultaneously for all rows.
  • rst_[n] and trg_[n] in the same figure indicate the signals to the n-th row pixels of the N rows.
  • N is an integer indicating the total number of lines, and n is an integer from 1 to N.
  • the vertical scanning circuit 211 supplies the high-level FD reset signal rst over the pulse period while setting the post-stage reset signal rstb and the selection signal ⁇ r to high level in all pixels. .
  • all pixels are FD-reset, and the reset level is sample-held.
  • rstb_[n] and ⁇ r_[n] in the same figure indicate signals to pixels in the n-th row.
  • the vertical scanning circuit 211 returns the selection signal ⁇ r to low level.
  • the vertical scanning circuit 211 supplies the high-level transfer signal trg over the pulse period while setting the post-stage reset signal rstb and the selection signal ⁇ s to high level in all pixels. This samples and holds the signal level. Also, the level of the preceding node 319 drops from the reset level (VDD-Vgs) to the signal level (VDD-Vgs-Vsig).
  • VDD is the power supply voltage
  • Vsig is the net signal level obtained by the CDS process.
  • Vgs is the gate-to-source voltage of the pre-amplification transistor 315 .
  • ⁇ s_[n] in the figure indicates a signal to the n-th pixel.
  • the vertical scanning circuit 211 returns the selection signal ⁇ s to low level.
  • the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to supply the current id1.
  • id1_[n] in the figure indicates the current of the n-th pixel.
  • the current id1 needs to be on the order of several nanoamperes (nA) to several tens of nanoamperes (nA).
  • the load MOS transistors 251 of all columns are in the off state, and the current id2 is not supplied to the vertical signal line 309 .
  • FIG. 19 is a timing chart showing an example of read operation in the second embodiment of the present technology.
  • the vertical scanning circuit 211 sets the n-th row FD reset signal rst and the subsequent stage selection signal selb to high level.
  • the post-stage reset signal rstb for all rows is controlled to low level.
  • selb_[n] in the figure indicates a signal to the n-th row pixel.
  • the vertical scanning circuit 211 supplies a high-level selection signal ⁇ r to the n-th row over a period from timing T11 immediately after timing T10 to timing T13.
  • the potential of the post-stage node 340 becomes the reset level Vrst.
  • the DAC 213 gradually raises the ramp signal Rmp over the period from timing T12 to timing T13 after timing T11.
  • the ADC 262 compares the ramp signal Rmp with the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the P-phase level (reset level) is read.
  • the vertical scanning circuit 211 supplies the high-level post-stage reset signal rstb to the n-th row over the pulse period from timing T14 immediately after timing T13. As a result, when a parasitic capacitance exists in the post-stage node 340, the history of the previous signal held in the parasitic capacitance can be erased.
  • the vertical scanning circuit 211 supplies a high-level selection signal ⁇ s to the n-th row over a period from timing T15 to timing T17 immediately after initialization of the subsequent node 340 .
  • the potential of the post-stage node 340 becomes the signal level Vsig.
  • the signal level was lower than the reset level, but at the time of reading, the signal level becomes higher than the reset level because the latter node 340 is used as a reference.
  • the difference between the reset level Vrst and the signal level Vsig corresponds to the net signal level after removing the FD reset noise and offset noise.
  • the DAC 213 gradually raises the ramp signal Rmp over a period from timing T16 to timing T17 after timing T15.
  • the ADC 262 compares the ramp signal Rmp with the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the D-phase level (signal level) is read.
  • the vertical scanning circuit 211 controls the current source transistor 316 of the n-th row to be read over the period from timing T10 to timing T17 to supply the current id1. Further, the timing control circuit 212 controls the load MOS transistors 251 of all columns to supply the current id2 during the readout period of all rows.
  • the solid-state imaging device 200 reads the signal level after the reset level, the order is not limited to this. As illustrated in FIG. 20, the solid-state imaging device 200 can also read the reset level after the signal level. In this case, as illustrated in the figure, the vertical scanning circuit 211 supplies the high level selection signal ⁇ r after the high level selection signal ⁇ s. Also, in this case, it is necessary to reverse the slope of the ramp signal.
  • the rear-stage reset transistor 341 initializes the rear-stage node 340 when the selection circuit 330 disconnects the capacitive elements 321 and 322 from the rear-stage node 340 . Since capacitive elements 321 and 322 are separated, the level of reset noise due to their driving is a level corresponding to parasitic capacitance smaller than their capacities. This noise reduction can improve the image quality of the image data.
  • the signal is read while the pre-stage circuit 310 is connected to the pre-stage node 319, but in this configuration, noise from the pre-stage node 319 cannot be blocked during reading.
  • the pixel 300 of the first modified example of the second embodiment differs from the second embodiment in that a transistor is inserted between the pre-stage circuit 310 and the pre-stage node 319 .
  • FIG. 21 is a circuit diagram showing a configuration example of the pixel 300 in the first modified example of the second embodiment of the present technology.
  • a pixel 300 of the first modification of the second embodiment differs from the second embodiment in that it further includes a pre-stage reset transistor 323 and a pre-stage selection transistor 324 .
  • VDD1 is the power supply voltage of the pre-stage circuit 310 and the post-stage circuit 350 of the first modification of the second embodiment.
  • the pre-stage reset transistor 323 initializes the level of the pre-stage node 319 with the power supply voltage VDD2. It is desirable to set this power supply voltage VDD2 to a value that satisfies the following equation.
  • VDD2 VDD1-Vgs Equation 1
  • Vgs is the voltage between the gate and source of the preamplifying transistor 315 .
  • Equation 1 By setting a value that satisfies Equation 1, it is possible to reduce the potential fluctuation between the preceding node 319 and the succeeding node 340 when it is dark. This makes it possible to improve photo response non-uniformity (PRNU).
  • PRNU photo response non-uniformity
  • the front-stage selection transistor 324 opens and closes the path between the front-stage circuit 310 and the front-stage node 319 according to the front-stage selection signal sel from the vertical scanning circuit 211 .
  • FIG. 22 is a timing chart showing an example of global shutter operation in the first modified example of the second embodiment of the present technology.
  • the timing chart of the first modification of the second embodiment differs from that of the first embodiment in that the vertical scanning circuit 211 further supplies the previous stage reset signal rsta and the previous stage selection signal sel.
  • rsta_[n] and sel_[n] denote signals to pixels in the nth row.
  • the vertical scanning circuit 211 supplies a high-level pre-stage selection signal sel to all pixels from timing T2 immediately before the end of exposure to timing T5.
  • the previous stage reset signal rsta is controlled to a low level.
  • FIG. 23 is a timing chart showing an example of read operation in the first modified example of the second embodiment of the present technology.
  • the previous stage selection signal sel is controlled to a low level.
  • the pre-stage selection transistor 324 shifts to the open state, and the pre-stage node 319 is disconnected from the pre-stage circuit 310 .
  • noise from the preceding node 319 can be cut off during reading.
  • the vertical scanning circuit 211 supplies the high-level pre-stage reset signal rsta to the n-th row.
  • the vertical scanning circuit 211 controls the current source transistors 316 of all pixels to stop supplying the current id1.
  • Current id2 is supplied in the same manner as in the second embodiment.
  • control of the current id1 becomes simpler than in the second embodiment.
  • the pre-stage selection transistor 324 transitions to the open state during reading to disconnect the pre-stage circuit 310 from the pre-stage node 319 .
  • Noise from the circuit 310 can be blocked.
  • the circuits in the solid-state imaging device 200 are provided on a single semiconductor chip.
  • the solid-state imaging device 200 of the second modification of the second embodiment differs from the second embodiment in that the circuits in the solid-state imaging device 200 are distributed over two semiconductor chips.
  • FIG. 24 is a diagram showing an example of the layered structure of the solid-state imaging device 200 in the second modified example of the second embodiment of the present technology.
  • a solid-state imaging device 200 of a second modification of the second embodiment includes a lower pixel chip 202 and an upper pixel chip 201 stacked on the lower pixel chip 202 . These chips are electrically connected, for example, by Cu--Cu bonding. In addition to Cu--Cu bonding, vias and bumps can also be used for connection.
  • An upper pixel array section 221 is arranged in the upper pixel chip 201 .
  • a lower pixel array section 222 and a column signal processing circuit 260 are arranged in the lower pixel chip 202 .
  • Some of the pixels in the pixel array section 220 are arranged in the upper pixel array section 221 and the rest are arranged in the lower pixel array section 222 .
  • a vertical scanning circuit 211 , a timing control circuit 212 , a DAC 213 and a load MOS circuit block 250 are also arranged in the lower pixel chip 202 . These circuits are omitted in the figure.
  • the upper pixel chip 201 is manufactured by, for example, a process dedicated to pixels
  • the lower pixel chip 202 is manufactured by, for example, a CMOS (Complementary MOS) process.
  • CMOS Complementary MOS
  • FIG. 25 is a circuit diagram showing a configuration example of the pixel 300 in the second modified example of the second embodiment of the present technology.
  • the front-stage circuit 310 is arranged on the upper pixel chip 201
  • the other circuits and elements are arranged on the lower pixel chip 202 .
  • the current source transistor 316 can also be placed further on the lower pixel chip 202 .
  • the area of the pixel can be reduced and the pixel can be miniaturized. becomes easier.
  • the circuits and elements in the pixel 300 are distributed over two semiconductor chips, so that the pixel can be easily miniaturized. Become.
  • FIG. 26 is a diagram showing an example of the layered structure of the solid-state imaging device 200 according to the third modification of the second embodiment of the present technology.
  • a solid-state imaging device 200 of the third modification of the second embodiment includes an upper pixel chip 201 , a lower pixel chip 202 and a circuit chip 203 . These chips are stacked and electrically connected, for example, by Cu--Cu bonding. In addition to Cu--Cu bonding, vias and bumps can also be used for connection.
  • An upper pixel array section 221 is arranged in the upper pixel chip 201 .
  • a lower pixel array section 222 is arranged in the lower pixel chip 202 .
  • Some of the pixels in the pixel array section 220 are arranged in the upper pixel array section 221 and the rest are arranged in the lower pixel array section 222 .
  • a column signal processing circuit 260 In the circuit chip 203, a column signal processing circuit 260, a vertical scanning circuit 211, a timing control circuit 212, a DAC 213 and a load MOS circuit block 250 are arranged. Circuits other than the column signal processing circuit 260 are omitted in the figure.
  • the lower pixel chip 202 of the second layer can be manufactured by a dedicated process for capacitors and switches.
  • the circuits in the solid-state imaging device 200 are distributed over the three semiconductor chips, so that the circuits are distributed over the two semiconductor chips. Pixels can be further miniaturized as compared with the case where
  • the reset level is sampled and held within the exposure period, but in this configuration, the exposure period cannot be made shorter than the reset level sample and hold period.
  • the solid-state imaging device 200 of the third embodiment differs from that of the second embodiment in that the exposure period is made shorter by adding a transistor for discharging charges from the photoelectric conversion element.
  • FIG. 27 is a circuit diagram showing one configuration example of the pixel 300 according to the third embodiment of the present technology.
  • the pixel 300 of this third embodiment differs from that of the second embodiment in that it further includes a discharge transistor 317 in the pre-stage circuit 310 .
  • the discharge transistor 317 functions as an overflow drain that discharges charges from the photoelectric conversion element 311 according to the discharge signal ofg from the vertical scanning circuit 211 .
  • An nMOS transistor, for example, is used as the discharge transistor 317 .
  • blooming may occur when charges are transferred from the photoelectric conversion element 311 to the FD 314 for all pixels. Then, the potentials of the FD 314 and the previous stage node 319 drop when the FD is reset. Following this potential drop, currents for charging and discharging the capacitative elements 321 and 322 continue to be generated, and the IR drop of the power supply and ground changes from the steady state without blooming.
  • the discharge transistor 317 the charge of the photoelectric conversion element 311 is discharged to the overflow drain side. Therefore, the IR drop at the time of sampling and holding the reset level and the signal level is approximately the same, and streaking noise can be suppressed.
  • FIG. 28 is a timing chart showing an example of global shutter operation according to the third embodiment of the present technology.
  • the vertical scanning circuit 211 supplies the FD reset signal rst of high level to all the pixels for the pulse period while setting the discharge signal fg of all pixels to high level.
  • PD reset and FD reset are performed for all pixels.
  • the reset level is sample-held.
  • ?fg_[n] in the same figure indicates the signal to the pixel of the n-th row among the N rows.
  • the vertical scanning circuit 211 returns the discharge signal THERfg of all pixels to low level. Then, the vertical scanning circuit 211 supplies a high-level transfer signal trg to all pixels over a period from timing T2 immediately before the end of exposure to T3 at the end of exposure. This samples and holds the signal level.
  • both the transfer transistor 312 and the FD reset transistor 313 must be turned on at the start of exposure (that is, at PD reset).
  • the FD 314 must be reset at the same time when the PD is reset. Therefore, it is necessary to reset the FD again within the exposure period and sample and hold the reset level, and the exposure period cannot be shorter than the sample and hold period of the reset level.
  • a certain amount of waiting time is required until the voltage and current stabilize. A period is required.
  • the reset level can be sample-held by performing the FD reset before releasing the PD reset (starting exposure). As a result, the exposure period can be made shorter than the sample-and-hold period of the reset level.
  • the first to third modifications of the second embodiment can also be applied to the third embodiment.
  • the discharge transistor 317 that discharges the charge from the photoelectric conversion element 311 since the discharge transistor 317 that discharges the charge from the photoelectric conversion element 311 is provided, it is possible to perform the FD reset and sample and hold the reset level before the start of exposure. can. As a result, the exposure period can be made shorter than the sample-and-hold period of the reset level.
  • the FD 314 is initialized by the power supply voltage VDD.
  • PRNU sensitivity non-uniformity
  • the solid-state imaging device 200 of the fourth embodiment differs from the second embodiment in that PRNU is improved by lowering the power supply of the FD reset transistor 313 during reading.
  • FIG. 29 is a circuit diagram showing one configuration example of the pixel 300 according to the fourth embodiment of the present technology.
  • the pixel 300 of the fourth embodiment differs from the second embodiment in that the power supply of the FD reset transistor 313 is separated from the power supply voltage VDD of the pixel 300.
  • FIG. 29 is a circuit diagram showing one configuration example of the pixel 300 according to the fourth embodiment of the present technology.
  • the pixel 300 of the fourth embodiment differs from the second embodiment in that the power supply of the FD reset transistor 313 is separated from the power supply voltage VDD of the pixel 300.
  • the drain of the FD reset transistor 313 of the fourth embodiment is connected to the reset power supply voltage VRST.
  • This reset power supply voltage VRST is controlled by the timing control circuit 212, for example.
  • the potential of the FD 314 decreases due to the reset feedthrough of the FD reset transistor 313 at timing T0 immediately before the start of exposure, as illustrated in FIG. This fluctuation amount is assumed to be Vft.
  • the potential of the FD 314 changes from VDD to VDD-Vft at timing T0. Also, the potential of the previous stage node 319 during exposure is VDD-Vft-Vsig.
  • the FD reset transistor 313 is turned on during reading, and the FD 314 is fixed to the power supply voltage VDD. Due to the amount of variation Vft of FD 314, the potentials of pre-stage node 319 and post-stage node 340 in reading are shifted higher by about Vft. However, due to variations in the capacitance values of the capacitive elements 321 and 322 and parasitic capacitance, the amount of voltage to be shifted varies from pixel to pixel, resulting in deterioration of PRNU.
  • the transition amount of the subsequent node 340 when the preceding node 319 transitions by Vft is expressed by, for example, the following equation. ⁇ (Cs+ ⁇ Cs)/(Cs+ ⁇ Cs+Cp) ⁇ *Vft Equation 2
  • Cs is the capacitance value of the capacitive element 322 on the signal level side
  • ⁇ Cs is the variation of Cs
  • Cp is the capacitance value of the parasitic capacitance of the post-stage node 340 .
  • Equation 2 can be approximated by the following equation. ⁇ 1 ⁇ ( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft Equation 3
  • Equation 4 the variation of the post-stage node 340 can be expressed by the following equation. ⁇ ( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft Equation 4
  • FIG. 32 is a timing chart showing an example of voltage control in the fourth embodiment of the present technology.
  • the timing control circuit 212 controls the reset power supply voltage VRST to a value different from that during the exposure period during the row-by-row readout period after timing T9.
  • the timing control circuit 212 sets the reset power supply voltage VRST to the same value as the power supply voltage VDD.
  • the timing control circuit 212 reduces the reset power supply voltage VRST to VDD-Vft. That is, in the read period, the timing control circuit 212 reduces the reset power supply voltage VRST by an amount that substantially matches the variation Vft due to the reset feedthrough. With this control, the reset level of the FD 314 can be made uniform at the time of exposure and at the time of readout.
  • the timing control circuit 212 reduces the reset power supply voltage VRST by the fluctuation amount Vft due to the reset feedthrough at the time of reading. You can level up. This makes it possible to suppress deterioration of sensitivity non-uniformity (PRNU).
  • the signal level is read after the reset level for each frame.
  • sensitivity non-uniformity PRNU
  • PRNU sensitivity non-uniformity
  • the solid-state imaging device 200 of the fifth embodiment differs from the second embodiment in improving PRNU by exchanging the level held by the capacitive element 321 and the level held by the capacitative element 322 for each frame. Different from the form.
  • the solid-state imaging device 200 of the fifth embodiment continuously images a plurality of frames in synchronization with the vertical synchronization signal.
  • the odd-numbered frames are called “odd-numbered frames”, and the even-numbered frames are called “even-numbered frames”.
  • FIG. 33 is a timing chart showing an example of global shutter operation for odd frames in the fifth embodiment.
  • the pre-stage circuit 310 in the solid-state imaging device 200 causes the capacitive element 321 to hold the reset level by setting the selection signal ⁇ r and then the selection signal ⁇ s to high level, and then changes the signal level. It is held by the capacitor 322 .
  • FIG. 34 is a timing chart showing an example of the odd-numbered frame readout operation according to the fifth embodiment of the present technology.
  • the post-stage circuit 350 in the solid-state imaging device 200 sets the selection signal ⁇ r to the high level, then the selection signal ⁇ s, and reads the signal level after the reset level.
  • FIG. 35 is a timing chart showing an example of global shutter operation for even-numbered frames in the fifth embodiment.
  • the pre-stage circuit 310 in the solid-state imaging device 200 causes the capacitive element 322 to hold the reset level by setting the selection signal ⁇ s and then the selection signal ⁇ r to high level, and then changes the signal level. It is held in the capacitor 321 .
  • FIG. 36 is a timing chart showing an example of the even-numbered frame readout operation according to the fifth embodiment of the present technology.
  • the post-stage circuit 350 in the solid-state imaging device 200 sets the selection signal ⁇ s to the high level, then the selection signal ⁇ r, and reads the signal level after the reset level.
  • the levels held in the capacitive elements 321 and 322 are reversed between even-numbered frames and odd-numbered frames.
  • the polarity of the PRNU is also reversed between even and odd frames.
  • the post-stage column signal processing circuit 260 obtains the arithmetic mean of the odd-numbered frames and the even-numbered frames. This allows PRNUs with opposite polarities to cancel each other out.
  • This control is effective for capturing moving images and adding frames. In addition, it is possible to realize this by only changing the driving method without adding an element to the pixel 300 .
  • the level held in the capacitive element 321 and the level held in the capacitative element 322 are opposite between the odd frame and the even frame.
  • the polarity of PRNU can be reversed between frames. By adding these odd and even frames by the column signal processing circuit 260, deterioration of PRNU can be suppressed.
  • the column signal processing circuit 260 obtains the difference between the reset level and the signal level for each column.
  • the charge overflows from the photoelectric conversion element 311, which may cause a black spot phenomenon in which the brightness is lowered and the pixel is blackened.
  • the solid-state imaging device 200 of the sixth embodiment differs from that of the second embodiment in that whether or not the black spot phenomenon has occurred is determined for each pixel.
  • FIG. 37 is a circuit diagram showing one configuration example of the column signal processing circuit 260 according to the sixth embodiment of the present technology.
  • a plurality of ADCs 270 and a logic circuit 400 are arranged in the column signal processing circuit 260 of the sixth embodiment.
  • a plurality of CDS processing units 291 and a plurality of selectors 292 are arranged in the logic circuit 400 .
  • ADC 270, CDS processing unit 291 and selector 292 are provided for each column.
  • Other circuits (such as the metadata extractor 404) in the logic circuit 400 are omitted in FIG.
  • the ADC 270 also includes a comparator 280 and a counter 271 .
  • the comparator 280 compares the level of the vertical signal line 309 with the ramp signal Rmp from the DAC 213 and outputs the comparison result VCO.
  • a comparison result VCO is supplied to the counter 271 and the timing control circuit 212 .
  • Comparator 280 includes selector 281 , capacitive elements 282 and 283 , auto-zero switches 284 and 286 , and comparator 285 .
  • the selector 281 connects either the vertical signal line 309 of the corresponding column or the node of the predetermined reference voltage VREF to the non-inverting input terminal (+) of the comparator 285 according to the input-side selection signal selin, and the capacitive element 282. It connects through The input side selection signal selin is supplied from the timing control circuit 212 . Note that the selector 281 is an example of an input-side selector described in the claims.
  • the comparator 285 compares the levels of the non-inverting input terminal (+) and the inverting input terminal (-) and outputs the comparison result VCO to the counter 271 .
  • a ramp signal Rmp is input to the inverting input terminal (-) via the capacitive element 283 .
  • the auto-zero switch 284 short-circuits the non-inverting input terminal (+) and the output terminal of the comparison result VCO according to the auto-zero signal Az from the timing control circuit 212 .
  • the auto-zero switch 286 short-circuits the inverting input terminal (-) and the output terminal of the comparison result VCO according to the auto-zero signal Az.
  • the counter 271 counts the count value until the comparison result VCO is inverted, and outputs a digital signal CNT_out indicating the count value to the CDS processing section 291 .
  • the CDS processing unit 291 performs CDS processing on the digital signal CNT_out.
  • the CDS processing unit 291 calculates the difference between the digital signal CNT_out corresponding to the reset level and the digital signal CNT_out corresponding to the signal level, and outputs the difference as CDS_out to the selector 292 .
  • the selector 292 outputs either the CDS-processed digital signal CDS_out or the full-code digital signal FULL as the pixel data of the corresponding column according to the output-side selection signal selout from the timing control circuit 212 .
  • the selector 292 is an example of an output-side selector described in the claims.
  • FIG. 38 is a timing chart showing an example of global shutter operation according to the sixth embodiment of the present technology.
  • the method of controlling the transistors during the global shutter in the sixth embodiment is the same as in the second embodiment.
  • the dashed-dotted line in the figure shows the potential variation of the FD 314 when weak sunlight is incident so that the amount of overflowed charge is relatively small.
  • the dotted line in FIG. 3 indicates the potential fluctuation of the FD 314 when strong sunlight is incident so that the amount of overflowed charge is relatively large.
  • the reset level is lowered at timing T3 when the FD reset is completed, but the level is not lowered at this point.
  • the reset level drops completely at timing T3.
  • the signal level is the same as the reset level, and the potential difference between them is "0", so the digital signal after CDS processing is the same as in the dark state and darkens.
  • a phenomenon in which a pixel becomes black even when very high illuminance light such as sunlight is incident is called a black spot phenomenon or blooming.
  • the operating point of the pre-stage circuit 310 cannot be secured, and the current id1 of the current source transistor 316 fluctuates. Since the current source transistor 316 of each pixel is connected to a common power supply and ground, when the current fluctuates in one pixel, the IR drop fluctuation of that pixel affects the sample level of other pixels. end up A pixel where the black dot phenomenon occurs becomes an aggressor, and a pixel whose sample level changes due to that pixel becomes a victim. This results in streaking noise.
  • the black dot phenomenon is less likely to occur in a pixel with a black dot (blooming) because the overflowing charge is discarded to the drain transistor 317 side.
  • the discharge transistor 317 even if the discharge transistor 317 is provided, there is a possibility that part of the charge will flow to the FD 314, and the black spot phenomenon may not be eradicated.
  • the addition of the discharge transistor 317 has the disadvantage that the effective area/charge ratio for each pixel is reduced. Therefore, it is desirable to suppress the black spot phenomenon without using the discharge transistor 317 .
  • the first is adjustment of the clip level of the FD 314 .
  • the second method is to judge whether or not a black dot phenomenon has occurred during reading, and replace the output with a full code when the black dot phenomenon has occurred.
  • the high level of the FD reset signal rst (in other words, the gate of the FD reset transistor 313) in FIG.
  • the difference (ie amplitude) between these high and low levels is set to a value corresponding to the dynamic range.
  • the value is adjusted to a value obtained by adding a margin to that value.
  • the value corresponding to the dynamic range corresponds to the difference between the power supply voltage VDD and the potential of the FD 314 when the digital signal becomes full code.
  • the dynamic range changes depending on the analog gain of the ADC.
  • a low analog gain requires a large dynamic range, while a high analog gain requires a small dynamic range. Therefore, the gate voltage when the FD reset transistor 313 is turned off can be changed according to the analog gain.
  • FIG. 39 is a timing chart showing an example of read operation in the sixth embodiment of the present technology.
  • the selection signal ⁇ r becomes high level at the timing T11 immediately after the readout start timing T10
  • the potential of the vertical signal line 309 fluctuates in the pixel on which sunlight is incident.
  • the dashed-dotted line in FIG. 4 indicates the potential fluctuation of the vertical signal line 309 when weak sunlight is incident.
  • a dotted line in the figure indicates the potential fluctuation of the vertical signal line 309 when strong sunlight is incident.
  • the timing control circuit 212 supplies, for example, the input side selection signal selin of "0" to connect the comparator 285 to the vertical signal line 309. During this auto-zero period, the timing control circuit 212 performs auto-zero with the auto-zero signal Az.
  • the timing control circuit 212 supplies, for example, the input side selection signal selin of "1" within the determination period from timing T12 to timing T13.
  • the input side selection signal selin disconnects the comparator 285 from the vertical signal line 309 and connects it to the node of the reference voltage VREF.
  • This reference voltage VREF is set to the expected value of the level of the vertical signal line 309 when no blooming occurs.
  • Vrst corresponds to, for example, Vreg-Vgs2, where Vgs2 is the gate-source voltage of the rear-stage amplifying transistor 351 .
  • the DAC 213 reduces the level of the ramp signal Rmp from Vrmp_az to Vrmp_sun within the determination period.
  • the reset level Vrst of the vertical signal line 309 is substantially the same as the reference voltage VREF, and the potential of the inverting input terminal (+) of the comparator 285 is autozero. Not much different from time to time.
  • the comparison result VCO becomes high level.
  • the timing control circuit 212 can determine whether blooming has occurred based on whether the comparison result VCO becomes low level within the determination period.
  • the timing control circuit 212 connects the comparator 285 to the vertical signal line 309 after timing T13 after the determination period has elapsed. Further, after the P-phase settling period of timings T13 to T14 has passed, the P-phase is read out during the period of timings T14 to T15. After the D-phase settling period of timings T15 to T19 elapses, the D-phase is read out during the period of timings T19 to T20.
  • the timing control circuit 212 controls the selector 292 with the output side selection signal selout to output the digital signal CDS_out after the CDS processing as it is.
  • the timing control circuit 212 controls the selector 292 with the output side selection signal selout to output the full code FULL instead of the CDS-processed digital signal CDS_out. Thereby, the black spot phenomenon can be suppressed.
  • the timing control circuit 212 determines whether or not the black spot phenomenon has occurred based on the comparison result VCO, and outputs the full code when the black spot phenomenon has occurred. Since it is output, the black spot phenomenon can be suppressed.
  • the vertical scanning circuit 211 performs control (that is, global shutter operation) to simultaneously expose all rows (all pixels).
  • control that is, global shutter operation
  • the solid-state imaging device 200 of the seventh embodiment differs from that of the second embodiment in that it performs a rolling shutter operation during testing.
  • FIG. 40 is a timing chart showing an example of rolling shutter operation according to the seventh embodiment of the present technology.
  • the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure.
  • the figure shows the exposure control of the n-th row.
  • the vertical scanning circuit 211 supplies the n-th row with the high-level post-stage selection signal selb, the selection signal ⁇ r, and the selection signal ⁇ s. Also, at the timing T0 of exposure start, the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the post-stage reset signal rstb to the n-th row over the pulse period. The vertical scanning circuit 211 supplies the transfer signal trg to the n-th row at timing T1 when exposure ends.
  • the solid-state imaging device 200 can generate low-noise image data by the rolling shutter operation shown in FIG. Note that in the rolling shutter operation of FIG. 11, AD conversion twice and metadata extraction described in the first embodiment are not executed.
  • the solid-state imaging device 200 of the seventh embodiment performs a global shutter operation during normal imaging as in the second embodiment.
  • the vertical scanning circuit 211 performs control (that is, rolling shutter operation) to sequentially select a plurality of rows and start exposure. data can be generated.
  • the source of the source follower in the preceding stage (the amplifying transistor 315 in the preceding stage and the current source transistor 316) is connected to the power supply voltage VDD, and reading is performed row by row while the source follower is on. Ta.
  • the circuit noise of the source follower in the preceding stage propagates to the succeeding stage during readout in units of rows, and there is a possibility that the random noise increases.
  • the solid-state imaging device 200 of the eighth embodiment differs from that of the first embodiment in that noise is reduced by turning off the source follower in the preceding stage during readout.
  • FIG. 41 is a block diagram showing a configuration example of the solid-state imaging device 200 according to the eighth embodiment of the present technology.
  • the solid-state imaging device 200 of the eighth embodiment differs from that of the second embodiment in that a regulator 420 and a switching section 440 are further provided.
  • a plurality of effective pixels 301 and a predetermined number of dummy pixels 430 are arranged in the pixel array section 220 of the eighth embodiment.
  • the dummy pixels 430 are arranged around the area where the effective pixels 301 are arranged.
  • each of the dummy pixels 430 is supplied with the power supply voltage VDD
  • each of the effective pixels 301 is supplied with the power supply voltage VDD and the source voltage Vs.
  • a signal line for supplying the power supply voltage VDD to the effective pixels 301 is omitted in FIG.
  • the power supply voltage VDD is supplied from a pad 415 outside the solid-state imaging device 200 .
  • the regulator 420 generates a constant generation voltage V gen based on the input potential Vi from the dummy pixel 430 and supplies it to the switching section 440 .
  • the switching unit 440 selects either the power supply voltage VDD from the pad 415 or the generated voltage V gen from the regulator 420 and supplies it as the source voltage Vs to each column of the effective pixels 301 .
  • FIG. 42 is a circuit diagram showing one configuration example of the dummy pixel 430, the regulator 420, and the switching section 440 according to the eighth embodiment of the present technology.
  • a is a circuit diagram of the dummy pixel 430 and the regulator 420
  • b is a circuit diagram of the switching section 440 .
  • the dummy pixel 430 includes a reset transistor 431, an FD 432, an amplification transistor 433 and a current source transistor 434.
  • the reset transistor 431 initializes the FD 432 according to the reset signal RST from the vertical scanning circuit 211 .
  • the FD 432 accumulates charges and generates a voltage corresponding to the amount of charges.
  • the amplification transistor 433 amplifies the voltage level of the FD 432 and supplies it to the regulator 420 as an input voltage Vi.
  • the sources of the reset transistor 431 and the amplification transistor 433 are connected to the power supply voltage VDD.
  • Current source transistor 434 is connected to the drain of amplification transistor 433 . This current source transistor 434 supplies the current id1 under the control of the vertical scanning circuit 211 .
  • the regulator 420 includes a low-pass filter 421, a buffer amplifier 422 and a capacitive element 423.
  • the low-pass filter 421 passes, as an output voltage Vj, components of a low frequency band below a predetermined frequency in the signal of the input voltage Vi.
  • the output voltage Vj is input to the non-inverting input terminal (+) of the buffer amplifier 422 .
  • the inverting input terminal (-) of buffer amplifier 422 is connected to its output terminal.
  • the capacitive element 423 holds the voltage of the output terminal of the buffer amplifier 422 as Vgen .
  • This V gen is supplied to the switching section 440 .
  • the switching section 440 includes an inverter 441 and a plurality of switching circuits 442 .
  • a switching circuit 442 is arranged for each column of the effective pixels 301 .
  • the inverter 441 inverts the switching signal SW from the timing control circuit 212 . This inverter 441 supplies an inverted signal to each of the switching circuits 442 .
  • the switching circuit 442 selects either the power supply voltage VDD or the generated voltage V gen and supplies it to the corresponding column in the pixel array section 220 as the source voltage Vs.
  • the switching circuit 442 includes switches 443 and 444 .
  • the switch 443 opens and closes the path between the node of the power supply voltage VDD and the corresponding column according to the switching signal SW.
  • the switch 444 opens and closes the path between the node of the generated voltage V gen and the corresponding column according to the inverted signal of the switching signal SW.
  • FIG. 43 is a timing chart showing an example of operations of the dummy pixel 430 and the regulator 420 according to the eighth embodiment of the present technology.
  • the vertical scanning circuit 211 supplies a reset signal RST of high level (here, power supply voltage VDD) to each dummy pixel 430 .
  • the potential Vfd of the FD 432 within the dummy pixel 430 is initialized to the power supply voltage VDD. Then, when the reset signal RST becomes low level, it changes to VDD-Vft due to the reset feedthrough.
  • the input voltage Vi drops to VDD-Vgs-Vsig after reset.
  • Vj and Vgen become substantially constant voltages.
  • FIG. 44 is a circuit diagram showing one configuration example of the effective pixel 301 according to the eighth embodiment of the present technology.
  • the circuit configuration of the effective pixel 301 is the same as that of the pixel 300 of the second embodiment, except that the source of the preamplifying transistor 315 is supplied with the source voltage Vs from the switching unit 440 .
  • FIG. 45 is a timing chart showing an example of global shutter operation in the eighth embodiment of the present technology.
  • the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. Also, the voltage of the preceding node drops from VDD-Vgs-Vth to VDD-Vgs-Vsig at timing T4.
  • Vth is the threshold voltage of the transfer transistor 312 .
  • FIG. 46 is a timing chart showing an example of read operation in the eighth embodiment of the present technology.
  • the switching unit 440 selects the generated voltage V gen during reading and supplies it as the source voltage Vs. This generated voltage V gen is adjusted to VDD-Vgs-Vft. Further, in the eighth embodiment, the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to stop supplying the current id1.
  • FIG. 47 is a diagram for explaining the effects of the eighth embodiment of the present technology.
  • the source follower the front-stage amplification transistor 315 and the current source transistor 316
  • the circuit noise of the source follower in the preceding stage may propagate to the subsequent stage (the capacitive element, the source follower in the subsequent stage, and the ADC), increasing the readout noise.
  • kTC noise generated in pixels during global shutter operation is 450 ( ⁇ Vrms) as illustrated in the figure.
  • the noise generated in the source follower in the preceding stage (the amplifying transistor 315 in the preceding stage and the current source transistor 316) in reading for each row is 380 ( ⁇ Vrms).
  • the noise generated after the source follower in the latter stage is 160 ( ⁇ Vrms). Therefore, the total noise is 610 ( ⁇ Vrms).
  • the noise contribution of the preceding source follower in the total noise value is relatively large.
  • the source of the source follower in the preceding stage is supplied with an adjustable voltage (Vs) as described above.
  • Vs adjustable voltage
  • the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. After the exposure ends, the switching unit 440 switches the source voltage Vs to VDD-Vgs-Vft.
  • the timing control circuit 212 turns on the current source transistor 316 in the previous stage during the global shutter (exposure) operation, and turns it off after the end of the exposure.
  • the potentials of the front-stage nodes during global shutter operation and during readout for each row are uniform, and PRNU can be improved.
  • the source follower in the previous stage is turned off when reading out each row, the circuit noise of the source follower does not occur and becomes 0 ( ⁇ Vrms) as shown in FIG. Note that the front-stage amplifying transistor 315 of the front-stage source follower is in the ON state.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 48 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • integrated control unit 12050 As the functional configuration of the integrated control unit 12050, a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display section 12062 and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 49 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 49 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided in the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the course of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the imaging device 100 in FIG. 1 can be applied to the imaging unit 12031 .
  • the technology according to the present disclosure it is possible to obtain a captured image that is easier to see, thereby reducing driver fatigue.
  • the present technology can also have the following configuration.
  • the metadata extracting unit performs recognition processing for recognizing a predetermined object on the frame in which the first digital signal is arranged, and generates data indicating a result of the recognition processing as the metadata.
  • the metadata indicates a predetermined area;
  • the metadata indicates a predetermined area;
  • the metadata indicates a predetermined area;
  • the solid-state imaging device according to (1) or (2), wherein the image processing section extracts the region as a region of interest from a frame in which the second digital signals are arranged.
  • each of the plurality of pixels a pre-stage circuit that generates a pixel signal; a sample and hold circuit that holds the pixel signal;
  • the solid-state imaging device according to any one of (1) to (5), further comprising a post-stage circuit that reads the pixel signal from the sample-and-hold circuit and outputs the pixel signal.
  • the sample and hold circuit first and second capacitive elements; a selection circuit that sequentially performs control for connecting one of the first and second capacitive elements to a predetermined post-stage node and control for connecting the other of the first and second capacitive elements to the post-stage node.
  • the selection circuit controls to connect one of the first and second capacitive elements to a predetermined post-stage node, to disconnect both the first and second capacitive elements from the post-stage node, and to control the first and second capacitive elements to be disconnected from the post-stage node.
  • Each of the plurality of pixels further includes a post-stage reset transistor that initializes the level of the post-stage node when both the first and second capacitive elements are disconnected from the post-stage node (8 ) solid-state imaging device described.
  • (10) a plurality of pixels each provided with a sample-and-hold circuit for holding a pixel signal; a signal processing unit that generates a first digital signal by performing signal processing on each of the held pixel signals and generates a second digital signal by performing the signal processing on each of the held pixel signals; a metadata extraction unit for extracting predetermined metadata from the first digital signal; an image processing unit that performs predetermined image processing on the second digital signal using the metadata; and a recording unit that records frames in which the processed second digital signals are arranged.
  • the analog-to-digital converter generates a first digital signal by performing signal processing on a pixel signal held in each of a plurality of pixels each provided with a sample-and-hold circuit for holding the pixel signal, and a signal processing procedure for generating a second digital signal by said signal processing on each of said pixel signals; a metadata extraction procedure in which a metadata extraction unit extracts predetermined metadata from the first digital signal; and an image signal processing procedure in which an image processing unit performs predetermined image processing on the second digital signal using the metadata.
  • Imaging device 110 imaging lens 120 recording unit 130 imaging control unit 200 solid-state imaging device 201 upper pixel chip 202 lower pixel chip 203 circuit chip 211 vertical scanning circuit 212 timing control circuit 213 DAC 220 pixel array section 221 upper pixel array section 222 lower pixel array section 250 load MOS circuit block 251 load MOS transistor 260 column signal processing circuit 261 signal processing section 262, 270 ADC 271 counter 280 comparator 281, 292 selector 282, 283, 321, 322 capacitive element 284, 286 auto-zero switch 285 comparator 291 CDS processing unit 300 pixel 301 effective pixel 310 pre-stage circuit 311 photoelectric conversion element 312 transfer transistor 313 FD reset transistor 314 FD 315 Pre-stage amplification transistor 316 Current source transistor 317 Discharge transistor 320 Sample hold circuit 323 Pre-stage reset transistor 324 Pre-stage selection transistor 330 Selection circuit 331, 331-1, 331-2, 332, 332-1, 332-2 Selection transistor 333 Sampling transistor 341 post-stage

Abstract

メタデータを用いてフレームを処理する固体撮像素子において、フレームの画質を向上させる。　複数の画素のそれぞれに、画素信号を保持するサンプルホールド回路が設けられる。信号処理部は、保持された画素信号のそれぞれに対する信号処理により第１のデジタル信号を生成し、その保持された画素信号のそれぞれに対する信号処理により第２のデジタル信号を生成する。メタデータ抽出部は、第１のデジタル信号から所定のメタデータを抽出する。画像処理部は、メタデータを用いて第２のデジタル信号に対して所定の画像処理を行う。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法
　本技術は、固体撮像素子に関する。詳しくは、グローバルシャッター方式で露光を行う固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
　従来より、撮像装置などにおいては、ローリングシャッター歪みを回避するために、全
画素を同時に露光するグローバルシャッター方式が広く用いられている。例えば、グローバルシャッター方式を用いて撮像した画像データ（言い換えれば、フレーム）に対して物体認識を行い、その結果を示すメタデータを生成する固体撮像素子が提案されている（例えば、特許文献１参照。）。
特開２０２０－０５４００７号公報
　上述の従来技術を用いることにより、固体撮像素子は、あるフレームＦ１から生成したメタデータを用いて次のフレームＦ２を処理することができる。しかしながら、認識対象の被写体が動体の場合、フレームＦ１とフレームＦ２とで被写体の位置が変わることがあり、フレームＦ１のメタデータを用いると、認識結果に基づいた適切な画像処理を行うことができないおそれがある。
　本技術はこのような状況に鑑みて生み出されたものであり、メタデータを用いてフレームを処理する固体撮像素子において、適切な画像処理を行うことを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素と、上記保持された画素信号のそれぞれに対するアナログデジタル変換処理により第１のデジタル信号を生成し、上記保持された画素信号のそれぞれに対するアナログデジタル変換処理により第２のデジタル信号を生成するアナログデジタル変換部と、上記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出部と、上記メタデータを用いて上記第２のデジタル信号に対して所定の処理を行う画像処理部とを具備する固体撮像素子、および、その制御方法である。これにより、適切な画像処理が実行されるという作用をもたらす。
　また、この第１の側面において、上記メタデータ抽出部は、上記第１のデジタル信号を配列したフレームに対して所定の物体を認識する認識処理を行い、当該認識処理の結果を示すデータを上記メタデータとして生成してもよい。これにより、認識悔過に基づいた適切な画像処理が実行されるという作用をもたらす。
　また、この第１の側面において、上記メタデータは、所定の領域を示し、上記画像処理部は、上記領域内の色を特定の色に置き換える処理を行ってもよい。これにより、所定の物体が隠されるという作用をもたらす。
　また、この第１の側面において、上記メタデータは、所定の領域を示し、上記画像処理部は、上記領域に対してモザイク処理を行ってもよい。これにより、所定の物体が隠されるという作用をもたらす。
　また、この第１の側面において、上記メタデータは、所定の領域を示し、上記画像処理部は、上記第２のデジタル信号を配列したフレームから上記領域を関心領域として抽出してもよい。これにより、関心領域に対して所定の処理が行われるという作用をもたらす。
　また、この第１の側面において、上記複数の画素のそれぞれは、画素信号を生成する前段回路と、上記画素信号を保持するサンプルホールド回路と、上記画素信号を上記サンプルホールド回路から読み出して出力する後段回路とを備えてもよい。これにより、画素ごとに画素信号が保持されるという作用をもたらす。
　また、この第１の側面において、上記サンプルホールド回路は、第１および第２の容量素子と、上記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と上記第１および第２の容量素子の他方を上記後段ノードに接続する制御とを順に行う選択回路とを備えてもよい。これにより、リセットレベルおよび信号レベルが保持されるという作用をもたらす。
　また、この第１の側面において、上記選択回路は、上記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と上記第１および第２の容量素子の両方を上記後段ノードから切り離す制御と上記第１および第２の容量素子の他方を上記後段ノードに接続する制御とを順に行ってもよい。これにより、ノイズが低減するという作用をもたらす。
　また、この第１の側面において、上記複数の画素のそれぞれは、上記第１および第２の容量素子の両方が上記後段ノードから切り離されたときに上記後段ノードのレベルを初期化する後段リセットトランジスタをさらに備えてもよい。これにより、ノイズが低減するという作用をもたらす。
　また、本技術の第２の側面は、画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素と、上記保持された画素信号のそれぞれに対する信号処理により第１のデジタル信号を生成し、上記保持された画素信号のそれぞれに対する上記信号処理により第２のデジタル信号を生成する信号処理部と、上記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出部と、上記メタデータを用いて上記第２のデジタル信号に対して所定の画像処理を行う画像処理部と、上記処理が行われた上記第２のデジタル信号を配列したフレームを記録する記録部とを具備する撮像装置である。これにより、撮像装置が撮像したフレームに対して適切な画像処理が実行されるという作用をもたらす。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態における負荷ＭＯＳ（Metal Oxide Semiconductor）回路ブロックおよびカラム信号処理回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における、２系統の後段回路を設けた画素の一構成例を示す回路図である。 本技術の第１の実施の形態における画素の別の例を示す回路図である。 本技術の第１の実施の形態における、サンプルホールド回路内のトランジスタを削減した画素の一構成例を示す回路図である。 本技術の第１の実施の形態における、チャージドメイン方式の画素の一構成例を示す回路図である。 本技術の第１の実施の形態におけるロジック回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 比較例における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における１回目のフレームと認識結果の一例を示す図である。 本技術の第１の実施の形態における２回目のフレームと処理後のフレームとの一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における２回目のフレームと処理後のフレームとの一例を示す図である。 本技術の第１の実施の形態の第２の変形例における２回目のフレームと関心領域との一例を示す図である。 本技術の第２の実施の形態における画素の一構成例を示す回路図である。 本技術の第２の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における読出し動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における読出し動作の別の例を示すタイミングチャートである。 本技術の第２の実施の形態の第１の変形例における画素の一構成例を示す回路図である。 本技術の第２の実施の形態の第１の変形例におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態の第１の変形例における読出し動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態の第２の変形例における固体撮像素子の積層構造の一例を示す図である。 本技術の第２の実施の形態の第２の変形例における画素の一構成例を示す回路図である。 本技術の第２の実施の形態の第３の変形例における固体撮像素子の積層構造の一例を示す図である。 本技術の第３の実施の形態における画素の一構成例を示す回路図である。 本技術の第４の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第４の実施の形態における画素の一構成例を示す回路図である。 本技術の第４の実施の形態におけるリセットフィードスルーについて説明するための図である。 本技術の第４の実施の形態におけるリセットフィードスルーによるレベルのばらつきについて説明するための図である。 本技術の第４の実施の形態における電圧制御の一例を示すタイミングチャートである。 本技術の第５の実施の形態における奇数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における奇数フレームの読出し動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における偶数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第５の実施の形態における偶数フレームの読出し動作の一例を示すタイミングチャートである。 本技術の第６の実施の形態におけるカラム信号処理回路の一構成例を示す回路図である。 本技術の第６の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第６の実施の形態における読出し動作の一例を示すタイミングチャートである。 本技術の第７の実施の形態におけるローリングシャッター動作の一例を示すタイミングチャートである。 本技術の第８の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第８の実施の形態におけるダミー画素、レギュレータ、および、切り替え部の一構成例を示す回路図である。 本技術の第８の実施の形態におけるダミー画素およびレギュレータの動作の一例を示すタイミングチャートである。 本技術の第８の実施の形態における有効画素の一構成例を示す回路図である。 本技術の第８の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。 本技術の第８の実施の形態における読出し動作の一例を示すタイミングチャートである。 本技術の第８の実施の形態における効果を説明するための図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（画素信号を保持して信号処理を２回行う例）
　２．第２の実施の形態（後段リセットトランジスタを追加し、画素信号を保持して信号処理を２回行う例）
　３．第３の実施の形態（排出トランジスタを追加し、画素信号を保持して信号処理を２回行う例）
　４．第４の実施の形態（画素信号を保持して信号処理を２回行い、リセット電源電圧を制御する例）
　５．第５の実施の形態（画素信号を保持して信号処理を２回行い、フレームごとに保持させるレベルを入れ替える例）
　６．第６の実施の形態（画素信号を保持して信号処理を２回行い、黒点現象を抑制する例）
　７．第７の実施の形態（画素信号を保持して信号処理を２回行い、ローリングシャッター動作を行う例）
　８．第８の実施の形態（読出しの際に前段のソースフォロワをオフ状態にし、画素信号を保持して信号処理を２回行う例）
　９．移動体への応用例
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像する装置であり、撮像レンズ１１０、固体撮像素子２００、記録部１２０および撮像制御部１３０を備える。撮像装置１００としては、デジタルカメラや、撮像機能を持つ電子装置（スマートフォンやパーソナルコンピュータなど）が想定される。
　固体撮像素子２００は、撮像制御部１３０の制御に従って、画像データ（フレーム）を撮像するものである。この固体撮像素子２００は、フレームを信号線２０９を介して記録部１２０に供給する。
　撮像レンズ１１０は、光を集光して固体撮像素子２００に導くものである。撮像制御部１３０は、固体撮像素子２００を制御してフレームを撮像させるものである。この撮像制御部１３０は、例えば、垂直同期信号ＸＶＳを含む撮像制御信号を固体撮像素子２００に信号線１３９を介して供給する。記録部１２０は、フレームを記録するものである。
　ここで、垂直同期信号ＸＶＳは、撮像のタイミングを示す信号であり、一定の周波数（６０ヘルツなど）の周期信号が垂直同期信号ＸＶＳとして用いられる。
　なお、撮像装置１００は、フレームを記録しているが、そのフレームを撮像装置１００の外部に送信してもよい。この場合には、フレームを送信するための外部インターフェースがさらに設けられる。もしくは、撮像装置１００は、さらにフレームを表示してもよい。この場合には表示部がさらに設けられる。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、垂直走査回路２１１、画素アレイ部２２０、タイミング制御回路２１２、ＤＡＣ（Digital to Analog Converter）２１３、負荷ＭＯＳ回路ブロック２５０、カラム信号処理回路２６０を備える。画素アレイ部２２０には、二次元格子状に複数の画素３００が配列される。また、固体撮像素子２００内の各回路は、例えば、単一の半導体チップに設けられる。
　以下、水平方向に配列された画素３００の集合を「行」と称し、行に垂直な方向に配列された画素３００の集合を「列」と称する。
　タイミング制御回路２１２は、撮像制御部１３０からの垂直同期信号ＸＶＳに同期して垂直走査回路２１１、ＤＡＣ２１３、カラム信号処理回路２６０のそれぞれの動作タイミングを制御するものである。
　ＤＡＣ２１３は、ＤＡ（Digital to Analog）変換により、のこぎり波状のランプ信号を生成するものである。ＤＡＣ２１３は、生成したランプ信号をカラム信号処理回路２６０に供給する。
　垂直走査回路２１１は、行を順に選択して駆動し、アナログの画素信号を出力させるものである。画素３００は、入射光を光電変換してアナログの画素信号を生成するものである。この画素３００は、負荷ＭＯＳ回路ブロック２５０を介して、カラム信号処理回路２６０に画素信号を供給する。
　負荷ＭＯＳ回路ブロック２５０には、定電流を供給するＭＯＳトランジスタが列ごとに設けられる。
　カラム信号処理回路２６０は、列ごとに、画素信号に対してＡＤ変換処理やＣＤＳ処理などの信号処理を実行するものである。このカラム信号処理回路２６０は、処理後の信号からなる画像データ（フレーム）を記録部１２０に供給する。
　［画素の構成例］
　図３は、本技術の第１の実施の形態における画素３００の一構成例を示す回路図である。この画素３００は、前段回路３１０と、サンプルホールド回路３２０と、後段回路３５０とを備える。画素アレイ部２２０には、列ごとに垂直信号線３０９が配線される。
　前段回路３１０は、光電変換素子３１１、転送トランジスタ３１２、ＦＤ（Floating Diffusion）リセットトランジスタ３１３、ＦＤ３１４、前段増幅トランジスタ３１５および電流源トランジスタ３１６を備える。
　光電変換素子３１１は、光電変換により電荷を生成するものである。転送トランジスタ３１２は、垂直走査回路２１１からの転送信号ｔｒｇに従って、光電変換素子３１１からＦＤ３１４へ電荷を転送するものである。
　ＦＤリセットトランジスタ３１３は、垂直走査回路２１１からのＦＤリセット信号ｒｓｔに従って、ＦＤ３１４から電荷を引き抜いて初期化するものである。ＦＤ３１４は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。前段増幅トランジスタ３１５は、ＦＤ３１４の電圧のレベルを増幅して前段ノード３１９に出力するものである。
　また、ＦＤリセットトランジスタ３１３および前段増幅トランジスタ３１５のソースは、電源電圧ＶＤＤに接続される。電流源トランジスタ３１６は、前段増幅トランジスタ３１５のドレインに接続される。この電流源トランジスタ３１６のゲートには、所定のバイアス電圧ＢＩＡＳが供給される。
　サンプルホールド回路３２０は、容量素子３２１および３２２と、選択回路３３０とを備える。容量素子３２１および３２２のそれぞれの一端は、前段ノード３１９に共通に接続され、それぞれの他端は、選択回路３３０に接続される。なお、容量素子３２１おおび３２２は、特許請求の範囲に記載の第１および第２の容量素子の一例である。
　選択回路３３０は、選択トランジスタ３３１および選択トランジスタ３３２を備える。選択トランジスタ３３１は、垂直走査回路２１１からの選択信号Φｒに従って、容量素子３２１と後段ノード３４０との間の経路を開閉するものである。選択トランジスタ３３２は、垂直走査回路２１１からの選択信号Φｓに従って、容量素子３２２と後段ノード３４０との間の経路を開閉するものである。
　後段回路３５０は、後段増幅トランジスタ３５１および後段選択トランジスタ３５２を備える。後段増幅トランジスタ３５１は、後段ノード３４０のレベルを増幅するものである。後段選択トランジスタ３５２は、垂直走査回路２１１からの後段選択信号ｓｅｌｂに従って、後段増幅トランジスタ３５１により増幅されたレベルの信号を画素信号として垂直信号線３０９に出力するものである。
　なお、画素３００内の各種のトランジスタ（転送トランジスタ３１２など）として、例えば、ｎＭＯＳ（n-channel Metal Oxide Semiconductor）トランジスタが用いられる。
　垂直走査回路２１１は、露光開始時に全画素へハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、光電変換素子３１１が初期化される。以下、この制御を「ＰＤリセット」と称する。
　そして、垂直走査回路２１１は、露光終了の直前に、全画素について選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、ＦＤ３１４が初期化され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２１に保持される。この制御を以下、「ＦＤリセット」と称する。
　ＦＤリセットの際のＦＤ３１４のレベルと、そのレベルに対応するレベル（容量素子３２１の保持レベルや、垂直信号線３０９のレベル）とをまとめて、以下、「Ｐ相」または「リセットレベル」と称する。
　垂直走査回路２１１は、露光終了時に、全画素について選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、露光量に応じた信号電荷がＦＤ３１４へ転送され、そのときのＦＤ３１４のレベルに応じたレベルが容量素子３２２に保持される。
　信号電荷の転送の際のＦＤ３１４のレベルと、そのレベルに対応するレベル（容量素子３２２の保持レベルや、垂直信号線３０９のレベル）とをまとめて、以下、「Ｄ相」または「信号レベル」と称する。
　このように全画素について同時に露光を開始し、終了する露光制御は、グローバルシャッター方式と呼ばれる。この露光制御により、全画素の前段回路３１０は、画素信号（リセットレベルおよび信号レベル）を生成する。画素信号のリセットレベルは、容量素子３２１に保持され、信号レベルは、容量素子３２２に保持される。
　露光終了後に垂直走査回路２１１は、行を順に選択して、その行のリセットレベルおよび信号レベルを順に出力させる。リセットレベルを出力させる際に、垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしつつ、ハイレベルの選択信号Φｒを所定期間に亘って供給する。これにより、容量素子３２１が後段ノード３４０に接続され、リセットレベルが読み出される。
　リセットレベルの読出し後に、垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの選択信号Φｓを所定期間に亘って供給する。これにより、容量素子３２２が後段ノード３４０に接続され、信号レベルが読み出される。
　上述の読出し制御により、選択された行の選択回路３３０は、容量素子３２１を後段ノード３４０に接続する制御と、容量素子３２２を後段ノード３４０に接続する制御とを順に行う。また、選択された行の後段回路３５０は、後段ノード３４０を介して画素信号（リセットレベルおよび信号レベル）をサンプルホールド回路３２０から読み出して垂直信号線３０９へ出力する。
　［カラム信号処理回路の構成例］
　図４は、本技術の第１の実施の形態における負荷ＭＯＳ回路ブロック２５０およびカラム信号処理回路２６０の一構成例を示すブロック図である。
　負荷ＭＯＳ回路ブロック２５０には、列ごとに垂直信号線３０９が配線される。列数をＩ（Ｉは、整数）とすると、Ｉ本の垂直信号線３０９が配線される。また、垂直信号線３０９のそれぞれには、一定の電流ｉｄ２を供給する負荷ＭＯＳトランジスタ２５１が接続される。
　カラム信号処理回路２６０には、信号処理部２６１と、ロジック回路４００と、高速インターフェース４１０とが配置される。信号処理部２６１は、複数のＡＤＣ２６２を備える。ＡＤＣ２６２は、列ごとに配置される。列数をＩとすると、Ｉ個のＡＤＣ２６２が配置される。
　ＡＤＣ２６２は、ＤＡＣ２１３からのランプ信号Ｒｍｐを用いて、対応する列からのアナログの画素信号をデジタル信号に変換するものである。このＡＤＣ２６２は、デジタル信号をロジック回路４００に供給する。例えば、ＡＤＣ２６２として、コンパレータおよびカウンタを備えるシングルスロープ型のＡＤＣが配置される。ＡＤＣ２６２内のカウンタは、例えば、リセットレベルをＡＤ変換する際にダウンカウントを行い、信号レベルをＡＤ変換する際にアップカウントを行う。これにより、リセットレベルと信号レベルとの差分を求めるＣＤＳ（Correlated Double Sampling）処理が行われる。なお、信号処理部２６１内にＣＤＳ回路を追加し、ＡＤＣ２６２がＡＤ変換処理のみを行い、ＣＤＳ回路がＣＤＳ処理を行う構成とすることもできる。このように、信号処理部２６１は、ＡＤ変換処理およびＣＤＳ処理を含む信号処理を行う。
　ロジック回路４００は、列ごとのデジタル信号のそれぞれに対して、ＣＤＳ処理以外の各種の信号処理を行うものである。ロジック回路４００は、処理後のデジタル信号からなるフレームを高速インターフェース４１０に供給する。高速インターフェース４１０は、フレームを記録部１２０に出力するものである。
　なお、画素３００の回路構成は、画素信号を生成し、サンプルホールドすることができるものであれば、図３に例示したものに限定されない。
　例えば、図５に例示するように、画素ごとに２系統の後段回路を設けることもできる。この場合、選択トランジスタ３３１は、容量素子３２１と後段回路３５０－１との間の経路を開閉し、選択トランジスタ３３２は、容量素子３２２と後段回路３５０－２との間の経路を開閉すればよい。後段回路３５０－１は、後段増幅トランジスタ３５１－１および後段選択トランジスタ３５２－１を備え、後段回路３５０－２は、後段増幅トランジスタ３５１－２および後段選択トランジスタ３５２－２を備える。また、垂直信号線が列ごとに２本配線され、後段回路３５０－１は、垂直信号線３０９－１に画素信号を出力し、後段回路３５０－２は、垂直信号線３０９－２に画素信号を出力する。
　また、図６に例示するように、前段回路３１０と後段回路３５０との間において、選択トランジスタ３３１および３３２を直列に接続することもできる。この場合、選択トランジスタ３３１および３３２の接続ノードに容量素子３２２が接続され、選択トランジスタ３３１および後段回路３５０の接続ノードに容量素子３２１が接続される。このサンプルホールド回路３２０の制御方法は、例えば、「Chen Xu et al., A Stacked Global-Shutter CMOS Imager with SC-Type Hybrid-GS Pixel and Self-Knee Point Calibration Single-Frame HDR and On-Chip Binarization Algorithm for Smart Vision Applications ISSCC2019.」に記載されている。
　また、図７に例示するように、前段回路３１０と後段回路３５０との間にサンプリングトランジスタ３３３および容量素子３２１を直列に挿入し、それらの接続ノードに容量素子３２２を接続することもできる。この場合、後段ノード３４０を初期化する後段リセットトランジスタ３４１がさらに設けられる。この回路の制御方法は、例えば、「Jae-kyu Lee, et al., A 2.1e-Temporal Noise and -105dB Parasitic Light Sensitivity Backside-Illuminated 2.3 μm-Pixel Voltage-Domain Global Shutter CMOS Image Sensor Using High-Capacity DRAM Capacitor Technology, ISSCC 2020.」に記載されている。
　上述の図３、図５、図６および図７のそれぞれのサンプルホールド回路３２０は、電圧を保持するボルテージドメイン方式の回路であるが、図８に例示するように電荷を保持するチャージドメイン方式の回路を用いることもできる。
　図８のチャージドメイン方式では、例えば、前段回路３１０と後段回路３５０との間に選択トランジスタ３３１－１および３３１－２が直列に挿入される。また、選択トランジスタ３３１－１および３３１－２からなる回路と並列に、直列に接続した選択トランジスタ３３２－１および３３２－２が挿入される。容量素子３２１は、選択トランジスタ３３１－１および３３１－２の接続ノードに接続され、容量素子３２２は、選択トランジスタ３３２－１および３３２－２の接続ノードに接続される。
　［ロジック回路の構成例］
　図９は、本技術の第１の実施の形態におけるロジック回路４００の一構成例を示すブロック図である。このロジック回路４００は、カラムインターフェース４０１、画像処理部４０２、ＩＳＰ(Image Signal Processor)回路４０３、メタデータ抽出部４０４およびワークメモリ４０５を備える。
　ここで、前述の画素３００のそれぞれは、垂直同期信号ＸＶＳに同期して、画素信号を保持する。信号処理部２６１は、垂直同期信号ＸＶＳに同期して、画素ごとに画素信号を、ＣＤＳ処理後のデジタル信号に変換する信号処理（ＡＤ変換処理およびＣＤＳ処理）を２回に亘って行う。信号処理のそれぞれは、リセットレベルに対するＡＤ変換処理と、信号レベルに対するＡＤ変換処理とＣＤＳ処理とを含むため、２回の信号処理において４回のＡＤ変換処理と２回のＣＤＳ処理とが実行される。
　カラムインターフェース４０１は、信号処理部２６１からデジタル信号を受信し、それらを配列した画像データ（フレーム）を画像処理部４０２に供給する。垂直同期信号ＸＶＳに同期して画素ごとに信号処理が２回行われるため、垂直同期信号ＸＶＳの周期ごとに２枚のフレームが生成される。これらのフレームは同一のデータであるが、区別するため、以下、１枚目のフレームを「Ｆ１」とし、２枚目のフレームを「Ｆ２」とする。
　画像処理部４０２は、カラムインターフェース４０１からのフレームに対し、欠陥画素の補正やダーク補正などの各種の処理を行うものである。この画像処理部４０２は、１枚目のフレームＦ１を処理してＩＳＰ回路４０３に供給する。
　ＩＳＰ回路４０３は、必要に応じて、フレームＦ１に対して、そのデータ量を削減するための処理を行うものである。メタデータ抽出部４０４の処理負荷が大きい場合には、ＩＳＰ回路４０３によりデータ量の削減が行われる。例えば、ダウンスケーリングや、諧調の削減が行われる。また、信号処理部２６１からの画像がベイヤー配列画像で、メタデータ抽出部４０４の入力画像のフォーマットが、画素ごとにＲ、Ｇ、Ｂの３色のカラー画像の場合、ＩＳＰ回路４０３は、ベイヤー配列画像をカラー画像に変換するデモザイク処理を実行する。ＩＳＰ回路４０３は、処理後のフレームＦ１をメタデータ抽出部４０４に供給する。
　メタデータ抽出部４０４は、フレームＦ１から所定のメタデータを抽出するものである。このメタデータ抽出部４０４は、例えば、フレームＦ１に対して、所定の物体を認識する認識処理を行い、その処理結果を示すデータをメタデータとして生成する。メタデータは、例えば、認識対象を認識したか否かの情報、認識した物体の種類、名称や属性の情報、その物体の領域を示す情報などを含む。属性は、例えば、性別や年齢などを含む。メタデータ抽出部４０４は、抽出したメタデータを画像処理部４０２に供給する。
　ワークメモリ４０５は、認識処理において用いられるデータを保持するものである。例えば、ニューラルネットワークにより認識処理が実行され、そのニューラルネットワークにおけるレイヤー間でやり取りされる中間データがワークメモリ４０５に一時的に保持される。また、ニューラルネットワークで用いられる重みがワークメモリ４０５に予め保持される。
　画像処理部４０２は、１枚目のフレームＦ１から抽出されたメタデータを用いて、２枚目のフレームＦ２に対して所定の処理を行う。例えば、フレームＦ２に対して、メタデータの示す物体の領域の色を特定の色（黒色など）で置き換える処理が行われる。画像処理部４０２は、処理後のフレームをＦ２'として高速インターフェース４１０に供給する。
　上述したように、画素３００のそれぞれには、画素信号を保持するサンプルホールド回路が設けられている。信号処理部２６１は、垂直同期信号ＸＶＳに同期して、画素３００に保持された画素信号のそれぞれに対する信号処理（ＡＤ変換処理およびＣＤＳ処理）により、ＣＤＳ処理後のデジタル信号を生成する処理を２回行う。１回目のデジタル信号を配列したフレームがＦ１であり、２回目のデジタル信号を配列したフレームがＦ２である。なお、１回目のデジタル信号は、特許請求の範囲に記載の第１のデジタル信号の一例であり、２回目のデジタル信号は、特許請求の範囲に記載の第２のデジタル信号の一例である。
　メタデータ抽出部４０４は、フレームＦ１からメタデータを抽出し、画像処理部４０２に供給する。画像処理部４０２は、フレームＦ１のメタデータを用いて、フレームＦ２に対して所定の処理を行う。
　［固体撮像素子の動作例］
　図１０は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。
　タイミングＴ０からＴ１までの露光期間に亘って、垂直走査回路２１１は、画素アレイ部２２０内の全画素を露光させる。また、タイミングＴ１において、垂直同期信号ＸＶＳが立ち下がる。
　タイミングＴ１からＴ２までの期間に亘って信号処理部２６１は、保持された画素信号を行単位で順に読み出して信号処理（ＡＤ変換処理およびＣＤＳ処理）を行い、フレームＦ１を生成する。また、画像処理部４０２は、フレームＦ１に対して、欠陥画素補正などの画像処理を行い、ＩＳＰ回路４０３（不図示）を介してメタデータ抽出部４０４に供給する。
　タイミングＴ２からＴ３までの期間内に、メタデータ抽出部４０４は、フレームＦ１からメタデータを抽出し、画像処理部４０２に供給する。
　タイミングＴ３からタイミングＴ４の直前までの期間に亘って信号処理部２６１は、保持された画素信号を行単位で順に読み出して信号処理を行い、フレームＦ２を生成する。１回目と同一の画素信号に対して信号処理が実行されたため、フレームＦ２は、フレームＦ１と同一のデータとなる。画像処理部４０２は、メタデータを用いてフレームＦ２に対して所定の処理を行い、処理後のフレームＦ２'を高速インターフェース４１０に供給する。高速インターフェース４１０は、フレームＦ２'を外部に出力する。また、タイミングＴ４において、垂直同期信号ＸＶＳが立ち下がる。なお、垂直同期信号ＸＶＳに同期して複数のフレームを撮像する場合は、所定タイミングからタイミングＴ４までの露光期間内に全画素が露光され、次の画素信号が生成される。
　ここで、画素内にサンプルホールド回路３２０が配置されない構成を比較例として想定する。
　図１１は、比較例における固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ０からＴ１までの露光期間に亘って、垂直走査回路２１１は、画素アレイ部２２０内の全画素を露光させる。
　タイミングＴ１からＴ２までの期間に亘って信号処理部２６１は、画素信号を行単位で順に読み出して信号処理（ＡＤ変換処理およびＣＤＳ処理）を行い、フレームＦ１を生成する。また、画像処理部４０２は、フレームＦ１に対して、欠陥画素補正などの画像処理を行い、ＩＳＰ回路４０３（不図示）を介してメタデータ抽出部４０４に供給する。
　タイミングＴ２からＴ３までの露光期間に亘って、垂直走査回路２１１は、画素アレイ部２２０内の全画素を露光させる。タイミングＴ３において、垂直同期信号ＸＶＳが立ち下がる。また、その露光期間内にメタデータ抽出部４０４は、フレームＦ１からメタデータを抽出し、画像処理部４０２に供給する。
　タイミングＴ３から所定期間に亘って信号処理部２６１は、画素信号を行単位で順に読み出して信号処理を行い、フレームＦ２を生成する。タイミングＴ２乃至Ｔ３の露光により、タイミングＴ０乃至Ｔ１の露光により生成された画素信号は破壊されている。このため、動体が撮像された場合、フレームＦ２は、フレームＦ１と異なるデータとなる。
　タイミングＴ３から所定期間に亘って、画像処理部４０２は、メタデータを用いてフレームＦ２に対して所定の処理を行い、処理後のフレームＦ２'を高速インターフェース４１０に供給する。高速インターフェース４１０は、フレームＦ２'を外部に出力する。
　同図に例示するように、画素ごとにサンプルホールド回路３２０が配置されない比較例では、画素信号が保持されず、同じ画素信号に対して信号処理を２回行うことができない。このため、フレームＦ１のメタデータを用いて、フレームＦ２を処理した場合、フレームＦ１で認識した物体が移動し、フレーム２において位置が変わることがある。この結果、メタデータを用いた処理が適切な領域に対して行われず、フレームＦ２'に対して、位置ずれの無い適切な画像処理を行うことができないおそれがある。
　これに対して、画素ごとにサンプルホールド回路３２０を配置した場合、図１０に例示したように、同じ画素信号に対して信号処理を２回行うことができる。このため、フレームＦ１およびフレームＦ２のそれぞれにおいて物体の位置が同一となる。したがって、画像処理部４０２は、メタデータを用いた処理を適切な領域に対して実行することができ、フレームＦ２'に対して適切な画像処理を行うことができる。
　図１２は、本技術の第１の実施の形態における１回目のフレームと認識結果の一例を示す図である。同図におけるａは、１回目のフレーム５００の一例であり、同図におけるｂは、認識結果の一例を示す図である。
　同図におけるａに例示するように、フレーム５００には、人間５０１や建物５０２などの被写体が含まれる。認識処理において、認識対象が人間であるものとする。この場合、同図におけるｂに例示するように、人間５０１が認識され、その物体を含む矩形領域５１０を示す情報がメタデータとして生成される。同図において太い点線の矩形領域５１０は、メタデータの示す領域に該当する。
　図１３は、本技術の第１の実施の形態における２回目のフレームと処理後のフレームとの一例を示す図である。同図におけるａは、２回目のフレーム５１０の一例であり、同図におけるｂは、メタデータを用いて処理されたフレーム５２０の一例である。
　同図におけるａに例示するように、２回目の信号処理により、１回目のフレーム５００と同一のフレーム５１０が生成される。そして、同図におけるｂに例示するように、メタデータの示す領域５２１が特定の色（黒色など）により塗りつぶされる。
　図１４は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、フレームを撮像するための所定のアプリケーションが実行されたときに開始される。固体撮像素子２００内の垂直走査回路２１１は、全画素を同時に露光させる（ステップＳ９０１）。画素ごとに、その画素内のサンプルホールド回路３２０は、画素信号をサンプルホールドする（ステップＳ９０２）。
　信号処理部２６１は、保持された画素信号のそれぞれに対して信号処理（ＡＤ変換処理およびＣＤＳ処理）を行い、１枚目のフレームを生成する（ステップＳ９０３）。画像処理部４０２は、そのフレームに対して画像処理を行い（ステップＳ９０４）、メタデータ抽出部４０４は、処理後のフレームからメタデータを抽出する（ステップＳ９０５）。
　また、信号処理部２６１は、保持された画素信号のそれぞれに対して信号処理を行い、２枚目のフレームを生成する（ステップＳ９０６）。画像処理部４０２は、メタデータを参照し、対象物が認識されたか否かを判断する（ステップＳ９０７）。対象物が認識された場合に（ステップＳ９０７：Ｙｅｓ）、画像処理部４０２は、そのメタデータを用いて、塗りつぶしなどの画像処理を行う（ステップＳ９０８）。一方、対象物が認識されなかった場合（ステップＳ９０７：Ｎｏ）、画像処理部４０２は、メタデータを用いずに、欠陥画素補正などの通常の画像処理を行う（ステップＳ９０９）。ステップＳ９０８またはＳ９０９の後に固体撮像素子２００は、フレームを撮像するための動作を終了する。
　なお、垂直同期信号ＸＶＳに同期して複数のフレームを撮像する場合には、ステップＳ９０１乃至Ｓ９０９の処理が、垂直同期信号ＸＶＳに同期して繰り返し実行される。
　このように、本技術の第１の実施の形態によれば、画素ごとに画素信号を保持し、１枚目のフレームから抽出したメタデータを用いて、１枚目と同一の２枚目のフレームを処理するため、画素信号を保持しない比較例よりも適切な画像処理を行うことができる。
　［第１の変形例］
　上述の第１の実施の形態では、画像処理部４０２は、フレームＦ２に対して、メタデータの示す領域を特定の色（黒色など）に塗りつぶす処理を行っていた。しかし、メタデータを用いて行う処理は、黒色などに塗りつぶす処理に限定されない。この第１の実施の形態の第１の変形例における固体撮像素子２００は、メタデータの示す領域にモザイク処理を行う点において第１の実施の形態と異なる。
　図１５は、本技術の第１の実施の形態の第１の変形例における２回目のフレームと処理後のフレームとの一例を示す図である。同図におけるａは、２回目のフレーム５１０の一例であり、同図におけるｂは、メタデータを用いて処理されたフレーム５２０の一例である。
　同図におけるｂに例示するように、画像処理部４０２は、メタデータの示す領域５２２に対してモザイク処理を実行する。
　このように、本技術の第１の実施の形態の第１の変形例によれば、メタデータの示す領域５２２に対してモザイク処理を行うため、認識した物体をモザイクにより隠すことができる。
　［第２の変形例］
　上述の第１の実施の形態では、画像処理部４０２は、フレームＦ２に対して、メタデータの示す領域を特定の色（黒色など）に塗りつぶす処理を行っていた。しかし、メタデータを用いて行う処理は、黒色などに塗りつぶす処理に限定されない。この第１の実施の形態の第２の変形例における固体撮像素子２００は、メタデータの示す領域を関心領域（ＲＯＩ：Region of Interest）として抽出する点において第１の実施の形態と異なる。
　図１６は、本技術の第１の実施の形態の第２の変形例における２回目のフレームと関心領域との一例を示す図である。同図におけるａは、２回目のフレーム５１０の一例であり、同図におけるｂは、関心領域５３０の一例である。
　同図におけるｂに例示するように、画像処理部４０２は、フレーム５１０から、メタデータの示す領域を関心領域５３０として抽出する。メタデータとして、例えば、不審行動、危険物所持や不審物の有無の検出結果が用いられる。そして、画像処理部４０２は、その関心領域５３０に対して、欠陥画素補正などの各種の画像処理を行う。
　なお、図１３、図１５および図１６では、人間全体を認識対象としているが、顔のみを認識対象とすることもできる。また、車両のナンバープレートなど、人間以外の物体を認識対象とすることもできる。
　このように、本技術の第１の実施の形態の第２の変形例によれば、メタデータの示す領域を関心領域（ＲＯＩ）として抽出するため、不審行動などの有無の検出結果（メタデータ）に基づいてＲＯＩを設定することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、選択回路３３０は、容量素子３２１および３２２を順に後段ノード３４０に接続していたが、この構成では、ノイズを十分に抑制することができないおそれがある。この第２の実施の形態の画素３００は、選択回路３３０が容量素子３２１および３２２を後段ノード３４０から切り離したときに後段ノード３４０を初期化する点において第１の実施の形態と異なる。
　図１７は、本技術の第２の実施の形態における画素３００の一構成例を示す回路図である。この第２の実施の形態の画素３００は、後段リセットトランジスタ３４１をさらに備える点において第１の実施の形態と異なる。
　後段リセットトランジスタ３４１は、垂直走査回路２１１からの後段リセット信号ｒｓｔｂに従って、後段ノード３４０のレベルを所定の電位Ｖｒｅｇに初期化するものである。電位Ｖｒｅｇには、電源電位ＶＤＤと異なる電位（例えば、ＶＤＤより低い電位）が設定される。
　リセットレベルの読出し後に垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの後段リセット信号ｒｓｔｂをパルス期間に亘って供給する。これにより、後段ノード３４０のレベルが初期化される。このとき、選択トランジスタ３３１および選択トランジスタ３３２は両方とも開状態であり、容量素子３２１および３２２は、後段ノード３４０から切り離される。
　後段ノード３４０の初期化後に、垂直走査回路２１１は、選択した行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにしたままで、ハイレベルの選択信号Φｓを所定期間に亘って供給する。これにより、容量素子３２２が後段ノード３４０に接続され、信号レベルが読み出される。
　上述の読出し制御により、選択された行の選択回路３３０は、容量素子３２１を後段ノード３４０に接続する制御と、容量素子３２１および３２２を後段ノード３４０から切り離す制御と、容量素子３２２を後段ノード３４０に接続する制御とを順に行う。また、容量素子３２１および３２２が後段ノード３４０から切り離されたときに、選択された行の後段リセットトランジスタ３４１は後段ノード３４０のレベルを初期化する。また、選択された行の後段回路３５０は、後段ノード３４０を介してリセットレベルおよび信号レベルを容量素子３２１および３２２から順に読み出して垂直信号線３０９へ出力する。
　図１８は、本技術の第２の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。垂直走査回路２１１は、露光開始の直前のタイミングＴ０から、パルス期間経過後のタイミングＴ１に亘って、全ての行（言い換えれば、全画素）にハイレベルのＦＤリセット信号ｒｓｔおよび転送信号ｔｒｇを供給する。これにより、全画素がＰＤリセットされ、全行で同時に露光が開始される。
　ここで、同図のｒｓｔ＿［ｎ］およびｔｒｇ＿［ｎ］は、Ｎ行のうちｎ行目の画素への信号を示す。Ｎは全行数を示す整数であり、ｎは、１乃至Ｎの整数である。
　そして、露光期間の終了直前のタイミングＴ２において、垂直走査回路２１１は、全画素において後段リセット信号ｒｓｔｂおよび選択信号Φｒをハイレベルにしつつ、パルス期間に亘ってハイレベルのＦＤリセット信号ｒｓｔを供給する。これにより、全画素がＦＤリセットされ、リセットレベルがサンプルホールドされる。ここで、同図のｒｓｔｂ＿［ｎ］およびΦｒ＿［ｎ］は、ｎ行目の画素への信号を示す。
　タイミングＴ２の後のタイミングＴ３において、垂直走査回路２１１は、選択信号Φｒをローレベルに戻す。
　露光終了のタイミングＴ４において、垂直走査回路２１１は、全画素において後段リセット信号ｒｓｔｂおよび選択信号Φｓをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号ｔｒｇを供給する。これにより、信号レベルがサンプルホールドされる。また、前段ノード３１９のレベルは、リセットレベル（ＶＤＤ－Ｖｇｓ）から、信号レベル（ＶＤＤ－Ｖｇｓ－Ｖｓｉｇ）に低下する。ここで、ＶＤＤは、電源電圧であり、Ｖｓｉｇは、ＣＤＳ処理により得られる正味の信号レベルである。Ｖｇｓは、前段増幅トランジスタ３１５のゲート－ソース間電圧である。また、同図のΦｓ＿［ｎ］は、ｎ行目の画素への信号を示す。
　タイミングＴ４の後のタイミングＴ５において、垂直走査回路２１１は、選択信号Φｓをローレベルに戻す。
　また、垂直走査回路２１１は、全行（全画素）の電流源トランジスタ３１６を制御して電流ｉｄ１を供給させる。ここで、同図のｉｄ１＿［ｎ］は、ｎ行目の画素の電流を示す。電流ｉｄが大電流となるとＩＲドロップが大きくなるため、電流ｉｄ１は数ナノアンペア（ｎＡ）乃至数十ナノアンペア（ｎＡ）のオーダーにする必要がある。一方、全列の負荷ＭＯＳトランジスタ２５１は、オフ状態であり、垂直信号線３０９に電流ｉｄ２は供給されない。
　図１９は、本技術の第２の実施の形態における読出し動作の一例を示すタイミングチャートである。タイミングＴ１０からタイミングＴ１７までの第ｎ行の読出し期間において、垂直走査回路２１１は、第ｎ行のＦＤリセット信号ｒｓｔおよび後段選択信号ｓｅｌｂをハイレベルにする。また、読出し期間において、全行の後段リセット信号ｒｓｔｂは、ローレベルに制御される。ここで、同図のｓｅｌｂ＿［ｎ］は、ｎ行目の画素への信号を示す。
　タイミングＴ１０の直後のタイミングＴ１１からタイミングＴ１３までの期間に亘って垂直走査回路２１１は、第ｎ行にハイレベルの選択信号Φｒを供給する。後段ノード３４０の電位は、リセットレベルＶｒｓｔとなる。
　タイミングＴ１１の後のタイミングＴ１２からタイミングＴ１３の期間に亘って、ＤＡＣ２１３は、ランプ信号Ｒｍｐを徐々に上昇させる。ＡＤＣ２６２は、ランプ信号Ｒｍｐと垂直信号線３０９のレベルＶｒｓｔ'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、Ｐ相レベル（リセットレベル）が読み出される。
　タイミングＴ１３の直後のタイミングＴ１４からパルス期間に亘って、垂直走査回路２１１は、第ｎ行にハイレベルの後段リセット信号ｒｓｔｂを供給する。これにより、後段ノード３４０に寄生容量が存在する際に、その寄生容量に保持される前回の信号の履歴を消去することができる。
　後段ノード３４０の初期化直後のタイミングＴ１５からタイミングＴ１７までの期間に亘って垂直走査回路２１１は、第ｎ行にハイレベルの選択信号Φｓを供給する。後段ノード３４０の電位は、信号レベルＶｓｉｇとなる。露光時においては、リセットレベルより信号レベルの方が低かったが、読出しの際においては、後段ノード３４０を基準とするため、リセットレベルより信号レベルの方が高くなる。リセットレベルＶｒｓｔと信号レベルＶｓｉｇとの差分が、ＦＤのリセットノイズやオフセットノイズを除去した正味の信号レベルに該当する。
　タイミングＴ１５の後のタイミングＴ１６からタイミングＴ１７の期間に亘って、ＤＡＣ２１３は、ランプ信号Ｒｍｐを徐々に上昇させる。ＡＤＣ２６２は、ランプ信号Ｒｍｐと垂直信号線３０９のレベルＶｒｓｔ'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、Ｄ相レベル（信号レベル）が読み出される。
　また、垂直走査回路２１１は、タイミングＴ１０からタイミングＴ１７の期間に亘って読み出す対象の第ｎ行の電流源トランジスタ３１６を制御して電流ｉｄ１を供給させる。また、タイミング制御回路２１２は、全行の読出し期間内において、全列の負荷ＭＯＳトランジスタ２５１を制御して電流ｉｄ２を供給させる。
　なお、固体撮像素子２００は、リセットレベルの後に、信号レベルを読み出しているが、この順番に限定されない。図２０に例示するように、固体撮像素子２００は、信号レベルの後に、リセットレベルを読み出すこともできる。この場合には、同図に例示するように、垂直走査回路２１１は、ハイレベルの選択信号Φｓの後に、ハイレベルの選択信号Φｒを供給する。また、この場合、ランプ信号のスロープの傾きを逆にする必要がある。
　また、第２の実施の形態に第１の実施の形態の第１、第２の変形例のそれぞれを適用することができる。
　このように、本技術の第２の実施の形態によれば、選択回路３３０が容量素子３２１および３２２を後段ノード３４０から切り離したときに後段リセットトランジスタ３４１が後段ノード３４０を初期化する。容量素子３２１および３２２が切り離されているため、その駆動によるリセットノイズのレベルは、それらの容量より小さな寄生容量に応じたレベルとなる。このノイズの低減により、画像データの画質を向上させることができる。
　［第１の変形例］
　上述の第２の実施の形態では、前段回路３１０が前段ノード３１９に接続されたままで信号を読み出していたが、この構成では、読出しの際に前段ノード３１９からのノイズを遮断することができない。この第２の実施の形態の第１の変形例の画素３００は、前段回路３１０と前段ノード３１９との間にトランジスタを挿入した点において第２の実施の形態と異なる。
　図２１は、本技術の第２の実施の形態の第１の変形例における画素３００の一構成例を示す回路図である。この第２の実施の形態の第１の変形例の画素３００は、前段リセットトランジスタ３２３および前段選択トランジスタ３２４をさらに備える点において第２の実施の形態と異なる。また、第２の実施の形態の第１の変形例の前段回路３１０および後段回路３５０の電源電圧をＶＤＤ１とする。
　前段リセットトランジスタ３２３は、前段ノード３１９のレベルを電源電圧ＶＤＤ２により初期化するものである。この電源電圧ＶＤＤ２は、次の式を満たす値に設定することが望ましい。
　　ＶＤＤ２＝ＶＤＤ１－Ｖｇｓ　　　　　　　　　　　　　・・・式１
上式において、Ｖｇｓは、前段増幅トランジスタ３１５のゲート－ソース間電圧である。
　式１を満たす値に設定することにより、暗いときの前段ノード３１９と後段ノード３４０との間の電位変動を少なくすることができる。これにより、感度不均一性 (PRNU: Photo Response Non-Uniformity)を改善することができる。
　前段選択トランジスタ３２４は、垂直走査回路２１１からの前段選択信号ｓｅｌに従って、前段回路３１０と前段ノード３１９との間の経路を開閉するものである。
　図２２は、本技術の第２の実施の形態の第１の変形例におけるグローバルシャッター動作の一例を示すタイミングチャートである。第２の実施の形態の第１の変形例のタイミングチャートは、垂直走査回路２１１が前段リセット信号ｒｓｔａおよび前段選択信号ｓｅｌをさらに供給する点において第１の実施の形態と異なる。同図において、ｒｓｔａ＿［ｎ］およびｓｅｌ＿［ｎ］は、第ｎ行の画素への信号を示す。
　垂直走査回路２１１は、露光終了の直前のタイミングＴ２からタイミングＴ５に亘って全画素へハイレベルの前段選択信号ｓｅｌを供給する。前段リセット信号ｒｓｔａは、ローレベルに制御される。
　図２３は、本技術の第２の実施の形態の第１の変形例における読出し動作の一例を示すタイミングチャートである。各行の読出しの際に前段選択信号ｓｅｌはローレベルに制御される。この制御により、前段選択トランジスタ３２４が開状態に移行して、前段ノード３１９が前段回路３１０から切り離される。これにより、読出しの際に前段ノード３１９からのノイズを遮断することができる。
　また、タイミングＴ１０からタイミングＴ１７までの第ｎ行の読出し期間において、垂直走査回路２１１は、第ｎ行にハイレベルの前段リセット信号ｒｓｔａを供給する。
　また、読出しの際に、垂直走査回路２１１は、全画素の電流源トランジスタ３１６を制御して電流ｉｄ１の供給を停止させる。電流ｉｄ２は、第２の実施の形態と同様に供給される。このように、第２の実施の形態と比較して、電流ｉｄ１の制御がシンプルとなる。
　このように、本技術の第２の実施の形態の第１の変形例によれば、読出しの際に前段選択トランジスタ３２４が開状態に移行し、前段回路３１０を前段ノード３１９から切り離すため、前段回路３１０からのノイズを遮断することができる。
　［第２の変形例］
　上述の第２の実施の形態では、固体撮像素子２００内の回路を単一の半導体チップに設けていたが、この構成では、画素３００を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第２の実施の形態の第２の変形例の固体撮像素子２００は、固体撮像素子２００内の回路を２つの半導体チップに分散して配置した点において第２の実施の形態と異なる。
　図２４は、本技術の第２の実施の形態の第２の変形例における固体撮像素子２００の積層構造の一例を示す図である。第２の実施の形態の第２の変形例の固体撮像素子２００は、下側画素チップ２０２と、その下側画素チップ２０２に積層された上側画素チップ２０１とを備える。これらのチップは、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　上側画素チップ２０１には、上側画素アレイ部２２１が配置される。下側画素チップ２０２には、下側画素アレイ部２２２とカラム信号処理回路２６０とが配置される。画素アレイ部２２０内の画素ごとに、その一部が、上側画素アレイ部２２１に配置され、残りが下側画素アレイ部２２２に配置される。
　また、下側画素チップ２０２には、垂直走査回路２１１、タイミング制御回路２１２、ＤＡＣ２１３および負荷ＭＯＳ回路ブロック２５０も配置される。これらの回路は、同図において省略されている。
　また、上側画素チップ２０１は、例えば、画素専用のプロセスで製造され、下側画素チップ２０２は、例えば、ＣＭＯＳ（Complementary MOS）プロセスで製造される。
　図２５は、本技術の第２の実施の形態の第２の変形例における画素３００の一構成例を示す回路図である。画素３００のうち、前段回路３１０は、上側画素チップ２０１に配置され、それ以外の回路や素子（容量素子３２１および３２２など）は、下側画素チップ２０２に配置される。なお、電流源トランジスタ３１６をさらに下側画素チップ２０２に配置することもできる。同図に例示するように、画素３００内の素子を、積層した上側画素チップ２０１および下側画素チップ２０２に分散して配置することにより、画素の面積を小さくすることができ、画素の微細化が容易になる。
　このように、本技術の第２の実施の形態の第２の変形例によれば、画素３００内の回路や素子を２つの半導体チップに分散して配置するため、画素の微細化が容易になる。
　［第３の変形例］
　上述の第２の実施の形態の第２の変形例では、画素３００の一部と周辺回路（カラム信号処理回路２６０など）とを下側の下側画素チップ２０２に設けていた。しかし、この構成では、周辺回路の分、下側画素チップ２０２側の回路や素子の配置面積が上側画素チップ２０１より大きくなり、上側画素チップ２０１に、回路や素子の無い無駄なスペースが生じるおそれがある。この第２の実施の形態の第３の変形例の固体撮像素子２００は、固体撮像素子２００内の回路を３つの半導体チップに分散して配置した点において第２の実施の形態の第２の変形例と異なる。
　図２６は、本技術の第２の実施の形態の第３の変形例における固体撮像素子２００の積層構造の一例を示す図である。第２の実施の形態の第３の変形例の固体撮像素子２００は、上側画素チップ２０１、下側画素チップ２０２および回路チップ２０３を備える。これらのチップは積層され、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　上側画素チップ２０１には、上側画素アレイ部２２１が配置される。下側画素チップ２０２には、下側画素アレイ部２２２が配置される。画素アレイ部２２０内の画素ごとに、その一部が、上側画素アレイ部２２１に配置され、残りが下側画素アレイ部２２２に配置される。
　また、回路チップ２０３には、カラム信号処理回路２６０、垂直走査回路２１１、タイミング制御回路２１２、ＤＡＣ２１３および負荷ＭＯＳ回路ブロック２５０が配置される。カラム信号処理回路２６０以外の回路は、同図において省略されている。
　同図に例示したように３層構成にすることにより、２層構成と比較して無駄なスペースを削減し、さらに画素を微細化することができる。また、２層目の下側画素チップ２０２を、容量やスイッチのための専用のプロセスで製造することができる。
　このように、本技術の第２の実施の形態の第３の変形例では、固体撮像素子２００内の回路を３つの半導体チップに分散して配置するため、２つの半導体チップに分散して配置する場合と比較してさらに画素を微細化することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第３の実施の形態の固体撮像素子２００は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第２の実施の形態と異なる。
　図２７は、本技術の第３の実施の形態における画素３００の一構成例を示す回路図である。この第３の実施の形態の画素３００は、前段回路３１０内に排出トランジスタ３１７をさらに備える点において第２の実施の形態と異なる。
　排出トランジスタ３１７は、垂直走査回路２１１からの排出信号оｆｇに従って光電変換素子３１１から電荷を排出するオーバーフロードレインとして機能するものである。排出トランジスタ３１７として、例えば、ｎＭＯＳトランジスタが用いられる。
　第２の実施の形態のように、排出トランジスタ３１７を設けない構成では、全画素について光電変換素子３１１からＦＤ３１４へ電荷を転送した際に、ブルーミングが生じることがある。そして、ＦＤリセットの際にＦＤ３１４と前段ノード３１９の電位が降下する。この電位降下に追従して、容量素子３２１および３２２の充放電の電流が発生し続け、電源やグランドのＩＲドロップが、ブルーミングの無い定常状態から変化してしまう。
　その一方で、全画素の信号レベルのサンプルホールドの際には、信号電荷の転送後、光電変換素子３１１内の電荷が空の状態になるため、ブルーミングが発生しなくなり、電源やグランドのＩＲドロップが、ブルーミングの無い定常状態となる。これらのリセットレベル、信号レベルをサンプルホールドの際のＩＲドロップの違いに起因して、ストリーキングノイズが生じる。
　これに対して、排出トランジスタ３１７を設けた第３の実施の形態では、光電変換素子３１１の電荷がオーバーフロードレイン側に排出される。このため、リセットレベル、信号レベルをサンプルホールドの際のＩＲドロップが同程度となり、ストリーキングノイズを抑制することができる。
　図２８は、本技術の第３の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。露光開始のタイミング前のタイミングＴ０において、垂直走査回路２１１は、全画素の排出信号оｆｇをハイレベルにしつつ、全画素にハイレベルのＦＤリセット信号ｒｓｔをパルス期間に亘って供給する。これにより、全画素についてＰＤリセットおよびＦＤリセットが行われる。また、リセットレベルがサンプルホールドされる。ここで、同図のоｆｇ＿［ｎ］は、Ｎ行のうちｎ行目の画素への信号を示す。
　そして、露光開始のタイミングＴ１において、垂直走査回路２１１は、全画素の排出信号оｆｇをローレベルに戻す。そして、露光終了の直前のタイミングＴ２から露光終了のＴ３までの期間に亘って、垂直走査回路２１１は、全画素にハイレベルの転送信号ｔｒｇを供給する。これにより、信号レベルがサンプルホールドされる。
　第２の実施の形態のように、排出トランジスタ３１７を設けない構成では、露光開始時（すなわち、ＰＤリセット時）に転送トランジスタ３１２およびＦＤリセットトランジスタ３１３の両方をオン状態にしなければならない。この制御では、ＰＤリセットの際に、同時にＦＤ３１４もリセットしなければならない。このため、露光期間内に再度ＦＤリセットを行い、リセットレベルをサンプルホールドする必要があり、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。全画素のリセットレベルをサンプルホールドする際には、電圧や電流が静定するまでにある程度の待ち時間が必要になり、例えば、数マイクロ秒（μｓ）から数十マイクロ秒（μｓ）のサンプルホールド期間が必要となる。
　これに対して、排出トランジスタ３１７を設ける第３の実施の形態では、ＰＤリセットとＦＤリセットとを個別に行うことができる。このため、同図に例示するように、ＰＤリセットの解除（露光開始）前にＦＤリセットを行って、リセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
　なお、第３の実施の形態に、第２の実施の形態の第１乃至第３の変形例を適応することもできる。
　このように、本技術の第３の実施の形態によれば、光電変換素子３１１から電荷を排出する排出トランジスタ３１７を設けたため、露光開始前にＦＤリセットを行ってリセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
　＜４．第４の実施の形態＞
　上述の第２の実施の形態では、電源電圧ＶＤＤによりＦＤ３１４を初期化していたが、この構成では容量素子３２１および３２２のばらつきや、寄生容量により、感度不均一性（ＰＲＮＵ）が悪化するおそれがある。この第４の実施の形態の固体撮像素子２００は、ＦＤリセットトランジスタ３１３の電源を読出しの際に低下させることにより、ＰＲＮＵを改善する点において第２の実施の形態と異なる。
　図２９は、本技術の第４の実施の形態における画素３００の一構成例を示す回路図である。この第４の実施の形態の画素３００は、ＦＤリセットトランジスタ３１３の電源が、画素３００の電源電圧ＶＤＤと分離されている点において第２の実施の形態と異なる。
　第４の実施の形態のＦＤリセットトランジスタ３１３のドレインは、リセット電源電圧ＶＲＳＴに接続される。このリセット電源電圧ＶＲＳＴは、例えば、タイミング制御回路２１２により制御される。
　ここで、図３０および図３１を参照して、第２の実施の形態の画素３００におけるＰＲＮＵの悪化について考える。第２の実施の形態では、図３０に例示するように露光開始時直前のタイミングＴ０において、ＦＤ３１４の電位は、ＦＤリセットトランジスタ３１３のリセットフィードスルーにより低下する。この変動量をＶｆｔとする。
　第２の実施の形態では、ＦＤリセットトランジスタ３１３の電源電圧はＶＤＤであるため、タイミングＴ０において、ＦＤ３１４の電位は、ＶＤＤから、ＶＤＤ－Ｖｆｔに変動する。また、露光時の前段ノード３１９の電位は、ＶＤＤ－Ｖｆｔ－Ｖｓｉｇとなる。
　また、第２の実施の形態では、図３１に例示するように読出しの際にＦＤリセットトランジスタ３１３がオン状態に移行し、ＦＤ３１４が、電源電圧ＶＤＤに固定される。そのＦＤ３１４の変動量Ｖｆｔにより、読出しの際の前段ノード３１９および後段ノード３４０の電位を、Ｖｆｔ程度高くシフトする。ただし、容量素子３２１および３２２の容量値のばらつきや、寄生容量により、シフトする電圧量が画素ごとにばらつき、ＰＲＮＵ悪化の元になる。
　前段ノード３１９がＶｆｔだけ遷移した場合の後段ノード３４０の遷移量は、例えば、次の式により表される。
　　｛（Ｃｓ＋δＣｓ）／（Ｃｓ＋δＣｓ＋Ｃｐ）｝＊Ｖｆｔ　・・・式２
上式において、Ｃｓは、信号レベル側の容量素子３２２の容量値であり、δＣｓは、Ｃｓのばらつきである。Ｃｐは、後段ノード３４０の寄生容量の容量値である。
　式２は、次の式に近似することができる。
　　｛１－（δＣｓ／Ｃｓ）＊（Ｃｐ／Ｃｓ）｝＊Ｖｆｔ　　・・・式３
　式３より、後段ノード３４０のばらつきは、次の式により表すことができる。
　　｛（δＣｓ／Ｃｓ）＊（Ｃｐ／Ｃｓ）｝＊Ｖｆｔ　　　　　・・・式４
　（δＣｓ／Ｃｓ）を１０－２とし、（Ｃｐ／Ｃｓ）を１０－１とし、Ｖｆｔを４００ミリボルト（ｍＶ）とすると、式４よりＰＲＮＵは、４００μＶｒｍｓとなり、比較的大きな値となる。
　特に、入力換算の容量のサンプリングホールド時のｋＴＣノイズを小さくする際には、ＦＤ３１４の電荷電圧変換効率を大きくする必要がある。電荷電圧変換効率を大きくするにはＦＤ３１４の容量を小さくしなければならないが、ＦＤ３１４の容量が小さいほど変動量Ｖｆｔが大きくなり、数百ミリボルト（ｍＶ）になりうる。この場合、式６よりＰＲＮＵの影響が無視できないレベルになりうる。
　図３２は、本技術の第４の実施の形態における電圧制御の一例を示すタイミングチャートである。
　タイミング制御回路２１２は、タイミングＴ９以降の行単位の読出し期間において、リセット電源電圧ＶＲＳＴを露光期間と異なる値に制御する。
　例えば、露光期間において、タイミング制御回路２１２は、リセット電源電圧ＶＲＳＴを電源電圧ＶＤＤと同じ値にする。一方、読出し期間においてタイミング制御回路２１２は、リセット電源電圧ＶＲＳＴを、ＶＤＤ－Ｖｆｔに低下させる。すなわち、読出し期間において、タイミング制御回路２１２は、リセットフィードスルーによる変動量Ｖｆｔに略一致する分だけ、リセット電源電圧ＶＲＳＴを低下させる。この制御により、露光時と、読出しの際とにおいて、ＦＤ３１４のリセットレベルを揃えることができる。
　リセット電源電圧ＶＲＳＴの制御により、同図に例示するように、ＦＤ３１４と、前段ノード３１９との電圧変動量を低減することができる。これにより、容量素子３２１および３２２のばらつきや、寄生容量に起因するＰＲＮＵの悪化を抑制することができる。
　なお、第４の実施の形態に、第２の実施の形態の第１乃至第３の変形例や、第３の実施の形態を適用することもできる。
　このように、本技術の第４の実施の形態によれば、読出しの際にタイミング制御回路２１２が、リセットフィードスルーによる変動量Ｖｆｔだけリセット電源電圧ＶＲＳＴを低下させるため、露光と読出しとでリセットレベルを揃えることができる。これにより、感度不均一性（ＰＲＮＵ）の悪化を抑制することができる。
　＜５．第５の実施の形態＞
　上述の第２の実施の形態では、フレーム毎にリセットレベルの次に信号レベルを読み出していたが、この構成では容量素子３２１および３２２のばらつきや、寄生容量により、感度不均一性（ＰＲＮＵ）が悪化するおそれがある。この第５の実施の形態の固体撮像素子２００は、フレームごとに、容量素子３２１に保持するレベルと容量素子３２２に保持するレベルとを入れ替えることにより、ＰＲＮＵを改善する点において第２の実施の形態と異なる。
　第５の実施の形態の固体撮像素子２００は、複数のフレームを垂直同期信号に同期して連続して撮像する。奇数番目のフレームを「奇数フレーム」と称し、偶数番目のフレームを「偶数フレーム」と称する。
　図３３は、第５の実施の形態における奇数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。奇数フレームの露光期間内に固体撮像素子２００内の前段回路３１０は、選択信号Φｒの次に選択信号Φｓをハイレベルにすることにより、リセットレベルを容量素子３２１に保持させ、次に信号レベルを容量素子３２２に保持させる。
　図３４は、本技術の第５の実施の形態における奇数フレームの読出し動作の一例を示すタイミングチャートである。奇数フレームの読出し期間内に固体撮像素子２００内の後段回路３５０は、選択信号Φｒの次に選択信号Φｓをハイレベルにしてリセットレベルの次に信号レベルを読み出す。
　図３５は、第５の実施の形態における偶数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。偶数フレームの露光期間内に固体撮像素子２００内の前段回路３１０は、選択信号Φｓの次に選択信号Φｒをハイレベルにすることにより、リセットレベルを容量素子３２２に保持させ、次に信号レベルを容量素子３２１に保持させる。
　図３６は、本技術の第５の実施の形態における偶数フレームの読出し動作の一例を示すタイミングチャートである。偶数フレームの読出し期間内に固体撮像素子２００内の後段回路３５０は、選択信号Φｓの次に選択信号Φｒをハイレベルにしてリセットレベルの次に信号レベルを読み出す。
　図３３および図３５に例示したように、偶数フレームと奇数フレームとで、容量素子３２１および３２２のそれぞれに保持されるレベルが逆になる。これにより、偶数フレームと奇数フレームとで、ＰＲＮＵの極性も逆になる。後段のカラム信号処理回路２６０は、奇数フレームと偶数フレームとの加算平均を求める。これにより、極性が逆のＰＲＮＵ同士を相殺することができる。
　この制御は、動画の撮像や、フレーム同士の加算において有効な制御である。また、画素３００に素子を追加する必要はなく、駆動方式の変更のみにより実現することができる。
　なお、第５の実施の形態に、第２の実施の形態の第１乃至第３の変形例や、第３、第４の実施の形態を適用することもできる。
　このように、本技術の第５の実施の形態では、奇数フレームと偶数フレームとで容量素子３２１に保持されるレベルと容量素子３２２に保持されるレベルとが逆になるため、奇数フレームと偶数フレームとでＰＲＮＵの極性を逆にすることができる。これらの奇数フレームおよび偶数フレームをカラム信号処理回路２６０が加算することにより、ＰＲＮＵの悪化を抑制することができる。
　＜６．第６の実施の形態＞
　上述の第２の実施の形態では、カラム信号処理回路２６０は、カラム毎にリセットレベルと信号レベルとの差分を求めていた。しかし、この構成では、非常に高照度の光が画素に入射した際に、光電変換素子３１１から電荷が溢れることにより輝度が低下し、黒く沈んでしまう黒点現象が生じるおそれがある。この第６の実施の形態の固体撮像素子２００は、黒点現象が生じたか否かを画素ごとに判定する点において第２の実施の形態と異なる。
　図３７は、本技術の第６の実施の形態におけるカラム信号処理回路２６０の一構成例を示す回路図である。この第６の実施の形態のカラム信号処理回路２６０には、複数のＡＤＣ２７０とロジック回路４００とが配置される。また、ロジック回路４００には、複数のＣＤＳ処理部２９１と複数のセレクタ２９２とが配置される。ＡＤＣ２７０、ＣＤＳ処理部２９１およびセレクタ２９２は、列ごとに設けられる。なお、ロジック回路４００内の他の回路（メタデータ抽出部４０４など）は、同図において省略されている。
　また、ＡＤＣ２７０は、コンパレータ２８０およびカウンタ２７１を備える。コンパレータ２８０は、垂直信号線３０９のレベルと、ＤＡＣ２１３からのランプ信号Ｒｍｐとを比較し、比較結果ＶＣＯを出力するものである。比較結果ＶＣＯは、カウンタ２７１とタイミング制御回路２１２とに供給される。コンパレータ２８０は、セレクタ２８１と、容量素子２８２および２８３と、オートゼロスイッチ２８４および２８６と、比較器２８５とを備える。
　セレクタ２８１は、入力側選択信号ｓｅｌｉｎに従って、対応する列の垂直信号線３０９と、所定の参照電圧ＶＲＥＦのノードとのいずれかを比較器２８５の非反転入力端子（＋）に、容量素子２８２を介して接続するものである。入力側選択信号ｓｅｌｉｎは、タイミング制御回路２１２から供給される。なお、セレクタ２８１は、特許請求の範囲に記載の入力側セレクタの一例である。
　比較器２８５は、非反転入力端子（＋）と反転入力端子（－）とのそれぞれのレベルを比較して、比較結果ＶＣＯをカウンタ２７１へ出力するものである。反転入力端子（－）には、容量素子２８３を介してランプ信号Ｒｍｐが入力される。
　オートゼロスイッチ２８４は、タイミング制御回路２１２からのオートゼロ信号Ａｚに従って、比較結果ＶＣＯの非反転入力端子（＋）と出力端子とを短絡するものである。オートゼロスイッチ２８６は、オートゼロ信号Ａｚに従って、比較結果ＶＣＯの反転入力端子（－）と出力端子とを短絡するものである。
　カウンタ２７１は、比較結果ＶＣＯが反転するまでに亘って計数値を計数し、その計数値を示すデジタル信号ＣＮＴ＿ｏｕｔをＣＤＳ処理部２９１へ出力するものである。
　ＣＤＳ処理部２９１は、デジタル信号ＣＮＴ＿ｏｕｔに対してＣＤＳ処理を行うものである。このＣＤＳ処理部２９１は、リセットレベルに対応するデジタル信号ＣＮＴ＿ｏｕｔと、信号レベルに対応するデジタル信号ＣＮＴ＿ｏｕｔとの差分を演算し、ＣＤＳ＿ｏｕｔとしてセレクタ２９２に出力する。
　セレクタ２９２は、タイミング制御回路２１２からの出力側選択信号ｓｅｌоｕｔに従って、ＣＤＳ処理後のデジタル信号ＣＤＳ＿ｏｕｔと、フルコードのデジタル信号ＦＵＬＬとのいずれかを対応する列の画素データとして出力するものである。なお、セレクタ２９２は、特許請求の範囲に記載の出力側セレクタの一例である。
　図３８は、本技術の第６の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第６の実施の形態のグローバルシャッター時のトランジスタの制御方法は、第２の実施の形態と同様である。
　ここで、画素３００に非常に高照度の光が入射したものとする。この場合、光電変換素子３１１の電荷が満杯になり、光電変換素子３１１からＦＤ３１４へと電荷があふれ出し、ＦＤリセット後のＦＤ３１４の電位が低下する。同図における一点鎖線は、溢れた電荷量が比較的少なくなる程度の弱い太陽光が入射した際のＦＤ３１４の電位変動を示す。同図における点線は、溢れた電荷量が比較的多くなるような強い太陽光が入射した際のＦＤ３１４の電位変動を示す。
　弱い太陽光が入射した際は、ＦＤリセットの完了したタイミングＴ３においてリセットレベルが低下しているが、この時点ではレベルが下がりきってない。
　一方、強い太陽光が入射した際は、タイミングＴ３の時点でリセットレベルが下がりきってしまう。この場合、信号レベルがリセットレベルと同じになり、それらの電位差が「０」であるため、ＣＤＳ処理後のデジタル信号が、暗状態の場合と同じになって黒く沈んでしまう。このように、太陽光などの非常に高照度の光が入射したにも関わらず、その画素が黒くなる現象は、黒点現象あるいはブルーミングと呼ばれる。
　また、黒点現象の生じた画素のＦＤ３１４のレベルが下がりすぎると、前段回路３１０の動作点が確保できなくなって、電流源トランジスタ３１６の電流ｉｄ１が変動する。各画素の電流源トランジスタ３１６は、共通の電源やグランドに接続されているため、ある画素で電流が変動した際に、その画素のＩＲドロップの変動が、他の画素のサンプルレベルに影響を及ぼしてしまう。黒点現象の生じた画素がアグレッサーとなり、その画素によりサンプルレベルが変動した画素がビクティムとなる。この結果、ストリーキングノイズが生じる。
　なお、第３の実施の形態のように排出トランジスタ３１７を設けた場合、黒点（ブルーミング）のある画素では、溢れた電荷が排出トランジスタ３１７側に捨てられるため、黒点現象が生じにくい。ただし、排出トランジスタ３１７を設けても、一部の電荷がＦＤ３１４に流れる可能性があり、黒点現象の根治にはならない可能性がある。さらに、排出トランジスタ３１７の追加により、画素毎の有効面積／電荷量の比率が低下してしまうというデメリットもある。このため、排出トランジスタ３１７を用いずに、黒点現象を抑制することが望ましい。
　排出トランジスタ３１７を用いずに黒点現象を抑制する方法として２つの方法が考えられる。１つ目は、ＦＤ３１４のクリップレベルの調整である。２つ目は、読出しの際に黒点現象が生じたか否かを判断して、黒点現象の生じた際に、出力をフルコードに置き換える方法である。
　１つ目の方法に関して、同図のＦＤリセット信号ｒｓｔ（言い換えれば、ＦＤリセットトランジスタ３１３のゲート）のハイレベルは電源電圧ＶＤＤであり、ローレベルが、ＦＤ３１４のクリップレベルに該当する。第１の実施の形態では、これらのハイレベルとローレベルとの差（すなわち、振幅）は、ダイナミックレンジに対応する値に設定される。これに対して、第６の実施の形態では、その値にさらにマージンを加えた値に調整される。ここで、ダイナミックレンジに対応する値は、電源電圧ＶＤＤと、デジタル信号がフルコードになるときのＦＤ３１４の電位との差分に該当する。
　ＦＤリセットトランジスタ３１３のオフ時のゲート電圧（ＦＤリセット信号ｒｓｔのローレベル）を下げることにより、ブルーミングによりＦＤ３１４が低下しすぎて、前段増幅トランジスタ３１５の動作点をつぶすことを防止することができる。
　なお、ダイナミックレンジは、ＡＤＣのアナログゲインによって変わる。アナログゲインが低いときは、大きなダイナミックレンジが必要となり、逆にアナログゲインが高い時は、ダイナミックレンジは少なくて済む。このため、ＦＤリセットトランジスタ３１３のオフ時のゲート電圧を、アナログゲインに応じて変更することもできる。
　図３９は、本技術の第６の実施の形態における読出し動作の一例を示すタイミングチャートである。読出しの開始のタイミングＴ１０の直後のタイミングＴ１１において選択信号Φｒがハイレベルになると、太陽光が入射した画素では、垂直信号線３０９の電位が変動する。同図における一点鎖線は、弱い太陽光が入射した際の垂直信号線３０９の電位変動を示す。同図における点線は、強い太陽光が入射した際の垂直信号線３０９の電位変動を示す。
　タイミングＴ１０からタイミングＴ１２までのオートゼロ期間において、タイミング制御回路２１２は、例えば、「０」の入力側選択信号ｓｅｌｉｎを供給し、比較器２８５を垂直信号線３０９に接続させる。このオートゼロ期間内にタイミング制御回路２１２は、オートゼロ信号Ａｚによりオートゼロを行う。
　２つ目の方法に関して、タイミングＴ１２からタイミングＴ１３までの判定期間内にタイミング制御回路２１２は、例えば、「１」の入力側選択信号ｓｅｌｉｎを供給する。この入力側選択信号ｓｅｌｉｎにより、比較器２８５が垂直信号線３０９から切り離され、参照電圧ＶＲＥＦのノードと接続される。この参照電圧ＶＲＥＦは、ブルーミングが生じなかったときの、垂直信号線３０９のレベルの期待値に設定される。Ｖｒｓｔは、例えば、後段増幅トランジスタ３５１のゲート－ソース間電圧をＶｇｓ２とすると、Ｖｒｅｇ－Ｖｇｓ２に該当する。また、ＤＡＣ２１３は、判定期間内にランプ信号ＲｍｐのレベルをＶｒｍｐ＿ａｚからＶｒｍｐ＿ｓｕｎに低下させる。
　また、判定期間内において、ブルーミングが発生しなかった場合、垂直信号線３０９のリセットレベルのＶｒｓｔは、参照電圧ＶＲＥＦとほぼ同じであり、比較器２８５の反転入力端子（＋）の電位がオートゼロのときとあまり変わらない。一方、非反転入力端子（－）は、Ｖｒｍｐ＿ａｚからＶｒｍｐ＿ｓｕｎに下がったため、比較結果ＶＣＯはハイレベルとなる。
　逆に、ブルーミングが発生した場合、リセットレベルＶｒｓｔは、参照電圧ＶＲＥＦよりも十分に高くなり、次の式が成立した際に、比較結果ＶＣＯがローレベルになる。
　　Ｖｒｓｔ－ＶＲＥＦ＞Ｖｒｍｐ＿ａｚ－Ｖｒｍｐ＿ｓｕｎ・・・式５
　つまり、タイミング制御回路２１２は、判定期間内に比較結果ＶＣＯがローレベルとなるか否かにより、ブルーミングが発生したか否かを判断することができる。
　なお、後段増幅トランジスタ３５１の閾値電圧のバラツキや、面内のＶｒｅｇのＩＲドロップ差等による誤判定が発生しないように、太陽判定のためのマージン（式５の右辺）をある程度大きく確保する必要がある。
　判定期間経過後のタイミングＴ１３以降において、タイミング制御回路２１２は、比較器２８５を垂直信号線３０９に接続させる。また、タイミングＴ１３乃至Ｔ１４のＰ相セトリング期間が経過すると、タイミングＴ１４乃至Ｔ１５の期間内にＰ相が読み出される。タイミングＴ１５乃至Ｔ１９のＤ相セトリング期間が経過すると、タイミングＴ１９乃至Ｔ２０の期間内にＤ相が読み出される。
　判定期間においてブルーミングが発生していないと判断した場合、タイミング制御回路２１２は、出力側選択信号ｓｅｌоｕｔによりセレクタ２９２を制御してＣＤＳ処理後のデジタル信号ＣＤＳ＿ｏｕｔをそのまま出力させる。
　一方、判定期間においてブルーミングが発生したと判断した場合、タイミング制御回路２１２は、出力側選択信号ｓｅｌоｕｔによりセレクタ２９２を制御してＣＤＳ処理後のデジタル信号ＣＤＳ＿ｏｕｔの代わりにフルコードＦＵＬＬを出力させる。これにより、黒点現象を抑制することができる。
　なお、第６の実施の形態に、第２の実施の形態の第１乃至第３の変形例や、第３乃至第５の実施の形態を適用することもできる。
　このように、本技術の第６の実施の形態によれば、タイミング制御回路２１２は、比較結果ＶＣＯに基づいて黒点現象が生じたか否かを判断し、黒点現象が生じた際にフルコードを出力させるため、黒点現象を抑制することができる。
　＜７．第７の実施の形態＞
　上述の第２の実施の形態では、垂直走査回路２１１は、全行（全画素）を同時に露光させる制御（すなわち、グローバルシャッター動作）を行っていた。しかし、テストのときや、解析を行うときなど、露光の同時性が不要で低ノイズが要求される場合には、ローリングシャッター動作を行うことが望ましい。この第７の実施の形態の固体撮像素子２００は、テスト時などにおいて、ローリングシャッター動作を行う点において第２の実施の形態と異なる。
　図４０は、本技術の第７の実施の形態におけるローリングシャッター動作の一例を示すタイミングチャートである。垂直走査回路２１１は、複数の行を順に選択して露光を開始させる制御を行う。同図は、第ｎ行の露光制御を示す。
　タイミングＴ０乃至Ｔ２の期間において、垂直走査回路２１１は、第ｎ行にハイレベルの後段選択信号ｓｅｌｂ、選択信号Φｒおよび選択信号Φｓを供給する。また、露光開始のタイミングＴ０において、垂直走査回路２１１は、第ｎ行にハイレベルのＦＤリセット信号ｒｓｔおよび後段リセット信号ｒｓｔｂをパルス期間に亘って供給する。露光終了のタイミングＴ１において垂直走査回路２１１は、第ｎ行に転送信号ｔｒｇを供給する。同図のローリングシャッター動作により、固体撮像素子２００は、低ノイズの画像データを生成することができる。なお、同図のローリングシャッター動作において、第１の実施の形態で説明した２回のＡＤ変換やメタデータの抽出は実行されないものとする。
　なお、通常の撮像時において第７の実施の形態の固体撮像素子２００は、第２の実施の形態と同様にグローバルシャッター動作を行う。
　また、第７の実施の形態に、第２の実施の形態の第１乃至第３の変形例や、第３乃至第６の実施の形態を適用することもできる。
　このように本技術の第７の実施の形態によれば、垂直走査回路２１１は、複数の行を順に選択して露光を開始させる制御（すなわち、ローリングシャッター動作）を行うため、低ノイズの画像データを生成することができる。
　＜８．第８の実施の形態＞
　上述の第２の実施の形態では、前段のソースフォロワ（前段増幅トランジスタ３１５および電流源トランジスタ３１６）のソースを電源電圧ＶＤＤに接続し、そのソースフォロワがオンの状態で行単位で読出しを行っていた。しかし、この駆動方法では、行単位の読出しの際の前段のソースフォロワの回路ノイズが後段に伝搬し、ランダムノイズが増大するおそれがある。この第８の実施の形態の固体撮像素子２００は、読出しの際に前段のソースフォロワをオフ状態にすることにより、ノイズを低減する点において第１の実施の形態と異なる。
　図４１は、本技術の第８の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第８の実施の形態の固体撮像素子２００は、レギュレータ４２０および切り替え部４４０をさらに備える点において第２の実施の形態と異なる。また、第８の実施の形態の画素アレイ部２２０には、複数の有効画素３０１と、所定数のダミー画素４３０とが配列される。ダミー画素４３０は、有効画素３０１が配列された領域の周囲に配列される。
　また、ダミー画素４３０のそれぞれには、電源電圧ＶＤＤが供給され、有効画素３０１のそれぞれには、電源電圧ＶＤＤと、ソース電圧Ｖｓとが供給される。有効画素３０１へ電源電圧ＶＤＤを供給する信号線は、同図において省略されている。また、電源電圧ＶＤＤは、固体撮像素子２００の外部のパッド４１５から供給される。
　レギュレータ４２０は、ダミー画素４３０からの入力電位Ｖｉに基づいて、一定の生成電圧Ｖｇｅｎを生成し、切り替え部４４０に供給するものである。切り替え部４４０は、パッド４１５からの電源電圧ＶＤＤと、レギュレータ４２０からの生成電圧Ｖｇｅｎとのいずれかを選択し、ソース電圧Ｖｓとして有効画素３０１のカラムのそれぞれに供給するものである。
　図４２は、本技術の第８の実施の形態におけるダミー画素４３０、レギュレータ４２０、および、切り替え部４４０の一構成例を示す回路図である。同図におけるａは、ダミー画素４３０およびレギュレータ４２０の回路図であり、同図におけるｂは、切り替え部４４０の回路図である。
　同図におけるａに例示するように、ダミー画素４３０は、リセットトランジスタ４３１、ＦＤ４３２、増幅トランジスタ４３３および電流源トランジスタ４３４を備える。リセットトランジスタ４３１は、垂直走査回路２１１からのリセット信号ＲＳＴに従って、ＦＤ４３２を初期化するものである。ＦＤ４３２は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。増幅トランジスタ４３３は、ＦＤ４３２の電圧のレベルを増幅し、入力電圧Ｖｉとしてレギュレータ４２０に供給するものである。
　また、リセットトランジスタ４３１および増幅トランジスタ４３３のソースは、電源電圧ＶＤＤに接続される。電流源トランジスタ４３４は、増幅トランジスタ４３３のドレインに接続される。この電流源トランジスタ４３４は、垂直走査回路２１１の制御に従って、電流ｉｄ１を供給する。
　レギュレータ４２０は、ローパスフィルタ４２１、バッファアンプ４２２および容量素子４２３を備える。ローパスフィルタ４２１は、入力電圧Ｖｉの信号のうち、所定周波数未満の低周波数帯域の成分を出力電圧Ｖｊとして通過させるものである。
　バッファアンプ４２２の非反転入力端子（＋）には、出力電圧Ｖｊが入力される。バッファアンプ４２２の反転入力端子（－）は、その出力端子と接続される。容量素子４２３は、バッファアンプ４２２の出力端子の電圧をＶｇｅｎとして保持するものである。このＶｇｅｎは、切り替え部４４０に供給される。
　同図におけるｂに例示するように、切り替え部４４０は、インバータ４４１と、複数の切り替え回路４４２とを備える。切り替え回路４４２は、有効画素３０１の列ごとに配置される。
　インバータ４４１は、タイミング制御回路２１２からの切替信号ＳＷを反転させるものである。このインバータ４４１は、反転信号を切り替え回路４４２のそれぞれに供給する。
　切り替え回路４４２は、電源電圧ＶＤＤと、生成電圧Ｖｇｅｎとのいずれかを選択し、ソース電圧Ｖｓとして、画素アレイ部２２０内の対応する列に供給するものである。切り替え回路４４２は、スイッチ４４３および４４４を備える。スイッチ４４３は、切替信号ＳＷに従って、電源電圧ＶＤＤのノードと、対応する列との間の経路を開閉するものである。スイッチ４４４は、切替信号ＳＷの反転信号に従って、生成電圧Ｖｇｅｎのノードと、対応する列との間の経路を開閉するものである。
　図４３は、本技術の第８の実施の形態におけるダミー画素４３０およびレギュレータ４２０の動作の一例を示すタイミングチャートである。ある行の読出しの直前のタイミングＴ１０において、垂直走査回路２１１は、ダミー画素４３０のそれぞれに、ハイレベル（ここでは、電源電圧ＶＤＤ）のリセット信号ＲＳＴを供給する。ダミー画素４３０内のＦＤ４３２の電位Ｖｆｄは、電源電圧ＶＤＤに初期化される。そして、リセット信号ＲＳＴがローレベルとなった際に、リセットフィードスルーにより、ＶＤＤ－Ｖｆｔに変動する。
　また、入力電圧Ｖｉは、リセット後にＶＤＤ－Ｖｇｓ－Ｖｓｉｇに低下する。ローパスフィルタ４２１の通過により、Ｖｊ、Ｖｇｅｎは、略一定の電圧となる。
　次の行の読出しの直前のタイミングＴ２０以降は、行ごとに、同様の制御が行われ、一定の生成電圧Ｖｇｅｎが供給される。
　図４４は、本技術の第８の実施の形態における有効画素３０１の一構成例を示す回路図である。有効画素３０１の回路構成は、前段増幅トランジスタ３１５のソースに、切り替え部４４０からのソース電圧Ｖｓが供給される点以外は、第２の実施の形態の画素３００と同様である。
　図４５は、本技術の第８の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第８の実施の形態において、全画素で同時に露光する際に、切り替え部４４０は、電源電圧ＶＤＤを選択し、ソース電圧Ｖｓとして供給する。また、前段ノードの電圧は、タイミングＴ４において、ＶＤＤ－Ｖｇｓ－ＶｔｈからＶＤＤ－Ｖｇｓ－Ｖｓｉｇに低下する。ここで、Ｖｔｈは、転送トンラジスタ３１２の閾値電圧である。
　図４６は、本技術の第８の実施の形態における読出し動作の一例を示すタイミングチャートである。この第８の実施の形態では、読出しの際に切り替え部４４０は、生成電圧Ｖｇｅｎを選択し、ソース電圧Ｖｓとして供給する。この生成電圧Ｖｇｅｎは、ＶＤＤ－Ｖｇｓ－Ｖｆｔに調整される。また、第８の実施の形態では、垂直走査回路２１１が、全行（全画素）の電流源トランジスタ３１６を制御して電流ｉｄ１の供給を停止させる。
　図４７は、本技術の第８の実施の形態における効果を説明するための図である。第１の実施の形態では、行ごとの読出しにおいて、読出し対象の画素３００のソースフォロワ（前段増幅トランジスタ３１５および電流源トランジスタ３１６）をオンにしていた。しかし、この駆動方法では、前段のソースフォロワの回路ノイズが、後段（容量素子、後段のソースフォロワやＡＤＣ）に伝搬し、読出しノイズが増大するおそれがある。
　例えば、第２の実施の形態では、同図に例示するようにグローバルシャッター動作時の画素で生じるｋＴＣノイズは、４５０（μＶｒｍｓ）である。また、行ごとの読出しにおける、前段のソースフォロワ（前段増幅トランジスタ３１５および電流源トランジスタ３１６）で生じるノイズは、３８０（μＶｒｍｓ）となる。後段のソースフォロワ以降で生じるノイズは、１６０（μＶｒｍｓ）である。このため、合計のノイズは、６１０（μＶｒｍｓ）である。このように、第２の実施の形態では、ノイズの合計値における、前段のソースフォロワのノイズの寄与分は、比較的大きくなる。
　この前段のソースフォロワのノイズを低減するために、第８の実施の形態では、前述したように前段のソースフォロワのソースに、電圧調整の可能な電圧（Ｖｓ）を供給している。グローバルシャッター（露光）動作時に、切り替え部４４０は、電源電圧ＶＤＤを選択してソース電圧Ｖｓとして供給する。そして、露光の終了後に切り替え部４４０は、ソース電圧ＶｓをＶＤＤ－Ｖｇｓ－Ｖｆｔに切り替える。また、タイミング制御回路２１２は、グローバルシャッター（露光）動作時に、前段の電流源トランジスタ３１６をオンにし、露光の終了後にオフにする。
　上述の制御により、図４５および図４６に例示したように、グローバルシャッター動作時と、行ごとの読出し時とのそれぞれの前段ノードの電位が揃い、ＰＲＮＵを改善することができる。また、行ごとに読み出す際に前段のソースフォロワがオフ状態になるため、図４７に例示するように、ソースフォロワの回路ノイズが生じず、０（μＶｒｍｓ）となる。なお、前段のソースフォロワのうち前段増幅トランジスタ３１５はオン状態である。
　このように、本技術の第８の実施の形態によれば、読出しの際に前段のソースフォロワをオフ状態にするため、そのソースフォロワで生じるノイズを低減することができる。
　＜９．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４９は、撮像部１２０３１の設置位置の例を示す図である。
　図４９では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素と、
　前記保持された画素信号のそれぞれに対する信号処理により第１のデジタル信号を生成し、前記保持された画素信号のそれぞれに対する前記信号処理により第２のデジタル信号を生成する信号処理部と、
　前記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出部と、
　前記メタデータを用いて前記第２のデジタル信号に対して所定の画像処理を行う画像処理部と
を具備する固体撮像素子。
（２）前記メタデータ抽出部は、前記第１のデジタル信号を配列したフレームに対して所定の物体を認識する認識処理を行い、当該認識処理の結果を示すデータを前記メタデータとして生成する
前記（１）記載の固体撮像素子。
（３）前記メタデータは、所定の領域を示し、
　前記画像処理部は、前記領域内の色を特定の色に置き換える処理を行う
前記（１）または（２）に記載の固体撮像素子。
（４）前記メタデータは、所定の領域を示し、
　前記画像処理部は、前記領域に対してモザイク処理を行う
前記（１）または（２）に記載の固体撮像素子。
（５）前記メタデータは、所定の領域を示し、
　前記画像処理部は、前記第２のデジタル信号を配列したフレームから前記領域を関心領域として抽出する
前記（１）または（２）に記載の固体撮像素子。
（６）前記複数の画素のそれぞれは、
　画素信号を生成する前段回路と、
　前記画素信号を保持するサンプルホールド回路と、
　前記画素信号を前記サンプルホールド回路から読み出して出力する後段回路と
を備える前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記サンプルホールド回路は、
　第１および第２の容量素子と、
　前記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と前記第１および第２の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と
を備える
前記（６）記載の固体撮像素子。
（８）前記選択回路は、前記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と前記第１および第２の容量素子の両方を前記後段ノードから切り離す制御と前記第１および第２の容量素子の他方を前記後段ノードに接続する制御とを順に行う
前記（７）記載の固体撮像素子。
（９）前記複数の画素のそれぞれは、前記第１および第２の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタをさらに備える
前記（８）記載の固体撮像素子。
（１０）画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素と、
　前記保持された画素信号のそれぞれに対する信号処理により第１のデジタル信号を生成し、前記保持された画素信号のそれぞれに対する前記信号処理により第２のデジタル信号を生成する信号処理部と、
　前記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出部と、
　前記メタデータを用いて前記第２のデジタル信号に対して所定の画像処理を行う画像処理部と、
　前記処理が行われた前記第２のデジタル信号を配列したフレームを記録する記録部と
を具備する撮像装置。
（１１）アナログデジタル変換部が、画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素のそれぞれに保持された画素信号に対する信号処理により第１のデジタル信号を生成し、前記保持された画素信号のそれぞれに対する前記信号処理により第２のデジタル信号を生成する信号処理手順と、
　メタデータ抽出部が、前記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出手順と、
　画像処理部が、前記メタデータを用いて前記第２のデジタル信号に対して所定の画像処理を行う画像信号処理手順と
を具備する固体撮像素子の制御方法。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　記録部
　１３０　撮像制御部
　２００　固体撮像素子
　２０１　上側画素チップ
　２０２　下側画素チップ
　２０３　回路チップ
　２１１　垂直走査回路
　２１２　タイミング制御回路
　２１３　ＤＡＣ
　２２０　画素アレイ部
　２２１　上側画素アレイ部
　２２２　下側画素アレイ部
　２５０　負荷ＭＯＳ回路ブロック
　２５１　負荷ＭＯＳトランジスタ
　２６０　カラム信号処理回路
　２６１　信号処理部
　２６２、２７０　ＡＤＣ
　２７１　カウンタ
　２８０　コンパレータ
　２８１、２９２　セレクタ
　２８２、２８３、３２１、３２２　容量素子
　２８４、２８６　オートゼロスイッチ
　２８５　比較器
　２９１　ＣＤＳ処理部
　３００　画素
　３０１　有効画素
　３１０　前段回路
　３１１　光電変換素子
　３１２　転送トランジスタ
　３１３　ＦＤリセットトランジスタ
　３１４　ＦＤ
　３１５　前段増幅トランジスタ
　３１６　電流源トランジスタ
　３１７　排出トランジスタ
　３２０　サンプルホールド回路
　３２３　前段リセットトランジスタ
　３２４　前段選択トランジスタ
　３３０　選択回路
　３３１、３３１－１、３３１－２、３３２、３３２－１、３３２－２　選択トランジスタ
　３３３　サンプリングトランジスタ
　３４１　後段リセットトランジスタ
　３５０、３５０－１、３５０－２　後段回路
　３５１、３５１－１、３５１－２　後段増幅トランジスタ
　３５２、３５２－１、３５２－２　後段選択トランジスタ
　４００　ロジック回路
　４０１　カラムインターフェース
　４０２　画像処理部
　４０３　ＩＳＰ回路
　４０４　メタデータ抽出部
　４０５　ワークメモリ
　４１０　高速インターフェース
　４２０　レギュレータ
　４２１　ローパスフィルタ
　４２２　バッファアンプ
　４２３　容量素子
　４３０　ダミー画素
　４３１　リセットトランジスタ
　４３２　ＦＤ
　４３３　増幅トランジスタ
　４３４　電流源トランジスタ
　４４０　切り替え部
　４４１　インバータ
　４４２　切り替え回路
　４４３、４４４　スイッチ
　１２０３１　撮像部

Claims (11)

  1. 　画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素と、
    　前記保持された画素信号のそれぞれに対する信号処理により第１のデジタル信号を生成し、前記保持された画素信号のそれぞれに対する前記信号処理により第２のデジタル信号を生成する信号処理部と、
    　前記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出部と、
    　前記メタデータを用いて前記第２のデジタル信号に対して所定の画像処理を行う画像処理部と
    を具備する固体撮像素子。
  2. 　前記メタデータ抽出部は、前記第１のデジタル信号を配列したフレームに対して所定の物体を認識する認識処理を行い、当該認識処理の結果を示すデータを前記メタデータとして生成する
    請求項１記載の固体撮像素子。
  3. 　前記メタデータは、所定の領域を示し、
    　前記画像処理部は、前記領域内の色を特定の色に置き換える処理を行う
    請求項１記載の固体撮像素子。
  4. 　前記メタデータは、所定の領域を示し、
    　前記画像処理部は、前記領域に対してモザイク処理を行う
    請求項１記載の固体撮像素子。
  5. 　前記メタデータは、所定の領域を示し、
    　前記画像処理部は、前記第２のデジタル信号を配列したフレームから前記領域を関心領域として抽出する
    請求項１記載の固体撮像素子。
  6. 　前記複数の画素のそれぞれは、
    　画素信号を生成する前段回路と、
    　前記画素信号を保持するサンプルホールド回路と、
    　前記画素信号を前記サンプルホールド回路から読み出して出力する後段回路と
    を備える請求項１記載の固体撮像素子。
  7. 　前記サンプルホールド回路は、
    　第１および第２の容量素子と、
    　前記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と前記第１および第２の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と
    を備える
    請求項６記載の固体撮像素子。
  8. 　前記選択回路は、前記第１および第２の容量素子の一方を所定の後段ノードに接続する制御と前記第１および第２の容量素子の両方を前記後段ノードから切り離す制御と前記第１および第２の容量素子の他方を前記後段ノードに接続する制御とを順に行う
    請求項７記載の固体撮像素子。
  9. 　前記複数の画素のそれぞれは、前記第１および第２の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタをさらに備える
    請求項８記載の固体撮像素子。
  10. 　画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素と、
    　前記保持された画素信号のそれぞれに対する信号処理により第１のデジタル信号を生成し、前記保持された画素信号のそれぞれに対する前記信号処理により第２のデジタル信号を生成する信号処理部と、
    　前記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出部と、
    　前記メタデータを用いて前記第２のデジタル信号に対して所定の画像処理を行う画像処理部と、
    　前記処理が行われた前記第２のデジタル信号を配列したフレームを記録する記録部と
    を具備する撮像装置。
  11. 　アナログデジタル変換部が、画素信号を保持するサンプルホールド回路がそれぞれに設けられた複数の画素のそれぞれに保持された画素信号に対する信号処理により第１のデジタル信号を生成し、前記保持された画素信号のそれぞれに対する前記信号処理により第２のデジタル信号を生成するアナログデジタル変換手順と、
    　メタデータ抽出部が、前記第１のデジタル信号から所定のメタデータを抽出するメタデータ抽出手順と、
    　画像処理部が、前記メタデータを用いて前記第２のデジタル信号に対して所定の画像処理を行う画像信号処理手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2022/048207 2022-02-21 2022-12-27 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 WO2023157489A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-024398 2022-02-21
JP2022024398 2022-02-21

Publications (1)

Publication Number Publication Date
WO2023157489A1 true WO2023157489A1 (ja) 2023-08-24

Family

ID=87577959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/048207 WO2023157489A1 (ja) 2022-02-21 2022-12-27 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (1)

Country Link
WO (1) WO2023157489A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287927A (ja) * 2004-04-02 2005-10-20 Konica Minolta Medical & Graphic Inc 画像処理装置、画像処理方法及び医用画像システム
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018142954A (ja) * 2017-02-24 2018-09-13 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行のための映像処理方法、映像処理装置及び自律走行車両
JP2021033686A (ja) * 2019-08-26 2021-03-01 株式会社セルシス 画像領域抽出処理方法及び画像領域抽出処理プログラム
WO2021215105A1 (ja) * 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287927A (ja) * 2004-04-02 2005-10-20 Konica Minolta Medical & Graphic Inc 画像処理装置、画像処理方法及び医用画像システム
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018142954A (ja) * 2017-02-24 2018-09-13 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行のための映像処理方法、映像処理装置及び自律走行車両
JP2021033686A (ja) * 2019-08-26 2021-03-01 株式会社セルシス 画像領域抽出処理方法及び画像領域抽出処理プログラム
WO2021215105A1 (ja) * 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Similar Documents

Publication Publication Date Title
WO2021215105A1 (ja) 固体撮像素子
US20200260034A1 (en) Solid-state image pick-up device and electronic device
US11974057B2 (en) Solid-state imaging element and imaging device
WO2020105313A1 (ja) 固体撮像素子、および、撮像装置
CN115665570A (zh) 摄像装置
EP4300944A1 (en) Solid-state imaging element and imaging device
WO2023157489A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062935A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023007772A1 (ja) 固体撮像素子
WO2023162471A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11283417B2 (en) Amplification circuit, imaging device, and control method of amplification circuit
WO2023062940A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062947A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023171109A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023063024A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024004377A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023166854A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023062962A1 (ja) 固体撮像素子
WO2023166848A1 (ja) 撮像装置、画像処理装置および撮像装置の制御方法
WO2024004370A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022209126A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2024024261A1 (ja) 固体撮像素子、撮像システム、および、固体撮像素子の制御方法
WO2023067961A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023042415A1 (ja) 固体撮像素子、固体撮像素子の制御方法、および、電子装置
WO2022196057A1 (ja) 固体撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22927371

Country of ref document: EP

Kind code of ref document: A1