WO2023171109A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents
固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDFInfo
- Publication number
- WO2023171109A1 WO2023171109A1 PCT/JP2023/000304 JP2023000304W WO2023171109A1 WO 2023171109 A1 WO2023171109 A1 WO 2023171109A1 JP 2023000304 W JP2023000304 W JP 2023000304W WO 2023171109 A1 WO2023171109 A1 WO 2023171109A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- circuit
- pixel
- pixel signal
- solid
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims description 42
- 230000003321 amplification Effects 0.000 claims abstract description 35
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 93
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 239000003990 capacitor Substances 0.000 claims description 33
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 description 101
- 238000010586 diagram Methods 0.000 description 50
- 238000012986 modification Methods 0.000 description 40
- 230000004048 modification Effects 0.000 description 40
- 238000001514 detection method Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000012546 transfer Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 206010064127 Solar lentigo Diseases 0.000 description 12
- 230000000052 comparative effect Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000005096 rolling process Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 230000003071 parasitic effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 101100365384 Mus musculus Eefsec gene Proteins 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010027146 Melanoderma Diseases 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102100036285 25-hydroxyvitamin D-1 alpha hydroxylase, mitochondrial Human genes 0.000 description 1
- 101000875403 Homo sapiens 25-hydroxyvitamin D-1 alpha hydroxylase, mitochondrial Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/51—Control of the gain
Definitions
- the present technology relates to a solid-state image sensor. Specifically, the present invention relates to a solid-state imaging device that switches gain, an imaging device, and a method of controlling the solid-state imaging device.
- CMOS Image Sensor which is a solid-state image sensor using CMOS
- CMOS Complementary MOS
- a CIS has been proposed that captures and displays a plurality of image data with different exposure start timings and exposure times, and allows the user to select desired image data (see, for example, Patent Document 1).
- the above-mentioned conventional technology attempts to generate image data with different degrees of motion blur and brightness when the subject moves by capturing images multiple times with different exposure start timings and exposure times.
- the exposure start and exposure end timings are the same, and it is not possible to capture a plurality of image data having different brightnesses.
- the exposure start timing in order to capture image data with different brightnesses, it is necessary to change the exposure start timing, and in this case, there is a risk that an imaging opportunity may be missed.
- This technology was created in view of this situation, and its purpose is to prevent the loss of imaging opportunities in solid-state imaging devices that capture multiple image data.
- the present technology was developed to solve the above-mentioned problems, and its first aspect is that it includes a front-stage circuit that generates a pixel signal, and a circuit that holds the pixel signal for a predetermined hold period. a sample hold circuit that outputs the pixel signal multiple times within the hold period; an amplifier circuit that amplifies the pixel signal by a gain specified by a predetermined control signal among a plurality of gains;
- the present invention provides a solid-state imaging device including a timing control circuit that sequentially instructs the plurality of gains using the control signal, and a control method thereof. This brings about the effect that a plurality of image data having different brightness are generated by one exposure.
- the amplifier circuit may be a comparator that compares the pixel signal with a predetermined ramp signal. This brings about the effect that the analog pixel signal is amplified.
- the pre-stage circuit and the sample hold circuit are arranged in the pixel, and the comparator amplifies a difference between a predetermined reference voltage and a voltage at a predetermined node and outputs the difference as a comparison result.
- a dynamic amplification circuit a vertical signal line capacitor inserted between the predetermined node and the vertical scanning line to which the pixel is connected, and a digital-analog converter that generates the ramp signal and the predetermined node.
- the device may include an inserted lamp-side capacitor and a switch that changes a capacitance ratio between the vertical signal line-side capacitor and the lamp-side capacitor in accordance with the control signal. This brings about the effect that the analog gain can be switched by changing the capacitance ratio.
- the timing control circuit further includes a digital-to-analog converter that generates the ramp signal according to the control signal, and the timing control circuit changes the speed at which the level of the ramp signal changes according to the control signal. It's okay. This brings about the effect that the analog gain can be switched by changing the fluctuation speed of the ramp signal.
- the column further includes an analog-to-digital converter that performs an analog-to-digital conversion process on the pixel signal, and the amplifier circuit supplies the amplified pixel signal to the analog-to-digital converter. It may also be an amplifier. This brings about the effect that the analog pixel signal is amplified.
- a post-stage circuit that supplies the pixel signal to the vertical signal line
- the amplification circuit may supply the amplified pixel signal to the post-stage circuit. This brings about the effect that the pixel signal is amplified within the pixel.
- the pixel signal further includes an analog-to-digital converter that performs an analog-to-digital conversion process, and the amplification circuit also amplifies the pixel signal after the analog-to-digital conversion process. good. This brings about the effect that the digital pixel signal is amplified.
- the sample-and-hold circuit further includes a rear-stage reset transistor, and the sample-and-hold circuit connects the first and second capacitors and one of the first and second capacitors to a predetermined rear-stage node.
- a selection circuit that sequentially performs control to connect, control to disconnect both the first and second capacitive elements from the subsequent node, and control to connect the other of the first and second capacitive elements to the subsequent node;
- the second stage reset transistor may initialize the level of the second stage node when both the first and second capacitive elements are disconnected from the second stage node. This brings about the effect of reducing noise.
- a second aspect of the present technology is a pre-stage circuit that generates a pixel signal, and a pre-stage circuit that holds the pixel signal for a predetermined hold period and outputs the pixel signal multiple times within the hold period.
- a sample and hold circuit an amplifier circuit that amplifies the pixel signal by a gain specified by a predetermined control signal among the plurality of gains; and a timing control circuit that sequentially instructs the plurality of gains by the control signal within the hold period.
- a digital signal processing circuit that processes image data in which the pixel signals are arranged. This brings about the effect that a plurality of image data having different brightnesses are generated and processed in one exposure.
- the amplifier circuit further includes a set value holding unit that holds any one of the plurality of gains as a set value according to a user's operation, and the amplifier circuit is configured to control the pixel by using the gain of the set value.
- the signal may also be amplified. This brings about the effect of improving the convenience of the imaging device.
- the digital signal processing circuit may perform machine learning using a predetermined number of the image data. This has the effect of reducing the number of exposures required to generate a data set.
- FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to a first embodiment of the present technology.
- FIG. 1 is a block diagram showing an example of a configuration of a solid-state image sensor according to a first embodiment of the present technology.
- FIG. 2 is a circuit diagram showing an example of a configuration of a pixel in a first embodiment of the present technology.
- FIG. 2 is a block diagram showing a configuration example of a load MOS circuit block and a column signal processing circuit in the first embodiment of the present technology.
- FIG. 2 is a circuit diagram showing a configuration example of a comparator in the first embodiment of the present technology.
- FIG. 3 is a diagram for explaining the operation of the solid-state image sensor during image capturing in the first embodiment of the present technology.
- FIG. 2 is a block diagram illustrating a configuration example of a column signal processing circuit to which a column amplifier is added according to the first embodiment of the present technology.
- FIG. 3 is a circuit diagram showing another example of a pixel in the first embodiment of the present technology. It is a timing chart which shows an example of operation of a solid-state image sensing device in a 1st embodiment of this art. 6 is a timing chart showing an example of global shutter operation in the first embodiment of the present technology. 5 is a timing chart illustrating an example of a read operation in the first embodiment of the present technology. 5 is a timing chart showing an example of the operation of a solid-state image sensor in a comparative example. It is a figure showing an example of image data in a 1st embodiment of this art.
- FIG. 3 is a block diagram illustrating a configuration example of a DSP circuit in a second modified example of the first embodiment of the present technology.
- FIG. 3 is a circuit diagram showing an example of a configuration of a pixel in a second embodiment of the present technology.
- FIG. 7 is a block diagram showing an example of a configuration of a column signal processing circuit according to a third embodiment of the present technology.
- FIG. 7 is a circuit diagram illustrating an example of a configuration of a pixel in a fourth embodiment of the present technology.
- 12 is a timing chart illustrating an example of global shutter operation in a fourth embodiment of the present technology.
- 12 is a timing chart showing an example of a read operation in a fourth embodiment of the present technology. It is a figure which shows an example of the laminated structure of the solid-state image sensor in the 1st modification of the 4th Embodiment of this technique.
- FIG. 7 is a circuit diagram showing an example of a pixel configuration in a first modification of the fourth embodiment of the present technology.
- FIG. 12 is a circuit diagram showing an example of a configuration of a pixel in a fifth embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in a 5th embodiment of this art.
- FIG. 7 is a circuit diagram showing an example of a pixel configuration in a sixth embodiment of the present technology. It is a figure for explaining reset feedthrough in a 6th embodiment of this art.
- FIG. 12 is a diagram for explaining level variations due to reset feedthrough in the sixth embodiment of the present technology. It is a timing chart which shows an example of voltage control in a 6th embodiment of this art.
- FIG. 12 is a circuit diagram showing an example of a configuration of a pixel in a fifth embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in a 5th embodiment of this art.
- FIG. 7 is a circuit diagram showing an example of a pixel configuration in a sixth embodiment of the present technology. It is a figure for explaining reset feedthrough in a 6th embodiment
- FIG. 12 is a timing chart showing an example of global shutter operation for odd frames in the seventh embodiment of the present technology.
- FIG. FIG. 12 is a timing chart showing an example of an odd frame read operation in a seventh embodiment of the present technology.
- FIG. FIG. 12 is a timing chart showing an example of global shutter operation for even frames in the seventh embodiment of the present technology.
- FIG. FIG. 12 is a timing chart showing an example of an even frame read operation in the seventh embodiment of the present technology.
- FIG. FIG. 11 is a circuit diagram showing a configuration example of a column signal processing circuit according to an eighth embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in an 8th embodiment of this art. It is a timing chart which shows an example of the read operation in the 8th embodiment of this technology.
- FIG. 11 is a circuit diagram illustrating a configuration example of a dummy pixel, a regulator, and a switching unit in a tenth embodiment of the present technology. It is a timing chart which shows an example of operation of a dummy pixel and a regulator in a 10th embodiment of this technology.
- FIG. 11 is a circuit diagram illustrating a configuration example of an effective pixel according to a tenth embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in a 10th embodiment of this technology.
- FIG. 1 is a block diagram showing a schematic configuration example of a vehicle control system.
- FIG. 3 is an explanatory diagram showing an example of an installation position of an imaging unit.
- First embodiment (example of switching gain within hold period) 2.
- Second embodiment (example where an amplifier circuit is placed in a pixel and the gain is switched within the hold period) 3.
- Third embodiment (example of switching digital gain within hold period) 4.
- Fourth embodiment (example where the previous stage circuit can be separated from the previous stage node and the gain is switched within the hold period) 5.
- Fifth embodiment (example of adding a drain transistor and switching the gain within the hold period) 6.
- Sixth embodiment (example of switching the gain within the hold period and controlling the reset power supply voltage) 7.
- FIG. 1 is a block diagram illustrating a configuration example of an imaging device 100 according to a first embodiment of the present technology.
- the imaging device 100 is a device for capturing image data, and includes an optical section 110, a solid-state imaging device 200, and a DSP (Digital Signal Processing) circuit 120. Further, the imaging device 100 includes a display section 130, an operation section 140, a bus 150, a frame memory 160, a storage section 170, and a power supply section 180.
- a digital camera or an electronic device having an imaging function (such as a smartphone or a personal computer) is assumed.
- the optical section 110 collects light from a subject and guides it to the solid-state image sensor 200.
- the solid-state image sensor 200 generates image data through photoelectric conversion. This solid-state image sensor 200 generates image data and supplies it to the DSP circuit 120 via a signal line 209.
- the DSP circuit 120 performs predetermined signal processing on image data. This DSP circuit 120 outputs the processed image data to a frame memory 160 or the like via a bus 150. Note that the DSP circuit 120 is an example of a digital signal processing circuit described in the claims.
- the display unit 130 displays image data.
- a liquid crystal panel or an organic EL (Electro Luminescence) panel is assumed.
- the operation unit 140 generates an operation signal according to a user's operation.
- the bus 150 is a common path through which the optical section 110, solid-state image sensor 200, DSP circuit 120, display section 130, operation section 140, frame memory 160, storage section 170, and power supply section 180 exchange data with each other.
- the frame memory 160 holds image data.
- the storage unit 170 stores various data such as image data.
- the power supply section 180 supplies power to the solid-state image sensor 200, the DSP circuit 120, the display section 130, and the like.
- FIG. 2 is a block diagram showing a configuration example of the solid-state image sensor 200 in the first embodiment of the present technology.
- This solid-state imaging device 200 includes a vertical scanning circuit 211, a pixel array section 220, a timing control circuit 212, a DAC (Digital to Analog Converter) 213, a load MOS circuit block 250, and a column signal processing circuit 260.
- a pixel array section 220 a plurality of pixels 300 are arranged in a two-dimensional grid. Further, each circuit within the solid-state image sensor 200 is provided on a single semiconductor chip, for example.
- a set of pixels 300 arranged in the horizontal direction will be referred to as a "row”, and a set of pixels 300 arranged in the direction perpendicular to the row will be referred to as a "column”.
- the timing control circuit 212 controls the operation timing of the vertical scanning circuit 211, DAC 213, and column signal processing circuit 260 in synchronization with the vertical synchronization signal XVS.
- the DAC 213 generates a sawtooth ramp signal through DA (Digital to Analog) conversion.
- the DAC 213 supplies the generated ramp signal to the column signal processing circuit 260.
- the vertical scanning circuit 211 sequentially selects and drives rows and outputs analog pixel signals.
- the pixel 300 photoelectrically converts incident light to generate an analog pixel signal. This pixel 300 supplies a pixel signal to the column signal processing circuit 260 via the load MOS circuit block 250.
- MOS transistors that supply a constant current are provided for each column.
- the column signal processing circuit 260 performs signal processing such as AD (Analog to Digital) conversion processing and CDS (Correlated Double Sampling) processing on pixel signals for each column.
- This column signal processing circuit 260 supplies image data consisting of processed signals to the DSP circuit 120.
- FIG. 3 is a circuit diagram showing a configuration example of the pixel 300 in the first embodiment of the present technology.
- This pixel 300 includes a front-stage circuit 310, a sample-and-hold circuit 320, a rear-stage reset transistor 341, and a rear-stage circuit 350.
- the front-stage circuit 310 includes a photoelectric conversion element 311, a transfer transistor 312, an FD (Floating Diffusion) reset transistor 313, an FD 314, a front-stage amplification transistor 315, and a current source transistor 316.
- a photoelectric conversion element 311 a transfer transistor 312, an FD (Floating Diffusion) reset transistor 313, an FD 314, a front-stage amplification transistor 315, and a current source transistor 316.
- the photoelectric conversion element 311 generates charges by photoelectric conversion.
- the transfer transistor 312 transfers charges from the photoelectric conversion element 311 to the FD 314 in accordance with a transfer signal trg from the vertical scanning circuit 211.
- the FD reset transistor 313 extracts charge from the FD 314 and initializes it in accordance with the FD reset signal rst from the vertical scanning circuit 211.
- the FD 314 stores charge and generates a voltage according to the amount of charge.
- the front stage amplification transistor 315 amplifies the voltage level of the FD 314 and outputs it to the front stage node 319.
- the sources of the FD reset transistor 313 and the preamplification transistor 315 are connected to the power supply voltage VDD.
- Current source transistor 316 is connected to the drain of preamplification transistor 315. This current source transistor 316 supplies current id1 under the control of the vertical scanning circuit 211.
- the sample and hold circuit 320 samples and holds the pixel signal.
- This sample hold circuit 320 includes capacitive elements 321 and 322 and a selection circuit 330.
- each of the capacitive elements 321 and 322 is commonly connected to the previous stage node 319, and the other end of each is connected to the selection circuit 330.
- the capacitive elements 321 and 322 are examples of first and second capacitive elements described in the claims.
- the selection circuit 330 includes a selection transistor 331 and a selection transistor 332.
- the selection transistor 331 opens and closes the path between the capacitive element 321 and the subsequent node 340 in accordance with the selection signal ⁇ r from the vertical scanning circuit 211.
- the selection transistor 332 opens and closes the path between the capacitive element 322 and the subsequent node 340 in accordance with the selection signal ⁇ s from the vertical scanning circuit 211.
- the second stage reset transistor 341 initializes the level of the second stage node 340 to a predetermined potential Vreg in accordance with the second stage reset signal rstb from the vertical scanning circuit 211.
- the potential Vreg is set to a potential different from the power supply voltage VDD (for example, a potential lower than VDD).
- the post-stage circuit 350 includes a post-stage amplification transistor 351 and a post-stage selection transistor 352.
- Post-stage amplification transistor 351 amplifies the level of post-stage node 340.
- the second-stage selection transistor 352 outputs a signal at the level amplified by the second-stage amplification transistor 351 to the vertical signal line 309 as a pixel signal in accordance with the second-stage selection signal selb from the vertical scanning circuit 211.
- transistor 312 transistor 312, etc.
- transistor 312 transistor 312, etc.
- nMOS n-channel Metal Oxide Semiconductor
- the vertical scanning circuit 211 supplies a high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure. Thereby, the photoelectric conversion element 311 is initialized.
- this control will be referred to as "PD reset”.
- the vertical scanning circuit 211 sets the rear stage reset signal rstb and selection signal ⁇ r to high level for all pixels, and supplies the high level FD reset signal rst over the pulse period.
- the FD 314 is initialized, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 321. This control will be referred to as "FD reset" hereinafter.
- the level of the FD 314 at the time of FD reset and the level corresponding to that level are hereinafter collectively referred to as "P phase” or "reset level”. .
- the vertical scanning circuit 211 supplies a high-level transfer signal trg over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ s to a high level for all pixels.
- signal charges corresponding to the exposure amount are transferred to the FD 314, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322.
- the level of the FD 314 during signal charge transfer and the level corresponding to that level are collectively referred to as “D phase” or “signal level”. It is called.
- Exposure control that starts and ends exposure for all pixels at the same time is called a global shutter method.
- the front-stage circuit 310 of all pixels sequentially generates a reset level and a signal level.
- the reset level is held in capacitive element 321, and the signal level is held in capacitive element 322.
- the vertical scanning circuit 211 sequentially selects the rows and sequentially outputs the reset level and signal level of the rows.
- the vertical scanning circuit 211 makes the FD reset signal rst and the subsequent stage selection signal selb of the selected row high level, and supplies the high level selection signal ⁇ r for a predetermined period of time.
- the capacitive element 321 is connected to the subsequent node 340, and the reset level is read.
- the vertical scanning circuit 211 After reading the reset level, the vertical scanning circuit 211 supplies the high-level rear-stage reset signal rstb over the pulse period while keeping the FD reset signal rst and the latter-stage selection signal selb of the selected row at high level. As a result, the level of the subsequent node 340 is initialized. At this time, selection transistor 331 and selection transistor 332 are both in an open state, and capacitive elements 321 and 322 are disconnected from subsequent node 340.
- the vertical scanning circuit 211 supplies a high-level selection signal ⁇ s for a predetermined period while keeping the FD reset signal rst and the subsequent selection signal selb of the selected row at high level. Thereby, the capacitive element 322 is connected to the subsequent node 340, and the signal level is read out.
- the solid-state image sensor 200 is set to one of a plurality of modes including a normal mode and a gain switching mode.
- the normal mode is a mode in which one image data is generated by one exposure.
- the gain switching mode is a mode in which multiple pieces of image data with different brightness are generated by switching the gain in one exposure.
- the mode is manually set according to user operations. Alternatively, the mode is automatically set by control of the DSP circuit 120 or the like.
- the sample and hold circuit 320 When the normal mode is set, the sample and hold circuit 320 outputs each of the reset level and signal level of the pixel signal once during a hold period that is a period for holding the pixel signal.
- the sample and hold circuit 320 outputs the pixel signal (reset level and signal level) multiple times within the hold period.
- the plurality of output reset levels are amplified by mutually different gains by a subsequent circuit. Further, the plurality of output signal levels are also amplified by mutually different gains.
- FIG. 4 is a block diagram showing a configuration example of the load MOS circuit block 250 and the column signal processing circuit 260 in the first embodiment of the present technology.
- a plurality of ADCs 270 and a digital signal processing section 290 are arranged in the column signal processing circuit 260.
- ADC 270 is arranged for each column.
- I ADCs 270 are arranged.
- the ADC 270 uses the ramp signal Rmp from the DAC 213 to perform AD conversion processing on the analog pixel signal Ain from the corresponding column.
- This ADC 270 supplies the pixel signal Dout after AD conversion to the digital signal processing section 290.
- a single slope ADC including a comparator 500 and a counter 271 is arranged as the ADC 270.
- the comparator 500 compares the pixel signal Ain and the ramp signal Rmp, and supplies the comparison result CMP to the counter 271. Further, this comparator 500 can amplify the pixel signal Ain using an analog gain. This analog gain is variable, and one of a plurality of gains is specified by a control signal Gctrl from the timing control circuit 212. Note that the comparator 500 is an example of an amplifier circuit described in the claims.
- the counter 271 counts the count value over a period until the comparison result CMP is inverted. This counter 271 outputs a digital signal indicating the count value to the digital signal processing section 290 as a pixel signal Dout.
- the digital signal processing unit 290 performs predetermined signal processing such as CDS processing on each pixel signal (digital signal) for each column.
- the digital signal processing unit 290 supplies image data in which processed digital signals are arranged to the DSP circuit 120.
- FIG. 5 is a circuit diagram showing a configuration example of the comparator 500 in the first embodiment of the present technology.
- This comparator 500 includes a capacitance ratio switching circuit 510 and a differential amplifier circuit 530.
- the capacity ratio switching circuit 510 includes a predetermined number of switches such as switches 511 to 515, and a plurality of capacitors such as capacitors 516 to 521.
- One ends of the capacitors 516 to 521 are commonly connected to a node 522.
- the other end of the capacitor 516 is connected to the load MOS circuit block 250 via the signal line 309, and the other end of the capacitor 521 is connected to the DAC 213.
- the switch 511 opens and closes the path between the other end of the capacitor 516 and the other end of the capacitor 517 in accordance with the control signal Gctrl.
- the switch 512 opens and closes the path between the other end of the capacitor 517 and the other end of the capacitor 518 according to the control signal Gctrl.
- the switch 513 opens and closes the path between the other end of the capacitor 518 and the other end of the capacitor 519 in accordance with the control signal Gctrl.
- the switch 514 opens and closes the path between the other end of the capacitor 519 and the other end of the capacitor 520 in accordance with the control signal Gctrl.
- the switch 515 opens and closes the path between the other end of the capacitor 520 and the other end of the capacitor 521 according to the control signal Gctrl.
- the timing control circuit 212 controls only one of the switches 511 to 515 to open and the rest to close using the control signal Gctrl. With this control, the combined capacitance of the capacitance inserted between the signal line 309 and the node 522 on the vertical signal line side and the combined capacitance of the capacitance inserted between the DAC 213 and the node 522 on the ramp signal side are combined. The ratio is changed.
- the combined capacitance on the vertical signal line side will be referred to as "VSL side capacitance”
- the combined capacitance on the ramp signal side will be referred to as "lamp side capacitance”.
- the timing control circuit 212 can switch the capacitance ratio in five stages by controlling five switches.
- the timing control circuit 212 can also switch the capacitance ratio to multiple stages other than five stages.
- M is an integer
- M switches and M+1 capacitors are arranged in the capacitance ratio switching circuit 510.
- the capacitance value of the capacitor 516 is the largest, and the capacitance values of each of the capacitors 517 to 521 are set to be the same. Note that the capacitance value of each of the capacitors 516 to 521 can be set to any value.
- the capacitor 540 holds a predetermined reference voltage VSH.
- the differential amplifier circuit 530 amplifies the difference between the voltage at the node 522 and the reference voltage VSH.
- This differential amplifier circuit 530 includes pMOS (p-channel MOS) transistors 531 and 532, auto-zero switches 536 and 537, and nMOS transistors 533 to 535.
- PMOS transistors 531 and 532 are connected in parallel to the power supply.
- the gate of pMOS transistor 531 is connected to its own drain and the gate of pMOS transistor 532.
- the drain of the nMOS transistor 533 is connected to the pMOS transistor 531, and the source is connected to the common node. Further, the gate of nMOS transistor 533 is connected to node 522.
- the drain of the nMOS transistor 534 is connected to the pMOS transistor 532, and the source is connected to the common node. Further, the gate of the nMOS transistor 534 is connected to a capacitor 540.
- the nMOS transistor 535 is inserted between the common node and the ground terminal, and a predetermined bias voltage Vbias is input to the gate.
- the auto-zero switch 536 short-circuits the drain and gate of the nMOS transistor 533 according to the auto-zero signal Az from the timing control circuit 212.
- the auto-zero switch 537 short-circuits the drain and gate of the nMOS transistor 534 according to the auto-zero signal Az.
- comparison result CMP is output from the connection node between the pMOS transistor 532 and the nMOS transistor 534 to the counter 271.
- a signal whose level increases over time is input as a ramp signal Rmp to the comparator 500 having the configuration illustrated in the figure within the AD conversion period.
- the timing control circuit 212 can also control the DAC 213 to change the rate at which the level of the ramp signal changes (in other words, the slope inclination) without disposing the capacitance ratio switching circuit 510. In this case, the faster the fluctuation speed of the ramp signal, the lower the analog gain, and the slower the fluctuation speed, the higher the analog gain.
- FIG. 6 is a diagram for explaining the operation of the solid-state image sensor 200 during imaging in the first embodiment of the present technology. Note that in the figure, the rear-stage reset transistor 341 in the pixel 300 is omitted.
- the pre-stage circuit 310 within the pixel 300 generates an analog pixel signal.
- the sample and hold circuit 320 samples the pixel signal (reset level and signal level) and holds the pixel signal over a hold period. Then, the sample hold circuit 320 outputs the pixel signal Ain multiple times via the subsequent stage circuit 350.
- the comparator 500 compares the pixel signal Ain and the ramp signal Rmp, and supplies the comparison result CMP to the counter 271. Further, the comparator 500 amplifies the pixel signal Ain by an analog gain instructed by the control signal Gctrl among the plurality of gains.
- the timing control circuit 212 sequentially instructs a plurality of gains using a control signal Gctrl within a hold period.
- the number of outputs of pixel signals within the hold period and the number of gains are set to be the same. For example, when M (M is an integer of 2 or more) gains are sequentially instructed, the sample and hold circuit 320 outputs the pixel signal (reset level and signal level) M times within the hold period. The reset level and the signal level are output alternately, and a total of M reset levels and M signal levels are output.
- timing control circuit 212 controls the analog gain of the ADC 270, it is not limited to this configuration. As illustrated in FIG. 7, a column amplifier 261 may be added in front of the ADC 270 for each column, and the analog gain of the column amplifier 261 may be controlled by the timing control circuit 212. Note that the column amplifier 261 is an example of an amplifier circuit described in the claims.
- the configuration of the pixel 300 is not limited to the circuit illustrated in FIG. 3.
- the selection transistor 331 may open/close the path between the capacitive element 321 and the subsequent circuit 350-1
- the selection transistor 332 may open/close the path between the capacitive element 322 and the subsequent circuit 350-2.
- Post-stage circuit 350-1 includes a post-stage amplification transistor 351-1 and post-stage selection transistor 352-1
- post-stage circuit 350-2 includes a post-stage amplification transistor 351-2 and a post-stage selection transistor 352-2.
- two vertical signal lines are wired for each column, and the subsequent circuit 350-1 outputs a pixel signal to the vertical signal line 309-1, and the subsequent circuit 350-2 outputs a pixel signal to the vertical signal line 309-2. Output.
- FIG. 9 is a timing chart showing an example of the operation of the solid-state image sensor 200 in the first embodiment of the present technology. This operation is started when the gain switching mode is set. It is assumed that three different analog gains are used in the gain switching mode. Let the first gain be GA, the second gain be GB, and the third gain be GC. Note that the number of gains used in the gain switching mode is not limited to three, as long as it is equal to or less than the number of gain stages that can be switched by the ADC 270. For example, if the ADC 270 can switch gains in five stages, two to five gains can be used in the gain switching mode.
- the pre-stage circuit 310 of each pixel generates a pixel signal.
- the sample and hold circuit 320 samples the pixel signal at the end of exposure and holds it for a hold period from timing T1 to T9.
- each of the sample and hold circuits 320 sequentially outputs the held pixel signals row by row.
- the ADC 270 sequentially AD converts pixel signals (reset level and signal level) on a row-by-row basis. Further, the ADC 270 amplifies the pixel signal using an analog gain GA.
- the digital signal processing unit 290 performs signal processing such as CDS processing on each pixel signal after AD conversion. As a result, the first image data is generated.
- each of the sample and hold circuits 320 sequentially outputs the held pixel signals row by row.
- the ADC 270 amplifies the pixel signal using an analog gain GB, and sequentially performs AD conversion on the pixel signal on a row-by-row basis.
- the digital signal processing unit 290 performs signal processing within a certain period from timing T5. As a result, the second image data is generated.
- each of the sample and hold circuits 320 sequentially outputs the held pixel signals row by row.
- the ADC 270 amplifies the pixel signal using an analog gain GC, and sequentially performs AD conversion on the pixel signal on a row-by-row basis.
- the digital signal processing section 290 performs signal processing within a certain period from timing T8. As a result, the third image data is generated.
- the imaging device 100 displays three pieces of image data, and the user selects the image data with appropriate brightness among them. For example, the imaging device 100 records the selected image data and deletes the rest. Thereby, the imaging device 100 can record image data captured at appropriate imaging timing and having the brightness desired by the user.
- the pixel signal is held from timing T1 to T3, and only the first AD conversion from timing T1 to T3 is performed. As a result, one sheet of image data having a predetermined brightness is generated by one exposure.
- FIG. 10 is a timing chart showing an example of global shutter operation in the first embodiment of the present technology. This figure shows details of the period from timing T0 to T1 in FIG.
- the vertical scanning circuit 211 supplies a high-level FD reset signal rst and transfer signal to all rows (in other words, all pixels) from timing T10 immediately before the start of exposure to timing T11 after the pulse period has elapsed. Supply trg. As a result, the PDs of all pixels are reset, and exposure is started simultaneously in all rows.
- rst_[n] and trg_[n] in the figure indicate signals to pixels in the n-th row among N rows.
- N is an integer indicating the total number of rows
- n is an integer from 1 to N.
- the vertical scanning circuit 211 supplies the FD reset signal rst at a high level over the pulse period while setting the rear stage reset signal rstb and selection signal ⁇ r to high level in all pixels. .
- the FD of all pixels is reset, and the reset level is sampled and held.
- rstb_[n] and ⁇ r_[n] in the figure indicate signals to the pixels in the n-th row.
- the vertical scanning circuit 211 returns the selection signal ⁇ r to the low level.
- the vertical scanning circuit 211 sets the rear reset signal rstb and selection signal ⁇ s to high level in all pixels, and supplies a high level transfer signal trg over the pulse period. As a result, the signal level is sampled and held. Further, the level of the previous node 319 decreases from the reset level (VDD-Vgs) to the signal level (VDD-Vgs-Vsig).
- VDD is the power supply voltage
- Vsig is the net signal level obtained by CDS processing.
- Vgs is the gate-source voltage of the preamplification transistor 315.
- ⁇ s_[n] in the figure indicates a signal to the pixel in the n-th row.
- the vertical scanning circuit 211 returns the selection signal ⁇ s to the low level.
- the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to supply the current id1.
- id1_[n] in the figure indicates the current of the pixel in the n-th row.
- the current id1 needs to be on the order of several nanoamperes (nA) to several tens of nanoamperes (nA).
- the load MOS transistors 251 in all columns are in an off state, and the current id2 is not supplied to the vertical signal line 309.
- FIG. 11 is a timing chart showing an example of a read operation in the first embodiment of the present technology. This figure shows details of the readout period for one row in the period from timing T1 to T3 in FIG.
- the vertical scanning circuit 211 sets the n-th row FD reset signal rst and subsequent stage selection signal selb to high level. Further, during the read period, the rear stage reset signal rstb of all rows is controlled to a low level.
- selb_[n] in the figure indicates a signal to the pixel in the n-th row.
- the vertical scanning circuit 211 supplies a high-level selection signal ⁇ r to the n-th row over a period from timing T21 immediately after timing T20 to timing T23.
- the potential of the subsequent node 340 becomes the reset level Vrst.
- the DAC 213 Over the period from timing T22 after timing T21 to timing T23, the DAC 213 gradually increases the ramp signal Rmp.
- the ADC 270 compares the ramp signal Rmp and the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the P phase level (reset level) is read out.
- the vertical scanning circuit 211 supplies a high-level rear-stage reset signal rstb to the n-th row. Thereby, when a parasitic capacitance exists in the subsequent node 340, the history of the previous signal held in the parasitic capacitance can be erased.
- the vertical scanning circuit 211 supplies a high-level selection signal ⁇ s to the n-th row over a period from timing T25 to timing T27 immediately after the subsequent node 340 is initialized.
- the potential of the subsequent node 340 becomes the signal level Vsig.
- the signal level was lower than the reset level, but at the time of reading, since the subsequent node 340 is used as a reference, the signal level becomes higher than the reset level.
- the difference between the reset level Vrst and the signal level Vsig corresponds to the net signal level after removing the FD reset noise and offset noise.
- the DAC 213 Over the period from timing T26 after timing T25 to timing T27, the DAC 213 gradually increases the ramp signal Rmp.
- the ADC 270 compares the ramp signal Rmp and the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the D phase level (signal level) is read out.
- the vertical scanning circuit 211 controls the current source transistor 316 in the n-th row to be read out over a period from timing T20 to timing T27 to supply current id1. Furthermore, the timing control circuit 212 controls the load MOS transistors 251 in all columns to supply current id2 during the read period of all rows.
- the solid-state image sensor 200 reads the signal level after the reset level, the order is not limited to this.
- the solid-state image sensor 200 can also read the reset level after the signal level.
- the vertical scanning circuit 211 supplies the high level selection signal ⁇ r after the high level selection signal ⁇ s. Also, it is necessary to reverse the slope of the ramp signal.
- FIG. 12 is a timing chart showing an example of the operation of the solid-state image sensor in the comparative example.
- the comparative example when the gain switching mode is set, exposure is performed three times using the rolling shutter method after timing T1.
- a diagonally drawn solid line indicates the start timing of exposure
- a dashed line indicates the end timing of exposure.
- the ADC 270 After timing T12, the ADC 270 amplifies the pixel signal of the row of interest using the analog gain GA, and performs AD conversion of the pixel signal of the row. After timing T13, the digital signal processing unit 290 performs signal processing on each of the AD-converted pixel signals. As a result, the first image data is generated.
- the row of interest is exposed over the exposure period from timing T14.
- the ADC 270 amplifies the pixel signal of the row of interest using the analog gain GB, and performs AD conversion of the pixel signal of the row.
- the digital signal processing unit 290 performs signal processing on each of the AD-converted pixel signals. As a result, the second image data is generated.
- the row of interest is exposed over the exposure period from timing T17.
- the ADC 270 amplifies the pixel signal of the row of interest using the analog gain GC, and performs AD conversion of the pixel signal of the row.
- the digital signal processing unit 290 performs signal processing on each of the AD-converted pixel signals. As a result, the third image data is generated.
- the comparative example exposure is performed row by row using the rolling shutter method. Furthermore, by switching the analog gain, three pieces of image data can be generated in the comparative example as well. However, since the exposure start timings corresponding to each of the three pieces of image data are different, if the subject moves, there is a risk that the position or shape of the subject in the image data may change. As a result, it may not be possible to capture image data with desired brightness at appropriate imaging timing.
- the first image data is captured at an appropriate imaging timing
- the brightness of the second image data is the brightness desired by the user.
- the first image data may not have the brightness desired by the user
- the second and third image data may differ in the position and shape of the subject from the first image data. In this way, in the comparative example, there is a risk that an opportunity to capture image data with desired brightness at appropriate imaging timing may be missed.
- FIG. 13 is a diagram showing an example of image data in the first embodiment of the present technology.
- a indicates image data 601 generated using the analog gain GA
- b in the figure indicates image data 602 generated using the analog gain GB
- c indicates image data 603 generated using analog gain GC.
- analog gain GB is larger than the analog gain GA and smaller than the analog gain GC.
- image data 602 is brighter than image data 601 and darker than image data 603.
- the gain is switched within the hold period of the sample hold circuit 320, the exposure start and exposure end timings of the three image data are the same. As a result, even if the object is moving, such as fireworks, the position or shape of the object in the image data does not change.
- FIG. 14 is a diagram showing an example of image data in a comparative example.
- a indicates image data 604 generated using the analog gain GA
- b in the figure indicates image data 605 generated using the analog gain GB
- c indicates image data 606 generated using analog gain GC.
- the brightness of the three image data differs due to the difference in analog gain.
- the exposure start timings of the three pieces of image data are different. Therefore, in the case of a moving subject such as fireworks, the position and shape of the subject will change in each of the three images. As a result, there is a risk that an opportunity to capture image data of desired brightness at appropriate imaging timing may be missed.
- FIG. 15 is a flowchart illustrating an example of the operation of the imaging device 100 according to the first embodiment of the present technology. This operation is started, for example, when the gain switching mode is set.
- the imaging device 100 performs exposure using the global shutter method (step S901). Then, the sample and hold circuit 320 of each pixel samples and holds the pixel signal (step S902).
- the timing control circuit 212 in the imaging device 100 selects one of the plurality of gains within the hold period and instructs the ADC 270 (step S903).
- the ADC 270 amplifies the pixel signal using the instructed gain and performs AD conversion (step S904).
- the digital signal processing unit 290 in the imaging device 100 performs signal processing on each of the pixel signals after AD conversion (step S905).
- the timing control circuit 212 determines whether all gains used in the gain switching mode have been selected (step S906). If all gains have not been selected (step S906: No), the imaging device 100 repeats steps S903 and subsequent steps. On the other hand, if all gains are selected (step S906: Yes), the imaging device 100 displays a screen for allowing the user to select one of a plurality of image data with different brightness, and performs an operation for imaging. finish.
- steps S901 to S906 are repeatedly executed in synchronization with the vertical synchronization signal XVS.
- the timing control circuit 212 sequentially instructs a plurality of gains within the hold period of the sample and hold circuit 320, so that the solid-state image sensor 200 Multiple pieces of image data with different brightness can be generated by exposure. This can prevent loss of imaging opportunities.
- FIG. 16 is a block diagram showing a configuration example of the solid-state image sensor 200 in the first modification of the first embodiment of the present technology.
- the solid-state imaging device 200 of the first modification of the first embodiment differs from the first embodiment in that it further includes a set value holding section 214.
- a register or the like is used as the set value holding section 214.
- the setting value holding unit 214 can also be placed outside the solid-state image sensor 200.
- the DSP circuit 120 causes the set value holding unit 214 to hold the gain value corresponding to the brightness as a set value. Then, when the normal mode is set, the solid-state image sensor 200 amplifies the pixel signal using the gain of the set value held in the set value holding unit 214.
- the set value of the set value holding unit 214 is initialized when the gain switching mode is set or when the power of the imaging apparatus 100 is turned off.
- FIG. 17 is a flowchart illustrating an example of the operation of the imaging device 100 in the first embodiment of the present technology.
- the DSP circuit 120 initializes the setting value of the setting value holding section 214 (step S911).
- the solid-state image sensor 200 then executes steps S901 to S906.
- step S906 If all gains are selected (step S906: Yes), the imaging device 100 displays a screen for allowing the user to select one of a plurality of image data with different brightness, and determines whether the user has performed a selection operation. is determined (step S912).
- step S912 If there is no selection operation (step S912: No), the imaging device 100 repeats step S912. On the other hand, if there is a selection operation (step S912: Yes), the imaging device 100 holds the gain value corresponding to the brightness selected by the user as a setting value in the setting value holding unit 214 (step S913), Shifts to normal mode and ends operation. During subsequent imaging in the normal mode, the pixel signal is amplified by the gain of the set value of the set value holding unit 214. Further, the setting value holding unit 214 is initialized when the power is turned off.
- the setting value holding unit 214 holding one of the plurality of gains according to the user's operation, the user does not need to select the brightness every time an image is captured in the normal mode.
- the convenience of the imaging device 100 is improved.
- the setting value holding unit 214 holds one of the values of the plurality of gains according to the user's operation. can improve the convenience of
- the imaging device 100 displays a plurality of image data with different brightness in order to allow the user to select the desired brightness, but these image data are subjected to machine learning. It can also be used.
- the imaging device 100 according to the second modification of the first embodiment differs from the first embodiment in that machine learning is performed using a plurality of image data having different brightnesses.
- FIG. 18 is a block diagram showing a configuration example of the DSP circuit 120 in a second modification of the first embodiment of the present technology.
- the DSP circuit 120 of the second modification of the first embodiment includes a dataset generation section 121, a dataset storage section 122, a machine learning section 123, a learning result storage section 124, an image recognition section 125, and an image processing section. 126.
- a plurality of image data captured in the gain switching mode is input to the data set generation unit 121.
- the dataset generation unit 121 generates a dataset used in machine learning from the image data. For example, when M pieces of image data with different brightness are generated, the dataset generation unit 121 uses one of the M pieces of image data as a reference image, and generates a difference image between each of the remaining image data and the reference image. , these difference images are taken as a dataset.
- the data set generation unit 121 causes the data set holding unit 122 to hold a data set including M-1 difference images.
- the machine learning unit 123 performs machine learning to recognize the subject in the reference image using the data set.
- This machine learning section 123 causes the learning result holding section 124 to hold the learning results.
- Image data captured in normal mode is input to the image recognition unit 125.
- the image recognition unit 125 performs image recognition on the image data based on the learning results, and supplies the recognition results to the image processing unit 126.
- Image data captured in the normal mode is input to the image processing unit 126.
- the image processing unit 126 performs various image processing on the image data based on the recognition result.
- the processed image data is supplied to the storage section 170 and the display section 130 via the bus 150.
- M exposures are required to generate M pieces of image data with different brightness, but in gain switching mode, these image data can be generated with a single exposure. I can do it. Therefore, the number of exposures required to generate a data set can be reduced.
- the imaging device 100 performs machine learning using a plurality of image data in the gain switching mode.
- the number of exposures required can be reduced.
- Second embodiment> In the first embodiment described above, the analog gain of the ADC 270 is switched by changing the capacitance ratio or the fluctuation speed of the ramp signal. However, when changing the capacitance ratio, the circuit scale of the ADC 270 increases. Furthermore, when changing the fluctuation speed of the ramp signal, the slower the fluctuation speed is, the longer the AD conversion time becomes.
- the solid-state imaging device 200 in this second embodiment differs from the first embodiment in that the analog gain of the amplifier circuit within the pixel is switched.
- FIG. 19 is a circuit diagram showing a configuration example of the pixel 300 in the second embodiment of the present technology.
- the pixel 300 of this second embodiment differs from the first embodiment in that it further includes an amplifier circuit 360.
- the amplifier circuit 360 amplifies the pixel signal (signal level and reset level) from the sample and hold circuit 320 using an analog gain instructed by the control signal Gctrl, and supplies the amplified pixel signal to the subsequent stage circuit 350.
- This amplifier circuit 360 includes a resistor 361, a variable resistor 362, a pMOS transistor 363, and an nMOS transistor 364.
- the pMOS transistor 363 and the nMOS transistor 364 are connected in series between the power supply voltage and the ground voltage, with the pMOS transistor 363 on the power supply side.
- the gate of nMOS transistor 364 is connected to sample and hold circuit 320.
- a connection node between pMOS transistor 363 and nMOS transistor 364 is connected to subsequent stage circuit 350.
- a resistor 361 is inserted between the gate of the pMOS transistor 363 and the ground potential.
- Variable resistor 362 is inserted between the gate of pMOS transistor 363 and a connection node between pMOS transistor 363 and nMOS transistor 364. Further, the resistance value of the variable resistor 362 is controlled by the control signal Gctrl.
- the analog gain of the amplifier circuit 360 within the pixel is switched, so there is no need to change the capacitance ratio of the ADC 270 or the fluctuation speed of the ramp signal.
- first modification and the second modification of the first embodiment can be applied to the second embodiment.
- the circuit scale of the ADC 270 can be reduced compared to the case where the capacitance ratio is changed. . Further, the AD conversion time can be shortened compared to the case where the fluctuation speed of the ramp signal is changed.
- the analog gain of the ADC 270 is switched by changing the capacitance ratio or the fluctuation speed of the ramp signal.
- the circuit scale of the ADC 270 increases.
- the fluctuation speed of the ramp signal the slower the fluctuation speed is, the longer the AD conversion time becomes.
- the solid-state image sensor 200 in this third embodiment differs from the first embodiment in that the digital gain for the pixel signal after AD conversion is switched.
- FIG. 20 is a block diagram showing a configuration example of the column signal processing circuit 260 in the third embodiment of the present technology.
- timing control circuit 212 does not switch the analog gain of ADC 270. Therefore, the capacitance ratio of the comparator of the ADC 270 is fixed, and no capacitance or switch is required for switching the capacitance ratio.
- the digital signal processing section 290 of the third embodiment includes a plurality of multipliers 293 and a post-processing section 294. Multipliers 293 are arranged for each column.
- the multiplier 293 multiplies the AD-converted pixel signal (reset level and signal level) by the digital gain from the timing control circuit 212, and supplies the multiplication result to the subsequent processing section 294. Thereby, each of the reset level and signal level is amplified by digital gain.
- the multiplier 293 amplifies the reset level and signal level before CDS processing using digital gain, it is also possible to amplify the net signal level after CDS processing using digital gain.
- the ADC 270 performs CDS processing in addition to AD conversion.
- a circuit that performs CDS processing can be inserted after the ADC 270.
- the post-processing section 294 performs various signal processing on the amplified pixel signal.
- the multiplier 293 amplifies the pixel signal after AD conversion using the digital gain, so the circuit scale of the ADC 270 is reduced compared to the case where the capacitance ratio is changed. can be reduced. Further, the AD conversion time can be shortened compared to the case where the fluctuation speed of the ramp signal is changed.
- the pre-stage circuit 310 reads the signal while being connected to the pre-stage node 319, but with this configuration, noise from the pre-stage node 319 cannot be blocked during reading.
- the pixel 300 of this fourth embodiment differs from the first embodiment in that a transistor is inserted between the front stage circuit 310 and the front stage node 319.
- FIG. 21 is a circuit diagram showing an example of the configuration of the pixel 300 in the fourth embodiment of the present technology.
- the pixel 300 of this fourth embodiment differs from the first embodiment in that it further includes a pre-stage reset transistor 323 and a pre-stage selection transistor 324. Further, the power supply voltage of the front-stage circuit 310 and the rear-stage circuit 350 of the fourth embodiment is set to VDD1.
- the pre-stage reset transistor 323 initializes the level of the pre-stage node 319 with the power supply voltage VDD2.
- This power supply voltage VDD2 is desirably set to a value that satisfies the following equation.
- VDD2 VDD1-Vgs...Formula 1
- Vgs is the gate-source voltage of the preamplification transistor 315.
- Equation 1 By setting a value that satisfies Equation 1, it is possible to reduce potential fluctuations between the front-stage node 319 and the rear-stage node 340 when it is dark. This makes it possible to improve photo response non-uniformity (PRNU).
- PRNU photo response non-uniformity
- the front-stage selection transistor 324 opens and closes the path between the front-stage circuit 310 and the front-stage node 319 in accordance with the front-stage selection signal sel from the vertical scanning circuit 211.
- FIG. 22 is a timing chart showing an example of global shutter operation in the fourth embodiment of the present technology.
- the timing chart of the fourth embodiment differs from the first embodiment in that the vertical scanning circuit 211 further supplies a pre-stage reset signal rsta and a pre-stage selection signal sel.
- rsta_[n] and sel_[n] indicate signals to the pixels in the n-th row.
- the vertical scanning circuit 211 supplies a high-level pre-stage selection signal sel to all pixels from timing T12 immediately before the end of exposure to timing T15.
- the pre-stage reset signal rsta is controlled to a low level.
- FIG. 23 is a timing chart showing an example of a read operation in the fourth embodiment of the present technology.
- the previous stage selection signal sel is controlled to a low level.
- the pre-stage selection transistor 324 shifts to an open state, and the pre-stage node 319 is disconnected from the pre-stage circuit 310. Thereby, noise from the preceding node 319 can be blocked during reading.
- the vertical scanning circuit 211 supplies a high-level pre-stage reset signal rsta to the nth row.
- the vertical scanning circuit 211 controls the current source transistors 316 of all pixels to stop supplying the current id1.
- Current id2 is supplied in the same manner as in the first embodiment. In this way, compared to the first embodiment, control of the current id1 becomes simpler.
- the pre-stage selection transistor 324 shifts to the open state during reading and disconnects the pre-stage circuit 310 from the pre-stage node 319, so that the noise from the pre-stage circuit 310 is reduced. Can be blocked.
- the circuit within the solid-state image sensor 200 is provided on a single semiconductor chip, but with this configuration, there is a risk that the element will not fit within the semiconductor chip when the pixel 300 is miniaturized. There is.
- the solid-state image sensor 200 of the first modification of the fourth embodiment differs from the fourth embodiment in that the circuits within the solid-state image sensor 200 are distributed and arranged over two semiconductor chips.
- FIG. 24 is a diagram showing an example of the stacked structure of the solid-state image sensor 200 in the first modification of the fourth embodiment of the present technology.
- the solid-state image sensor 200 of the first modification of the fourth embodiment includes a lower pixel chip 202 and an upper pixel chip 201 stacked on the lower pixel chip 202. These chips are electrically connected by, for example, Cu--Cu junctions. Note that in addition to Cu--Cu bonding, connection can also be made by vias or bumps.
- An upper pixel array section 221 is arranged on the upper pixel chip 201.
- a lower pixel array section 222 and a column signal processing circuit 260 are arranged.
- a part is arranged in the upper pixel array section 221 and the rest is arranged in the lower pixel array section 222.
- a vertical scanning circuit 211 a timing control circuit 212, a DAC 213, and a load MOS circuit block 250 are also arranged in the lower pixel chip 202. These circuits are omitted in the figure.
- the upper pixel chip 201 is manufactured using, for example, a pixel-dedicated process
- the lower pixel chip 202 is manufactured using, for example, a CMOS process.
- FIG. 25 is a circuit diagram showing a configuration example of the pixel 300 in the first modification of the fourth embodiment of the present technology.
- the pre-stage circuit 310 is arranged on the upper pixel chip 201, and the other circuits and elements (capacitive elements 321 and 322, etc.) are arranged on the lower pixel chip 202.
- the current source transistor 316 can also be further arranged in the lower pixel chip 202.
- the area of the pixel can be reduced, and the pixel can be miniaturized. becomes easier.
- first, second, and third embodiments can be applied to the first modification of the fourth embodiment.
- the circuits and elements within the pixel 300 are distributed and arranged on two semiconductor chips, so that it is easy to miniaturize the pixel. Become.
- FIG. 26 is a diagram showing an example of the stacked structure of the solid-state image sensor 200 in the second modification of the fourth embodiment of the present technology.
- a solid-state image sensor 200 according to a second modification of the fourth embodiment includes an upper pixel chip 201, a lower pixel chip 202, and a circuit chip 203. These chips are stacked and electrically connected, for example, by Cu--Cu bonding. Note that in addition to Cu--Cu bonding, connection can also be made by vias or bumps.
- An upper pixel array section 221 is arranged on the upper pixel chip 201.
- a lower pixel array section 222 is arranged on the lower pixel chip 202 .
- a column signal processing circuit 260 a vertical scanning circuit 211, a timing control circuit 212, a DAC 213, and a load MOS circuit block 250 are arranged in the circuit chip 203. Circuits other than the column signal processing circuit 260 are omitted in the figure.
- first, second, and third embodiments can be applied to the second modification of the fourth embodiment.
- the second layer lower pixel chip 202 can be manufactured using a dedicated process for capacitors and switches.
- the circuits in the solid-state image sensor 200 are distributed and arranged on three semiconductor chips, so the circuits are distributed and arranged on two semiconductor chips.
- the pixels can be further miniaturized compared to the case where the pixels are
- the reset level is sampled and held within the exposure period, but with this configuration, the exposure period cannot be made shorter than the sample and hold period of the reset level.
- the solid-state image sensor 200 of the fifth embodiment differs from the first embodiment in that the exposure period is shortened by adding a transistor that discharges charge from the photoelectric conversion element.
- FIG. 27 is a circuit diagram showing an example of the configuration of the pixel 300 in the fifth embodiment of the present technology.
- the pixel 300 of this fifth embodiment differs from the first embodiment in that it further includes a discharge transistor 317 in the front-stage circuit 310.
- the discharge transistor 317 functions as an overflow drain that discharges charges from the photoelectric conversion element 311 according to a discharge signal ofg from the vertical scanning circuit 211.
- the drain transistor 317 for example, an nMOS transistor is used.
- blooming may occur when charges are transferred from the photoelectric conversion element 311 to the FD 314 for all pixels. Then, at the time of FD reset, the potentials of the FD 314 and the previous stage node 319 drop. Following this potential drop, currents for charging and discharging the capacitive elements 321 and 322 continue to occur, and the IR drop of the power supply and ground changes from a steady state without blooming.
- the drain transistor 317 the charge of the photoelectric conversion element 311 is drained to the overflow drain side. Therefore, the IR drop when sample-holding the reset level and the signal level becomes approximately the same, and streaking noise can be suppressed.
- FIG. 28 is a timing chart showing an example of global shutter operation in the fifth embodiment of the present technology.
- the vertical scanning circuit 211 supplies the high-level FD reset signal rst to all pixels over a pulse period while setting the discharge signal ofg of all pixels to a high level.
- PD reset and FD reset are performed for all pixels.
- the reset level is sampled and held.
- ofg_[n] in the figure indicates a signal to the pixel in the nth row among the N rows.
- the vertical scanning circuit 211 returns the discharge signal ofg of all pixels to the low level. Then, over a period from timing T2 immediately before the end of exposure to T3 at the end of exposure, the vertical scanning circuit 211 supplies a high-level transfer signal trg to all pixels. As a result, the signal level is sampled and held.
- both the transfer transistor 312 and the FD reset transistor 313 must be turned on at the start of exposure (that is, at the time of PD reset).
- the FD 314 when resetting the PD, the FD 314 must also be reset at the same time. Therefore, it is necessary to perform the FD reset again within the exposure period and sample and hold the reset level, and the exposure period cannot be made shorter than the sample and hold period of the reset level.
- sampling and holding the reset level of all pixels a certain amount of waiting time is required for the voltage and current to stabilize. A period is required.
- the PD reset and the FD reset can be performed separately. Therefore, as illustrated in the figure, the FD reset can be performed before the PD reset is canceled (exposure starts), and the reset level can be sampled and held. Thereby, the exposure period can be made shorter than the sample hold period of the reset level.
- the discharge transistor 317 is provided to discharge charges from the photoelectric conversion element 311, it is possible to perform FD reset and sample and hold the reset level before starting exposure. can. Thereby, the exposure period can be made shorter than the sample hold period of the reset level.
- the FD 314 is initialized by the power supply voltage VDD, but with this configuration, there is a risk that the sensitivity non-uniformity (PRNU) will deteriorate due to variations in the capacitive elements 321 and 322 and parasitic capacitance.
- the solid-state image sensor 200 of the sixth embodiment differs from the first embodiment in that the PRNU is improved by lowering the power supply of the FD reset transistor 313 during reading.
- FIG. 29 is a circuit diagram showing an example of the configuration of the pixel 300 in the sixth embodiment of the present technology.
- the pixel 300 of the third embodiment differs from the first embodiment in that the power supply of the FD reset transistor 313 is separated from the power supply voltage VDD of the pixel 300.
- the drain of the FD reset transistor 313 of the sixth embodiment is connected to the reset power supply voltage VRST.
- This reset power supply voltage VRST is controlled by, for example, a timing control circuit 212.
- the deterioration of PRNU in the pixel 300 of the first embodiment will be considered.
- the potential of the FD 314 decreases due to reset feedthrough of the FD reset transistor 313. Let this amount of variation be Vft.
- the power supply voltage of the FD reset transistor 313 is VDD, so at timing T10, the potential of the FD 314 changes from VDD to VDD-Vft. Further, the potential of the previous stage node 319 during exposure becomes VDD-Vft-Vsig.
- the FD reset transistor 313 is turned on during reading, and the FD 314 is fixed to the power supply voltage VDD.
- Vft the amount of variation of the FD 314
- the potentials of the front node 319 and the rear node 340 during reading are shifted higher by about Vft.
- the amount of voltage to be shifted varies from pixel to pixel, causing PRNU deterioration.
- the amount of transition of the subsequent node 340 when the previous node 319 transitions by Vft is expressed, for example, by the following equation. ⁇ (Cs+ ⁇ Cs)/(Cs+ ⁇ Cs+Cp) ⁇ *Vft...Formula 2
- Cs is the capacitance value of the capacitive element 322 on the signal level side
- ⁇ Cs is the variation in Cs
- Cp is the capacitance value of the parasitic capacitance of the subsequent node 340.
- Equation 2 can be approximated to the following equation. ⁇ 1-( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft...Formula 3
- Equation 3 the variation in the subsequent node 340 can be expressed by the following equation.
- FIG. 32 is a timing chart showing an example of voltage control in the sixth embodiment of the present technology.
- the timing control circuit 212 controls the reset power supply voltage VRST to a value different from the exposure period in the row-by-row read period after timing T9.
- the timing control circuit 212 sets the reset power supply voltage VRST to the same value as the power supply voltage VDD.
- the timing control circuit 212 lowers the reset power supply voltage VRST to VDD-Vft. That is, during the read period, the timing control circuit 212 lowers the reset power supply voltage VRST by an amount that substantially matches the variation amount Vft due to reset feedthrough. This control allows the reset levels of the FD 314 to be made the same during exposure and during readout.
- the amount of voltage fluctuation between the FD 314 and the previous node 319 can be reduced, as illustrated in the figure. This makes it possible to suppress variations in the capacitive elements 321 and 322 and deterioration of PRNU caused by parasitic capacitance.
- the timing control circuit 212 lowers the reset power supply voltage VRST by the variation amount Vft due to reset feedthrough during reading, so that reset is performed between exposure and readout. You can level up. Thereby, deterioration of sensitivity non-uniformity (PRNU) can be suppressed.
- PRNU sensitivity non-uniformity
- the signal level is read after the reset level for each frame, but in this configuration, sensitivity non-uniformity (PRNU) may occur due to variations in the capacitive elements 321 and 322 and parasitic capacitance. It may get worse.
- the solid-state image sensor 200 of the seventh embodiment is different from the first embodiment in that it improves the PRNU by replacing the level held in the capacitive element 321 and the level held in the capacitive element 322 for each frame. Different from the form.
- the solid-state imaging device 200 of the seventh embodiment continuously images a plurality of frames in synchronization with a vertical synchronization signal.
- Frames resulting from odd-numbered exposures are referred to as "odd-numbered frames,” and frames resulting from even-numbered exposures are referred to as "even-numbered frames.”
- odd frames and even frames are generated alternately.
- gain switching mode when switching the gain in M stages, M odd frames and M even frames are alternately generated.
- FIG. 33 is a timing chart showing an example of global shutter operation for odd frames in the seventh embodiment.
- the pre-stage circuit 310 in the solid-state image sensor 200 sets the selection signal ⁇ s to a high level after the selection signal ⁇ r, thereby causing the capacitive element 321 to hold the reset level, and then changes the signal level. It is held by the capacitive element 322.
- FIG. 34 is a timing chart showing an example of an odd frame read operation in the seventh embodiment of the present technology.
- the subsequent circuit 350 in the solid-state image sensor 200 sets the selection signal ⁇ s to high level after the selection signal ⁇ r, and reads out the signal level after the reset level.
- FIG. 35 is a timing chart showing an example of global shutter operation for even frames in the seventh embodiment.
- the front-stage circuit 310 in the solid-state image sensor 200 makes the selection signal ⁇ r a high level after the selection signal ⁇ s, thereby causing the capacitive element 322 to hold the reset level, and then changes the signal level. It is held by the capacitive element 321.
- FIG. 36 is a timing chart showing an example of an even frame read operation in the seventh embodiment of the present technology.
- the subsequent circuit 350 in the solid-state image sensor 200 sets the selection signal ⁇ r to high level after the selection signal ⁇ s, and reads out the signal level after the reset level.
- the levels held in each of the capacitive elements 321 and 322 are reversed between even frames and odd frames.
- the polarity of PRNU is also reversed between even frames and odd frames.
- the subsequent column signal processing circuit 260 calculates the average of the odd and even frames. This allows PRNUs with opposite polarities to cancel each other out.
- This control is effective in capturing moving images and adding frames together. Further, there is no need to add an element to the pixel 300, and it can be realized only by changing the driving method.
- the level held in the capacitive element 321 and the level held in the capacitive element 322 are reversed between odd frames and even frames.
- the polarity of PRNU can be reversed depending on the frame. By adding these odd-numbered frames and even-numbered frames by the column signal processing circuit 260, deterioration of PRNU can be suppressed.
- the column signal processing circuit 260 calculates the difference between the reset level and the signal level for each column.
- the solid-state image sensor 200 of the eighth embodiment differs from the first embodiment in that it is determined for each pixel whether or not a sunspot phenomenon has occurred.
- FIG. 37 is a circuit diagram showing a configuration example of the column signal processing circuit 260 in the eighth embodiment of the present technology.
- a plurality of ADCs 270 and a digital signal processing section 290 are arranged in the column signal processing circuit 260 of the eighth embodiment. Further, in the digital signal processing section 290, a plurality of CDS processing sections 291 and a plurality of selectors 292 are arranged. ADC 270, CDS processing section 291, and selector 292 are provided for each column.
- the ADC 270 also includes a comparator 280 and a counter 271.
- the comparator 280 compares the level of the vertical signal line 309 and the ramp signal Rmp from the DAC 213, and outputs the comparison result VCO.
- the comparison result VCO is supplied to the counter 271 and the timing control circuit 212.
- Comparator 280 includes a selector 281 , capacitive elements 282 and 283 , auto-zero switches 284 and 286 , and a comparator 285 .
- the capacitance ratio switching circuit 510 may be placed in place of the capacitive elements 282 and 283, or the rate of variation of the ramp signal may be changed.
- the selector 281 connects either the vertical signal line 309 of the corresponding column or the node of the predetermined reference voltage VREF to the non-inverting input terminal (+) of the comparator 285, and connects the capacitive element 282 to the non-inverting input terminal (+) of the comparator 285, according to the input side selection signal selin. It is connected via The input side selection signal selin is supplied from the timing control circuit 212.
- the comparator 285 compares the levels of the non-inverting input terminal (+) and the inverting input terminal (-), and outputs the comparison result VCO to the counter 271.
- a ramp signal Rmp is input to the inverting input terminal (-) via the capacitive element 283.
- the auto-zero switch 284 short-circuits the non-inverting input terminal (+) and output terminal of the comparison result VCO according to the auto-zero signal Az from the timing control circuit 212.
- the auto-zero switch 286 short-circuits the inverting input terminal (-) and the output terminal of the comparison result VCO according to the auto-zero signal Az.
- the counter 271 counts a count value until the comparison result VCO is inverted, and outputs a digital signal CNT_out indicating the count value to the CDS processing unit 291.
- the CDS processing unit 291 performs CDS processing on the digital signal CNT_out. This CDS processing unit 291 calculates the difference between the digital signal CNT_out corresponding to the reset level and the digital signal CNT_out corresponding to the signal level, and outputs it to the selector 292 as CDS_out.
- the selector 292 outputs either the CDS-processed digital signal CDS_out or the full-code digital signal FULL as pixel data of the corresponding column, according to the output side selection signal selout from the timing control circuit 212.
- FIG. 38 is a timing chart showing an example of global shutter operation in the eighth embodiment of the present technology.
- the method of controlling transistors during global shutter in the eighth embodiment is the same as that in the first embodiment.
- the photoelectric conversion element 311 becomes fully charged, the electric charge overflows from the photoelectric conversion element 311 to the FD 314, and the potential of the FD 314 decreases after the FD is reset.
- the dashed-dotted line in the same figure shows the potential fluctuation of the FD 314 when weak sunlight is incident such that the overflowing charge amount is relatively small.
- the dotted line in the figure shows the potential fluctuation of the FD 314 when strong sunlight that causes a relatively large amount of overflowing charge is incident.
- the reset level is lowered at timing T13 when the FD reset is completed, but the level has not completely lowered at this point.
- the operating point of the front-stage circuit 310 cannot be secured, and the current id1 of the current source transistor 316 fluctuates.
- the current source transistor 316 of each pixel is connected to a common power supply or ground, so when the current changes in a certain pixel, the change in the IR drop of that pixel affects the sample level of other pixels. I end up. A pixel in which a sunspot phenomenon occurs becomes an aggressor, and a pixel whose sample level fluctuates due to the pixel becomes a victim. This results in streaking noise.
- the discharge transistor 317 in a pixel with a black spot (blooming), overflowing charge is discarded to the discharge transistor 317 side, so that the black spot phenomenon is less likely to occur.
- the discharge transistor 317 even if the discharge transistor 317 is provided, there is a possibility that some of the charge will flow to the FD 314, and the sunspot phenomenon may not be completely cured.
- the addition of the drain transistor 317 has the disadvantage that the ratio of effective area to amount of charge for each pixel decreases. Therefore, it is desirable to suppress the sunspot phenomenon without using the discharge transistor 317.
- the first is adjusting the clip level of the FD314.
- the second method is to determine whether or not a black spot phenomenon occurs during reading, and to replace the output with a full code when a black spot phenomenon occurs.
- the high level of the FD reset signal rst (in other words, the gate of the FD reset transistor 313) in the figure is the power supply voltage VDD, and the low level corresponds to the clip level of the FD 314.
- the difference (ie, amplitude) between these high and low levels is set to a value corresponding to the dynamic range.
- the value is adjusted to a value that further adds a margin to that value.
- the value corresponding to the dynamic range corresponds to the difference between the power supply voltage VDD and the potential of the FD 314 when the digital signal becomes a full code.
- the dynamic range changes depending on the analog gain of the ADC.
- the analog gain is low, a large dynamic range is required; conversely, when the analog gain is high, a small dynamic range is required. Therefore, the gate voltage of the FD reset transistor 313 when it is off can be changed depending on the analog gain.
- FIG. 39 is a timing chart showing an example of a read operation in the eighth embodiment of the present technology.
- the selection signal ⁇ r becomes high level at timing T21 immediately after timing T20 of the start of reading, the potential of the vertical signal line 309 changes in the pixel where sunlight has entered.
- the dashed-dotted line in the figure shows the potential fluctuation of the vertical signal line 309 when weak sunlight is incident.
- the dotted line in the figure shows the potential fluctuation of the vertical signal line 309 when strong sunlight is incident.
- the timing control circuit 212 supplies the input side selection signal selin of “0”, for example, and connects the comparator 285 to the vertical signal line 309. During this auto-zero period, the timing control circuit 212 performs auto-zero using the auto-zero signal Az.
- the timing control circuit 212 supplies, for example, the input side selection signal selin of "1" within the determination period from timing T22 to timing T23.
- This input side selection signal selin disconnects the comparator 285 from the vertical signal line 309 and connects it to the node of the reference voltage VREF.
- This reference voltage VREF is set to the expected level of the vertical signal line 309 when blooming does not occur.
- Vrst corresponds to Vreg ⁇ Vgs2, for example, assuming that the gate-source voltage of the rear-stage amplification transistor 351 is Vgs2.
- the DAC 213 lowers the level of the ramp signal Rmp from Vrmp_az to Vrmp_sun within the determination period.
- the reset level Vrst of the vertical signal line 309 is almost the same as the reference voltage VREF, and the potential of the inverting input terminal (+) of the comparator 285 is at auto-zero. It's not much different than before.
- the non-inverting input terminal (-) since the non-inverting input terminal (-) has dropped from Vrmp_az to Vrmp_sun, the comparison result VCO becomes high level.
- the timing control circuit 212 can determine whether blooming has occurred based on whether the comparison result VCO becomes a low level within the determination period.
- the timing control circuit 212 connects the comparator 285 to the vertical signal line 309. Furthermore, after the P-phase settling period from timing T23 to T24 has elapsed, the P-phase is read out within the period from timing T24 to T25. After the D-phase settling period from timing T25 to T29 has elapsed, the D-phase is read out within the period from timing T29 to T30.
- the timing control circuit 212 controls the selector 292 using the output side selection signal selout to output the digital signal CDS_out after the CDS processing as it is.
- the timing control circuit 212 controls the selector 292 using the output side selection signal selout to output the full code FULL instead of the digital signal CDS_out after CDS processing. Thereby, the sunspot phenomenon can be suppressed.
- the timing control circuit 212 determines whether a sunspot phenomenon has occurred based on the comparison result VCO, and executes the full code when a sunspot phenomenon occurs. Since the output is performed, the sunspot phenomenon can be suppressed.
- the vertical scanning circuit 211 performed control to expose all rows (all pixels) at the same time (ie, global shutter operation). However, when simultaneous exposure is not required and low noise is required, such as during testing or analysis, it is desirable to perform rolling shutter operation.
- the solid-state image sensor 200 of the ninth embodiment differs from the first embodiment in that it performs a rolling shutter operation during testing and the like.
- FIG. 40 is a timing chart showing an example of rolling shutter operation in the ninth embodiment of the present technology.
- the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure.
- the figure shows exposure control in the n-th row.
- the vertical scanning circuit 211 supplies the high-level subsequent stage selection signal selb, selection signal ⁇ r, and selection signal ⁇ s to the n-th row. Further, at the exposure start timing T0, the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage reset signal rstb to the n-th row over a pulse period. At timing T1 at the end of exposure, the vertical scanning circuit 211 supplies the transfer signal trg to the n-th row.
- the rolling shutter operation shown in the figure allows the solid-state imaging device 200 to generate image data with low noise.
- the solid-state image sensor 200 of the ninth embodiment performs a global shutter operation similarly to the first embodiment.
- the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure (i.e., rolling shutter operation), so that an image with low noise can be obtained. Data can be generated.
- the source of the source follower at the previous stage (the amplifying transistor 315 at the front stage and the current source transistor 316) is connected to the power supply voltage VDD, and reading is performed row by row with the source follower in the on state. Ta.
- the solid-state imaging device 200 of the tenth embodiment differs from the first embodiment in that noise is reduced by turning off the source follower at the previous stage during readout.
- FIG. 41 is a block diagram showing a configuration example of the solid-state image sensor 200 in the tenth embodiment of the present technology.
- the solid-state imaging device 200 of the tenth embodiment differs from the first embodiment in that it further includes a regulator 420 and a switching section 440. Furthermore, a plurality of effective pixels 301 and a predetermined number of dummy pixels 430 are arranged in the pixel array section 220 of the tenth embodiment. The dummy pixels 430 are arranged around the area where the effective pixels 301 are arranged.
- each of the dummy pixels 430 is supplied with the power supply voltage VDD
- each of the effective pixels 301 is supplied with the power supply voltage VDD and the source voltage Vs.
- a signal line for supplying the power supply voltage VDD to the effective pixel 301 is omitted in the figure.
- the power supply voltage VDD is supplied from a pad 410 outside the solid-state image sensor 200.
- the regulator 420 generates a constant generated voltage Vgen based on the input voltage Vi from the dummy pixel 430 and supplies it to the switching unit 440.
- the switching unit 440 selects either the power supply voltage VDD from the pad 410 or the generated voltage Vgen from the regulator 420 and supplies it to each column of the effective pixels 301 as the source voltage Vs.
- FIG. 42 is a circuit diagram illustrating a configuration example of a dummy pixel 430, a regulator 420, and a switching unit 440 in the tenth embodiment of the present technology.
- a is a circuit diagram of the dummy pixel 430 and the regulator 420
- b in the figure is a circuit diagram of the switching unit 440.
- the dummy pixel 430 includes a reset transistor 431, an FD 432, an amplification transistor 433, and a current source transistor 434.
- the reset transistor 431 initializes the FD 432 according to a reset signal RST from the vertical scanning circuit 211.
- the FD 432 stores charge and generates a voltage according to the amount of charge.
- the amplification transistor 433 amplifies the voltage level of the FD 432 and supplies it to the regulator 420 as an input voltage Vi.
- the sources of the reset transistor 431 and the amplification transistor 433 are connected to the power supply voltage VDD.
- Current source transistor 434 is connected to the drain of amplification transistor 433. This current source transistor 434 supplies current id1 under the control of the vertical scanning circuit 211.
- the regulator 420 includes a low-pass filter 421, a buffer amplifier 422, and a capacitive element 423.
- the low-pass filter 421 passes components of a low frequency band below a predetermined frequency out of the signal of the input voltage Vi as an output voltage Vj.
- the output voltage Vj is input to the non-inverting input terminal (+) of the buffer amplifier 422.
- the inverting input terminal (-) of buffer amplifier 422 is connected to its output terminal.
- the capacitive element 423 holds the voltage at the output terminal of the buffer amplifier 422 as Vgen. This Vgen is supplied to the switching section 440.
- the switching unit 440 includes an inverter 441 and a plurality of switching circuits 442.
- the switching circuit 442 is arranged for each column of effective pixels 301.
- the inverter 441 inverts the switching signal SW from the timing control circuit 212. This inverter 441 supplies an inverted signal to each of the switching circuits 442.
- the switching circuit 442 selects either the power supply voltage VDD or the generated voltage Vgen and supplies it to the corresponding column in the pixel array section 220 as the source voltage Vs.
- Switching circuit 442 includes switches 443 and 444.
- the switch 443 opens and closes the path between the node of the power supply voltage VDD and the corresponding column according to the switching signal SW.
- the switch 444 opens and closes the path between the node of the generated voltage Vgen and the corresponding column according to the inverted signal of the switching signal SW.
- FIG. 43 is a timing chart showing an example of the operation of the dummy pixel 430 and the regulator 420 in the tenth embodiment of the present technology.
- the vertical scanning circuit 211 supplies each of the dummy pixels 430 with a reset signal RST at a high level (here, power supply voltage VDD).
- the potential Vfd of the FD 432 in the dummy pixel 430 is initialized to the power supply voltage VDD.
- the reset signal RST becomes low level, it changes to VDD-Vft due to reset feedthrough.
- Vj and Vgen become approximately constant voltages.
- FIG. 44 is a circuit diagram showing a configuration example of the effective pixel 301 in the tenth embodiment of the present technology.
- the circuit configuration of the effective pixel 301 is the same as that of the pixel 300 of the first embodiment, except that the source voltage Vs from the switching unit 440 is supplied to the source of the preamplification transistor 315.
- FIG. 45 is a timing chart showing an example of global shutter operation in the tenth embodiment of the present technology.
- the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. Further, the voltage at the previous stage node decreases from VDD-Vgs-Vth to VDD-Vgs-Vsig at timing T14.
- Vth is the threshold voltage of the transfer transistor 312.
- FIG. 46 is a timing chart showing an example of a read operation in the tenth embodiment of the present technology.
- the switching unit 440 selects the generated voltage Vgen and supplies it as the source voltage Vs. This generated voltage Vgen is adjusted to VDD-Vgs-Vft. Further, in the tenth embodiment, the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to stop supplying the current id1.
- FIG. 47 is a diagram for explaining the effects of the tenth embodiment of the present technology.
- the source follower pre-stage amplification transistor 315 and current source transistor 316
- the subsequent stage capacitortive element, source follower in the latter stage, and ADC
- the kTC noise generated in pixels during global shutter operation is 450 ( ⁇ Vrms), as illustrated in the same figure.
- the noise generated in the source follower (previous stage amplification transistor 315 and current source transistor 316) at the previous stage during row-by-row reading is 380 ( ⁇ Vrms).
- the noise generated after the source follower in the latter stage is 160 ( ⁇ Vrms). Therefore, the total noise is 610 ( ⁇ Vrms). In this way, in the first embodiment, the contribution of the noise of the preceding source follower to the total noise value is relatively large.
- an adjustable voltage (Vs) is supplied to the source of the source follower at the front stage.
- the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs.
- the switching unit 440 switches the source voltage Vs to VDD-Vgs-Vft.
- the timing control circuit 212 turns on the current source transistor 316 at the previous stage during a global shutter (exposure) operation, and turns it off after the exposure is completed.
- the potentials of the previous stage nodes during global shutter operation and during row-by-row reading are aligned, and PRNU can be improved. Further, since the source follower at the previous stage is turned off when reading out each row, as illustrated in FIG. 47, the circuit noise of the source follower does not occur and becomes 0 ( ⁇ Vrms). Note that the front-stage amplification transistor 315 of the front-stage source follower is in an on state.
- the source follower at the previous stage is turned off during reading, it is possible to reduce the noise generated in the source follower.
- the technology according to the present disclosure (this technology) can be applied to various products.
- the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. It's okay.
- FIG. 48 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
- the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
- radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
- the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
- the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
- an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
- the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
- the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
- the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
- the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
- the in-vehicle information detection unit 12040 detects in-vehicle information.
- a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
- the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
- the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
- the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
- the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
- the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
- an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- FIG. 49 is a diagram showing an example of the installation position of the imaging section 12031.
- the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle 12100.
- An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
- Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
- An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
- the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
- FIG. 49 shows an example of the imaging range of the imaging units 12101 to 12104.
- An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
- the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
- the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. In particular, by determining the three-dimensional object that is closest to the vehicle 12100 on its path and that is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as the vehicle 12100, it is possible to extract the three-dimensional object as the preceding vehicle. can.
- a predetermined speed for example, 0 km/h or more
- the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
- the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
- the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
- pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
- the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
- the display unit 12062 is controlled to display the .
- the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
- the imaging apparatus 100 in FIG. 1 can be applied to the imaging unit 12031.
- the technology according to the present disclosure it is possible to capture images with a plurality of gains and obtain a plurality of captured images with different brightness.
- a front-stage circuit that generates a pixel signal, a sample and hold circuit that holds the pixel signal for a predetermined hold period and outputs the pixel signal multiple times within the hold period; an amplifier circuit that amplifies the pixel signal by a gain instructed by a predetermined control signal among a plurality of gains; and a timing control circuit that sequentially instructs the plurality of gains using the control signal within the hold period.
- the amplifier circuit is a comparator that compares the pixel signal with a predetermined ramp signal.
- the comparator is a differential amplifier circuit that amplifies the difference between a predetermined reference voltage and a voltage at a predetermined node and outputs the result as a comparison result; a vertical signal line side capacitor inserted between the predetermined node and the vertical scanning line to which the pixel is connected; a lamp-side capacitor inserted between the predetermined node and a digital-to-analog converter that generates the lamp signal;
- the solid-state imaging device according to (2) further comprising a switch that changes a capacitance ratio between the vertical signal line side capacitance and the lamp side capacitance according to the control signal.
- the solid-state imaging device further comprising an analog-to-digital converter that performs analog-to-digital conversion processing on the pixel signal,
- the solid-state imaging device amplifies the pixel signal after the analog-to-digital conversion process.
- the sample and hold circuit is first and second capacitive elements; Control for connecting one of the first and second capacitive elements to a predetermined downstream node; Control for disconnecting both the first and second capacitive elements from the downstream node; and Control for connecting the first and second capacitive elements to a predetermined downstream node.
- the latter-stage reset transistor according to any one of (1) to (7) above, initializes the level of the latter-stage node when both the first and second capacitive elements are disconnected from the latter-stage node.
- a front-stage circuit that generates a pixel signal; a sample and hold circuit that holds the pixel signal for a predetermined hold period and outputs the pixel signal multiple times within the hold period; an amplifier circuit that amplifies the pixel signal by a gain instructed by a predetermined control signal among a plurality of gains; a timing control circuit that sequentially instructs the plurality of gains using the control signal within the hold period;
- An imaging device comprising: a digital signal processing circuit that processes image data in which the pixel signals are arranged.
- (10) further comprising a set value holding unit that holds any one of the plurality of gains as a set value according to a user's operation;
- (11) The imaging device according to (9), wherein the digital signal processing circuit performs machine learning using a predetermined number of the image data.
- a preliminary step of generating a pixel signal (12) a preliminary step of generating a pixel signal; a sample hold procedure of holding the pixel signal for a predetermined hold period and outputting the pixel signal multiple times within the hold period; an amplification procedure for amplifying the pixel signal by a gain instructed by a predetermined control signal among a plurality of gains;
- a method for controlling a solid-state imaging device comprising: a timing control procedure for sequentially instructing the plurality of gains using the control signal within the hold period.
- Imaging device 110
- Optical section 120
- DSP circuit 121
- Data set generation section 122
- Machine learning section 124
- Learning result holding section 125
- Image recognition section 126
- Image processing section 130 Display section 140
- Operation section 150
- Bus 160
- Frame memory 170
- Power supply unit 200
- Solid-state image sensor 201
- Upper pixel chip 202
- Lower pixel chip 203
- Circuit chip 211
- Vertical scanning circuit 212
- Timing control circuit 213
- Setting value holding section 220
- Pixel array section 221
- Upper pixel array section 222
- Lower pixel array section 250
- Load MOS circuit block 251
- Load MOS transistor 260
- Column signal processing circuit 261 Column amplifier 270
- Auto zero switch 285 comparison 290
- Digital signal processing unit 291
- CDS processing unit 291
- Legal processing unit 300
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
複数の画像データを撮像する固体撮像素子において、撮像機会の逸失を防止する。 固体撮像素子は、前段回路、サンプルホールド回路、増幅回路およびタイミング制御回路を具備する。前段回路は、画素信号を生成する。サンプルホールド回路は、所定のホールド期間に亘って画素信号を保持してホールド期間内に複数回に亘って画素信号を出力する。増幅回路は、複数のゲインのうち所定の制御信号により指示されたゲインにより画素信号を増幅する。タイミング制御回路は、ホールド期間内に制御信号により複数のゲインを順に指示する。
Description
本技術は、固体撮像素子に関する。詳しくは、ゲインを切り替える固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
従来より、CMOS(Complementary MOS)半導体の製造プロセスを利用できることから、撮像装置などにおいて、CMOSを用いる固体撮像素子であるCIS(CMOS Image Sensor)が広く用いられている。例えば、露光開始タイミングおよび露光時間の異なる複数の画像データを撮像して表示し、所望の画像データをユーザに選択させるCISが提案されている(例えば、特許文献1参照。)。
上述の従来技術では、露光開始タイミングおよび露光時間の異なる複数回の撮像により、被写体が動く際に、動きボケの度合いや明るさの異なる画像データを生成することを図っている。しかしながら、上述の固体撮像素子では、露光開始および露光終了のタイミングが同一で、明るさの異なる複数の画像データを撮像することができない。上述の固体撮像素子では、明るさの異なる画像データを撮像するには、露光開始タイミングを変える必要があり、その際に撮像機会を逸してしまうおそれがある。
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像データを撮像する固体撮像素子において、撮像機会の逸失を防止することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、画素信号を生成する前段回路と、所定のホールド期間に亘って上記画素信号を保持して上記ホールド期間内に複数回に亘って上記画素信号を出力するサンプルホールド回路と、複数のゲインのうち所定の制御信号により指示されたゲインにより上記画素信号を増幅する増幅回路と、上記ホールド期間内に上記制御信号により上記複数のゲインを順に指示するタイミング制御回路とを具備する固体撮像素子、および、その制御方法である。これにより、1回の露光で明るさの異なる複数の画像データが生成されるという作用をもたらす。
また、この第1の側面において、上記増幅回路は、上記画素信号と所定のランプ信号とを比較するコンパレータであってもよい。これにより、アナログの画素信号が増幅されるという作用をもたらす。
また、この第1の側面において、上記前段回路および上記サンプルホールド回路は、画素に配置され、上記コンパレータは、所定の基準電圧と所定ノードの電圧との差分を増幅して比較結果として出力する差動増幅回路と、上記所定ノードと上記画素が接続された垂直走査線との間に挿入された垂直信号線側容量と、上記所定ノードと上記ランプ信号を生成するデジタルアナログ変換器との間に挿入されたランプ側容量と、上記垂直信号線側容量と上記ランプ側容量との容量比を上記制御信号に従って変更するスイッチとを備えてもよい。これにより、容量比の変更によりアナログゲインが切り替えられるという作用をもたらす。
また、この第1の側面において、上記制御信号に従って上記ランプ信号を生成するデジタルアナログ変換器をさらに具備し、上記タイミング制御回路は、上記ランプ信号のレベルが変動する速度を上記制御信号により変更させてもよい。これにより、ランプ信号の変動速度の変更によりアナログゲインが切り替えられるという作用をもたらす。
また、この第1の側面において、上記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、上記増幅回路は、増幅した上記画素信号を上記アナログデジタル変換器に供給するカラムアンプであってもよい。これにより、アナログの画素信号が増幅されるという作用をもたらす。
また、この第1の側面において、上記画素信号を垂直信号線へ供給する後段回路をさらに具備し、上記増幅回路は、増幅した上記画素信号を上記後段回路に供給してもよい。これにより、画素内で画素信号が増幅されるという作用をもたらす。
また、この第1の側面において、上記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、上記増幅回路は、上記アナログデジタル変換処理後の上記画素信号を増幅してもよい。これにより、デジタルの画素信号が増幅されるという作用をもたらす。
また、この第1の側面において、後段リセットトランジスタをさらに具備し、上記サンプルホールド回路は、第1および第2の容量素子と、上記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と上記第1および第2の容量素子の両方を上記後段ノードから切り離す制御と上記第1および第2の容量素子の他方を上記後段ノードに接続する制御とを順に行う選択回路とを備え、上記後段リセットトランジスタは、上記第1および第2の容量素子の両方が上記後段ノードから切り離されたときに上記後段ノードのレベルを初期化してもよい。これにより、ノイズが低減するという作用をもたらす。
また、本技術の第2の側面は、画素信号を生成する前段回路と、所定のホールド期間に亘って上記画素信号を保持して上記ホールド期間内に複数回に亘って上記画素信号を出力するサンプルホールド回路と、複数のゲインのうち所定の制御信号により指示されたゲインにより上記画素信号を増幅する増幅回路と、上記ホールド期間内に上記制御信号により上記複数のゲインを順に指示するタイミング制御回路と、上記画素信号を配列した画像データを処理するデジタル信号処理回路とを具備する撮像装置である。これにより、1回の露光で明るさの異なる複数の画像データが生成され、処理されるという作用をもたらす。
また、この第2の側面において、ユーザの操作に従って上記複数のゲインのいずれかの値を設定値として保持する設定値保持部をさらに具備し、上記増幅回路は、上記設定値のゲインにより上記画素信号を増幅してもよい。これにより、撮像装置の利便性が向上するという作用をもたらす。
また、この第2の側面において、上記デジタル信号処理回路は、所定数の上記画像データを用いて機械学習を行ってもよい。これにより、データセットの生成に必要な露光回数が少なくなるという作用をもたらす。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(ホールド期間内にゲインを切り替える例)
2.第2の実施の形態(画素内に増幅回路を配置し、ホールド期間内にゲインを切り替える例)
3.第3の実施の形態(ホールド期間内にデジタルゲインを切り替える例)
4.第4の実施の形態(前段回路を前段ノードから切り離し可能とし、ホールド期間内にゲインを切り替える例)
5.第5の実施の形態(排出トランジスタを追加し、ホールド期間内にゲインを切り替える例)
6.第6の実施の形態(ホールド期間内にゲインを切り替え、リセット電源電圧を制御する例)
7.第7の実施の形態(ホールド期間内にゲインを切り替え、フレームごとに保持させるレベルを入れ替える例)
8.第8の実施の形態(ホールド期間内にゲインを切り替え、黒点現象を抑制する例)
9.第9の実施の形態(ローリングシャッター動作を行う例)
10.第10の実施の形態(ホールド期間内にゲインを切り替え、読出しの際にソースフォロワをオフ状態にする例)
11.移動体への応用例
1.第1の実施の形態(ホールド期間内にゲインを切り替える例)
2.第2の実施の形態(画素内に増幅回路を配置し、ホールド期間内にゲインを切り替える例)
3.第3の実施の形態(ホールド期間内にデジタルゲインを切り替える例)
4.第4の実施の形態(前段回路を前段ノードから切り離し可能とし、ホールド期間内にゲインを切り替える例)
5.第5の実施の形態(排出トランジスタを追加し、ホールド期間内にゲインを切り替える例)
6.第6の実施の形態(ホールド期間内にゲインを切り替え、リセット電源電圧を制御する例)
7.第7の実施の形態(ホールド期間内にゲインを切り替え、フレームごとに保持させるレベルを入れ替える例)
8.第8の実施の形態(ホールド期間内にゲインを切り替え、黒点現象を抑制する例)
9.第9の実施の形態(ローリングシャッター動作を行う例)
10.第10の実施の形態(ホールド期間内にゲインを切り替え、読出しの際にソースフォロワをオフ状態にする例)
11.移動体への応用例
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、本技術の第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像するための装置であり、光学部110、固体撮像素子200およびDSP(Digital Signal Processing)回路120を備える。さらに撮像装置100は、表示部130、操作部140、バス150、フレームメモリ160、記憶部170および電源部180を備える。撮像装置100としては、デジタルカメラや、撮像機能を持つ電子装置(スマートフォンやパーソナルコンピュータなど)が想定される。
[撮像装置の構成例]
図1は、本技術の第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、画像データを撮像するための装置であり、光学部110、固体撮像素子200およびDSP(Digital Signal Processing)回路120を備える。さらに撮像装置100は、表示部130、操作部140、バス150、フレームメモリ160、記憶部170および電源部180を備える。撮像装置100としては、デジタルカメラや、撮像機能を持つ電子装置(スマートフォンやパーソナルコンピュータなど)が想定される。
光学部110は、被写体からの光を集光して固体撮像素子200に導くものである。固体撮像素子200は、光電変換により画像データを生成するものである。この固体撮像素子200は、画像データを生成し、DSP回路120に信号線209を介して供給する。
DSP回路120は、画像データに対して所定の信号処理を実行するものである。このDSP回路120は、処理後の画像データを、バス150を介してフレームメモリ160などに出力する。なお、DSP回路120は、特許請求の範囲に記載のデジタル信号処理回路の一例である。
表示部130は、画像データを表示するものである。表示部130としては、例えば、液晶パネルや有機EL(Electro Luminescence)パネルが想定される。操作部140は、ユーザの操作に従って操作信号を生成するものである。
バス150は、光学部110、固体撮像素子200、DSP回路120、表示部130、操作部140、フレームメモリ160、記憶部170および電源部180が互いにデータをやりとりするための共通の経路である。
フレームメモリ160は、画像データを保持するものである。記憶部170は、画像データなどの様々なデータを記憶するものである。電源部180は、固体撮像素子200、DSP回路120や表示部130などに電源を供給するものである。
[固体撮像素子の構成例]
図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、垂直走査回路211、画素アレイ部220、タイミング制御回路212、DAC(Digital to Analog Converter)213、負荷MOS回路ブロック250、カラム信号処理回路260を備える。画素アレイ部220には、二次元格子状に複数の画素300が配列される。また、固体撮像素子200内の各回路は、例えば、単一の半導体チップに設けられる。
図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、垂直走査回路211、画素アレイ部220、タイミング制御回路212、DAC(Digital to Analog Converter)213、負荷MOS回路ブロック250、カラム信号処理回路260を備える。画素アレイ部220には、二次元格子状に複数の画素300が配列される。また、固体撮像素子200内の各回路は、例えば、単一の半導体チップに設けられる。
以下、水平方向に配列された画素300の集合を「行」と称し、行に垂直な方向に配列された画素300の集合を「列」と称する。
タイミング制御回路212は、垂直同期信号XVSに同期して垂直走査回路211、DAC213、カラム信号処理回路260のそれぞれの動作タイミングを制御するものである。
DAC213は、DA(Digital to Analog)変換により、のこぎり波状のランプ信号を生成するものである。DAC213は、生成したランプ信号をカラム信号処理回路260に供給する。
垂直走査回路211は、行を順に選択して駆動し、アナログの画素信号を出力させるものである。画素300は、入射光を光電変換してアナログの画素信号を生成するものである。この画素300は、負荷MOS回路ブロック250を介して、カラム信号処理回路260に画素信号を供給する。
負荷MOS回路ブロック250には、定電流を供給するMOSトランジスタが列ごとに設けられる。
カラム信号処理回路260は、列ごとに、画素信号に対してAD(Analog to Digital)変換処理やCDS(Correlated Double Sampling)処理などの信号処理を実行するものである。このカラム信号処理回路260は、処理後の信号からなる画像データをDSP回路120に供給する。
[画素の構成例]
図3は、本技術の第1の実施の形態における画素300の一構成例を示す回路図である。この画素300は、前段回路310と、サンプルホールド回路320と、後段リセットトランジスタ341と、後段回路350とを備える。
図3は、本技術の第1の実施の形態における画素300の一構成例を示す回路図である。この画素300は、前段回路310と、サンプルホールド回路320と、後段リセットトランジスタ341と、後段回路350とを備える。
前段回路310は、光電変換素子311、転送トランジスタ312、FD(Floating Diffusion)リセットトランジスタ313、FD314、前段増幅トランジスタ315および電流源トランジスタ316を備える。
光電変換素子311は、光電変換により電荷を生成するものである。転送トランジスタ312は、垂直走査回路211からの転送信号trgに従って、光電変換素子311からFD314へ電荷を転送するものである。
FDリセットトランジスタ313は、垂直走査回路211からのFDリセット信号rstに従って、FD314から電荷を引き抜いて初期化するものである。FD314は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。前段増幅トランジスタ315は、FD314の電圧のレベルを増幅して前段ノード319に出力するものである。
また、FDリセットトランジスタ313および前段増幅トランジスタ315のソースは、電源電圧VDDに接続される。電流源トランジスタ316は、前段増幅トランジスタ315のドレインに接続される。この電流源トランジスタ316は、垂直走査回路211の制御に従って、電流id1を供給する。
サンプルホールド回路320は、画素信号をサンプルホールドするものである。このサンプルホールド回路320は、容量素子321および322と、選択回路330とを備える。
容量素子321および322のそれぞれの一端は、前段ノード319に共通に接続され、それぞれの他端は、選択回路330に接続される。なお、容量素子321おおび322は、特許請求の範囲に記載の第1および第2の容量素子の一例である。
選択回路330は、選択トランジスタ331および選択トランジスタ332を備える。選択トランジスタ331は、垂直走査回路211からの選択信号Φrに従って、容量素子321と後段ノード340との間の経路を開閉するものである。選択トランジスタ332は、垂直走査回路211からの選択信号Φsに従って、容量素子322と後段ノード340との間の経路を開閉するものである。
後段リセットトランジスタ341は、垂直走査回路211からの後段リセット信号rstbに従って、後段ノード340のレベルを所定の電位Vregに初期化するものである。電位Vregには、電源電圧VDDと異なる電位(例えば、VDDより低い電位)が設定される。
後段回路350は、後段増幅トランジスタ351および後段選択トランジスタ352を備える。後段増幅トランジスタ351は、後段ノード340のレベルを増幅するものである。後段選択トランジスタ352は、垂直走査回路211からの後段選択信号selbに従って、後段増幅トランジスタ351により増幅されたレベルの信号を画素信号として垂直信号線309に出力するものである。
なお、画素300内の各種のトランジスタ(転送トランジスタ312など)として、例えば、nMOS(n-channel Metal Oxide Semiconductor)トランジスタが用いられる。
垂直走査回路211は、露光開始時に全画素へハイレベルのFDリセット信号rstおよび転送信号trgを供給する。これにより、光電変換素子311が初期化される。以下、この制御を「PDリセット」と称する。
そして、垂直走査回路211は、露光終了の直前に、全画素について後段リセット信号rstbおよび選択信号Φrをハイレベルにしつつ、パルス期間に亘ってハイレベルのFDリセット信号rstを供給する。これにより、FD314が初期化され、そのときのFD314のレベルに応じたレベルが容量素子321に保持される。この制御を以下、「FDリセット」と称する。
FDリセットの際のFD314のレベルと、そのレベルに対応するレベル(容量素子321の保持レベルや、垂直信号線309のレベル)とをまとめて、以下、「P相」または「リセットレベル」と称する。
垂直走査回路211は、露光終了時に、全画素について後段リセット信号rstbおよび選択信号Φsをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号trgを供給する。これにより、露光量に応じた信号電荷がFD314へ転送され、そのときのFD314のレベルに応じたレベルが容量素子322に保持される。
信号電荷の転送の際のFD314のレベルと、そのレベルに対応するレベル(容量素子322の保持レベルや、垂直信号線309のレベル)とをまとめて、以下、「D相」または「信号レベル」と称する。
このように全画素について同時に露光を開始し、終了する露光制御は、グローバルシャッター方式と呼ばれる。この露光制御により、全画素の前段回路310は、リセットレベルおよび信号レベルを順に生成する。リセットレベルは、容量素子321に保持され、信号レベルは、容量素子322に保持される。
露光終了後に垂直走査回路211は、行を順に選択して、その行のリセットレベルおよび信号レベルを順に出力させる。リセットレベルを出力させる際に、垂直走査回路211は、選択した行のFDリセット信号rstおよび後段選択信号selbをハイレベルにしつつ、ハイレベルの選択信号Φrを所定期間に亘って供給する。これにより、容量素子321が後段ノード340に接続され、リセットレベルが読み出される。
リセットレベルの読出し後に垂直走査回路211は、選択した行のFDリセット信号rstおよび後段選択信号selbをハイレベルにしたままで、ハイレベルの後段リセット信号rstbをパルス期間に亘って供給する。これにより、後段ノード340のレベルが初期化される。このとき、選択トランジスタ331および選択トランジスタ332は両方とも開状態であり、容量素子321および322は、後段ノード340から切り離される。
後段ノード340の初期化後に、垂直走査回路211は、選択した行のFDリセット信号rstおよび後段選択信号selbをハイレベルにしたままで、ハイレベルの選択信号Φsを所定期間に亘って供給する。これにより、容量素子322が後段ノード340に接続され、信号レベルが読み出される。
ここで、固体撮像素子200には、通常モードと、ゲイン切替モードとを含む複数のモードのいずれかが設定される。通常モードは、1回の露光で1枚の画像データを生成するモードである。一方、ゲイン切替モードは、1回の露光で、ゲインの切り替えにより、明るさの異なる複数枚の画像データを生成するモードである。モードは、ユーザの操作に従って手動設定される。あるいは、DSP回路120などの制御によりモードが自動設定される。
通常モードが設定された場合、サンプルホールド回路320は、画素信号を保持する期間であるホールド期間内に、画素信号のリセットレベルおよび信号レベルのそれぞれを1回ずつ出力する。
一方、ゲイン切替モードが設定された場合、サンプルホールド回路320は、ホールド期間内に、画素信号(リセットレベルおよび信号レベル)を複数回に亘って出力する。出力された複数のリセットレベルは、後段の回路によって互いに異なるゲインにより増幅される。また、出力された複数の信号レベルも互いに異なるゲインにより増幅される。
[カラム信号処理回路の構成例]
図4は、本技術の第1の実施の形態における負荷MOS回路ブロック250およびカラム信号処理回路260の一構成例を示すブロック図である。
図4は、本技術の第1の実施の形態における負荷MOS回路ブロック250およびカラム信号処理回路260の一構成例を示すブロック図である。
負荷MOS回路ブロック250には、列ごとに垂直信号線309が配線される。列数をI(Iは、整数)とすると、I本の垂直信号線309が配線される。また、垂直信号線309のそれぞれには、一定の電流id2を供給する負荷MOSトランジスタ251が接続される。
カラム信号処理回路260には、複数のADC270とデジタル信号処理部290とが配置される。ADC270は、列ごとに配置される。列数をIとすると、I個のADC270が配置される。
ADC270は、DAC213からのランプ信号Rmpを用いて、対応する列からのアナログの画素信号Ainに対してAD変換処理を行うものである。このADC270は、AD変換後の画素信号Doutをデジタル信号処理部290に供給する。例えば、ADC270として、コンパレータ500およびカウンタ271を備えるシングルスロープ型のADCが配置される。
コンパレータ500は、画素信号Ainとランプ信号Rmpとを比較し、比較結果CMPをカウンタ271に供給するものである。また、このコンパレータ500は、画素信号Ainをアナログゲインにより増幅することができる。このアナログゲインは可変であり、タイミング制御回路212からの制御信号Gctrlにより複数のゲインのいずれかが指示される。なお、コンパレータ500は、特許請求の範囲に記載の増幅回路の一例である。
カウンタ271は、比較結果CMPが反転するまでの期間に亘って、計数値を計数するものである。このカウンタ271は、計数値を示すデジタル信号を画素信号Doutとしてデジタル信号処理部290に出力する。
デジタル信号処理部290は、列ごとの画素信号(デジタル信号)のそれぞれに対して、CDS処理などの所定の信号処理を行うものである。デジタル信号処理部290は、処理後のデジタル信号を配列した画像データをDSP回路120に供給する。
[コンパレータの構成例]
図5は、本技術の第1の実施の形態におけるコンパレータ500の一構成例を示す回路図である。このコンパレータ500には、容量比切替回路510と差動増幅回路530とが配置される。容量比切替回路510は、スイッチ511乃至515などの所定数のスイッチと、容量516乃至521などの複数の容量とを備える。
図5は、本技術の第1の実施の形態におけるコンパレータ500の一構成例を示す回路図である。このコンパレータ500には、容量比切替回路510と差動増幅回路530とが配置される。容量比切替回路510は、スイッチ511乃至515などの所定数のスイッチと、容量516乃至521などの複数の容量とを備える。
容量516乃至521の一端は、ノード522に共通に接続される。容量516の他端は、信号線309を介して負荷MOS回路ブロック250に接続され、容量521の他端は、DAC213と接続される。
スイッチ511は、制御信号Gctrlに従って容量516の他端と、容量517の他端との間の経路を開閉するものである。スイッチ512は、制御信号Gctrlに従って容量517の他端と、容量518の他端との間の経路を開閉するものである。スイッチ513は、制御信号Gctrlに従って容量518の他端と、容量519の他端との間の経路を開閉するものである。スイッチ514は、制御信号Gctrlに従って容量519の他端と、容量520の他端との間の経路を開閉するものである。スイッチ515は、制御信号Gctrlに従って容量520の他端と、容量521の他端との間の経路を開閉するものである。
タイミング制御回路212は、制御信号Gctrlにより、スイッチ511乃至515のいずれかのみを開状態にし、残りを閉状態に制御する。この制御により、垂直信号線側の信号線309とノード522との間に挿入された容量の合成容量と、ランプ信号側のDAC213とノード522との間に挿入された容量の合成容量との容量比が変更される。以下、垂直信号線側の合成容量を「VSL側容量」と称し、ランプ信号側の合成容量を「ランプ側容量」と称する。同図において、タイミング制御回路212は、5つのスイッチの制御により容量比を5段階に切り替えることができる。
なお、容量比を5段階としているが、タイミング制御回路212は、5段階以外の複数の段階に容量比を切り替えることもできる。段階数をM(Mは、整数)とすると、M個のスイッチとM+1個の容量とが容量比切替回路510に配置される。
また、容量516の容量値は最も大きく、容量517乃至521のそれぞれの容量値は同一に設定される。なお、容量516乃至521のそれぞれの容量値は、任意の値に設定することができる。
容量540は、所定の基準電圧VSHを保持するものである。
差動増幅回路530は、ノード522の電圧と、基準電圧VSHとの差分を増幅するものである。この差動増幅回路530は、pMOS(p-channel MOS)トランジスタ531および532と、オートゼロスイッチ536および537と、nMOSトランジスタ533乃至535とを備える。
pMOSトランジスタ531および532は、電源に並列に接続される。pMOSトランジスタ531のゲートは、自身のドレインとpMOSトランジスタ532のゲートとに接続される。
nMOSトランジスタ533のドレインは、pMOSトランジスタ531に接続され、ソースは、コモンノードに接続される。また、nMOSトランジスタ533のゲートは、ノード522に接続される。nMOSトランジスタ534のドレインは、pMOSトランジスタ532に接続され、ソースは、コモンノードに接続される。また、nMOSトランジスタ534のゲートは、容量540に接続される。
nMOSトランジスタ535は、コモンノードと接地端子との間に挿入され、ゲートには、所定のバイアス電圧Vbiasが入力される。
オートゼロスイッチ536は、タイミング制御回路212からのオートゼロ信号Azに従ってnMOSトランジスタ533のドレインおよびゲートの間を短絡するものである。オートゼロスイッチ537は、オートゼロ信号Azに従ってnMOSトランジスタ534のドレインおよびゲートの間を短絡するものである。
また、pMOSトランジスタ532およびnMOSトランジスタ534の接続ノードからは、比較結果CMPがカウンタ271へ出力される。
同図に例示した構成のコンパレータ500には、AD変換期間内に、時間の経過とともにレベルが増大する信号がランプ信号Rmpとして入力される。
なお、ADC270は、容量比の変更により、アナログゲインを切り替えているが、この構成に限定されない。容量比切替回路510を配置せず、タイミング制御回路212がDAC213を制御してランプ信号のレベルが変動する速度(言い換えれば、スロープの傾き)を変更させることもできる。この場合、ランプ信号の変動速度が速いほど、アナログゲインが低くなり、変動速度が遅いほどアナログゲインが高くなる。
図6は、本技術の第1の実施の形態における撮像時の固体撮像素子200の動作を説明するための図である。なお、同図において、画素300内の後段リセットトランジスタ341は、省略されている。
画素300内の前段回路310は、アナログの画素信号を生成する。サンプルホールド回路320は、その画素信号(リセットレベルおよび信号レベル)をサンプルし、ホールド期間に亘って画素信号を保持する。そして、サンプルホールド回路320は、後段回路350を介して、複数回に亘って画素信号Ainを出力する。
コンパレータ500は、画素信号Ainとランプ信号Rmpとを比較し、比較結果CMPをカウンタ271に供給する。また、コンパレータ500は、複数のゲインのうち、制御信号Gctrlにより指示されたアナログゲインにより画素信号Ainを増幅する。タイミング制御回路212は、ホールド期間内に制御信号Gctrlにより複数のゲインを順に指示する。
ホールド期間内の画素信号の出力回数と、ゲインの個数とは、同一に設定される。例えば、M(Mは、2以上の整数)個のゲインが順に指示される場合、サンプルホールド回路320は、ホールド期間内に画素信号(リセットレベルおよび信号レベル)をM回に亘って出力する。リセットレベルおよび信号レベルは交互に出力され、合計でM個のリセットレベルと、M個の信号レベルとが出力される。
なお、タイミング制御回路212は、ADC270のアナログゲインを制御していたが、この構成に限定されない。図7に例示するように、列ごとに、ADC270の前段にカラムアンプ261を追加し、そのカラムアンプ261のアナログゲインをタイミング制御回路212が制御することもできる。なお、カラムアンプ261は、特許請求の範囲に記載の増幅回路の一例である。
また、画素300の構成は、図3に例示した回路に限定されない。例えば、図8に例示するように、後段回路を2系統にすることもできる。この場合、選択トランジスタ331は、容量素子321と後段回路350-1との間の経路を開閉し、選択トランジスタ332は、容量素子322と後段回路350-2との間の経路を開閉すればよい。後段回路350-1は、後段増幅トランジスタ351-1および後段選択トランジスタ352-1を備え、後段回路350-2は、後段増幅トランジスタ351-2および後段選択トランジスタ352-2を備える。また、垂直信号線が列ごとに2本配線され、後段回路350-1は、垂直信号線309-1に画素信号を出力し、後段回路350-2は、垂直信号線309-2に画素信号を出力する。
[固体撮像素子の動作例]
図9は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すタイミングチャートである。この動作は、ゲイン切替モードが設定されたときに開始される。ゲイン切替モードにおいて、異なる3つのアナログゲインが用いられるものとする。1つ目のゲインをGAとし、2つ目のゲインをGBとし、3つ目のゲインをGCとする。なお、ゲイン切替モードで用いるゲインの数は、ADC270が切り替え可能なゲインの段階数以下であれば、3つに限定されない。例えば、ADC270が5段階でゲインを切り替え可能な場合、2個から5個までのゲインをゲイン切替モードで用いることができる。
図9は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すタイミングチャートである。この動作は、ゲイン切替モードが設定されたときに開始される。ゲイン切替モードにおいて、異なる3つのアナログゲインが用いられるものとする。1つ目のゲインをGAとし、2つ目のゲインをGBとし、3つ目のゲインをGCとする。なお、ゲイン切替モードで用いるゲインの数は、ADC270が切り替え可能なゲインの段階数以下であれば、3つに限定されない。例えば、ADC270が5段階でゲインを切り替え可能な場合、2個から5個までのゲインをゲイン切替モードで用いることができる。
垂直同期信号XVSが立ち下がる直前のタイミングT0からT1までの露光期間において、グローバルシャッター方式により全画素が露光される。各画素の前段回路310は、画素信号を生成する。サンプルホールド回路320は、露光終了時に画素信号をサンプルし、タイミングT1からT9までのホールド期間に亘って保持する。
タイミングT1からT3までの期間内に、サンプルホールド回路320のそれぞれは、保持した画素信号を行単位で順に出力する。ADC270は、行単位で画素信号(リセットレベルおよび信号レベル)を順にAD変換する。また、ADC270は、アナログゲインGAにより画素信号を増幅する。
タイミングT2からの一定期間内に、デジタル信号処理部290は、AD変換後の画素信号のそれぞれに対してCDS処理などの信号処理を行う。これにより1枚目の画像データが生成される。
そして、タイミングT4からT6までの期間内に、サンプルホールド回路320のそれぞれは、保持した画素信号を行単位で順に出力する。ADC270は、アナログゲインGBにより画素信号を増幅するとともに、行単位で画素信号を順にAD変換する。タイミングT5からの一定期間内に、デジタル信号処理部290は、信号処理を行う。これにより2枚目の画像データが生成される。
続いて、タイミングT7からT9までの期間内に、サンプルホールド回路320のそれぞれは、保持した画素信号を行単位で順に出力する。ADC270は、アナログゲインGCにより画素信号を増幅するとともに、行単位で画素信号を順にAD変換する。タイミングT8からの一定期間内に、デジタル信号処理部290は、信号処理を行う。これにより3枚目の画像データが生成される。
次に垂直同期信号XVSが立ち下がる直前のタイミングT10からの露光期間内にグローバルシャッター方式により全画素が露光される。以降は、タイミングT1乃至T9と同様の制御が行われる。
上述したように、3つのゲインを順に用いることにより、1回の露光で明るさの異なる3枚の画像データを生成することができる。撮像装置100は、3枚の画像データを表示し、ユーザは、それらのうち適切な明るさの画像データを選択する。撮像装置100は、例えば、選択された画像データを記録し、それ以外を削除する。これにより、撮像装置100は、適切な撮像タイミングで撮像した、ユーザが所望する明るさの画像データを記録することができる。
なお、通常モードが設定された場合、タイミングT1からT3まで画素信号が保持され、タイミングT1からT3までの1回目のAD変換のみが行われる。これにより、1回の露光で、所定の明るさの1枚の画像データが生成される。
図10は、本技術の第1の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。同図は、図9のタイミングT0乃至T1の期間の詳細を示す。
図10において垂直走査回路211は、露光開始の直前のタイミングT10から、パルス期間経過後のタイミングT11に亘って、全ての行(言い換えれば、全画素)にハイレベルのFDリセット信号rstおよび転送信号trgを供給する。これにより、全画素がPDリセットされ、全行で同時に露光が開始される。
ここで、同図のrst_[n]およびtrg_[n]は、N行のうちn行目の画素への信号を示す。Nは全行数を示す整数であり、nは、1乃至Nの整数である。
そして、露光期間の終了直前のタイミングT12において、垂直走査回路211は、全画素において後段リセット信号rstbおよび選択信号Φrをハイレベルにしつつ、パルス期間に亘ってハイレベルのFDリセット信号rstを供給する。これにより、全画素がFDリセットされ、リセットレベルがサンプルホールドされる。ここで、同図のrstb_[n]およびΦr_[n]は、n行目の画素への信号を示す。
タイミングT12の後のタイミングT13において、垂直走査回路211は、選択信号Φrをローレベルに戻す。
露光終了のタイミングT14において、垂直走査回路211は、全画素において後段リセット信号rstbおよび選択信号Φsをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号trgを供給する。これにより、信号レベルがサンプルホールドされる。また、前段ノード319のレベルは、リセットレベル(VDD-Vgs)から、信号レベル(VDD-Vgs-Vsig)に低下する。ここで、VDDは、電源電圧であり、Vsigは、CDS処理により得られる正味の信号レベルである。Vgsは、前段増幅トランジスタ315のゲート-ソース間電圧である。また、同図のΦs_[n]は、n行目の画素への信号を示す。
タイミングT14の後のタイミングT15において、垂直走査回路211は、選択信号Φsをローレベルに戻す。
また、垂直走査回路211は、全行(全画素)の電流源トランジスタ316を制御して電流id1を供給させる。ここで、同図のid1_[n]は、n行目の画素の電流を示す。電流idが大電流となるとIRドロップが大きくなるため、電流id1は数ナノアンペア(nA)乃至数十ナノアンペア(nA)のオーダーにする必要がある。一方、全列の負荷MOSトランジスタ251は、オフ状態であり、垂直信号線309に電流id2は供給されない。
図11は、本技術の第1の実施の形態における読出し動作の一例を示すタイミングチャートである。同図は、図9のタイミングT1乃至T3の期間のうち1行分の読出し期間の詳細を示す。
図11のタイミングT20からタイミングT27までの第n行の読出し期間において、垂直走査回路211は、第n行のFDリセット信号rstおよび後段選択信号selbをハイレベルにする。また、読出し期間において、全行の後段リセット信号rstbは、ローレベルに制御される。ここで、同図のselb_[n]は、n行目の画素への信号を示す。
タイミングT20の直後のタイミングT21からタイミングT23までの期間に亘って垂直走査回路211は、第n行にハイレベルの選択信号Φrを供給する。後段ノード340の電位は、リセットレベルVrstとなる。
タイミングT21の後のタイミングT22からタイミングT23の期間に亘って、DAC213は、ランプ信号Rmpを徐々に上昇させる。ADC270は、ランプ信号Rmpと垂直信号線309のレベルVrst'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、P相レベル(リセットレベル)が読み出される。
タイミングT23の直後のタイミングT24からパルス期間に亘って、垂直走査回路211は、第n行にハイレベルの後段リセット信号rstbを供給する。これにより、後段ノード340に寄生容量が存在する際に、その寄生容量に保持される前回の信号の履歴を消去することができる。
後段ノード340の初期化直後のタイミングT25からタイミングT27までの期間に亘って垂直走査回路211は、第n行にハイレベルの選択信号Φsを供給する。後段ノード340の電位は、信号レベルVsigとなる。露光時においては、リセットレベルより信号レベルの方が低かったが、読出しの際においては、後段ノード340を基準とするため、リセットレベルより信号レベルの方が高くなる。リセットレベルVrstと信号レベルVsigとの差分が、FDのリセットノイズやオフセットノイズを除去した正味の信号レベルに該当する。
タイミングT25の後のタイミングT26からタイミングT27の期間に亘って、DAC213は、ランプ信号Rmpを徐々に上昇させる。ADC270は、ランプ信号Rmpと垂直信号線309のレベルVrst'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、D相レベル(信号レベル)が読み出される。
また、垂直走査回路211は、タイミングT20からタイミングT27の期間に亘って読み出す対象の第n行の電流源トランジスタ316を制御して電流id1を供給させる。また、タイミング制御回路212は、全行の読出し期間内において、全列の負荷MOSトランジスタ251を制御して電流id2を供給させる。
なお、固体撮像素子200は、リセットレベルの後に、信号レベルを読み出しているが、この順番に限定されない。固体撮像素子200は、信号レベルの後に、リセットレベルを読み出すこともできる。この場合に垂直走査回路211は、ハイレベルの選択信号Φsの後に、ハイレベルの選択信号Φrを供給する。また、ランプ信号のスロープの傾きを逆にする必要がある。
ここで、サンプルホールド回路320が画素ごとに配置されない構成を比較例として想定する。
図12は、比較例における固体撮像素子の動作の一例を示すタイミングチャートである。比較例において、ゲイン切替モードが設定されると、タイミングT1以降に、ローリングシャッター方式により、露光が3回に亘って行われる。同図において斜めに引かれた実線は、露光の開始タイミングを示し、一点鎖線は、露光の終了タイミングを示す。
ある行に着目すると、タイミングT11から露光期間に亘って、その行が露光される。タイミングT12以降にADC270は、アナログゲインGAにより、着目した行の画素信号を増幅するとともに、その行の画素信号をAD変換する。タイミングT13以降にデジタル信号処理部290は、AD変換後の画素信号のそれぞれに対して信号処理を行う。これにより1枚目の画像データが生成される。
タイミングT14から露光期間に亘って、着目した行が露光される。タイミングT15以降にADC270は、アナログゲインGBにより、着目した行の画素信号を増幅するとともに、その行の画素信号をAD変換する。タイミングT16以降にデジタル信号処理部290は、AD変換後の画素信号のそれぞれに対して信号処理を行う。これにより2枚目の画像データが生成される。
そして、タイミングT17から露光期間に亘って、着目した行が露光される。タイミングT18以降にADC270は、アナログゲインGCにより、着目した行の画素信号を増幅するとともに、その行の画素信号をAD変換する。タイミングT19以降にデジタル信号処理部290は、AD変換後の画素信号のそれぞれに対して信号処理を行う。これにより3枚目の画像データが生成される。
上述したように比較例では、ローリングシャッター方式により行単位で露光が行われる。また、アナログゲインの切り替えにより、比較例においても3枚の画像データを生成することができる。しかし、3枚の画像データのそれぞれに対応する露光開始タイミングが異なるため、被写体が動くと、画像データ内の被写体の位置や形状が変わってしまうおそれがある。この結果、適切な撮像タイミングで所望の明るさの画像データを撮像することができないことがある。
例えば、1枚目の画像データが適切な撮像タイミングで撮像されたものであり、2枚目の画像データの明るさがユーザの所望する明るさである場合を考える。この場合は、1枚目の画像データは、ユーザが所望する明るさではなく、2枚目および3枚目の画像データは、被写体の位置や形状が1枚目と異なることがある。このように、比較例では、適切な撮像タイミングで所望の明るさの画像データを撮像する機会を逸してしまうおそれがある。
これに対して、サンプルホールド回路320を画素ごとに配置し、ホールド期間内にゲインを切り替える図6の制御を行えば、1回の露光で複数の明るさの画像データを生成することができる。これにより、比較例と比較して、撮像機会の逸失を防止することができる。
図13は、本技術の第1の実施の形態における画像データの一例を示す図である。同図におけるaは、アナログゲインGAを用いて生成した画像データ601を示し、同図におけるbは、アナログゲインGBを用いて生成した画像データ602を示す。同図におけるcは、アナログゲインGCを用いて生成した画像データ603を示す。
アナログゲインGBは、アナログゲインGAより大きく、アナログゲインGCより小さいものとする。この場合、画像データ602は、画像データ601より明るくなり、画像データ603より暗くなる。
また、前述したようにサンプルホールド回路320のホールド期間内にゲインを切り替えているため、3枚の画像データの露光開始および露光終了のタイミングは同一である。この結果、花火などの動く被写体であっても、その被写体の画像データ内の位置や形状は変わらない。
図14は、比較例における画像データの一例を示す図である。同図におけるaは、アナログゲインGAを用いて生成した画像データ604を示し、同図におけるbは、アナログゲインGBを用いて生成した画像データ605を示す。同図におけるcは、アナログゲインGCを用いて生成した画像データ606を示す。
同図に例示するようにアナログゲインの相違により、3枚の画像データの明るさが異なる。しかし、比較例では、3枚の画像データのそれぞれの露光開始タイミングが異なる。このため、花火などの動く被写体の場合、その被写体の位置や形状が3枚のそれぞれで変わってしまう。この結果、適切な撮像タイミングで所望の明るさの画像データを撮像する機会を逸してしまうおそれがある。
図15は、本技術の第1の実施の形態における撮像装置100の動作の一例を示すフローチャートである。この動作は、例えば、ゲイン切替モードが設定されたときに開始される。
撮像装置100は、グローバルシャッター方式による露光を行う(ステップS901)。そして、各画素のサンプルホールド回路320は、画素信号をサンプルホールドする(ステップS902)。撮像装置100内のタイミング制御回路212は、ホールド期間内に複数のゲインのいずれかを選択してADC270に指示する(ステップS903)。ADC270は、指示されたゲインにより画素信号を増幅するとともに、AD変換する(ステップS904)。撮像装置100内のデジタル信号処理部290は、AD変換後の画素信号のそれぞれに対して信号処理を行う(ステップS905)。
タイミング制御回路212は、ゲイン切替モードで用いる全てのゲインを選択したか否かを判断する(ステップS906)。全ゲインを選択していない場合(ステップS906:No)、撮像装置100は、ステップS903以降を繰り返す。一方、全ゲインが選択された場合(ステップS906:Yes)、撮像装置100は、明るさの異なる複数の画像データのいずれかをユーザに選択させるための画面を表示し、撮像のための動作を終了する。
なお、露光を複数回に亘って連続して行う場合、垂直同期信号XVSに同期してステップS901乃至S906が繰り返し実行される。
このように、本技術の第1の実施の形態によれば、サンプルホールド回路320のホールド期間内に、タイミング制御回路212が複数のゲインを順に指示するため、固体撮像素子200は、1回の露光で明るさの異なる複数の画像データを生成することができる。これにより、撮像機会の逸失を防止することができる。
[第1の変形例]
上述の第1の実施の形態では、ユーザにより選択された明るさの画像データを記録していたが、この構成では、撮像のたびにユーザが明るさを選択する必要がある。この第1の実施の形態の第1の変形例における固体撮像素子200は、ユーザにより選択された明るさに対応するゲインの値を保持しておく点において第1の実施の形態と異なる。
上述の第1の実施の形態では、ユーザにより選択された明るさの画像データを記録していたが、この構成では、撮像のたびにユーザが明るさを選択する必要がある。この第1の実施の形態の第1の変形例における固体撮像素子200は、ユーザにより選択された明るさに対応するゲインの値を保持しておく点において第1の実施の形態と異なる。
図16は、本技術の第1の実施の形態の第1の変形例における固体撮像素子200の一構成例を示すブロック図である。この第1の実施の形態の第1の変形例の固体撮像素子200は、設定値保持部214をさらに備える点において第1の実施の形態と異なる。設定値保持部214として、レジスタなどが用いられる。なお、設定値保持部214を、固体撮像素子200の外部に配置することもできる。
DSP回路120は、ゲイン切替モードにおいてユーザにより、明るさが選択されると、その明るさに対応するゲインの値を設定値として設定値保持部214に保持させる。そして、通常モードが設定されると、固体撮像素子200は、設定値保持部214に保持された設定値のゲインにより画素信号を増幅する。設定値保持部214の設定値は、ゲイン切替モードが設定されたとき、または、撮像装置100の電源オフの際に初期化される。
図17は、本技術の第1の実施の形態における撮像装置100の動作の一例を示すフローチャートである。ゲイン切替モードが設定されると、DSP回路120は、設定値保持部214の設定値を初期化する(ステップS911)。そして、固体撮像素子200は、ステップS901乃至S906を実行する。
全ゲインが選択された場合(ステップS906:Yes)、撮像装置100は、明るさの異なる複数の画像データのいずれかをユーザに選択させるための画面を表示し、ユーザの選択操作があったか否かを判断する(ステップS912)。
選択操作がない場合(ステップS912:No)、撮像装置100は、ステップS912を繰り返す。一方、選択操作があった場合(ステップS912:Yes)、撮像装置100は、ユーザにより選択された明るさに対応するゲインの値を設定値として設定値保持部214に保持し(ステップS913)、通常モードに移行して動作を終了する。以降の通常モードにおいて撮像の際に、設定値保持部214の設定値のゲインにより画素信号が増幅される。また、設定値保持部214は、電源オフの際に初期化される。
上述したように、設定値保持部214が、ユーザの操作に従って複数のゲインのいずれかの値を保持しておくことにより、通常モードにおいてユーザは撮像のたびに明るさを選択する必要が無くなり、撮像装置100の利便性が向上する。
このように、本技術の第1の実施の形態の第1の変形例によれば、設定値保持部214は、ユーザの操作に従って複数のゲインのいずれかの値を保持するため、撮像装置100の利便性を向上させることができる。
[第2の変形例]
上述の第1の実施の形態では、撮像装置100は、所望の明るさをユーザに選択させるために、明るさの異なる複数の画像データを表示していたが、これらの画像データを機械学習に用いることもできる。この第1の実施の形態の第2の変形例における撮像装置100は、明るさの異なる複数の画像データを用いて、機械学習を行う点において第1の実施の形態と異なる。
上述の第1の実施の形態では、撮像装置100は、所望の明るさをユーザに選択させるために、明るさの異なる複数の画像データを表示していたが、これらの画像データを機械学習に用いることもできる。この第1の実施の形態の第2の変形例における撮像装置100は、明るさの異なる複数の画像データを用いて、機械学習を行う点において第1の実施の形態と異なる。
図18は、本技術の第1の実施の形態の第2の変形例におけるDSP回路120の一構成例を示すブロック図である。この第1の実施の形態の第2の変形例のDSP回路120は、データセット生成部121、データセット保持部122、機械学習部123、学習結果保持部124、画像認識部125および画像処理部126を備える。
データセット生成部121には、ゲイン切替モードで撮像された複数の画像データが入力される。データセット生成部121は、それらの画像データから、機械学習で用いるデータセットを生成する。例えば、明るさの異なるM枚の画像データが生成された場合、データセット生成部121は、M枚のいずれかを基準画像とし、残りの画像データのそれぞれと基準画像との差分画像を生成し、これらの差分画像をデータセットとする。データセット生成部121は、M-1枚の差分画像を含むデータセットをデータセット保持部122に保持させる。
機械学習部123は、データセットを用いて、基準画像内の被写体を認識するための機械学習を行うものである。この機械学習部123は、学習結果を学習結果保持部124に保持させる。
画像認識部125には、通常モードで撮像された画像データが入力される。画像認識部125は、学習結果に基づいて、画像データに対して画像認識を行い、認識結果を画像処理部126に供給する。
画像処理部126には、通常モードで撮像された画像データが入力される。画像処理部126は、認識結果に基づいて、画像データに対し、各種の画像処理を行う。処理後の画像データは、バス150を介して記憶部170や表示部130に供給される。
通常モードや比較例では、明るさの異なるM枚の画像データを生成するにはM回の露光が必要になるが、ゲイン切替モードでは、1回の露光により、それらの画像データを生成することができる。このため、データセットの生成に必要な露光回数を削減することができる。
このように、本技術の第1の実施の形態の第2の変形例によれば、撮像装置100は、ゲイン切替モード時の複数の画像データを用いて機械学習を行うため、データセットの生成に必要な露光回数を削減することができる。
<2.第2の実施の形態>
上述の第1の実施の形態では、容量比やランプ信号の変動速度の変更により、ADC270のアナログゲインを切り替えていた。しかし、容量比を変更する場合には、ADC270の回路規模が大きくなる。また、ランプ信号の変動速度を変更する場合には、変動速度を遅くするほど、AD変換時間が長くなってしまう。この第2の実施の形態における固体撮像素子200は、画素内の増幅回路のアナログゲインを切り替える点において第1の実施の形態と異なる。
上述の第1の実施の形態では、容量比やランプ信号の変動速度の変更により、ADC270のアナログゲインを切り替えていた。しかし、容量比を変更する場合には、ADC270の回路規模が大きくなる。また、ランプ信号の変動速度を変更する場合には、変動速度を遅くするほど、AD変換時間が長くなってしまう。この第2の実施の形態における固体撮像素子200は、画素内の増幅回路のアナログゲインを切り替える点において第1の実施の形態と異なる。
図19は、本技術の第2の実施の形態における画素300の一構成例を示す回路図である。この第2の実施の形態の画素300は、増幅回路360をさらに備える点において第1の実施の形態と異なる。
増幅回路360は、制御信号Gctrlにより指示されたアナログゲインにより、サンプルホールド回路320からの画素信号(信号レベルおよびリセットレベル)を増幅し、後段回路350に供給するものである。この増幅回路360は、抵抗361、可変抵抗362、pMOSトランジスタ363およびnMOSトランジスタ364を備える。
pMOSトランジスタ363およびnMOSトランジスタ364は、pMOSトランジスタ363を電源側として、電源電圧と接地電圧との間において直列に接続される。nMOSトランジスタ364のゲートは、サンプルホールド回路320に接続される。pMOSトランジスタ363およびnMOSトランジスタ364の接続ノードは、後段回路350に接続される。
抵抗361は、pMOSトランジスタ363のゲートと接地電位との間に挿入される。可変抵抗362は、pMOSトランジスタ363のゲートと、pMOSトランジスタ363およびnMOSトランジスタ364の接続ノードとの間に挿入される。また、可変抵抗362の抵抗値は、制御信号Gctrlにより制御される。
同図に例示するように、第2の実施の形態では、画素内の増幅回路360のアナログゲインを切り替えるため、ADC270の容量比や、ランプ信号の変動速度を変更する必要が無くなる。
なお、第2の実施の形態に、第1の実施の形態の第1の変形例や第2の変形例を適用することができる。
このように、本技術の第2の実施の形態によれば、画素内の増幅回路360のアナログゲインを切り替えるため、容量比を変更する場合と比較してADC270の回路規模を削減することができる。また、ランプ信号の変動速度を変更する場合と比較して、AD変換時間を短くすることができる。
<3.第3の実施の形態>
上述の第1の実施の形態では、容量比やランプ信号の変動速度の変更により、ADC270のアナログゲインを切り替えていた。しかし、容量比を変更する場合には、ADC270の回路規模が大きくなる。また、ランプ信号の変動速度を変更する場合には、変動速度を遅くするほど、AD変換時間が長くなってしまう。この第3の実施の形態における固体撮像素子200は、AD変換後の画素信号に対するデジタルゲインを切り替える点において第1の実施の形態と異なる。
上述の第1の実施の形態では、容量比やランプ信号の変動速度の変更により、ADC270のアナログゲインを切り替えていた。しかし、容量比を変更する場合には、ADC270の回路規模が大きくなる。また、ランプ信号の変動速度を変更する場合には、変動速度を遅くするほど、AD変換時間が長くなってしまう。この第3の実施の形態における固体撮像素子200は、AD変換後の画素信号に対するデジタルゲインを切り替える点において第1の実施の形態と異なる。
図20は、本技術の第3の実施の形態におけるカラム信号処理回路260の一構成例を示すブロック図である。この第3の実施の形態において、タイミング制御回路212は、ADC270のアナログゲインを切り替えない。このため、ADC270のコンパレータの容量比は固定であり、容量比を切り替えるための容量やスイッチが不要となる。
また、第3の実施の形態のデジタル信号処理部290は、複数の乗算器293と、後段処理部294とを備える。乗算器293は、列ごとに配置される。
乗算器293は、AD変換後の画素信号(リセットレベルおよび信号レベル)に対し、タイミング制御回路212からのデジタルゲインを乗算し、乗算結果を後段処理部294に供給するものである。これにより、リセットレベルおよび信号レベルのそれぞれがデジタルゲインにより増幅される。
なお、乗算器293は、CDS処理前のリセットレベルおよび信号レベルをデジタルゲインにより増幅しているが、CDS処理後の正味の信号レベルをデジタルゲインにより増幅することもできる。この場合、例えば、ADC270がAD変換に加えてCDS処理も行う。あるいは、ADC270の後段にCDS処理を行う回路を挿入することもできる。
後段処理部294は、増幅後の画素信号に対し、各種の信号処理を行うものである。
上述のように、AD変換後の画素信号をデジタルゲインにより増幅することにより、ADC270の容量比や、ランプ信号の変動速度を変更する必要が無くなる。
なお、第3の実施の形態に、第1の実施の形態の第1の変形例や第2の変形例を適用することができる。
このように、本技術の第3の実施の形態によれば、乗算器293が、AD変換後の画素信号をデジタルゲインにより増幅するため、容量比を変更する場合と比較してADC270の回路規模を削減することができる。また、ランプ信号の変動速度を変更する場合と比較して、AD変換時間を短くすることができる。
<4.第4の実施の形態>
上述の第1の実施の形態では、前段回路310が前段ノード319に接続されたままで信号を読み出していたが、この構成では、読出しの際に前段ノード319からのノイズを遮断することができない。この第4の実施の形態の画素300は、前段回路310と前段ノード319との間にトランジスタを挿入した点において第1の実施の形態と異なる。
上述の第1の実施の形態では、前段回路310が前段ノード319に接続されたままで信号を読み出していたが、この構成では、読出しの際に前段ノード319からのノイズを遮断することができない。この第4の実施の形態の画素300は、前段回路310と前段ノード319との間にトランジスタを挿入した点において第1の実施の形態と異なる。
図21は、本技術の第4の実施の形態における画素300の一構成例を示す回路図である。この第4の実施の形態の画素300は、前段リセットトランジスタ323および前段選択トランジスタ324をさらに備える点において第1の実施の形態と異なる。また、第4の実施の形態の前段回路310および後段回路350の電源電圧をVDD1とする。
前段リセットトランジスタ323は、前段ノード319のレベルを電源電圧VDD2により初期化するものである。この電源電圧VDD2は、次の式を満たす値に設定することが望ましい。
VDD2=VDD1-Vgs ・・・式1
上式において、Vgsは、前段増幅トランジスタ315のゲート-ソース間電圧である。
VDD2=VDD1-Vgs ・・・式1
上式において、Vgsは、前段増幅トランジスタ315のゲート-ソース間電圧である。
式1を満たす値に設定することにより、暗いときの前段ノード319と後段ノード340との間の電位変動を少なくすることができる。これにより、感度不均一性 (PRNU: Photo Response Non-Uniformity)を改善することができる。
前段選択トランジスタ324は、垂直走査回路211からの前段選択信号selに従って、前段回路310と前段ノード319との間の経路を開閉するものである。
図22は、本技術の第4の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第4の実施の形態タイミングチャートは、垂直走査回路211が前段リセット信号rstaおよび前段選択信号selをさらに供給する点において第1の実施の形態と異なる。同図において、rsta_[n]およびsel_[n]は、第n行の画素への信号を示す。
垂直走査回路211は、露光終了の直前のタイミングT12からタイミングT15に亘って全画素へハイレベルの前段選択信号selを供給する。前段リセット信号rstaは、ローレベルに制御される。
図23は、本技術の第4の実施の形態における読出し動作の一例を示すタイミングチャートである。各行の読出しの際に前段選択信号selはローレベルに制御される。この制御により、前段選択トランジスタ324が開状態に移行して、前段ノード319が前段回路310から切り離される。これにより、読出しの際に前段ノード319からのノイズを遮断することができる。
また、タイミングT20からタイミングT27までの第n行の読出し期間において、垂直走査回路211は、第n行にハイレベルの前段リセット信号rstaを供給する。
また、読出しの際に、垂直走査回路211は、全画素の電流源トランジスタ316を制御して電流id1の供給を停止させる。電流id2は、第1の実施の形態と同様に供給される。このように、第1の実施の形態と比較して、電流id1の制御がシンプルとなる。
なお、第4の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2、第3の実施の形態を適用することができる。
このように、本技術の第4の実施の形態によれば、読出しの際に前段選択トランジスタ324が開状態に移行し、前段回路310を前段ノード319から切り離すため、前段回路310からのノイズを遮断することができる。
[第1の変形例]
上述の第4の実施の形態では、固体撮像素子200内の回路を単一の半導体チップに設けていたが、この構成では、画素300を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第4の実施の形態の第1の変形例の固体撮像素子200は、固体撮像素子200内の回路を2つの半導体チップに分散して配置した点において第4の実施の形態と異なる。
上述の第4の実施の形態では、固体撮像素子200内の回路を単一の半導体チップに設けていたが、この構成では、画素300を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第4の実施の形態の第1の変形例の固体撮像素子200は、固体撮像素子200内の回路を2つの半導体チップに分散して配置した点において第4の実施の形態と異なる。
図24は、本技術の第4の実施の形態の第1の変形例における固体撮像素子200の積層構造の一例を示す図である。第4の実施の形態の第1の変形例の固体撮像素子200は、下側画素チップ202と、その下側画素チップ202に積層された上側画素チップ201とを備える。これらのチップは、例えば、Cu-Cu接合により電気的に接続される。なお、Cu-Cu接合の他、ビアやバンプにより接続することもできる。
上側画素チップ201には、上側画素アレイ部221が配置される。下側画素チップ202には、下側画素アレイ部222とカラム信号処理回路260とが配置される。画素アレイ部220内の画素ごとに、その一部が、上側画素アレイ部221に配置され、残りが下側画素アレイ部222に配置される。
また、下側画素チップ202には、垂直走査回路211、タイミング制御回路212、DAC213および負荷MOS回路ブロック250も配置される。これらの回路は、同図において省略されている。
また、上側画素チップ201は、例えば、画素専用のプロセスで製造され、下側画素チップ202は、例えば、CMOSプロセスで製造される。
図25は、本技術の第4の実施の形態の第1の変形例における画素300の一構成例を示す回路図である。画素300のうち、前段回路310は、上側画素チップ201に配置され、それ以外の回路や素子(容量素子321および322など)は、下側画素チップ202に配置される。なお、電流源トランジスタ316をさらに下側画素チップ202に配置することもできる。同図に例示するように、画素300内の素子を、積層した上側画素チップ201および下側画素チップ202に分散して配置することにより、画素の面積を小さくすることができ、画素の微細化が容易になる。
なお、第4の実施の形態の第1の変形例に、第1、第2、第3の実施の形態を適用することができる。
このように、本技術の第4の実施の形態の第1の変形例によれば、画素300内の回路や素子を2つの半導体チップに分散して配置するため、画素の微細化が容易になる。
[第2の変形例]
上述の第4の実施の形態の第1の変形例では、画素300の一部と周辺回路(カラム信号処理回路260など)とを下側の下側画素チップ202に設けていた。しかし、この構成では、周辺回路の分、下側画素チップ202側の回路や素子の配置面積が上側画素チップ201より大きくなり、上側画素チップ201に、回路や素子の無い無駄なスペースが生じるおそれがある。この第4の実施の形態の第2の変形例の固体撮像素子200は、固体撮像素子200内の回路を3つの半導体チップに分散して配置した点において第4の実施の形態の第1の変形例と異なる。
上述の第4の実施の形態の第1の変形例では、画素300の一部と周辺回路(カラム信号処理回路260など)とを下側の下側画素チップ202に設けていた。しかし、この構成では、周辺回路の分、下側画素チップ202側の回路や素子の配置面積が上側画素チップ201より大きくなり、上側画素チップ201に、回路や素子の無い無駄なスペースが生じるおそれがある。この第4の実施の形態の第2の変形例の固体撮像素子200は、固体撮像素子200内の回路を3つの半導体チップに分散して配置した点において第4の実施の形態の第1の変形例と異なる。
図26は、本技術の第4の実施の形態の第2の変形例における固体撮像素子200の積層構造の一例を示す図である。第4の実施の形態の第2の変形例の固体撮像素子200は、上側画素チップ201、下側画素チップ202および回路チップ203を備える。これらのチップは積層され、例えば、Cu-Cu接合により電気的に接続される。なお、Cu-Cu接合の他、ビアやバンプにより接続することもできる。
上側画素チップ201には、上側画素アレイ部221が配置される。下側画素チップ202には、下側画素アレイ部222が配置される。画素アレイ部220内の画素ごとに、その一部が、上側画素アレイ部221に配置され、残りが下側画素アレイ部222に配置される。
また、回路チップ203には、カラム信号処理回路260、垂直走査回路211、タイミング制御回路212、DAC213および負荷MOS回路ブロック250が配置される。カラム信号処理回路260以外の回路は、同図において省略されている。
なお、第4の実施の形態の第2の変形例に、第1、第2、第3の実施の形態を適用することができる。
同図に例示したように3層構成にすることにより、2層構成と比較して無駄なスペースを削減し、さらに画素を微細化することができる。また、2層目の下側画素チップ202を、容量やスイッチのための専用のプロセスで製造することができる。
このように、本技術の第4の実施の形態の第2の変形例では、固体撮像素子200内の回路を3つの半導体チップに分散して配置するため、2つの半導体チップに分散して配置する場合と比較してさらに画素を微細化することができる。
<5.第5の実施の形態>
上述の第1の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第5の実施の形態の固体撮像素子200は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第1の実施の形態と異なる。
上述の第1の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第5の実施の形態の固体撮像素子200は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第1の実施の形態と異なる。
図27は、本技術の第5の実施の形態における画素300の一構成例を示す回路図である。この第5の実施の形態の画素300は、前段回路310内に排出トランジスタ317をさらに備える点において第1の実施の形態と異なる。
排出トランジスタ317は、垂直走査回路211からの排出信号оfgに従って光電変換素子311から電荷を排出するオーバーフロードレインとして機能するものである。排出トランジスタ317として、例えば、nMOSトランジスタが用いられる。
第1の実施の形態のように、排出トランジスタ317を設けない構成では、全画素について光電変換素子311からFD314へ電荷を転送した際に、ブルーミングが生じることがある。そして、FDリセットの際にFD314と前段ノード319の電位が降下する。この電位降下に追従して、容量素子321および322の充放電の電流が発生し続け、電源やグランドのIRドロップが、ブルーミングの無い定常状態から変化してしまう。
その一方で、全画素の信号レベルのサンプルホールドの際には、信号電荷の転送後、光電変換素子311内の電荷が空の状態になるため、ブルーミングが発生しなくなり、電源やグランドのIRドロップが、ブルーミングの無い定常状態となる。これらのリセットレベル、信号レベルをサンプルホールドの際のIRドロップの違いに起因して、ストリーキングノイズが生じる。
これに対して、排出トランジスタ317を設けた第5の実施の形態では、光電変換素子311の電荷がオーバーフロードレイン側に排出される。このため、リセットレベル、信号レベルをサンプルホールドの際のIRドロップが同程度となり、ストリーキングノイズを抑制することができる。
図28は、本技術の第5の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。露光開始のタイミング前のタイミングT0において、垂直走査回路211は、全画素の排出信号оfgをハイレベルにしつつ、全画素にハイレベルのFDリセット信号rstをパルス期間に亘って供給する。これにより、全画素についてPDリセットおよびFDリセットが行われる。また、リセットレベルがサンプルホールドされる。ここで、同図のоfg_[n]は、N行のうちn行目の画素への信号を示す。
そして、露光開始のタイミングT1において、垂直走査回路211は、全画素の排出信号оfgをローレベルに戻す。そして、露光終了の直前のタイミングT2から露光終了のT3までの期間に亘って、垂直走査回路211は、全画素にハイレベルの転送信号trgを供給する。これにより、信号レベルがサンプルホールドされる。
第1の実施の形態のように、排出トランジスタ317を設けない構成では、露光開始時(すなわち、PDリセット時)に転送トランジスタ312およびFDリセットトランジスタ313の両方をオン状態にしなければならない。この制御では、PDリセットの際に、同時にFD314もリセットしなければならない。このため、露光期間内に再度FDリセットを行い、リセットレベルをサンプルホールドする必要があり、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。全画素のリセットレベルをサンプルホールドする際には、電圧や電流が静定するまでにある程度の待ち時間が必要になり、例えば、数マイクロ秒(μs)から数十マイクロ秒(μs)のサンプルホールド期間が必要となる。
これに対して、排出トランジスタ317を設ける第5の実施の形態では、PDリセットとFDリセットとを個別に行うことができる。このため、同図に例示するように、PDリセットの解除(露光開始)前にFDリセットを行って、リセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
なお、第5の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2から第4の実施の形態を適用することができる。
このように、本技術の第5の実施の形態によれば、光電変換素子311から電荷を排出する排出トランジスタ317を設けたため、露光開始前にFDリセットを行ってリセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
<6.第6の実施の形態>
上述の第1の実施の形態では、電源電圧VDDによりFD314を初期化していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第6の実施の形態の固体撮像素子200は、FDリセットトランジスタ313の電源を読出しの際に低下させることにより、PRNUを改善する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、電源電圧VDDによりFD314を初期化していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第6の実施の形態の固体撮像素子200は、FDリセットトランジスタ313の電源を読出しの際に低下させることにより、PRNUを改善する点において第1の実施の形態と異なる。
図29は、本技術の第6の実施の形態における画素300の一構成例を示す回路図である。この第3の実施の形態の画素300は、FDリセットトランジスタ313の電源が、画素300の電源電圧VDDと分離されている点において第1の実施の形態と異なる。
第6の実施の形態のFDリセットトランジスタ313のドレインは、リセット電源電圧VRSTに接続される。このリセット電源電圧VRSTは、例えば、タイミング制御回路212により制御される。
ここで、図30および図31を参照して、第1の実施の形態の画素300におけるPRNUの悪化について考える。第1の実施の形態では、図30に例示するように露光開始時直前のタイミングT10において、FD314の電位は、FDリセットトランジスタ313のリセットフィードスルーにより低下する。この変動量をVftとする。
第1の実施の形態では、FDリセットトランジスタ313の電源電圧はVDDであるため、タイミングT10において、FD314の電位は、VDDから、VDD-Vftに変動する。また、露光時の前段ノード319の電位は、VDD-Vft-Vsigとなる。
また、第1の実施の形態では、図31に例示するように読出しの際にFDリセットトランジスタ313がオン状態に移行し、FD314が、電源電圧VDDに固定される。そのFD314の変動量Vftにより、読出しの際の前段ノード319および後段ノード340の電位を、Vft程度高くシフトする。ただし、容量素子321および322の容量値のばらつきや、寄生容量により、シフトする電圧量が画素ごとにばらつき、PRNU悪化の元になる。
前段ノード319がVftだけ遷移した場合の後段ノード340の遷移量は、例えば、次の式により表される。
{(Cs+δCs)/(Cs+δCs+Cp)}*Vft ・・・式2
上式において、Csは、信号レベル側の容量素子322の容量値であり、δCsは、Csのばらつきである。Cpは、後段ノード340の寄生容量の容量値である。
{(Cs+δCs)/(Cs+δCs+Cp)}*Vft ・・・式2
上式において、Csは、信号レベル側の容量素子322の容量値であり、δCsは、Csのばらつきである。Cpは、後段ノード340の寄生容量の容量値である。
式2は、次の式に近似することができる。
{1-(δCs/Cs)*(Cp/Cs)}*Vft ・・・式3
{1-(δCs/Cs)*(Cp/Cs)}*Vft ・・・式3
式3より、後段ノード340のばらつきは、次の式により表すことができる。
{(δCs/Cs)*(Cp/Cs)}*Vft ・・・式4
(δCs/Cs)を10-2とし、(Cp/Cs)を10-1とし、Vftを400ミリボルト(mV)とすると、式4よりPRNUは、400μVrmsとなり、比較的大きな値となる。
特に、入力換算の容量のサンプリングホールド時のkTCノイズを小さくする際には、FD314の電荷電圧変換効率を大きくする必要がある。電荷電圧変換効率を大きくするにはFD314の容量を小さくしなければならないが、FD314の容量が小さいほど変動量Vftが大きくなり、数百ミリボルト(mV)になりうる。この場合、式4よりPRNUの影響が無視できないレベルになりうる。
図32は、本技術の第6の実施の形態における電圧制御の一例を示すタイミングチャートである。
タイミング制御回路212は、タイミングT9以降の行単位の読出し期間において、リセット電源電圧VRSTを露光期間と異なる値に制御する。
例えば、露光期間において、タイミング制御回路212は、リセット電源電圧VRSTを電源電圧VDDと同じ値にする。一方、読出し期間においてタイミング制御回路212は、リセット電源電圧VRSTを、VDD-Vftに低下させる。すなわち、読出し期間において、タイミング制御回路212は、リセットフィードスルーによる変動量Vftに略一致する分だけ、リセット電源電圧VRSTを低下させる。この制御により、露光時と、読出しの際とにおいて、FD314のリセットレベルを揃えることができる。
リセット電源電圧VRSTの制御により、同図に例示するように、FD314と、前段ノード319との電圧変動量を低減することができる。これにより、容量素子321および322のばらつきや、寄生容量に起因するPRNUの悪化を抑制することができる。
なお、第6の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2から第5の実施の形態を適用することができる。
このように、本技術の第6の実施の形態によれば、読出しの際にタイミング制御回路212が、リセットフィードスルーによる変動量Vftだけリセット電源電圧VRSTを低下させるため、露光と読出しとでリセットレベルを揃えることができる。これにより、感度不均一性(PRNU)の悪化を抑制することができる。
<7.第7の実施の形態>
上述の第1の実施の形態では、フレーム毎にリセットレベルの次に信号レベルを読み出していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第7の実施の形態の固体撮像素子200は、フレームごとに、容量素子321に保持するレベルと容量素子322に保持するレベルとを入れ替えることにより、PRNUを改善する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、フレーム毎にリセットレベルの次に信号レベルを読み出していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第7の実施の形態の固体撮像素子200は、フレームごとに、容量素子321に保持するレベルと容量素子322に保持するレベルとを入れ替えることにより、PRNUを改善する点において第1の実施の形態と異なる。
第7の実施の形態の固体撮像素子200は、複数のフレームを垂直同期信号に同期して連続して撮像する。奇数番目の露光によるフレームを「奇数フレーム」と称し、偶数番目の露光によるフレームを「偶数フレーム」と称する。通常モードでは、奇数フレームと偶数フレームとが交互に生成される。一方、ゲイン切替モードでは、ゲインをM段階で切り替える場合、M枚の奇数フレームと、M枚の偶数フレームとが交互に生成される。
図33は、第7の実施の形態における奇数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。奇数フレームの露光期間内に固体撮像素子200内の前段回路310は、選択信号Φrの次に選択信号Φsをハイレベルにすることにより、リセットレベルを容量素子321に保持させ、次に信号レベルを容量素子322に保持させる。
図34は、本技術の第7の実施の形態における奇数フレームの読出し動作の一例を示すタイミングチャートである。奇数フレームの読出し期間内に固体撮像素子200内の後段回路350は、選択信号Φrの次に選択信号Φsをハイレベルにしてリセットレベルの次に信号レベルを読み出す。
図35は、第7の実施の形態における偶数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。偶数フレームの露光期間内に固体撮像素子200内の前段回路310は、選択信号Φsの次に選択信号Φrをハイレベルにすることにより、リセットレベルを容量素子322に保持させ、次に信号レベルを容量素子321に保持させる。
図36は、本技術の第7の実施の形態における偶数フレームの読出し動作の一例を示すタイミングチャートである。偶数フレームの読出し期間内に固体撮像素子200内の後段回路350は、選択信号Φsの次に選択信号Φrをハイレベルにしてリセットレベルの次に信号レベルを読み出す。
図33および図35に例示したように、偶数フレームと奇数フレームとで、容量素子321および322のそれぞれに保持されるレベルが逆になる。これにより、偶数フレームと奇数フレームとで、PRNUの極性も逆になる。後段のカラム信号処理回路260は、奇数フレームと偶数フレームとの加算平均を求める。これにより、極性が逆のPRNU同士を相殺することができる。
この制御は、動画の撮像や、フレーム同士の加算において有効な制御である。また、画素300に素子を追加する必要はなく、駆動方式の変更のみにより実現することができる。
なお、第7の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2から第6の実施の形態を適用することができる。
このように、本技術の第7の実施の形態では、奇数フレームと偶数フレームとで容量素子321に保持されるレベルと容量素子322に保持されるレベルとが逆になるため、奇数フレームと偶数フレームとでPRNUの極性を逆にすることができる。これらの奇数フレームおよび偶数フレームをカラム信号処理回路260が加算することにより、PRNUの悪化を抑制することができる。
<8.第8の実施の形態>
上述の第1の実施の形態では、カラム信号処理回路260は、カラム毎にリセットレベルと信号レベルとの差分を求めていた。しかし、この構成では、非常に高照度の光が画素に入射した際に、光電変換素子311から電荷が溢れることにより輝度が低下し、黒く沈んでしまう黒点現象が生じるおそれがある。この第8の実施の形態の固体撮像素子200は、黒点現象が生じたか否かを画素ごとに判定する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、カラム信号処理回路260は、カラム毎にリセットレベルと信号レベルとの差分を求めていた。しかし、この構成では、非常に高照度の光が画素に入射した際に、光電変換素子311から電荷が溢れることにより輝度が低下し、黒く沈んでしまう黒点現象が生じるおそれがある。この第8の実施の形態の固体撮像素子200は、黒点現象が生じたか否かを画素ごとに判定する点において第1の実施の形態と異なる。
図37は、本技術の第8の実施の形態におけるカラム信号処理回路260の一構成例を示す回路図である。この第8の実施の形態のカラム信号処理回路260には、複数のADC270とデジタル信号処理部290とが配置される。また、デジタル信号処理部290には、複数のCDS処理部291と複数のセレクタ292とが配置される。ADC270、CDS処理部291およびセレクタ292は、列ごとに設けられる。
また、ADC270は、コンパレータ280およびカウンタ271を備える。コンパレータ280は、垂直信号線309のレベルと、DAC213からのランプ信号Rmpとを比較し、比較結果VCOを出力するものである。比較結果VCOは、カウンタ271とタイミング制御回路212とに供給される。コンパレータ280は、セレクタ281と、容量素子282および283と、オートゼロスイッチ284および286と、比較器285とを備える。ADC270のアナログゲインを切り替える場合、容量素子282および283の代わりに容量比切替回路510を配置するか、ランプ信号の変動速度を変更すればよい。
セレクタ281は、入力側選択信号selinに従って、対応する列の垂直信号線309と、所定の参照電圧VREFのノードとのいずれかを比較器285の非反転入力端子(+)に、容量素子282を介して接続するものである。入力側選択信号selinは、タイミング制御回路212から供給される。
比較器285は、非反転入力端子(+)と反転入力端子(-)とのそれぞれのレベルを比較して、比較結果VCOをカウンタ271へ出力するものである。反転入力端子(-)には、容量素子283を介してランプ信号Rmpが入力される。
オートゼロスイッチ284は、タイミング制御回路212からのオートゼロ信号Azに従って、比較結果VCOの非反転入力端子(+)と出力端子とを短絡するものである。オートゼロスイッチ286は、オートゼロ信号Azに従って、比較結果VCOの反転入力端子(-)と出力端子とを短絡するものである。
カウンタ271は、比較結果VCOが反転するまでに亘って計数値を計数し、その計数値を示すデジタル信号CNT_outをCDS処理部291へ出力するものである。
CDS処理部291は、デジタル信号CNT_outに対してCDS処理を行うものである。このCDS処理部291は、リセットレベルに対応するデジタル信号CNT_outと、信号レベルに対応するデジタル信号CNT_outとの差分を演算し、CDS_outとしてセレクタ292に出力する。
セレクタ292は、タイミング制御回路212からの出力側選択信号selоutに従って、CDS処理後のデジタル信号CDS_outと、フルコードのデジタル信号FULLとのいずれかを対応する列の画素データとして出力するものである。
図38は、本技術の第8の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第8の実施の形態のグローバルシャッター時のトランジスタの制御方法は、第1の実施の形態と同様である。
ここで、画素300に非常に高照度の光が入射したものとする。この場合、光電変換素子311の電荷が満杯になり、光電変換素子311からFD314へと電荷があふれ出し、FDリセット後のFD314の電位が低下する。同図における一点鎖線は、溢れた電荷量が比較的少なくなる程度の弱い太陽光が入射した際のFD314の電位変動を示す。同図における点線は、溢れた電荷量が比較的多くなるような強い太陽光が入射した際のFD314の電位変動を示す。
弱い太陽光が入射した際は、FDリセットの完了したタイミングT13においてリセットレベルが低下しているが、この時点ではレベルが下がりきってない。
一方、強い太陽光が入射した際は、タイミングT13の時点でリセットレベルが下がりきってしまう。この場合、信号レベルがリセットレベルと同じになり、それらの電位差が「0」であるため、CDS処理後のデジタル信号が、暗状態の場合と同じになって黒く沈んでしまう。このように、太陽光などの非常に高照度の光が入射したにも関わらず、その画素が黒くなる現象は、黒点現象あるいはブルーミングと呼ばれる。
また、黒点現象の生じた画素のFD314のレベルが下がりすぎると、前段回路310の動作点が確保できなくなって、電流源トランジスタ316の電流id1が変動する。各画素の電流源トランジスタ316は、共通の電源やグランドに接続されているため、ある画素で電流が変動した際に、その画素のIRドロップの変動が、他の画素のサンプルレベルに影響を及ぼしてしまう。黒点現象の生じた画素がアグレッサーとなり、その画素によりサンプルレベルが変動した画素がビクティムとなる。この結果、ストリーキングノイズが生じる。
なお、第5の実施の形態のように排出トランジスタ317を設けた場合、黒点(ブルーミング)のある画素では、溢れた電荷が排出トランジスタ317側に捨てられるため、黒点現象が生じにくい。ただし、排出トランジスタ317を設けても、一部の電荷がFD314に流れる可能性があり、黒点現象の根治にはならない可能性がある。さらに、排出トランジスタ317の追加により、画素毎の有効面積/電荷量の比率が低下してしまうというデメリットもある。このため、排出トランジスタ317を用いずに、黒点現象を抑制することが望ましい。
排出トランジスタ317を用いずに黒点現象を抑制する方法として2つの方法が考えられる。1つ目は、FD314のクリップレベルの調整である。2つ目は、読出しの際に黒点現象が生じたか否かを判断して、黒点現象の生じた際に、出力をフルコードに置き換える方法である。
1つ目の方法に関して、同図のFDリセット信号rst(言い換えれば、FDリセットトランジスタ313のゲート)のハイレベルは電源電圧VDDであり、ローレベルが、FD314のクリップレベルに該当する。第1の実施の形態では、これらのハイレベルとローレベルとの差(すなわち、振幅)は、ダイナミックレンジに対応する値に設定される。これに対して、第8の実施の形態では、その値にさらにマージンを加えた値に調整される。ここで、ダイナミックレンジに対応する値は、電源電圧VDDと、デジタル信号がフルコードになるときのFD314の電位との差分に該当する。
FDリセットトランジスタ313のオフ時のゲート電圧(FDリセット信号rstのローレベル)を下げることにより、ブルーミングによりFD314が低下しすぎて、前段増幅トランジスタ315の動作点をつぶすことを防止することができる。
なお、ダイナミックレンジは、ADCのアナログゲインによって変わる。アナログゲインが低いときは、大きなダイナミックレンジが必要となり、逆にアナログゲインが高い時は、ダイナミックレンジは少なくて済む。このため、FDリセットトランジスタ313のオフ時のゲート電圧を、アナログゲインに応じて変更することもできる。
図39は、本技術の第8の実施の形態における読出し動作の一例を示すタイミングチャートである。読出しの開始のタイミングT20の直後のタイミングT21において選択信号Φrがハイレベルになると、太陽光が入射した画素では、垂直信号線309の電位が変動する。同図における一点鎖線は、弱い太陽光が入射した際の垂直信号線309の電位変動を示す。同図における点線は、強い太陽光が入射した際の垂直信号線309の電位変動を示す。
タイミングT20からタイミングT22までのオートゼロ期間において、タイミング制御回路212は、例えば、「0」の入力側選択信号selinを供給し、比較器285を垂直信号線309に接続させる。このオートゼロ期間内にタイミング制御回路212は、オートゼロ信号Azによりオートゼロを行う。
2つ目の方法に関して、タイミングT22からタイミングT23までの判定期間内にタイミング制御回路212は、例えば、「1」の入力側選択信号selinを供給する。この入力側選択信号selinにより、比較器285が垂直信号線309から切り離され、参照電圧VREFのノードと接続される。この参照電圧VREFは、ブルーミングが生じなかったときの、垂直信号線309のレベルの期待値に設定される。Vrstは、例えば、後段増幅トランジスタ351のゲート-ソース間電圧をVgs2とすると、Vreg-Vgs2に該当する。また、DAC213は、判定期間内にランプ信号RmpのレベルをVrmp_azからVrmp_sunに低下させる。
また、判定期間内において、ブルーミングが発生しなかった場合、垂直信号線309のリセットレベルのVrstは、参照電圧VREFとほぼ同じであり、比較器285の反転入力端子(+)の電位がオートゼロのときとあまり変わらない。一方、非反転入力端子(-)は、Vrmp_azからVrmp_sunに下がったため、比較結果VCOはハイレベルとなる。
逆に、ブルーミングが発生した場合、リセットレベルVrstは、参照電圧VREFよりも十分に高くなり、次の式が成立した際に、比較結果VCOがローレベルになる。
Vrst-VREF>Vrmp_az-Vrmp_sun・・・式5
Vrst-VREF>Vrmp_az-Vrmp_sun・・・式5
つまり、タイミング制御回路212は、判定期間内に比較結果VCOがローレベルとなるか否かにより、ブルーミングが発生したか否かを判断することができる。
なお、後段増幅トランジスタ351の閾値電圧のバラツキや、面内のVregのIRドロップ差等による誤判定が発生しないように、太陽判定のためのマージン(式5の右辺)をある程度大きく確保する必要がある。
判定期間経過後のタイミングT23以降において、タイミング制御回路212は、比較器285を垂直信号線309に接続させる。また、タイミングT23乃至T24のP相セトリング期間が経過すると、タイミングT24乃至T25の期間内にP相が読み出される。タイミングT25乃至T29のD相セトリング期間が経過すると、タイミングT29乃至T30の期間内にD相が読み出される。
判定期間においてブルーミングが発生していないと判断した場合、タイミング制御回路212は、出力側選択信号selоutによりセレクタ292を制御してCDS処理後のデジタル信号CDS_outをそのまま出力させる。
一方、判定期間においてブルーミングが発生したと判断した場合、タイミング制御回路212は、出力側選択信号selоutによりセレクタ292を制御してCDS処理後のデジタル信号CDS_outの代わりにフルコードFULLを出力させる。これにより、黒点現象を抑制することができる。
なお、第8の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2から第7の実施の形態を適用することもできる。
このように、本技術の第8の実施の形態によれば、タイミング制御回路212は、比較結果VCOに基づいて黒点現象が生じたか否かを判断し、黒点現象が生じた際にフルコードを出力させるため、黒点現象を抑制することができる。
<9.第9の実施の形態>
上述の第1の実施の形態では、垂直走査回路211は、全行(全画素)を同時に露光させる制御(すなわち、グローバルシャッター動作)を行っていた。しかし、テストのときや、解析を行うときなど、露光の同時性が不要で低ノイズが要求される場合には、ローリングシャッター動作を行うことが望ましい。この第9の実施の形態の固体撮像素子200は、テスト時などにおいて、ローリングシャッター動作を行う点において第1の実施の形態と異なる。
上述の第1の実施の形態では、垂直走査回路211は、全行(全画素)を同時に露光させる制御(すなわち、グローバルシャッター動作)を行っていた。しかし、テストのときや、解析を行うときなど、露光の同時性が不要で低ノイズが要求される場合には、ローリングシャッター動作を行うことが望ましい。この第9の実施の形態の固体撮像素子200は、テスト時などにおいて、ローリングシャッター動作を行う点において第1の実施の形態と異なる。
図40は、本技術の第9の実施の形態におけるローリングシャッター動作の一例を示すタイミングチャートである。垂直走査回路211は、複数の行を順に選択して露光を開始させる制御を行う。同図は、第n行の露光制御を示す。
タイミングT0乃至T2の期間において、垂直走査回路211は、第n行にハイレベルの後段選択信号selb、選択信号Φrおよび選択信号Φsを供給する。また、露光開始のタイミングT0において、垂直走査回路211は、第n行にハイレベルのFDリセット信号rstおよび後段リセット信号rstbをパルス期間に亘って供給する。露光終了のタイミングT1において垂直走査回路211は、第n行に転送信号trgを供給する。同図のローリングシャッター動作により、固体撮像素子200は、低ノイズの画像データを生成することができる。
なお、通常モードやゲイン切替モードにおいて第9の実施の形態の固体撮像素子200は、第1の実施の形態と同様にグローバルシャッター動作を行う。
また、第9の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2から第8の実施の形態を適用することもできる。
このように本技術の第9の実施の形態によれば、垂直走査回路211は、複数の行を順に選択して露光を開始させる制御(すなわち、ローリングシャッター動作)を行うため、低ノイズの画像データを生成することができる。
<10.第10の実施の形態>
上述の第1の実施の形態では、前段のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)のソースを電源電圧VDDに接続し、そのソースフォロワがオンの状態で行単位で読出しを行っていた。しかし、この駆動方法では、行単位の読出しの際の前段のソースフォロワの回路ノイズが後段に伝搬し、ランダムノイズが増大するおそれがある。この第10の実施の形態の固体撮像素子200は、読出しの際に前段のソースフォロワをオフ状態にすることにより、ノイズを低減する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、前段のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)のソースを電源電圧VDDに接続し、そのソースフォロワがオンの状態で行単位で読出しを行っていた。しかし、この駆動方法では、行単位の読出しの際の前段のソースフォロワの回路ノイズが後段に伝搬し、ランダムノイズが増大するおそれがある。この第10の実施の形態の固体撮像素子200は、読出しの際に前段のソースフォロワをオフ状態にすることにより、ノイズを低減する点において第1の実施の形態と異なる。
図41は、本技術の第10の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第10の実施の形態の固体撮像素子200は、レギュレータ420および切り替え部440をさらに備える点において第1の実施の形態と異なる。また、第10の実施の形態の画素アレイ部220には、複数の有効画素301と、所定数のダミー画素430とが配列される。ダミー画素430は、有効画素301が配列された領域の周囲に配列される。
また、ダミー画素430のそれぞれには、電源電圧VDDが供給され、有効画素301のそれぞれには、電源電圧VDDと、ソース電圧Vsとが供給される。有効画素301へ電源電圧VDDを供給する信号線は、同図において省略されている。また、電源電圧VDDは、固体撮像素子200の外部のパッド410から供給される。
レギュレータ420は、ダミー画素430からの入力電圧Viに基づいて、一定の生成電圧Vgenを生成し、切り替え部440に供給するものである。切り替え部440は、パッド410からの電源電圧VDDと、レギュレータ420からの生成電圧Vgenとのいずれかを選択し、ソース電圧Vsとして有効画素301のカラムのそれぞれに供給するものである。
図42は、本技術の第10の実施の形態におけるダミー画素430、レギュレータ420、および、切り替え部440の一構成例を示す回路図である。同図におけるaは、ダミー画素430およびレギュレータ420の回路図であり、同図におけるbは、切り替え部440の回路図である。
同図におけるaに例示するように、ダミー画素430は、リセットトランジスタ431、FD432、増幅トランジスタ433および電流源トランジスタ434を備える。リセットトランジスタ431は、垂直走査回路211からのリセット信号RSTに従って、FD432を初期化するものである。FD432は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。増幅トランジスタ433は、FD432の電圧のレベルを増幅し、入力電圧Viとしてレギュレータ420に供給するものである。
また、リセットトランジスタ431および増幅トランジスタ433のソースは、電源電圧VDDに接続される。電流源トランジスタ434は、増幅トランジスタ433のドレインに接続される。この電流源トランジスタ434は、垂直走査回路211の制御に従って、電流id1を供給する。
レギュレータ420は、ローパスフィルタ421、バッファアンプ422および容量素子423を備える。ローパスフィルタ421は、入力電圧Viの信号のうち、所定周波数未満の低周波数帯域の成分を出力電圧Vjとして通過させるものである。
バッファアンプ422の非反転入力端子(+)には、出力電圧Vjが入力される。バッファアンプ422の反転入力端子(-)は、その出力端子と接続される。容量素子423は、バッファアンプ422の出力端子の電圧をVgenとして保持するものである。このVgenは、切り替え部440に供給される。
同図におけるbに例示するように、切り替え部440は、インバータ441と、複数の切り替え回路442とを備える。切り替え回路442は、有効画素301の列ごとに配置される。
インバータ441は、タイミング制御回路212からの切替信号SWを反転させるものである。このインバータ441は、反転信号を切り替え回路442のそれぞれに供給する。
切り替え回路442は、電源電圧VDDと、生成電圧Vgenとのいずれかを選択し、ソース電圧Vsとして、画素アレイ部220内の対応する列に供給するものである。切り替え回路442は、スイッチ443および444を備える。スイッチ443は、切替信号SWに従って、電源電圧VDDのノードと、対応する列との間の経路を開閉するものである。スイッチ444は、切替信号SWの反転信号に従って、生成電圧Vgenのノードと、対応する列との間の経路を開閉するものである。
図43は、本技術の第10の実施の形態におけるダミー画素430およびレギュレータ420の動作の一例を示すタイミングチャートである。ある行の読出しの直前のタイミングT10において、垂直走査回路211は、ダミー画素430のそれぞれに、ハイレベル(ここでは、電源電圧VDD)のリセット信号RSTを供給する。ダミー画素430内のFD432の電位Vfdは、電源電圧VDDに初期化される。そして、リセット信号RSTがローレベルとなった際に、リセットフィードスルーにより、VDD-Vftに変動する。
また、入力電圧Viは、リセット後にVDD-Vgs-Vsigに低下する。ローパスフィルタ421の通過により、Vj、Vgenは、略一定の電圧となる。
次の行の読出しの直前のタイミングT20以降は、行ごとに、同様の制御が行われ、一定の生成電圧Vgenが供給される。
図44は、本技術の第10の実施の形態における有効画素301の一構成例を示す回路図である。有効画素301の回路構成は、前段増幅トランジスタ315のソースに、切り替え部440からのソース電圧Vsが供給される点以外は、第1の実施の形態の画素300と同様である。
図45は、本技術の第10の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第10の実施の形態において、全画素で同時に露光する際に、切り替え部440は、電源電圧VDDを選択し、ソース電圧Vsとして供給する。また、前段ノードの電圧は、タイミングT14において、VDD-Vgs-VthからVDD-Vgs-Vsigに低下する。ここで、Vthは、転送トランジスタ312の閾値電圧である。
図46は、本技術の第10の実施の形態における読出し動作の一例を示すタイミングチャートである。この第10の実施の形態では、読出しの際に切り替え部440は、生成電圧Vgenを選択し、ソース電圧Vsとして供給する。この生成電圧Vgenは、VDD-Vgs-Vftに調整される。また、第10の実施の形態では、垂直走査回路211が、全行(全画素)の電流源トランジスタ316を制御して電流id1の供給を停止させる。
図47は、本技術の第10の実施の形態における効果を説明するための図である。第1の実施の形態では、行ごとの読出しにおいて、読出し対象の画素300のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)をオンにしていた。しかし、この駆動方法では、前段のソースフォロワの回路ノイズが、後段(容量素子、後段のソースフォロワやADC)に伝搬し、読出しノイズが増大するおそれがある。
例えば、第1の実施の形態では、同図に例示するようにグローバルシャッター動作時の画素で生じるkTCノイズは、450(μVrms)である。また、行ごとの読出しにおける、前段のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)で生じるノイズは、380(μVrms)となる。後段のソースフォロワ以降で生じるノイズは、160(μVrms)である。このため、合計のノイズは、610(μVrms)である。このように、第1の実施の形態では、ノイズの合計値における、前段のソースフォロワのノイズの寄与分は、比較的大きくなる。
この前段のソースフォロワのノイズを低減するために、第10の実施の形態では、前述したように前段のソースフォロワのソースに、電圧調整の可能な電圧(Vs)を供給している。グローバルシャッター(露光)動作時に、切り替え部440は、電源電圧VDDを選択してソース電圧Vsとして供給する。そして、露光の終了後に切り替え部440は、ソース電圧VsをVDD-Vgs-Vftに切り替える。また、タイミング制御回路212は、グローバルシャッター(露光)動作時に、前段の電流源トランジスタ316をオンにし、露光の終了後にオフにする。
上述の制御により、図45および図46に例示したように、グローバルシャッター動作時と、行ごとの読出し時とのそれぞれの前段ノードの電位が揃い、PRNUを改善することができる。また、行ごとに読み出す際に前段のソースフォロワがオフ状態になるため、図47に例示するように、ソースフォロワの回路ノイズが生じず、0(μVrms)となる。なお、前段のソースフォロワのうち前段増幅トランジスタ315はオン状態である。
なお、第10の実施の形態に、第1の実施の形態の第1、第2の変形例や、第2から第9の実施の形態を適用することもできる。
このように、本技術の第10の実施の形態によれば、読出しの際に前段のソースフォロワをオフ状態にするため、そのソースフォロワで生じるノイズを低減することができる。
<11.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図48は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図48に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図48の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図49は、撮像部12031の設置位置の例を示す図である。
図49では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図49には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、例えば、図1の撮像装置100は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、複数のゲインで撮像し、明るさの異なる複数の撮影画像を得ることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)画素信号を生成する前段回路と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド回路と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅回路と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御回路と
を具備する固体撮像素子。
(2)前記増幅回路は、前記画素信号と所定のランプ信号とを比較するコンパレータである
前記(1)記載の固体撮像素子。
(3)前記前段回路および前記サンプルホールド回路は、画素に配置され、
前記コンパレータは、
所定の基準電圧と所定ノードの電圧との差分を増幅して比較結果として出力する差動増幅回路と、
前記所定ノードと前記画素が接続された垂直走査線との間に挿入された垂直信号線側容量と、
前記所定ノードと前記ランプ信号を生成するデジタルアナログ変換器との間に挿入されたランプ側容量と、
前記垂直信号線側容量と前記ランプ側容量との容量比を前記制御信号に従って変更するスイッチと
を備える前記(2)記載の固体撮像素子。
(4)前記制御信号に従って前記ランプ信号を生成するデジタルアナログ変換器をさらに具備し、
前記タイミング制御回路は、前記ランプ信号のレベルが変動する速度を前記制御信号により変更させる前記(2)記載の固体撮像素子。
(5)前記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、
前記増幅回路は、増幅した前記画素信号を前記アナログデジタル変換器に供給するカラムアンプである
前記(1)記載の固体撮像素子。
(6)前記画素信号を垂直信号線へ供給する後段回路をさらに具備し、
前記増幅回路は、増幅した前記画素信号を前記後段回路に供給する
前記(1)記載の固体撮像素子。
(7)前記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、
前記増幅回路は、前記アナログデジタル変換処理後の前記画素信号を増幅する
前記(1)記載の固体撮像素子。
(8)後段リセットトランジスタをさらに具備し、
前記サンプルホールド回路は、
第1および第2の容量素子と、
前記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と前記第1および第2の容量素子の両方を前記後段ノードから切り離す制御と前記第1および第2の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と
を備え、
前記後段リセットトランジスタは、前記第1および第2の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する
前記(1)から(7)のいずれかに記載の固体撮像素子。
(9)画素信号を生成する前段回路と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド回路と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅回路と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御回路と、
前記画素信号を配列した画像データを処理するデジタル信号処理回路と
を具備する撮像装置。
(10)ユーザの操作に従って前記複数のゲインのいずれかの値を設定値として保持する設定値保持部をさらに具備し、
前記増幅回路は、前記設定値のゲインにより前記画素信号を増幅する
前記(9)記載の撮像装置。
(11)前記デジタル信号処理回路は、所定数の前記画像データを用いて機械学習を行う前記(9)記載の撮像装置。
(12)画素信号を生成する前段手順と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド手順と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅手順と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御手順と
を具備する固体撮像素子の制御方法。
(1)画素信号を生成する前段回路と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド回路と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅回路と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御回路と
を具備する固体撮像素子。
(2)前記増幅回路は、前記画素信号と所定のランプ信号とを比較するコンパレータである
前記(1)記載の固体撮像素子。
(3)前記前段回路および前記サンプルホールド回路は、画素に配置され、
前記コンパレータは、
所定の基準電圧と所定ノードの電圧との差分を増幅して比較結果として出力する差動増幅回路と、
前記所定ノードと前記画素が接続された垂直走査線との間に挿入された垂直信号線側容量と、
前記所定ノードと前記ランプ信号を生成するデジタルアナログ変換器との間に挿入されたランプ側容量と、
前記垂直信号線側容量と前記ランプ側容量との容量比を前記制御信号に従って変更するスイッチと
を備える前記(2)記載の固体撮像素子。
(4)前記制御信号に従って前記ランプ信号を生成するデジタルアナログ変換器をさらに具備し、
前記タイミング制御回路は、前記ランプ信号のレベルが変動する速度を前記制御信号により変更させる前記(2)記載の固体撮像素子。
(5)前記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、
前記増幅回路は、増幅した前記画素信号を前記アナログデジタル変換器に供給するカラムアンプである
前記(1)記載の固体撮像素子。
(6)前記画素信号を垂直信号線へ供給する後段回路をさらに具備し、
前記増幅回路は、増幅した前記画素信号を前記後段回路に供給する
前記(1)記載の固体撮像素子。
(7)前記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、
前記増幅回路は、前記アナログデジタル変換処理後の前記画素信号を増幅する
前記(1)記載の固体撮像素子。
(8)後段リセットトランジスタをさらに具備し、
前記サンプルホールド回路は、
第1および第2の容量素子と、
前記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と前記第1および第2の容量素子の両方を前記後段ノードから切り離す制御と前記第1および第2の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と
を備え、
前記後段リセットトランジスタは、前記第1および第2の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する
前記(1)から(7)のいずれかに記載の固体撮像素子。
(9)画素信号を生成する前段回路と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド回路と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅回路と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御回路と、
前記画素信号を配列した画像データを処理するデジタル信号処理回路と
を具備する撮像装置。
(10)ユーザの操作に従って前記複数のゲインのいずれかの値を設定値として保持する設定値保持部をさらに具備し、
前記増幅回路は、前記設定値のゲインにより前記画素信号を増幅する
前記(9)記載の撮像装置。
(11)前記デジタル信号処理回路は、所定数の前記画像データを用いて機械学習を行う前記(9)記載の撮像装置。
(12)画素信号を生成する前段手順と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド手順と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅手順と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御手順と
を具備する固体撮像素子の制御方法。
100 撮像装置
110 光学部
120 DSP回路
121 データセット生成部
122 データセット保持部
123 機械学習部
124 学習結果保持部
125 画像認識部
126 画像処理部
130 表示部
140 操作部
150 バス
160 フレームメモリ
170 記憶部
180 電源部
200 固体撮像素子
201 上側画素チップ
202 下側画素チップ
203 回路チップ
211 垂直走査回路
212 タイミング制御回路
213 DAC
214 設定値保持部
220 画素アレイ部
221 上側画素アレイ部
222 下側画素アレイ部
250 負荷MOS回路ブロック
251 負荷MOSトランジスタ
260 カラム信号処理回路
261 カラムアンプ
270 ADC
271 カウンタ
280、500 コンパレータ
281、292 セレクタ
282、283、321、322、423 容量素子
284、286 オートゼロスイッチ
285 比較器
290 デジタル信号処理部
291 CDS処理部
293 乗算器
294 後段処理部
300 画素
301 有効画素
310 前段回路
311 光電変換素子
312 転送トランジスタ
313 FDリセットトランジスタ
314、432 FD
315 前段増幅トランジスタ
316 電流源トランジスタ
317 排出トランジスタ
320 サンプルホールド回路
323 前段リセットトランジスタ
324 前段選択トランジスタ
330 選択回路
331、332 選択トランジスタ
341 後段リセットトランジスタ
350、350-1、350-2 後段回路
351、351-1、351-2 後段増幅トランジスタ
352、352-1、352-2 後段選択トランジスタ
360 増幅回路
361 抵抗
362 可変抵抗
363、531、532 pMOSトランジスタ
364、533~535 nMOSトランジスタ
420 レギュレータ
421 ローパスフィルタ
422 バッファアンプ
430 ダミー画素
431 リセットトランジスタ
433 増幅トランジスタ
434 電流源トランジスタ
440 切り替え部
441 インバータ
442 切り替え回路
443、444、511~515 スイッチ
510 容量比切替回路
516~521、540 容量
530 差動増幅回路
536、537 オートゼロスイッチ
12031 撮像部
110 光学部
120 DSP回路
121 データセット生成部
122 データセット保持部
123 機械学習部
124 学習結果保持部
125 画像認識部
126 画像処理部
130 表示部
140 操作部
150 バス
160 フレームメモリ
170 記憶部
180 電源部
200 固体撮像素子
201 上側画素チップ
202 下側画素チップ
203 回路チップ
211 垂直走査回路
212 タイミング制御回路
213 DAC
214 設定値保持部
220 画素アレイ部
221 上側画素アレイ部
222 下側画素アレイ部
250 負荷MOS回路ブロック
251 負荷MOSトランジスタ
260 カラム信号処理回路
261 カラムアンプ
270 ADC
271 カウンタ
280、500 コンパレータ
281、292 セレクタ
282、283、321、322、423 容量素子
284、286 オートゼロスイッチ
285 比較器
290 デジタル信号処理部
291 CDS処理部
293 乗算器
294 後段処理部
300 画素
301 有効画素
310 前段回路
311 光電変換素子
312 転送トランジスタ
313 FDリセットトランジスタ
314、432 FD
315 前段増幅トランジスタ
316 電流源トランジスタ
317 排出トランジスタ
320 サンプルホールド回路
323 前段リセットトランジスタ
324 前段選択トランジスタ
330 選択回路
331、332 選択トランジスタ
341 後段リセットトランジスタ
350、350-1、350-2 後段回路
351、351-1、351-2 後段増幅トランジスタ
352、352-1、352-2 後段選択トランジスタ
360 増幅回路
361 抵抗
362 可変抵抗
363、531、532 pMOSトランジスタ
364、533~535 nMOSトランジスタ
420 レギュレータ
421 ローパスフィルタ
422 バッファアンプ
430 ダミー画素
431 リセットトランジスタ
433 増幅トランジスタ
434 電流源トランジスタ
440 切り替え部
441 インバータ
442 切り替え回路
443、444、511~515 スイッチ
510 容量比切替回路
516~521、540 容量
530 差動増幅回路
536、537 オートゼロスイッチ
12031 撮像部
Claims (12)
- 画素信号を生成する前段回路と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド回路と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅回路と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御回路と
を具備する固体撮像素子。 - 前記増幅回路は、前記画素信号と所定のランプ信号とを比較するコンパレータである
請求項1記載の固体撮像素子。 - 前記前段回路および前記サンプルホールド回路は、画素に配置され、
前記コンパレータは、
所定の基準電圧と所定ノードの電圧との差分を増幅して比較結果として出力する差動増幅回路と、
前記所定ノードと前記画素が接続された垂直走査線との間に挿入された垂直信号線側容量と、
前記所定ノードと前記ランプ信号を生成するデジタルアナログ変換器との間に挿入されたランプ側容量と、
前記垂直信号線側容量と前記ランプ側容量との容量比を前記制御信号に従って変更するスイッチと
を備える請求項2記載の固体撮像素子。 - 前記制御信号に従って前記ランプ信号を生成するデジタルアナログ変換器をさらに具備し、
前記タイミング制御回路は、前記ランプ信号のレベルが変動する速度を前記制御信号により変更させる請求項2記載の固体撮像素子。 - 前記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、
前記増幅回路は、増幅した前記画素信号を前記アナログデジタル変換器に供給するカラムアンプである
請求項1記載の固体撮像素子。 - 前記画素信号を垂直信号線へ供給する後段回路をさらに具備し、
前記増幅回路は、増幅した前記画素信号を前記後段回路に供給する
請求項1記載の固体撮像素子。 - 前記画素信号に対してアナログデジタル変換処理を行うアナログデジタル変換器をさらに具備し、
前記増幅回路は、前記アナログデジタル変換処理後の前記画素信号を増幅する
請求項1記載の固体撮像素子。 - 後段リセットトランジスタをさらに具備し、
前記サンプルホールド回路は、
第1および第2の容量素子と、
前記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と前記第1および第2の容量素子の両方を前記後段ノードから切り離す制御と前記第1および第2の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と
を備え、
前記後段リセットトランジスタは、前記第1および第2の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する
請求項1記載の固体撮像素子。 - 画素信号を生成する前段回路と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド回路と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅回路と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御回路と、
前記画素信号を配列した画像データを処理するデジタル信号処理回路と
を具備する撮像装置。 - ユーザの操作に従って前記複数のゲインのいずれかの値を設定値として保持する設定値保持部をさらに具備し、
前記増幅回路は、前記設定値のゲインにより前記画素信号を増幅する
請求項9記載の撮像装置。 - 前記デジタル信号処理回路は、所定数の前記画像データを用いて機械学習を行う
請求項9記載の撮像装置。 - 画素信号を生成する前段手順と、
所定のホールド期間に亘って前記画素信号を保持して前記ホールド期間内に複数回に亘って前記画素信号を出力するサンプルホールド手順と、
複数のゲインのうち所定の制御信号により指示されたゲインにより前記画素信号を増幅する増幅手順と、
前記ホールド期間内に前記制御信号により前記複数のゲインを順に指示するタイミング制御手順と
を具備する固体撮像素子の制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-034417 | 2022-03-07 | ||
JP2022034417 | 2022-03-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023171109A1 true WO2023171109A1 (ja) | 2023-09-14 |
Family
ID=87936675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/000304 WO2023171109A1 (ja) | 2022-03-07 | 2023-01-10 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023171109A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019220944A (ja) * | 2018-06-19 | 2019-12-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
JP2020031255A (ja) * | 2016-12-27 | 2020-02-27 | パナソニックIpマネジメント株式会社 | 画像選択装置、カメラ及び画像選択方法 |
-
2023
- 2023-01-10 WO PCT/JP2023/000304 patent/WO2023171109A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020031255A (ja) * | 2016-12-27 | 2020-02-27 | パナソニックIpマネジメント株式会社 | 画像選択装置、カメラ及び画像選択方法 |
JP2019220944A (ja) * | 2018-06-19 | 2019-12-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12047701B2 (en) | Solid-state imaging element | |
KR102598891B1 (ko) | 고체 촬상 장치 | |
WO2019058959A1 (ja) | 固体撮像素子及び電子機器 | |
JP7227709B2 (ja) | 固体撮像素子、および、撮像装置 | |
WO2021090538A1 (ja) | センシングデバイス、電子機器およびセンシングデバイスの制御方法 | |
JP2023053312A (ja) | 固体撮像素子、および、撮像装置 | |
WO2023007772A1 (ja) | 固体撮像素子 | |
WO2022209126A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023171109A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
US20230326940A1 (en) | Imaging device and electronic apparatus | |
WO2023062935A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023157489A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023062947A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023162471A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023062940A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023063024A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023166854A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023062962A1 (ja) | 固体撮像素子 | |
WO2024004377A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2024004370A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023166848A1 (ja) | 撮像装置、画像処理装置および撮像装置の制御方法 | |
CN118844069A (zh) | 固态成像元件、成像装置和用于控制固态成像元件的方法 | |
WO2024116605A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2024024261A1 (ja) | 固体撮像素子、撮像システム、および、固体撮像素子の制御方法 | |
WO2023067961A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23766290 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2024505917 Country of ref document: JP Kind code of ref document: A |