WO2024024261A1 - 固体撮像素子、撮像システム、および、固体撮像素子の制御方法 - Google Patents
固体撮像素子、撮像システム、および、固体撮像素子の制御方法 Download PDFInfo
- Publication number
- WO2024024261A1 WO2024024261A1 PCT/JP2023/020253 JP2023020253W WO2024024261A1 WO 2024024261 A1 WO2024024261 A1 WO 2024024261A1 JP 2023020253 W JP2023020253 W JP 2023020253W WO 2024024261 A1 WO2024024261 A1 WO 2024024261A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- circuit
- pixel
- solid
- level
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 270
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 230000006835 compression Effects 0.000 claims abstract description 28
- 238000007906 compression Methods 0.000 claims abstract description 28
- 238000005520 cutting process Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 23
- 239000003990 capacitor Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 36
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000036961 partial effect Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 117
- 238000010586 diagram Methods 0.000 description 54
- 230000004048 modification Effects 0.000 description 29
- 238000012986 modification Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 23
- 230000003321 amplification Effects 0.000 description 18
- 238000003199 nucleic acid amplification method Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 238000012546 transfer Methods 0.000 description 16
- 230000002829 reductive effect Effects 0.000 description 14
- 206010064127 Solar lentigo Diseases 0.000 description 12
- 230000000052 comparative effect Effects 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 11
- 230000007423 decrease Effects 0.000 description 10
- 230000003071 parasitic effect Effects 0.000 description 7
- 238000005096 rolling process Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 101100365384 Mus musculus Eefsec gene Proteins 0.000 description 6
- 230000009471 action Effects 0.000 description 6
- 206010027146 Melanoderma Diseases 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102100036285 25-hydroxyvitamin D-1 alpha hydroxylase, mitochondrial Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000875403 Homo sapiens 25-hydroxyvitamin D-1 alpha hydroxylase, mitochondrial Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Definitions
- the present technology relates to a solid-state image sensor. Specifically, the present invention relates to a solid-state imaging device that detects a predetermined object, an imaging system, and a method of controlling the solid-state imaging device.
- the above-mentioned conventional technology attempts to reduce the amount of analysis processing by cutting out a partial area of the second image.
- the person's moving speed is faster than expected, the person may not be visible within the cut-out area in the second image.
- the success rate of analysis processing on cut-out data will decrease, and the usability of the system will decrease.
- This technology was created in view of this situation, and its purpose is to improve the convenience of solid-state imaging devices that cut out a partial area of an image.
- the present technology has been developed to solve the above-mentioned problems, and its first aspect is a pixel array section in which a plurality of pixels are arranged, each of which generates and samples and holds a pixel signal, and the above-mentioned pixel array section.
- a vertical scanning circuit that drives each of the plurality of rows in the pixel array section to output the pixel signal; a signal processing circuit that reads out the pixel signal and performs predetermined signal processing; the vertical scanning circuit and the signal processing circuit. controlling at least one of the vertical scanning circuit and the signal processing circuit to generate compressed data obtained by compressing the image data in which the pixel signals are arranged, and controlling at least one of the vertical scanning circuit and the signal processing circuit based on the result of processing the compressed data.
- the present invention provides a solid-state imaging device including a control circuit that outputs cutout data obtained by cutting out a predetermined region of the image data, and a control method thereof. This brings about the effect of improving convenience.
- control circuit may generate, as the compressed data, data obtained by thinning out the image data in at least one of a row unit and a column unit. This brings about the effect that image data is compressed through simple processing.
- the signal processing circuit may include a compression processing unit that generates the compressed data by pixel addition. This brings about the effect of reducing noise.
- the signal processing circuit further includes a plurality of analog-to-digital converters that convert the pixel signal into a digital signal, the pixel signal is an analog signal, and the compression processing section , the compressed data may be generated by adding the digital signals. This brings about the effect of reducing noise.
- the signal processing circuit further includes a plurality of analog-to-digital converters that convert the pixel signal into a digital signal, the pixel signal is an analog signal, and the compression processing section , the compressed data may be generated by adding the pixel signals. This brings about the effect of reducing noise.
- the apparatus may further include a detection processing section that performs predetermined detection processing on the compressed data. This brings about the effect that the detection target is detected within the solid-state image sensor.
- the signal processing circuit may output the results of the processing to the outside of the solid-state image sensor. This brings about the effect that the processing results are used outside the solid-state image sensor.
- the detection processing section may detect the presence or absence of a face. This brings about the effect that cutting is performed when a face is detected.
- the detection processing section may detect the presence or absence of a person. This brings about the effect that cropping is performed when a person is detected.
- the detection processing section may detect a difference between the compressed data and predetermined background data. This brings about the effect that the detection target is detected through simple processing.
- the apparatus may further include a communication interface that receives the results of the processing and supplies the results to the control circuit. This brings about the effect that the processing amount of the solid-state image sensor is reduced.
- the pixel signal includes a predetermined reset level and a signal level according to the exposure amount
- each of the plurality of pixels includes the first and second capacitive elements and the reset a pre-stage circuit that sequentially generates a level and the signal level and holds them in each of the first and second capacitive elements; and control that connects one of the first and second capacitive elements to a predetermined post-stage node.
- a selection circuit that sequentially performs control to disconnect both the first and second capacitive elements from the subsequent node and connect the other of the first and second capacitive elements to the subsequent node; a second stage reset transistor that initializes the level of the second stage node when both of the second capacitive elements are disconnected from the second stage node;
- the second capacitive element may be further provided with a subsequent circuit that sequentially reads and outputs the data from the second capacitive element. This brings about the effect of reducing kTC noise.
- a second aspect of the present technology includes a pixel array section in which a plurality of pixels are arranged, each of which generates and samples and holds a pixel signal, and a pixel array section that drives each of the plurality of rows in the pixel array section to generate the pixel signals.
- a vertical scanning circuit that outputs a signal
- a signal processing circuit that reads out the pixel signals and performs predetermined signal processing
- image data in which the pixel signals are arranged by controlling at least one of the vertical scanning circuit and the signal processing circuit.
- generating compressed data by compressing the image data, and controlling at least one of the vertical scanning circuit and the signal processing circuit based on the result of processing the compressed data to output cut-out data obtained by cutting out a predetermined region of the image data.
- the imaging system includes a solid-state imaging device including a control circuit, and a host that performs processing different from the processing described above based on the cut-out data. This brings about the effect of improving the convenience of the imaging system.
- FIG. 1 is a diagram illustrating an example configuration of an imaging system according to a first embodiment of the present technology.
- FIG. 1 is a block diagram showing an example of a configuration of a solid-state image sensor according to a first embodiment of the present technology.
- FIG. 2 is a circuit diagram showing an example of a configuration of a pixel in a first embodiment of the present technology.
- FIG. 2 is a block diagram showing a configuration example of a load MOS (Metal-Oxide-Semiconductor) circuit block and a column signal processing circuit in a first embodiment of the present technology.
- FIG. 1 is a diagram illustrating an example of usage of the imaging system according to the first embodiment of the present technology.
- FIG. 1 is a diagram illustrating an example of usage of the imaging system according to the first embodiment of the present technology.
- FIG. 3 is a diagram showing an example of a detection area and a cutout area in the first embodiment of the present technology.
- FIG. 7 is a diagram showing another example of a detection area and a cutout area in the first embodiment of the present technology.
- 1 is a diagram showing an example of an overall view of a solid-state image sensor according to a first embodiment of the present technology. It is a timing chart which shows an example of operation of an imaging system in a 1st embodiment of this art. 6 is a timing chart showing an example of global shutter operation in the first embodiment of the present technology. 5 is a timing chart illustrating an example of a read operation in the first embodiment of the present technology. 6 is a timing chart showing another example of a read operation in the first embodiment of the present technology.
- FIG. 7 is a timing chart showing an example of the operation of the imaging system in the first comparative example. 7 is a timing chart showing an example of the operation of the imaging system in a second comparative example.
- FIG. 3 is a diagram showing an example of image data, compressed data, and cutout data in the first embodiment of the present technology. It is a flow chart which shows an example of operation of a solid-state image sensing device in a 1st embodiment of this art. It is a flowchart which shows an example of operation of a host in a 1st embodiment of this technology.
- FIG. 3 is a block diagram illustrating a configuration example of a column signal processing circuit according to a second embodiment of the present technology.
- FIG. 7 is a block diagram showing another example of the column signal processing circuit in the second embodiment of the present technology.
- FIG. 3 is a block diagram illustrating a configuration example of a solid-state image sensor according to a third embodiment of the present technology. It is a timing chart which shows an example of operation of an imaging system in a 3rd embodiment of this art. It is a figure showing an example of composition of an imaging system in a 4th embodiment of this art. It is a timing chart which shows an example of operation of an imaging system in a 4th embodiment of this art. It is a figure showing one example of composition of an imaging system in a 5th embodiment of this art.
- FIG. 7 is a circuit diagram showing an example of a configuration of a pixel in a first modified example of the present technology. It is a timing chart which shows an example of the global shutter operation in the 1st modification of this technique. 7 is a timing chart illustrating an example of a read operation in a first modified example of the present technology. It is a figure which shows an example of the laminated structure of the solid-state image sensor in the 2nd modification of this technique.
- FIG. 7 is a circuit diagram showing an example of a configuration of a pixel in a first modified example of the present technology. It is a timing chart which shows an example of the global shutter operation in the 1st modification of this technique. 7 is a timing chart illustrating an example of a read operation in a first modified example of the present technology. It is a figure which shows an example of the laminated structure of the solid-state image sensor in the 2nd modification of this technique.
- FIG. 7 is a circuit diagram illustrating a configuration example of a pixel in a second modified example of the present technology. It is a figure which shows an example of the laminated structure of the solid-state image sensor in the 3rd modification of this technique.
- FIG. 12 is a circuit diagram showing an example of a pixel configuration according to a seventh embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in a 7th embodiment of this art.
- FIG. 12 is a circuit diagram illustrating an example of a pixel configuration in an eighth embodiment of the present technology. It is a figure for explaining reset feedthrough in an 8th embodiment of this art.
- FIG. 12 is a diagram for explaining level variations due to reset feedthrough in the eighth embodiment of the present technology.
- FIG. 12 is a timing chart showing an example of global shutter operation for odd frames in the ninth embodiment of the present technology.
- FIG. 12 is a timing chart showing an example of an odd frame read operation in the ninth embodiment of the present technology.
- FIG. 12 is a timing chart showing an example of global shutter operation for even frames in the ninth embodiment of the present technology.
- 11 is a timing chart showing an example of an even frame read operation in a ninth embodiment of the present technology.
- FIG. 12 is a circuit diagram illustrating a configuration example of a column signal processing circuit according to a tenth embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in a 10th embodiment of this technology.
- FIG. 10 is a timing chart showing an example of a read operation in a tenth embodiment of the present technology. It is a timing chart which shows an example of rolling shutter operation in an 11th embodiment of this art. It is a block diagram showing one example of composition of a solid-state image sensor in a 12th embodiment of this art.
- FIG. 12 is a circuit diagram illustrating a configuration example of a dummy pixel, a regulator, and a switching section in a twelfth embodiment of the present technology. 12 is a timing chart showing an example of the operation of a dummy pixel and a regulator in a twelfth embodiment of the present technology.
- FIG. 12 is a circuit diagram illustrating a configuration example of a dummy pixel, a regulator, and a switching section in a twelfth embodiment of the present technology.
- FIG. 12 is a circuit diagram showing an example of a configuration of an effective pixel in a twelfth embodiment of the present technology. It is a timing chart which shows an example of global shutter operation in a 12th embodiment of this technology. 12 is a timing chart showing an example of a read operation in a twelfth embodiment of the present technology. It is a figure for explaining the effect in the 12th embodiment of this technique.
- FIG. 1 is a block diagram showing a schematic configuration example of a vehicle control system.
- FIG. 3 is an explanatory diagram showing an example of an installation position of an imaging unit.
- First embodiment (example of cutting out based on compressed data processing results) 2.
- Second embodiment (example of cutting out based on the processing result of compressed data generated by pixel addition) 3.
- Third embodiment (example where compressed data is extracted based on the processing result and the host is suspended) 4.
- Fourth embodiment (example in which the host processes compressed data and the solid-state image sensor performs cutting based on the result) 5.
- Fifth embodiment (example in which a solid-state image sensor performs cutting based on the processing result of compressed data and the host determines the act) 6.
- FIG. 1 is a diagram illustrating a configuration example of an imaging system 100 according to a first embodiment of the present technology.
- This imaging system 100 is for imaging image data (in other words, frames) and performing various processes such as authentication processing, and includes a solid-state imaging device 200 and a host 110.
- the solid-state image sensor 200 captures image data. Furthermore, the solid-state image sensor 200 cuts out an area to be authenticated, such as a face or eyes, from the captured image data and supplies the cutout data to the host 110 via a predetermined number of signal lines 208 .
- the solid-state image sensor 200 transmits and receives control signals related to control to and from the host 110 via a predetermined number of signal lines 209.
- the control signal includes, for example, a vertical synchronization signal, imaging parameters, authentication results, status information, and the like.
- the imaging parameters include ISO (International Organization for Standardization) sensitivity, exposure time, aperture value, white balance setting value, and the like.
- the host 110 is a device or circuit that performs authentication processing based on cutout data.
- This host 110 includes communication interfaces 111 and 112, a database 113, an authentication processing section 114, and an imaging control section 115.
- the communication interface 111 receives cutout data and supplies it to the authentication processing section 114.
- a relatively high-speed one such as SLVS-EC (Scalable Low Voltage Signaling with Embedded Clock) is used.
- the communication interface 112 transmits and receives control signals and exchanges them with the imaging control section 115.
- a relatively low-speed one such as I2C or SPI (Serial Peripheral Interface) is used.
- the database 113 holds registration information registered in advance before authentication.
- the authentication processing unit 114 performs authentication processing based on the cutout data.
- the authentication processing unit 114 obtains the feature amount of the cut-out data from the communication interface 111, compares it with the feature amount of the registered information, and determines whether or not the degree of similarity between them is equal to or greater than a certain value.
- the authentication processing unit 114 determines that the authentication has been successful when the degree of similarity is greater than or equal to a certain value, and determines that the authentication has failed when the degree of similarity is less than the certain value.
- the authentication processing unit 114 supplies the authentication result to the imaging control unit 115.
- the database 113 can also be placed in a server outside the host 110.
- host 110 receives registration information from a server via a network such as the Internet.
- the imaging control unit 115 controls the solid-state imaging device 200.
- the imaging control unit 115 transmits and receives control signals to and from the solid-state imaging device 200 via the communication interface 112 as necessary. Moreover, when the authentication result is acquired, the imaging control unit 115 transmits the authentication result to the solid-state image sensor 200.
- FIG. 2 is a block diagram showing a configuration example of the solid-state image sensor 200 in the first embodiment of the present technology.
- This solid-state image sensor 200 includes a vertical scanning circuit 211, a control circuit 212, and a DAC (Digital to Analog Converter) 213.
- the solid-state imaging device 200 also includes a pixel array section 220, a load MOS (Metal Oxide Semiconductor) circuit block 250, a column signal processing circuit 260, and communication interfaces 214 and 215.
- a load MOS Metal Oxide Semiconductor
- a plurality of pixels 300 are arranged in a two-dimensional grid in the pixel array section 220. Further, each circuit within the solid-state image sensor 200 is provided on a single semiconductor chip, for example.
- a set of pixels 300 arranged in the horizontal direction will be referred to as a "row”, and a set of pixels 300 arranged in the direction perpendicular to the row will be referred to as a "column”.
- the control circuit 212 controls the operations of the vertical scanning circuit 211, DAC 213, and column signal processing circuit 260 in accordance with control signals from the communication interface 215.
- the DAC 213 generates a sawtooth ramp signal through DA (Digital to Analog) conversion.
- the DAC 213 supplies the generated ramp signal to the column signal processing circuit 260.
- the vertical scanning circuit 211 sequentially selects and drives rows and outputs analog pixel signals.
- the pixel 300 photoelectrically converts incident light to generate an analog pixel signal. This pixel 300 supplies a pixel signal to the column signal processing circuit 260 via the load MOS circuit block 250.
- MOS transistors that supply a constant current are provided for each column.
- the column signal processing circuit 260 performs signal processing such as AD conversion processing and CDS processing on pixel signals for each column.
- the column signal processing circuit 260 generates cut-out data during signal processing and supplies it to the communication interface 214. Note that the column signal processing circuit 260 is an example of a signal processing circuit described in the claims.
- the communication interface 214 is for transmitting cut-out data to the host 110.
- the communication interface 215 is for transmitting and receiving control signals to and from the host 110.
- FIG. 3 is a circuit diagram showing a configuration example of the pixel 300 in the first embodiment of the present technology.
- This pixel 300 includes a front-stage circuit 310, capacitive elements 321 and 322, a selection circuit 330, a rear-stage reset transistor 341, and a rear-stage circuit 350.
- the front-stage circuit 310 includes a photoelectric conversion element 311, a transfer transistor 312, an FD (Floating Diffusion) reset transistor 313, an FD 314, a front-stage amplification transistor 315, and a current source transistor 316.
- a photoelectric conversion element 311 a transfer transistor 312, an FD (Floating Diffusion) reset transistor 313, an FD 314, a front-stage amplification transistor 315, and a current source transistor 316.
- the photoelectric conversion element 311 generates charges by photoelectric conversion.
- the transfer transistor 312 transfers charges from the photoelectric conversion element 311 to the FD 314 in accordance with a transfer signal trg from the vertical scanning circuit 211.
- the FD reset transistor 313 extracts charge from the FD 314 and initializes it in accordance with the FD reset signal rst from the vertical scanning circuit 211.
- the FD 314 stores charge and generates a voltage according to the amount of charge.
- the front stage amplification transistor 315 amplifies the voltage level of the FD 314 and outputs it to the front stage node 320.
- the sources of the FD reset transistor 313 and the preamplification transistor 315 are connected to the power supply voltage VDD.
- Current source transistor 316 is connected to the drain of preamplification transistor 315. This current source transistor 316 supplies current id1 under the control of the vertical scanning circuit 211.
- each of the capacitive elements 321 and 322 is commonly connected to the previous stage node 320, and the other end of each is connected to the selection circuit 330.
- the capacitive elements 321 and 322 are examples of first and second capacitive elements described in the claims.
- the selection circuit 330 includes a selection transistor 331 and a selection transistor 332.
- the selection transistor 331 opens and closes the path between the capacitive element 321 and the subsequent node 340 in accordance with the selection signal ⁇ r from the vertical scanning circuit 211.
- the selection transistor 332 opens and closes the path between the capacitive element 322 and the subsequent node 340 in accordance with the selection signal ⁇ s from the vertical scanning circuit 211.
- the second stage reset transistor 341 initializes the level of the second stage node 340 to a predetermined potential Vreg in accordance with the second stage reset signal rstb from the vertical scanning circuit 211.
- the potential Vreg is set to a potential different from the power supply voltage VDD (for example, a potential lower than VDD).
- the post-stage circuit 350 includes a post-stage amplification transistor 351 and a post-stage selection transistor 352.
- Post-stage amplification transistor 351 amplifies the level of post-stage node 340.
- the second-stage selection transistor 352 outputs a signal at the level amplified by the second-stage amplification transistor 351 to the vertical signal line 309 as a pixel signal in accordance with the second-stage selection signal selb from the vertical scanning circuit 211.
- transistor 312 transistor 312, etc.
- transistor 312 transistor 312, etc.
- nMOS n-channel Metal Oxide Semiconductor
- the vertical scanning circuit 211 supplies a high-level FD reset signal rst and transfer signal trg to all pixels at the start of exposure. Thereby, the photoelectric conversion element 311 is initialized.
- this control will be referred to as "PD reset”.
- the vertical scanning circuit 211 sets the rear stage reset signal rstb and selection signal ⁇ r to high level for all pixels, and supplies the high level FD reset signal rst over the pulse period.
- the FD 314 is initialized, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 321. This control will be referred to as "FD reset" hereinafter.
- the level of the FD 314 at the time of FD reset and the level corresponding to that level are hereinafter collectively referred to as "P phase” or "reset level”. .
- the vertical scanning circuit 211 supplies a high-level transfer signal trg over the pulse period while setting the rear-stage reset signal rstb and selection signal ⁇ s to a high level for all pixels.
- signal charges corresponding to the exposure amount are transferred to the FD 314, and a level corresponding to the level of the FD 314 at that time is held in the capacitive element 322.
- the level of the FD 314 during signal charge transfer and the level corresponding to that level are collectively referred to as “D phase” or “signal level”. It is called.
- Exposure control that starts and ends exposure for all pixels at the same time is called a global shutter method.
- the front-stage circuit 310 of all pixels sequentially generates a reset level and a signal level.
- the reset level is held in capacitive element 321, and the signal level is held in capacitive element 322.
- the vertical scanning circuit 211 sequentially selects the rows and sequentially outputs the reset level and signal level of the rows.
- the vertical scanning circuit 211 makes the FD reset signal rst and the subsequent stage selection signal selb of the selected row high level, and supplies the high level selection signal ⁇ r for a predetermined period of time.
- the capacitive element 321 is connected to the subsequent node 340, and the reset level is read.
- the vertical scanning circuit 211 After reading the reset level, the vertical scanning circuit 211 supplies the high-level rear-stage reset signal rstb over the pulse period while keeping the FD reset signal rst and the latter-stage selection signal selb of the selected row at high level. As a result, the level of the subsequent node 340 is initialized. At this time, selection transistor 331 and selection transistor 332 are both in an open state, and capacitive elements 321 and 322 are disconnected from subsequent node 340.
- the vertical scanning circuit 211 supplies a high-level selection signal ⁇ s for a predetermined period while keeping the FD reset signal rst and the subsequent selection signal selb of the selected row at high level. Thereby, the capacitive element 322 is connected to the subsequent node 340, and the signal level is read out.
- the selection circuit 330 of the selected row performs control to connect the capacitive element 321 to the subsequent node 340, control to disconnect the capacitive elements 321 and 322 from the subsequent node 340, and control to connect the capacitive element 322 to the subsequent node 340. and the control connected to it in order.
- rear-stage reset transistor 341 in the selected row initializes the level of rear-stage node 340.
- the subsequent stage circuit 350 in the selected row sequentially reads out the reset level and the signal level from the capacitive elements 321 and 322 via the subsequent stage node 340 and outputs them to the vertical signal line 309.
- FIG. 4 is a block diagram showing a configuration example of the load MOS circuit block 250 and the column signal processing circuit 260 in the first embodiment of the present technology.
- ADC 270 Analog to Digital Converters
- data processing section 262 a data processing section 262
- demultiplexer 263 a detection processing section 265, and a cutting area calculation section 266 are arranged.
- ADC 270 is arranged for each column. When the number of columns is I, I ADCs 270 are arranged.
- the ADC 270 uses the ramp signal Rmp from the DAC 213 to convert analog pixel signals from the corresponding column into digital signals.
- This ADC 270 supplies a digital signal to the data processing section 262.
- a single slope ADC including a comparator and a counter is arranged as the ADC 270.
- control circuit 212 can control at least one of the vertical scanning circuit 211 and the column signal processing circuit 260 to generate compressed data obtained by compressing image data.
- control circuit 212 thins out image data in at least one of a row unit and a column unit to generate data as compressed data.
- control circuit 212 controls the vertical scanning circuit 211 to sequentially select and drive rows excluding the row to be thinned out.
- control circuit 212 controls each of the ADCs 270 to disable the ADC 270 corresponding to the column to be thinned out and enable the remaining ADCs 270.
- control circuit 212 can also generate compressed data by pixel addition, which will be described later.
- control circuit 212 is assumed to be able to control at least one of the vertical scanning circuit 211 and the column signal processing circuit 260 to generate cutout data obtained by cutting out a part of the image data.
- the control circuit 212 controls the vertical scanning circuit 211 to sequentially drive all rows in the cutout area, enables ADCs 270 corresponding to all columns in the area, and disables the remaining ADCs 270. Make it. Since the cutout area is cut out from uncompressed image data, it has a higher resolution than compressed data. Such a region is also called ROI (Region of Interest).
- the data processing unit 262 performs predetermined signal processing such as CDS processing on each digital signal for each column.
- the data processing unit 262 supplies the processed digital signal to the demultiplexer 263.
- the demultiplexer 263 selects one of the detection processing unit 265 and the communication interface 214 as an output destination according to the authentication flag, and outputs the data from the data processing unit 262 to the output destination.
- the authentication possible flag is a flag that indicates, when a predetermined object (such as a face) is detected in the compressed data, whether the image quality of the area of the object is high enough to allow authentication. If authentication is not possible, the authentication possible flag is set to, for example, "0". On the other hand, if authentication is possible, the authentication possible flag is set to "1", for example. In the initial state, the authentication flag is set to "0".
- the control circuit 212 When the authentication flag is "0", the control circuit 212 generates compressed data. Further, the demultiplexer 263 outputs the compressed data to the detection processing section 265. On the other hand, when the authentication flag is "1", the control circuit 212 outputs the cut data, and the demultiplexer 263 outputs the cut data to the host 110 via the communication interface 214.
- the detection processing unit 265 performs detection processing to detect the presence or absence of a predetermined detection target (such as a face) on the compressed data.
- the detection processing section 265 supplies the detection result to the cutout region calculation section 266.
- This detection result includes information indicating success or failure of detection and a detection area that is a detection target area.
- the cutout area calculation unit 266 calculates a cutout area as necessary. When the detection processing unit 265 does not detect the object, the cutout area calculation unit 266 sets the authentication possible flag to “0” and supplies it to the demultiplexer 263 and the control circuit 212.
- the cut-out area calculation section 266 determines whether the image quality of the area of the object is at a level that allows authentication. If authentication is not possible, the cutout area calculation unit 266 sets the authentication possible flag to “0” and supplies it to the demultiplexer 263 and the control circuit 212.
- the cutout area calculation unit 266 sets the authentication possible flag to “1” and supplies it to the demultiplexer 263 and the control circuit 212. If the detection target and the authentication target are the same, the cutout area calculation unit 266 uses the detection area as the cutout area and supplies information indicating the area to the control circuit 212. On the other hand, when a part (such as an eye) of a detection target (such as a face) is an authentication target, the cutout area calculation unit 266 calculates the area of the authentication target as a cutout area, and supplies the calculated area to the control circuit 212.
- the control circuit 212 controls at least one of the vertical scanning circuit 211 and the column signal processing circuit 260 to output pixel signals of all pixels in the cutout area. Further, when the authentication flag is "0" from the second frame onwards from the start of imaging, the control circuit 212 changes the imaging parameters (ISO sensitivity, aperture, exposure time, white balance, etc.) as necessary.
- FIG. 5 is a diagram illustrating a usage example of the imaging system 100 in the first embodiment of the present technology.
- the imaging system 100 is used, for example, in an entry/exit management system that includes the imaging device 150.
- the imaging device 150 is installed near the gate and images the face of a person attempting to pass through the gate in the direction of the arrow.
- a solid-state imaging device 200 is provided within this imaging device 150.
- authentication is performed to determine whether a person entering or exiting is a pre-registered person.
- Authentication using an IC (Integrated Circuit) card is also possible, but due to hygiene concerns and the risk of losing the IC card, biometric authentication such as the face or eyes may be used.
- the host 110 When performing face authentication or the like based on image data captured by the imaging device 150, the host 110 needs to perform the authentication process at a speed that corresponds to the speed at which a person passes through the gate. For example, when a person walks briskly, the number of steps per hour is approximately 8,000, and the number of steps per second is approximately 2.2. Since the average stride length of an adult is 70 cm, the distance traveled per second is approximately 1.5 meters (m). If the distance at which images can be captured with image quality sufficient for authentication is approximately 1.5 meters (m) from the imaging device 150, the imaging system 100 must complete the process from imaging to authentication within one second. , high throughput is required. If the throughput is insufficient, humans will have to stop until processing is complete, reducing convenience.
- FIG. 6 is a diagram illustrating an example of a detection area and a cutout area in the first embodiment of the present technology.
- the solid-state image sensor 200 detects the presence or absence of a face, and the host 110 authenticates the eyes of the face.
- the solid-state image sensor 200 captures image data, compresses the image data to generate compressed data 500, and performs face detection processing on the compressed data 500. Detection of faces and identification of authentication areas such as eyes are common processes. Therefore, the detection process can be performed within the solid-state image sensor 200. Furthermore, since the detection process is possible even with coarse images, compressed data can be used.
- each pixel 300 can sample and hold the pixel signal, the original image data before compression is stored in the pixel array section 220 during the period from reading out the compressed data until the end of the next exposure. is retained. Therefore, the solid-state image sensor 200 can read out the original image data again before the next exposure is completed.
- the solid-state image sensor 200 cuts out an authentication target area such as the eyes from the detection area 510 of the original image data as a cutting area 511 and outputs it to the host 110. The host 110 then performs authentication processing on the cutout area 511.
- authentication process requires registered data of the person to be authenticated, and from the viewpoint of security and privacy, advanced security technology is required to protect the registered data. Therefore, authentication processing is performed by the host 110 outside the solid-state image sensor 200.
- FIG. 7 is a diagram showing another example of the detection area and cutout area in the first embodiment of the present technology.
- the imaging system 100 is applied to an entry/exit management system, but it can also be applied to the transportation field.
- the solid-state image sensor 200 detects the presence or absence of a car in the compressed data 600.
- the solid-state image sensor 200 cuts out the license plate area within the cutout area 610 from the original image data as a cutout area 611 and outputs it to the host 110, as illustrated in b in FIG. .
- the detection area and cutout area are not limited to the above-mentioned face, eye, car, and license plate areas.
- the solid-state image sensor 200 can set an arbitrary area as a detection area and cut out an arbitrary area as a cutting area.
- FIG. 8 is a diagram showing an example of an overall view of the solid-state image sensor 200 in the first embodiment of the present technology.
- Each of the plurality of pixels 300 arranged in the pixel array section 220 generates and samples and holds an analog pixel signal.
- the vertical scanning circuit 211 drives each of the plurality of rows in the pixel array section 220 to output a pixel signal.
- the column signal processing circuit 260 performs signal processing such as AD (Analog to Digital) conversion processing on pixel signals for each column.
- the control circuit 212 controls the vertical scanning circuit 211 in synchronization with the vertical scanning signal to expose all pixels simultaneously.
- the authentication possible flag is set to "0".
- the control circuit 212 controls at least one of the vertical scanning circuit 211 and the column signal processing circuit 260 to generate compressed data obtained by compressing the image data. For example, data obtained by thinning image data in at least one of a row unit and a column unit is generated as compressed data.
- the demultiplexer 263 supplies the compressed data to the detection processing unit 265 when the authentication flag is “0”.
- the detection processing unit 265 performs face detection processing on the compressed data.
- the cut-out area calculation unit 266 determines whether the image within the detection area has a quality that allows authentication, and if authentication is possible, sets "1" to the authentication possible flag. and supplies it to the demultiplexer 263 and the control circuit 212. Furthermore, the cutout area calculation unit 266 calculates a cutout area as necessary, and supplies information indicating the area to the control circuit 212.
- the control circuit 212 controls at least one of the vertical scanning circuit 211 and the column signal processing circuit 260 based on the results of processing the compressed data (such as an authentication flag), and controls the cutout data obtained by cutting out the cutout region of the original image data. output. For example, when the authentication flag is "1", cutout data is output. Furthermore, if the authentication possible flag is "0" in the second frame or later from the start of imaging, the control circuit 212 changes the imaging parameters as necessary.
- FIG. 9 is a timing chart showing an example of the operation of the imaging system 100 according to the first embodiment of the present technology.
- a indicates the operation of the entire imaging system 100.
- b indicates a thinning operation of the solid-state image sensor 200
- c in the figure indicates a cutting operation of the solid-state image sensor 200.
- the control circuit 212 simultaneously exposes all pixels in the pixel array section 220 over an exposure time from timing T1 to T2 synchronized with the vertical synchronization signal VSYNC. That is, exposure is controlled by a global shutter method. Further, all pixels in the pixel array section 220 retain pixel signals at the end of exposure. As a result, the first image data (frame) F1 is held.
- the column signal processing circuit 260 During the read period from timing T2 to T3, the column signal processing circuit 260 generates compressed data by thinning out the frame F1. After timing T3, the column signal processing circuit 260 performs detection processing on the compressed data. It is assumed that this detection process has failed.
- the column signal processing circuit 260 During the read period from timing T4 to T5, the column signal processing circuit 260 generates compressed data by thinning out frame F2. After timing T5, the column signal processing circuit 260 performs detection processing on the compressed data. It is assumed that this detection process was successful and authentication was possible. In this case, after timing T6, the column signal processing circuit 260 outputs cut-out data obtained by cutting out a part of the original frame F2 to the host 110. Here, by sample holding for each pixel, frame F2 is held without being destroyed until the exposure of the next frame F3 is completed. Therefore, the column signal processing circuit 260 can read out the pixel signals in the frame F2 again after timing T6.
- control circuit 212 changes the imaging parameters and simultaneously exposes all pixels in the pixel array section 220 over the exposure time from timing T5 to T7. For example, due to the improvement in ISO sensitivity, frame F3, which is brighter than frames F1 and F2, is generated.
- the host 110 is activated at or before timing T1 at the start of imaging, and performs authentication processing on cutout data after timing T7.
- This cutout data is cut out from the original frame F2 of the compressed data that has been subjected to the detection process. That is, the frame to be detected and the frame to be authenticated are the same. Furthermore, since each pixel samples and holds a pixel signal, there is no need to add a frame memory outside the pixel to hold the frame F2 at the time of detection.
- the imaging system 100 may perform the detection processing and authentication processing again, or may suspend the detection processing and authentication processing for a certain period of time.
- the imaging system 100 may be configured to pause when the authentication process is successful, and repeat the detection process and the authentication process when the authentication process fails. This is because there is no need to repeatedly authenticate the same recognition target. If the host 110 pauses upon success, the host 110 notifies the solid-state image sensor 200 whether or not the authentication was successful.
- Rn indicates the n-th row.
- rows R3, R4, etc. are thinned out, and rows such as R1, R2, R5, R6, etc. are read out in order.
- FIG. 10 is a timing chart showing an example of global shutter operation in the first embodiment of the present technology.
- the vertical scanning circuit 211 supplies a high-level FD reset signal rst and transfer signal trg to all rows (in other words, all pixels) from timing T10 immediately before the start of exposure to timing T1 after the pulse period has elapsed. do.
- the PDs of all pixels are reset, and exposure is started simultaneously in all rows.
- rst_[n] and trg_[n] in the figure indicate signals to pixels in the n-th row among N rows.
- N is an integer indicating the total number of rows
- n is an integer from 1 to N.
- the vertical scanning circuit 211 supplies the FD reset signal rst at a high level over the pulse period while setting the rear stage reset signal rstb and selection signal ⁇ r to high level in all pixels. .
- the FD of all pixels is reset, and the reset level is sampled and held.
- rstb_[n] and ⁇ r_[n] in the figure indicate signals to the pixels in the n-th row.
- the vertical scanning circuit 211 returns the selection signal ⁇ r to the low level.
- the vertical scanning circuit 211 sets the rear reset signal rstb and selection signal ⁇ s to high level in all pixels, and supplies a high level transfer signal trg over the pulse period.
- the signal level is sampled and held.
- the level of the previous node 320 decreases from the reset level (VDD-Vgs) to the signal level (VDD-Vgs-Vsig).
- VDD is the power supply voltage
- Vsig is the net signal level obtained by CDS processing.
- Vgs is the gate-source voltage of the preamplification transistor 315.
- ⁇ s_[n] in the figure indicates a signal to the pixel in the n-th row.
- the vertical scanning circuit 211 returns the selection signal ⁇ s to low level.
- the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to supply the current id1.
- id1_[n] in the figure indicates the current of the pixel in the n-th row.
- the current id1 needs to be on the order of several nanoamperes (nA) to several tens of nanoamperes (nA).
- the load MOS transistors 251 in all columns are in an off state, and the current id2 is not supplied to the vertical signal line 309.
- FIG. 11 is a timing chart showing an example of a read operation in the first embodiment of the present technology.
- the vertical scanning circuit 211 sets the n-th row FD reset signal rst and subsequent stage selection signal selb to high level.
- selb_[n] in the figure indicates a signal to the pixel in the n-th row.
- the vertical scanning circuit 211 supplies a high-level selection signal ⁇ r to the n-th row over a period from timing T21 immediately after timing T20 to timing T23.
- the potential of the subsequent node 340 becomes the reset level Vrst.
- the DAC 213 Over the period from timing T22 after timing T21 to timing T23, the DAC 213 gradually increases the ramp signal Rmp.
- the ADC 270 compares the ramp signal Rmp and the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the P phase level (reset level) is read out.
- the vertical scanning circuit 211 supplies a high-level rear-stage reset signal rstb to the n-th row. Thereby, when a parasitic capacitance exists in the subsequent node 340, the history of the previous signal held in the parasitic capacitance can be erased.
- the vertical scanning circuit 211 supplies a high-level selection signal ⁇ s to the n-th row over a period from timing T25 to timing T27 immediately after the subsequent node 340 is initialized.
- the potential of the subsequent node 340 becomes the signal level Vsig.
- the signal level was lower than the reset level, but at the time of reading, since the subsequent node 340 is used as a reference, the signal level becomes higher than the reset level.
- the difference between the reset level Vrst and the signal level Vsig corresponds to the net signal level after removing the FD reset noise and offset noise.
- the DAC 213 Over the period from timing T26 after timing T25 to timing T27, the DAC 213 gradually increases the ramp signal Rmp.
- the ADC 270 compares the ramp signal Rmp and the level Vrst' of the vertical signal line 309, and counts the count value until the comparison result is inverted. As a result, the D phase level (signal level) is read out.
- the vertical scanning circuit 211 controls the current source transistor 316 in the n-th row to be read out over a period from timing T20 to timing T27 to supply current id1. Furthermore, the control circuit 212 controls the load MOS transistors 251 in all columns to supply current id2 during the read period of all rows.
- the solid-state image sensor 200 reads the signal level after the reset level, the order is not limited to this. As illustrated in FIG. 12, the solid-state image sensor 200 can also read the reset level after the signal level. In this case, as illustrated in the figure, the vertical scanning circuit 211 supplies a high-level selection signal ⁇ r after a high-level selection signal ⁇ s. Furthermore, in this case, it is necessary to reverse the slope of the ramp signal.
- an imaging system is assumed in which pixels do not sample and hold pixel signals and the host 110 performs detection processing.
- FIG. 13 is a timing chart showing an example of the operation of the imaging system 100 in the first comparative example.
- the control circuit 212 exposes only the rows that are not targeted for thinning during the exposure period from timing T1 to timing T2. Then, during the read period from timing T2 to T3, the column signal processing circuit 260 reads out columns that are not subject to thinning, generates compressed data of frame F1, and outputs it to the host 110.
- timing T3 the host 110 performs detection processing on the compressed data. It is assumed that this detection process is successful and authentication is possible. Furthermore, between timings T3 and T4, the control circuit 212 exposes only the rows that are not subject to thinning.
- the control circuit 212 stops thinning out after timing T4, and exposes all the rows in the cutout area within the exposure period from timing T5 to T7.
- the column signal processing circuit 260 outputs cutout data obtained by cutting out a part of the frame F3 to the host 110, and the host 110 performs authentication processing on the cutout data.
- FIG. 14 is a timing chart showing an example of the operation of the imaging system 100 in the second comparative example.
- the control circuit 212 exposes all rows within the exposure period from timing T1 to T2. Then, within the read period from timing T2 to T3, the column signal processing circuit 260 reads the frame F1 and outputs it to the host 110.
- the host 110 holds and compresses the frame F1 in the frame memory, and performs face detection processing. Then, after timing T4, the host 110 performs authentication processing. It is assumed that the authentication process has failed due to a reason such as the face being obscured by the reflection of another substance.
- control circuit 212 exposes all rows within the exposure period from timing T5 to T6. Then, within the read period after timing T6, the column signal processing circuit 260 reads frame F3. The control circuit 212 changes the imaging parameters of the next frame F4 in response to the authentication failure. For example, increase the ISO sensitivity to brighten the image.
- the frame F1 to be detected is different from the frame F3 to be authenticated. Therefore, if the subject moves between frames F1 and F3, there is a possibility that the eyes of the authentication target may move out of the cutout area or the pattern may change due to blinking or the like.
- the frame F1 to be detected and the frame F1 to be authenticated are the same. Therefore, the problems of the first comparative example have been resolved.
- an uncompressed frame is generated by exposing all pixels, the amount of data between the solid-state image sensor 200 and the host 110 and the power consumption increase.
- the authentication process for frame F1 fails, the imaging parameters are changed from frame F4 onward according to the result, and if the authentication process is performed more than once, the throughput will decrease. Even if the compression and detection processing are performed within the solid-state imaging device 200, the problem of reduced throughput remains.
- the same frame can be read out multiple times, so the frame to be detected and the frame to be authenticated are It can be done. This eliminates the time lag from detection to authentication when the host 110 performs intelligent authentication processing, and it is possible to suppress authentication failures due to changes in the image during the time lag.
- FIG. 15 is a diagram illustrating an example of image data, compressed data, and cutout data in the first embodiment of the present technology.
- a is an example of image data before compression.
- b in the figure is an example of compressed data, and
- c in the figure is an example of cutout data.
- pixels in the image data receives any one of R (Red), G (Green), and B (Blue) light.
- pixels in the image data are, for example, arranged in a Bayer array.
- the area surrounded by the thick frame a in the figure is the cutout area.
- all pixels within the cutout area are read out as cutout data. By reading out all pixels within the cutout area, the resolution of the cutout data becomes higher than that of the compressed data.
- FIG. 16 is a flowchart illustrating an example of the operation of the solid-state image sensor 200 in the first embodiment of the present technology. This operation is started when a predetermined application for capturing image data is executed.
- the solid-state image sensor 200 first exposes all pixels using a global shutter method and holds a pixel signal for each pixel (step S901). The solid-state image sensor 200 then reads the compressed data (step S902) and determines whether a face has been detected (step S903). If a face is detected (step S903: Yes), the solid-state image sensor 200 determines whether or not eyes or the like can be authenticated (step S904).
- Step S903 If a face is not detected (Step S903: No) or if authentication is not possible (Step S904: No), the solid-state image sensor 200 checks the imaging parameters and changes them as necessary (Step S906). After step S906, the solid-state image sensor 200 repeats steps S901 and subsequent steps.
- step S904 If authentication is possible (step S904: Yes), the solid-state image sensor 200 reads out the cutout data and outputs it to the host 110 (step S905), and determines whether an authentication success notification has been received from the host 110 (step S907). ). If the authentication success notification has not been received (Step S907: No), the solid-state image sensor 200 repeats Step S901 and subsequent steps. On the other hand, when the authentication success notification is received (step S907: Yes), the solid-state image sensor 200 ends the operation for imaging and pauses for a certain period of time.
- FIG. 17 is a flowchart illustrating an example of the operation of the host 110 in the first embodiment of the present technology. This operation is started when a predetermined application for capturing image data is executed.
- the host 110 determines whether cutout data has been received from the solid-state image sensor 200 (step S910). When the cutout data is received (step S910: Yes), the host 110 performs authentication processing and determines whether it is successful (step S911). If the authentication process is successful (step S911: Yes), the host 110 notifies the authentication success (step S912), and repeats steps S910 and subsequent steps.
- Step S910 No
- Step S910 No
- Step S911 No
- the solid-state image sensor 200 outputs data cut out from the original image data based on the result of the detection process on the compressed data, so the host 110 , it is possible to authenticate the same image as when it was detected. This increases the success rate of the authentication process and improves the usability of the imaging system 100.
- the solid-state image sensor 200 generates compressed data by thinning out data, but with this configuration, it is difficult to reduce noise in the compressed data.
- the solid-state imaging device 200 in this second embodiment differs from the first embodiment in that compressed data is generated by pixel addition.
- FIG. 18 is a block diagram showing a configuration example of the column signal processing circuit 260 in the second embodiment of the present technology.
- the column signal processing circuit 260 of this second embodiment differs from the first embodiment in that it further includes a compression processing section 264.
- the control circuit 212 controls the data processing unit 262 to perform AD conversion on all pixels.
- the demultiplexer 263 supplies the image data from the data processing section 262 to the compression processing section 264 when the authentication flag is "0".
- the compression processing unit 264 compresses the image data after AD conversion by pixel addition.
- the compression processing unit 264 supplies compressed data generated by compression to the detection processing unit 265.
- the operation of the column signal processing circuit 260 when the authentication flag is "1" is the same as in the first embodiment.
- FIG. 19 is a diagram showing an example of image data and compressed data in the second embodiment of the present technology.
- a indicates an example of image data before compression
- b in the figure indicates an example of compressed data.
- the compression processing unit 264 adds a plurality of adjacent digital pixel signals of the same color to obtain a compressed pixel signal. For example, as illustrated in a in the figure, the average of pixel signals of four R pixels in a Bayer array is calculated. The average signal is arranged as a pixel signal of R pixels in the compressed data, as illustrated in b in the figure.
- noise can be reduced by the compression processing unit 264 averaging a plurality of pixel signals (that is, digital signals).
- the compression processing unit 264 adds digital signals, it is also possible to add analog pixel signals before AD conversion.
- a compression processing unit 261 that adds analog pixel signals is arranged before the ADC 262.
- the circuit in the compression processing unit 261 for example, the circuit shown in FIG. 6 of Japanese Patent Laid-Open No. 2008-042478 is used.
- the compression processing unit 264 generates compressed data by adding a plurality of pixel signals, so noise is reduced compared to the first embodiment. be able to.
- the host 110 is activated at the start of imaging, but it is preferable to further reduce the power consumption of the host 110.
- the imaging system 100 according to the third embodiment differs from the first embodiment in that the host 110 pauses until the eyes or the like become recognizable.
- FIG. 21 is a block diagram showing a configuration example of a solid-state image sensor 200 in the third embodiment of the present technology.
- the solid-state imaging device 200 of the third embodiment differs from the first embodiment in that the column signal processing circuit 260 outputs an authentication possible flag to the host 110.
- FIG. 22 is a timing chart showing an example of the operation of the imaging system 100 in the third embodiment of the present technology.
- the host 110 In the initial state, the host 110 is in a dormant state.
- the hibernation state for example, in the host 110, only the minimum circuit (communication circuit, control circuit, etc.) for processing signals from the solid-state image sensor 200 operates, and other circuits (authentication processing unit, etc.) operate. 114, etc.) are stopped.
- the column signal processing circuit 260 transmits an authentication flag of “1” to the host 110.
- the host 110 shifts from the dormant state to the activated state in which the authentication processing unit 114 and the like operate according to the flag. Then, when the cutout data is output after timing T7, the host 110 performs authentication processing using the cutout data after timing T7.
- the power consumption of the imaging system 100 can be reduced compared to the first embodiment.
- the column signal processing circuit 260 outputs the authentication possible flag and the host 110 pauses until authentication becomes possible, thereby reducing the power consumption of the imaging system 100. can do.
- the solid-state image sensor 200 performs the detection process for faces and the like, but the host 110 can also perform the detection process instead of the solid-state image sensor 200.
- the imaging system 100 according to the fourth embodiment differs from the first embodiment in that the host 110 performs the detection processing.
- FIG. 23 is a diagram illustrating a configuration example of the imaging system 100 according to the fourth embodiment of the present technology.
- the imaging system 100 according to the fourth embodiment differs from the first embodiment in that the host 110 further includes a detection processing section 116 and a cutout region calculation section 117.
- the detection processing section 265 and the cut-out region calculation section 266 are not arranged in the solid-state image sensor 200 of the fourth embodiment.
- the configurations of the detection processing unit 116 and the cutout area calculation unit 117 are similar to the detection processing unit 265 and the cutout area calculation unit 266 in the solid-state image sensor 200. However, the cutout area calculation unit 117 transmits the authentication flag and the cutout area to the solid-state image sensor 200 via the communication interface 112, for example.
- FIG. 24 is a timing chart showing an example of the operation of the imaging system 100 in the fourth embodiment of the present technology.
- the column signal processing circuit 260 generates compressed data by thinning out the frame F1, and transmits it to the host 110.
- the host 110 Immediately after timing T3, the host 110 performs detection processing on the compressed data. A slight time lag occurs between timing T3 and the start timing of the detection process due to transmission and reception of compressed data. It is assumed that this detection process has failed. In this case, the host 110 feeds back an authentication flag of "0" to the solid-state image sensor 200.
- the host 110 Immediately after timing T5, the host 110 performs a detection process on the compressed data, and it is assumed that authentication is possible. The host 110 feeds back the authentication flag of "1" and the cutout area to the solid-state image sensor 200.
- the column signal processing circuit 260 After timing T6, the column signal processing circuit 260 outputs the cutout data, and after timing T7, the host 110 performs authentication processing using the cutout data.
- the processing amount of the solid-state image sensor 200 can be reduced, although the feedback timing is delayed.
- the host 110 performs the detection processing, so the processing amount of the solid-state image sensor 200 can be reduced.
- the host 110 performs eye authentication processing using cutout data, but it is also possible to perform processing other than authentication processing.
- the imaging system 100 according to the fifth embodiment differs from the first embodiment in that the solid-state imaging device 200 detects the presence or absence of a person, and the host 110 determines the action.
- FIG. 25 is a diagram illustrating a configuration example of the imaging system 100 according to the fifth embodiment of the present technology.
- the imaging system 100 of the fifth embodiment differs from the first embodiment in that the host 110 includes an act determination section 118 instead of the authentication processing section 114.
- the solid-state image sensor 200 in the fifth embodiment detects the presence or absence of a person in the compressed data, and cuts out the area of the detected person from the original image data.
- the action determination unit 118 analyzes the cutout data, determines whether the person's action is a specific action, and outputs the determination result to the outside.
- FIG. 26 is a diagram for explaining a usage example of the imaging system 100 according to the fifth embodiment of the present technology.
- an imaging device 150 provided with a solid-state imaging device 200 generates compressed data of image data 700.
- the solid-state image sensor 200 detects two people in the compressed data, cuts out cutout regions 710 and 720 corresponding to each person from the original image data 700, and outputs them to the host 110.
- the host 110 analyzes the cutout areas 710 and 720 and determines whether each person's act is a specific act. For example, the host 110 detects a person's clothes and belongings by detecting objects, and determines actions based on the information.
- a person in the detection area 710 is wearing clothes with pockets, carrying a mobile phone, and wearing a mask, helmet, and gloves. Based on this information, the host 110 determines that the person is performing work such as inspection work.
- the person in the detection area 720 is wearing clothes with pockets, carrying a mobile phone, and not wearing a mask, helmet, or gloves. Based on this information, the host 110 determines that the person is performing an act outside of work.
- the host 110 If there is a person who has committed an act outside of work, the host 110 outputs the determination result to an alarm device or the like, and causes an alarm to be output.
- the solid-state image sensor 200 detects the presence or absence of a person, and the host 110 realizes processing other than authentication processing in order to determine the behavior of the person. be able to.
- the host 110 performs eye authentication processing using cutout data, but it is also possible to perform processing other than authentication processing.
- the imaging system 100 according to the sixth embodiment differs from the first embodiment in that the solid-state imaging device 200 detects the difference from background data, and the host 110 stores the cutout data.
- FIG. 27 is a diagram illustrating an example of background data, compressed data, and cutout data in the sixth embodiment of the present technology.
- a indicates an example of the background data 800.
- b in the figure indicates an example of compressed data 810.
- c indicates an example of cutout data.
- the detection processing unit 265 in the solid-state image sensor 200 detects the difference between the background data 800 and the compressed data 810, and sets the area of the difference as the cutout area 811. Then, the control circuit 212 outputs cutout data obtained by cutting out the cutout region 811 from the original image data.
- the host 110 saves the extracted data. Alternatively, the cutout data is analyzed to determine whether there is an abnormality.
- the processing load of the solid-state image sensor 200 can be reduced by using the background subtraction method because the solid-state image sensor 200 can process it more easily than when detecting a face or the like.
- the solid-state image sensor 200 detects the difference with the background, so that the processing load can be reduced.
- the pre-stage circuit 310 reads the signal while being connected to the pre-stage node 320, but with this configuration, noise from the pre-stage node 320 cannot be blocked during reading.
- the pixel 300 of the first modified example of the first embodiment differs from the first embodiment in that a transistor is inserted between the front-stage circuit 310 and the front-stage node 320.
- FIG. 28 is a circuit diagram showing a configuration example of the pixel 300 in the first modification of the first embodiment of the present technology.
- the pixel 300 of the first modification of the first embodiment differs from the first embodiment in that it further includes a pre-stage reset transistor 323 and a pre-stage selection transistor 324. Further, the power supply voltage of the front-stage circuit 310 and the rear-stage circuit 350 of the first modification of the first embodiment is set to VDD1.
- the pre-stage reset transistor 323 initializes the level of the pre-stage node 320 with the power supply voltage VDD2.
- This power supply voltage VDD2 is desirably set to a value that satisfies the following equation.
- VDD2 VDD1-Vgs...Formula 1
- Vgs is the gate-source voltage of the preamplification transistor 315.
- Equation 1 By setting it to a value that satisfies Equation 1, it is possible to reduce potential fluctuations between the front-stage node 320 and the rear-stage node 340 when it is dark. This makes it possible to improve photo response non-uniformity (PRNU).
- PRNU photo response non-uniformity
- the pre-stage selection transistor 324 opens and closes the path between the pre-stage circuit 310 and the pre-stage node 320 in accordance with the pre-stage selection signal sel from the vertical scanning circuit 211.
- FIG. 29 is a timing chart showing an example of the global shutter operation in the first modification of the first embodiment of the present technology.
- the timing chart of the first modification of the first embodiment differs from the first embodiment in that the vertical scanning circuit 211 further supplies a pre-stage reset signal rsta and a pre-stage selection signal sel.
- rsta_[n] and sel_[n] indicate signals to the pixels in the n-th row.
- the vertical scanning circuit 211 supplies a high-level pre-stage selection signal sel to all pixels from timing T2 immediately before the end of exposure to timing T5.
- the pre-stage reset signal rsta is controlled to a low level.
- FIG. 30 is a timing chart showing an example of a read operation in the first modification of the first embodiment of the present technology.
- the previous stage selection signal sel is controlled to a low level.
- the pre-stage selection transistor 324 shifts to an open state, and the pre-stage node 320 is disconnected from the pre-stage circuit 310. Thereby, noise from the preceding node 320 can be blocked during reading.
- the vertical scanning circuit 211 supplies a high-level pre-stage reset signal rsta to the n-th row.
- the vertical scanning circuit 211 controls the current source transistors 316 of all pixels to stop supplying the current id1.
- Current id2 is supplied in the same manner as in the first embodiment. In this way, compared to the first embodiment, control of the current id1 becomes simpler.
- the pre-stage selection transistor 324 shifts to the open state at the time of reading and disconnects the pre-stage circuit 310 from the pre-stage node 320. Noise from the circuit 310 can be blocked.
- the circuit within the solid-state image sensor 200 is provided on a single semiconductor chip, but with this configuration, there is a risk that the element will not fit within the semiconductor chip when the pixel 300 is miniaturized. There is.
- the solid-state image sensor 200 of the second modification of the first embodiment differs from the first embodiment in that the circuits within the solid-state image sensor 200 are distributed and arranged over two semiconductor chips.
- FIG. 31 is a diagram showing an example of the stacked structure of the solid-state image sensor 200 in the second modification of the first embodiment of the present technology.
- a solid-state image sensor 200 according to a second modification of the first embodiment includes a circuit chip 202 and a pixel chip 201 stacked on the circuit chip 202. These chips are electrically connected by, for example, Cu--Cu junctions. Note that in addition to Cu--Cu bonding, connection can also be made by vias or bumps.
- An upper pixel array section 221 is arranged on the pixel chip 201.
- a lower pixel array section 222 and a column signal processing circuit 260 are arranged on the circuit chip 202.
- a vertical scanning circuit 211 a control circuit 212, a DAC 213, and a load MOS circuit block 250 are also arranged on the circuit chip 202. These circuits are omitted in the figure.
- the pixel chip 201 is manufactured using, for example, a pixel-dedicated process
- the circuit chip 202 is manufactured using, for example, a CMOS (Complementary MOS) process.
- CMOS Complementary MOS
- the pixel chip 201 is an example of a first chip described in the claims
- the circuit chip 202 is an example of a second chip described in the claims.
- FIG. 32 is a circuit diagram showing a configuration example of the pixel 300 in the second modification of the first embodiment of the present technology.
- the pre-stage circuit 310 is arranged on the pixel chip 201, and the other circuits and elements (capacitive elements 321 and 322, etc.) are arranged on the circuit chip 202.
- the current source transistor 316 can also be further arranged on the circuit chip 202.
- the area of the pixel can be reduced and the pixel can be easily miniaturized. Become.
- the circuits and elements within the pixel 300 are distributed and arranged on two semiconductor chips, so that it is easy to miniaturize the pixel. Become.
- FIG. 33 is a diagram showing an example of the stacked structure of the solid-state image sensor 200 in the third modification of the first embodiment of the present technology.
- a solid-state image sensor 200 according to a third modification of the first embodiment includes an upper pixel chip 203, a lower pixel chip 204, and a circuit chip 202. These chips are stacked and electrically connected, for example, by Cu--Cu bonding. Note that in addition to Cu--Cu bonding, connection can also be made by vias or bumps.
- An upper pixel array section 221 is arranged on the upper pixel chip 203.
- a lower pixel array section 222 is arranged on the lower pixel chip 204 .
- a column signal processing circuit 260 a vertical scanning circuit 211, a control circuit 212, a DAC 213, and a load MOS circuit block 250 are arranged on the circuit chip 202. Circuits other than the column signal processing circuit 260 are omitted in the figure.
- the upper pixel chip 203 is an example of the first chip described in the claims
- the lower pixel chip 204 is an example of the second chip described in the claims.
- the circuit chip 202 is an example of a third chip described in the claims.
- the second layer lower pixel chip 204 can be manufactured using a dedicated process for capacitors and switches.
- the circuits in the solid-state image sensor 200 are distributed and arranged on three semiconductor chips, so that the circuits are distributed and arranged on two semiconductor chips.
- the pixels can be further miniaturized compared to the case where the pixels are
- the reset level is sampled and held within the exposure period, but with this configuration, the exposure period cannot be made shorter than the sample and hold period of the reset level.
- the solid-state image sensor 200 of the seventh embodiment differs from the first embodiment in that the exposure period is shortened by adding a transistor that discharges charge from the photoelectric conversion element.
- FIG. 34 is a circuit diagram showing a configuration example of the pixel 300 in the seventh embodiment of the present technology.
- the pixel 300 of this seventh embodiment differs from the first embodiment in that it further includes a discharge transistor 317 in the front-stage circuit 310.
- the discharge transistor 317 functions as an overflow drain that discharges charges from the photoelectric conversion element 311 according to a discharge signal ofg from the vertical scanning circuit 211.
- the drain transistor 317 for example, an nMOS transistor is used.
- blooming may occur when charges are transferred from the photoelectric conversion element 311 to the FD 314 for all pixels. Then, when the FD is reset, the potentials of the FD 314 and the previous node 320 drop. Following this potential drop, currents for charging and discharging the capacitive elements 321 and 322 continue to occur, and the IR drop of the power supply and ground changes from a steady state without blooming.
- the drain transistor 317 the charge of the photoelectric conversion element 311 is drained to the overflow drain side. Therefore, the IR drop when sample-holding the reset level and the signal level becomes approximately the same, and streaking noise can be suppressed.
- FIG. 35 is a timing chart showing an example of global shutter operation in the seventh embodiment of the present technology.
- the vertical scanning circuit 211 supplies the high-level FD reset signal rst to all pixels over a pulse period while setting the discharge signal ofg of all pixels to a high level.
- PD reset and FD reset are performed for all pixels.
- the reset level is sampled and held.
- ofg_[n] in the figure indicates a signal to the pixel in the nth row among the N rows.
- the vertical scanning circuit 211 returns the discharge signal ofg of all pixels to the low level. Then, over a period from timing T2 immediately before the end of exposure to T3 at the end of exposure, the vertical scanning circuit 211 supplies a high-level transfer signal trg to all pixels. As a result, the signal level is sampled and held.
- both the transfer transistor 312 and the FD reset transistor 313 must be turned on at the start of exposure (that is, at the time of PD reset).
- the FD 314 when resetting the PD, the FD 314 must also be reset at the same time. Therefore, it is necessary to perform the FD reset again within the exposure period and sample and hold the reset level, and the exposure period cannot be made shorter than the sample and hold period of the reset level.
- sampling and holding the reset level of all pixels a certain amount of waiting time is required for the voltage and current to stabilize. A period is required.
- the PD reset and the FD reset can be performed separately. Therefore, as illustrated in the figure, the FD reset can be performed before the PD reset is canceled (exposure start), and the reset level can be sampled and held. Thereby, the exposure period can be made shorter than the sample hold period of the reset level.
- the discharge transistor 317 that discharges charge from the photoelectric conversion element 311 since the discharge transistor 317 that discharges charge from the photoelectric conversion element 311 is provided, it is possible to perform FD reset and sample and hold the reset level before starting exposure. can. Thereby, the exposure period can be made shorter than the sample hold period of the reset level.
- the FD 314 is initialized by the power supply voltage VDD, but with this configuration, there is a risk that the sensitivity non-uniformity (PRNU) will deteriorate due to variations in the capacitive elements 321 and 322 and parasitic capacitance. be.
- the solid-state imaging device 200 of the eighth embodiment differs from the first embodiment in that the PRNU is improved by lowering the power of the FD reset transistor 313 during reading.
- FIG. 36 is a circuit diagram showing a configuration example of the pixel 300 in the eighth embodiment of the present technology.
- the pixel 300 of the eighth embodiment differs from the first embodiment in that the power supply of the FD reset transistor 313 is separated from the power supply voltage VDD of the pixel 300.
- the drain of the FD reset transistor 313 of the third embodiment is connected to the reset power supply voltage VRST.
- This reset power supply voltage VRST is controlled by the control circuit 212, for example.
- the deterioration of PRNU in the pixel 300 of the first embodiment will be considered.
- the potential of the FD 314 decreases due to reset feedthrough of the FD reset transistor 313. Let this amount of variation be Vft.
- the power supply voltage of the FD reset transistor 313 is VDD, so at timing T0, the potential of the FD 314 changes from VDD to VDD-Vft. Further, the potential of the previous stage node 320 during exposure becomes VDD-Vft-Vgs.
- the FD reset transistor 313 is turned on during reading, and the FD 314 is fixed to the power supply voltage VDD.
- Vft the amount of variation of the FD 314
- the potentials of the front stage node 320 and the rear stage node 340 during reading are shifted higher by about Vft.
- the amount of voltage to be shifted varies from pixel to pixel, causing PRNU deterioration.
- the amount of transition of the subsequent node 340 when the previous node 320 transitions by Vft is expressed, for example, by the following equation. ⁇ (Cs+ ⁇ Cs)/(Cs+ ⁇ Cs+Cp) ⁇ *Vft...Formula 2
- Cs is the capacitance value of the capacitive element 322 on the signal level side
- ⁇ Cs is the variation in Cs
- Cp is the capacitance value of the parasitic capacitance of the subsequent node 340.
- Equation 2 can be approximated to the following equation. ⁇ 1-( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft...Formula 3
- Equation 3 the variation in the subsequent node 340 can be expressed by the following equation. ⁇ ( ⁇ Cs/Cs)*(Cp/Cs) ⁇ *Vft...Formula 4
- FIG. 39 is a timing chart showing an example of voltage control in the eighth embodiment of the present technology.
- the control circuit 212 controls the reset power supply voltage VRST to a value different from the exposure period in the row-by-row read period after timing T9.
- the control circuit 212 sets the reset power supply voltage VRST to the same value as the power supply voltage VDD.
- the control circuit 212 lowers the reset power supply voltage VRST to VDD-Vft. That is, during the read period, the control circuit 212 lowers the reset power supply voltage VRST by an amount that substantially matches the variation amount Vft due to reset feedthrough. This control allows the reset levels of the FD 314 to be made the same during exposure and during readout.
- the amount of voltage fluctuation between the FD 314 and the previous node 320 can be reduced, as illustrated in the figure. This makes it possible to suppress variations in the capacitive elements 321 and 322 and deterioration of PRNU caused by parasitic capacitance.
- the control circuit 212 lowers the reset power supply voltage VRST by the variation amount Vft due to reset feedthrough during readout, so that the reset level is adjusted between exposure and readout. can be arranged. Thereby, deterioration of sensitivity non-uniformity (PRNU) can be suppressed.
- PRNU sensitivity non-uniformity
- Ninth embodiment> In the first embodiment described above, the signal level is read after the reset level for each frame, but in this configuration, sensitivity non-uniformity (PRNU) may occur due to variations in the capacitive elements 321 and 322 and parasitic capacitance. It may get worse.
- the solid-state image sensor 200 of the ninth embodiment is different from the first embodiment in that it improves the PRNU by replacing the level held in the capacitive element 321 and the level held in the capacitive element 322 for each frame. Different from the form.
- the solid-state imaging device 200 of the ninth embodiment continuously images a plurality of frames in synchronization with a vertical synchronization signal. Odd-numbered frames are referred to as “odd-numbered frames,” and even-numbered frames are referred to as “even-numbered frames.”
- FIG. 40 is a timing chart showing an example of global shutter operation for odd frames in the ninth embodiment.
- the pre-stage circuit 310 in the solid-state image sensor 200 sets the selection signal ⁇ s to a high level after the selection signal ⁇ r, thereby causing the capacitive element 321 to hold the reset level, and then changes the signal level. It is held by the capacitive element 322.
- FIG. 41 is a timing chart showing an example of an odd frame read operation in the ninth embodiment of the present technology.
- the subsequent circuit 350 in the solid-state image sensor 200 sets the selection signal ⁇ s to high level after the selection signal ⁇ r, and reads out the signal level after the reset level.
- FIG. 42 is a timing chart showing an example of global shutter operation for even frames in the ninth embodiment.
- the front-stage circuit 310 in the solid-state image sensor 200 makes the selection signal ⁇ r a high level after the selection signal ⁇ s, thereby causing the capacitive element 322 to hold the reset level, and then changes the signal level. It is held by the capacitive element 321.
- FIG. 43 is a timing chart showing an example of an even frame read operation in the ninth embodiment of the present technology.
- the subsequent circuit 350 in the solid-state image sensor 200 sets the selection signal ⁇ r to high level after the selection signal ⁇ s, and reads out the signal level after the reset level.
- the levels held in each of the capacitive elements 321 and 322 are reversed between even frames and odd frames.
- the polarity of PRNU is also reversed between even frames and odd frames.
- the subsequent column signal processing circuit 260 calculates the average of the odd and even frames. This allows PRNUs with opposite polarities to cancel each other out.
- This control is effective in capturing moving images and adding frames together. Further, there is no need to add an element to the pixel 300, and it can be realized only by changing the driving method.
- the level held in the capacitive element 321 and the level held in the capacitive element 322 are reversed between odd frames and even frames.
- the polarity of PRNU can be reversed depending on the frame. By adding these odd-numbered frames and even-numbered frames by the column signal processing circuit 260, deterioration of PRNU can be suppressed.
- the column signal processing circuit 260 calculates the difference between the reset level and the signal level for each column.
- the solid-state image sensor 200 of the tenth embodiment differs from the first embodiment in that it is determined for each pixel whether or not a sunspot phenomenon has occurred.
- FIG. 44 is a circuit diagram showing a configuration example of the column signal processing circuit 260 in the tenth embodiment of the present technology.
- the column signal processing circuit 260 of the fifth embodiment further includes a plurality of CDS processing sections 291 and a plurality of selectors 292.
- ADC 270, CDS processing section 291, and selector 292 are provided for each column.
- the ADC 270 also includes a comparator 280 and a counter 271.
- the comparator 280 compares the level of the vertical signal line 309 and the ramp signal Rmp from the DAC 213, and outputs the comparison result VCO.
- the comparison result VCO is supplied to the counter 271 and the control circuit 212.
- Comparator 280 includes a selector 281 , capacitive elements 282 and 283 , auto-zero switches 284 and 286 , and a comparator 285 .
- the selector 281 connects either the vertical signal line 309 of the corresponding column or the node of the predetermined reference voltage VREF to the non-inverting input terminal (+) of the comparator 285, and connects the capacitive element 282 to the non-inverting input terminal (+) of the comparator 285, according to the input side selection signal selin. It is connected via The input side selection signal selin is supplied from the control circuit 212.
- the comparator 285 compares the levels of the non-inverting input terminal (+) and the inverting input terminal (-), and outputs the comparison result VCO to the counter 271.
- a ramp signal Rmp is input to the inverting input terminal (-) via the capacitive element 283.
- the auto-zero switch 284 short-circuits the non-inverting input terminal (+) and output terminal of the comparison result VCO according to the auto-zero signal Az from the control circuit 212.
- the auto-zero switch 286 short-circuits the inverting input terminal (-) and the output terminal of the comparison result VCO according to the auto-zero signal Az.
- the counter 271 counts a count value until the comparison result VCO is inverted, and outputs a digital signal CNT_out indicating the count value to the CDS processing unit 291.
- the CDS processing unit 291 performs CDS processing on the digital signal CNT_out. This CDS processing unit 291 calculates the difference between the digital signal CNT_out corresponding to the reset level and the digital signal CNT_out corresponding to the signal level, and outputs it to the selector 292 as CDS_out.
- the selector 292 outputs either the digital signal CDS_out after CDS processing or the full code digital signal FULL to the data processing unit 262 as pixel data of the corresponding column, according to the output side selection signal selout from the control circuit 212. It is something.
- FIG. 45 is a timing chart showing an example of global shutter operation in the tenth embodiment of the present technology.
- the method of controlling transistors at the time of global shutter in the tenth embodiment is the same as that in the first embodiment.
- the photoelectric conversion element 311 becomes fully charged, the electric charge overflows from the photoelectric conversion element 311 to the FD 314, and the potential of the FD 314 decreases after the FD is reset.
- the dashed-dotted line in the same figure shows the potential fluctuation of the FD 314 when weak sunlight is incident such that the overflowing charge amount is relatively small.
- the dotted line in the figure shows the potential fluctuation of the FD 314 when strong sunlight that causes a relatively large amount of overflowing charge is incident.
- the reset level is lowered at timing T3 when the FD reset is completed, but the level has not completely lowered at this point.
- the operating point of the front-stage circuit 310 cannot be secured, and the current id1 of the current source transistor 316 fluctuates.
- the current source transistor 316 of each pixel is connected to a common power supply or ground, so when the current changes in a certain pixel, the change in the IR drop of that pixel will affect the sample level of other pixels. It ends up.
- the pixel where the sunspot phenomenon occurs becomes the aggressor, and the pixel whose sample level fluctuates due to the pixel becomes the victim. This results in streaking noise.
- the drain transistor 317 when the drain transistor 317 is provided as in the seventh embodiment, in a pixel with a black spot (blooming), overflowing charge is discarded to the drain transistor 317 side, so that the black spot phenomenon is less likely to occur.
- the discharge transistor 317 even if the discharge transistor 317 is provided, there is a possibility that some of the charge will flow to the FD 314, and the sunspot phenomenon may not be completely cured.
- the addition of the drain transistor 317 has the disadvantage that the ratio of effective area to amount of charge for each pixel decreases. Therefore, it is desirable to suppress the sunspot phenomenon without using the discharge transistor 317.
- the first is adjusting the clip level of the FD314.
- the second method is to determine whether or not a black spot phenomenon occurs during reading, and to replace the output with a full code when a black spot phenomenon occurs.
- the high level of the FD reset signal rst (in other words, the gate of the FD reset transistor 313) in the figure is the power supply voltage VDD, and the low level corresponds to the clip level of the FD 314.
- the difference (ie, amplitude) between these high and low levels is set to a value corresponding to the dynamic range.
- the value is adjusted to a value that further adds a margin to that value.
- the value corresponding to the dynamic range corresponds to the difference between the power supply voltage VDD and the potential of the FD 314 when the digital signal becomes a full code.
- the dynamic range changes depending on the analog gain of the ADC.
- the analog gain is low, a large dynamic range is required; conversely, when the analog gain is high, a small dynamic range is required. Therefore, the gate voltage of the FD reset transistor 313 when it is off can be changed depending on the analog gain.
- FIG. 46 is a timing chart showing an example of a read operation in the tenth embodiment of the present technology.
- the selection signal ⁇ r becomes high level at timing T11 immediately after timing T10 of the start of reading, the potential of the vertical signal line 309 changes in the pixel where sunlight has entered.
- the dashed-dotted line in the figure shows the potential fluctuation of the vertical signal line 309 when weak sunlight is incident.
- the dotted line in the figure shows the potential fluctuation of the vertical signal line 309 when strong sunlight is incident.
- the control circuit 212 supplies the input side selection signal selin of “0”, for example, and connects the comparator 285 to the vertical signal line 309. During this auto-zero period, the control circuit 212 performs auto-zero using the auto-zero signal Az.
- the control circuit 212 supplies, for example, the input side selection signal selin of "1" within the determination period from timing T12 to timing T13.
- This input side selection signal selin disconnects the comparator 285 from the vertical signal line 309 and connects it to the node of the reference voltage VREF.
- This reference voltage VREF is set to the expected level of the vertical signal line 309 when blooming does not occur.
- Vrst corresponds to Vreg ⁇ Vgs2, for example, assuming that the gate-source voltage of the rear-stage amplification transistor 351 is Vgs2.
- the DAC 213 lowers the level of the ramp signal Rmp from Vrmp_az to Vrmp_sun within the determination period.
- the reset level Vrst of the vertical signal line 309 is almost the same as the reference voltage VREF, and the potential of the inverting input terminal (+) of the comparator 285 is at auto-zero. It's not much different than before.
- the non-inverting input terminal (-) since the non-inverting input terminal (-) has dropped from Vrmp_az to Vrmp_sun, the comparison result VCO becomes high level.
- control circuit 212 can determine whether blooming has occurred based on whether the comparison result VCO becomes a low level within the determination period.
- the control circuit 212 After timing T13 after the determination period has elapsed, the control circuit 212 connects the comparator 285 to the vertical signal line 309. Furthermore, when the P-phase settling period from timing T13 to T14 has elapsed, the P-phase is read out within the period from timing T14 to T15. When the D-phase settling period from timing T15 to T19 has elapsed, the D-phase is read out within the period from timing T19 to T20.
- control circuit 212 controls the selector 292 using the output side selection signal selout to output the digital signal CDS_out after the CDS processing as it is.
- control circuit 212 controls the selector 292 using the output side selection signal selout to output the full code FULL instead of the digital signal CDS_out after CDS processing. Thereby, the sunspot phenomenon can be suppressed.
- the control circuit 212 determines whether a sunspot phenomenon has occurred based on the comparison result VCO, and outputs a full code when a sunspot phenomenon occurs. Therefore, the sunspot phenomenon can be suppressed.
- the vertical scanning circuit 211 performed control to expose all rows (all pixels) at the same time (ie, global shutter operation). However, when simultaneous exposure is not required and low noise is required, such as during testing or analysis, it is desirable to perform rolling shutter operation.
- the solid-state imaging device 200 of the eleventh embodiment differs from the first embodiment in that it performs a rolling shutter operation during testing and the like.
- FIG. 47 is a timing chart showing an example of rolling shutter operation in the eleventh embodiment of the present technology.
- the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure.
- the figure shows exposure control in the n-th row.
- the vertical scanning circuit 211 supplies the high-level subsequent stage selection signal selb, selection signal ⁇ r, and selection signal ⁇ s to the n-th row. Further, at the exposure start timing T0, the vertical scanning circuit 211 supplies the high-level FD reset signal rst and the subsequent stage reset signal rstb to the n-th row over a pulse period. At timing T1 at the end of exposure, the vertical scanning circuit 211 supplies the transfer signal trg to the n-th row.
- the rolling shutter operation shown in the figure allows the solid-state imaging device 200 to generate image data with low noise.
- the solid-state image sensor 200 of the eleventh embodiment performs a global shutter operation similarly to the first embodiment.
- first to third modifications of the first embodiment and the second to tenth embodiments can also be applied to the eleventh embodiment.
- the vertical scanning circuit 211 performs control to sequentially select a plurality of rows and start exposure (i.e., rolling shutter operation), so that a low-noise image can be obtained. Data can be generated.
- the source of the source follower at the previous stage (the amplifying transistor 315 at the front stage and the current source transistor 316) is connected to the power supply voltage VDD, and reading is performed row by row with the source follower in the on state. Ta.
- the solid-state imaging device 200 of the twelfth embodiment differs from the first embodiment in that noise is reduced by turning off the preceding source follower during readout.
- FIG. 48 is a block diagram showing a configuration example of the solid-state image sensor 200 in the twelfth embodiment of the present technology.
- the solid-state imaging device 200 of the twelfth embodiment differs from the first embodiment in that it further includes a regulator 420 and a switching section 440.
- communication interfaces 214 and 215 are omitted.
- a plurality of effective pixels 301 and a predetermined number of dummy pixels 430 are arranged in the pixel array section 220 of the twelfth embodiment.
- the dummy pixels 430 are arranged around the area where the effective pixels 301 are arranged.
- each of the dummy pixels 430 is supplied with the power supply voltage VDD
- each of the effective pixels 301 is supplied with the power supply voltage VDD and the source voltage Vs.
- a signal line for supplying the power supply voltage VDD to the effective pixel 301 is omitted in the figure.
- the power supply voltage VDD is supplied from a pad 410 outside the solid-state image sensor 200.
- the regulator 420 generates a constant generated voltage Vgen based on the input voltage Vi from the dummy pixel 430 and supplies it to the switching unit 440.
- the switching unit 440 selects either the power supply voltage VDD from the pad 410 or the generated voltage Vgen from the regulator 420 and supplies it to each column of the effective pixels 301 as the source voltage Vs.
- FIG. 49 is a circuit diagram showing a configuration example of the dummy pixel 430, the regulator 420, and the switching unit 440 in the twelfth embodiment of the present technology.
- a is a circuit diagram of the dummy pixel 430 and the regulator 420
- b in the figure is a circuit diagram of the switching unit 440.
- the dummy pixel 430 includes a reset transistor 431, an FD 432, an amplification transistor 433, and a current source transistor 434.
- the reset transistor 431 initializes the FD 432 according to a reset signal RST from the vertical scanning circuit 211.
- the FD 432 stores charge and generates a voltage according to the amount of charge.
- the amplification transistor 433 amplifies the voltage level of the FD 432 and supplies it to the regulator 420 as an input voltage Vi.
- the sources of the reset transistor 431 and the amplification transistor 433 are connected to the power supply voltage VDD.
- Current source transistor 434 is connected to the drain of amplification transistor 433. This current source transistor 434 supplies current id1 under the control of the vertical scanning circuit 211.
- the regulator 420 includes a low-pass filter 421, a buffer amplifier 422, and a capacitive element 423.
- the low-pass filter 421 passes components of a low frequency band below a predetermined frequency out of the signal of the input voltage Vi as an output voltage Vj.
- the output voltage Vj is input to the non-inverting input terminal (+) of the buffer amplifier 422.
- the inverting input terminal (-) of buffer amplifier 422 is connected to its output terminal.
- the capacitive element 423 holds the voltage at the output terminal of the buffer amplifier 422 as Vgen. This Vgen is supplied to the switching section 440.
- the switching unit 440 includes an inverter 441 and a plurality of switching circuits 442.
- the switching circuit 442 is arranged for each column of effective pixels 301.
- the inverter 441 inverts the switching signal SW from the control circuit 212. This inverter 441 supplies an inverted signal to each of the switching circuits 442.
- the switching circuit 442 selects either the power supply voltage VDD or the generated voltage Vgen and supplies it to the corresponding column in the pixel array section 220 as the source voltage Vs.
- Switching circuit 442 includes switches 443 and 444.
- the switch 443 opens and closes the path between the node of the power supply voltage VDD and the corresponding column according to the switching signal SW.
- the switch 444 opens and closes the path between the node of the generated voltage Vgen and the corresponding column according to the inverted signal of the switching signal SW.
- FIG. 50 is a timing chart showing an example of the operation of the dummy pixel 430 and the regulator 420 in the twelfth embodiment of the present technology.
- the vertical scanning circuit 211 supplies each of the dummy pixels 430 with a reset signal RST at a high level (here, power supply voltage VDD).
- the potential Vfd of the FD 432 in the dummy pixel 430 is initialized to the power supply voltage VDD.
- the reset signal RST becomes low level, it changes to VDD-Vft due to reset feedthrough.
- the input voltage Vi decreases to VDD-Vgs-Vft after reset.
- Vj and Vgen become approximately constant voltages.
- FIG. 51 is a circuit diagram showing a configuration example of the effective pixel 301 in the twelfth embodiment of the present technology.
- the circuit configuration of the effective pixel 301 is the same as that of the pixel 300 of the first embodiment, except that the source voltage Vs from the switching unit 440 is supplied to the source of the preamplification transistor 315.
- FIG. 52 is a timing chart showing an example of global shutter operation in the twelfth embodiment of the present technology.
- the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. Furthermore, the voltage at the previous stage node decreases from VDD-Vgs-Vth to VDD-Vgs-Vsig at timing T4.
- Vth is the threshold voltage of the transfer transistor 312.
- FIG. 53 is a timing chart showing an example of a read operation in the twelfth embodiment of the present technology.
- the switching unit 440 selects the generated voltage Vgen and supplies it as the source voltage Vs. This generated voltage Vgen is adjusted to VDD-Vgs-Vft. Further, in the twelfth embodiment, the vertical scanning circuit 211 controls the current source transistors 316 of all rows (all pixels) to stop supplying the current id1.
- FIG. 54 is a diagram for explaining the effects of the twelfth embodiment of the present technology.
- the source follower pre-stage amplification transistor 315 and current source transistor 316
- the subsequent stage capacitortive element, source follower in the latter stage, and ADC
- the kTC noise generated in pixels during global shutter operation is 450 ( ⁇ Vrms), as illustrated in the same figure.
- the noise generated in the source follower (previous stage amplification transistor 315 and current source transistor 316) at the previous stage during row-by-row reading is 380 ( ⁇ Vrms).
- the noise generated after the source follower in the latter stage is 160 ( ⁇ Vrms). Therefore, the total noise is 610 ( ⁇ Vrms). In this way, in the first embodiment, the contribution of the noise of the preceding source follower to the total noise value is relatively large.
- a voltage (Vs) that can be adjusted is supplied to the source of the source follower in the previous stage.
- the switching unit 440 selects the power supply voltage VDD and supplies it as the source voltage Vs. After the exposure is completed, the switching unit 440 switches the source voltage Vs to VDD-Vgs-Vft. Further, the control circuit 212 turns on the current source transistor 316 at the previous stage during a global shutter (exposure) operation, and turns it off after the exposure is completed.
- the potentials of the previous stage nodes are aligned during global shutter operation and during row-by-row readout, and PRNU can be improved. Further, since the source follower at the previous stage is turned off when reading out each row, as illustrated in FIG. 54, circuit noise of the source follower does not occur and becomes 0 ( ⁇ Vrms). Note that the front-stage amplification transistor 315 of the front-stage source follower is in an on state.
- the technology according to the present disclosure (this technology) can be applied to various products.
- the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. You can.
- FIG. 55 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
- the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
- radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
- the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
- the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
- an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
- the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
- the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
- the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
- the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
- the in-vehicle information detection unit 12040 detects in-vehicle information.
- a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
- the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
- the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
- the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
- the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
- the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
- an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- FIG. 56 is a diagram showing an example of the installation position of the imaging section 12031.
- the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle 12100.
- An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
- Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
- An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
- the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
- FIG. 56 shows an example of the imaging range of the imaging units 12101 to 12104.
- An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
- the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
- the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. In particular, by determining the three-dimensional object that is closest to the vehicle 12100 on its path and that is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as the vehicle 12100, it is possible to extract the three-dimensional object as the preceding vehicle. can.
- a predetermined speed for example, 0 km/h or more
- the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
- the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
- the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
- pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
- the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
- the display unit 12062 is controlled to display the .
- the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
- the solid-state imaging device 200 in FIG. 1 can be applied to the imaging section 12031.
- a pixel array section in which a plurality of pixels are arranged, each of which generates and samples and holds pixel signals; a vertical scanning circuit that drives each of the plurality of rows in the pixel array section to output the pixel signal; a signal processing circuit that reads out the pixel signal and performs predetermined signal processing; Controlling at least one of the vertical scanning circuit and the signal processing circuit to generate compressed data obtained by compressing image data in which the pixel signals are arranged, and controlling at least one of the vertical scanning circuit and the signal processing circuit based on the result of processing the compressed data.
- a solid-state imaging device comprising: a control circuit that controls at least one of the processing circuits to output cutout data obtained by cutting out a predetermined region of the image data.
- the control circuit generates data obtained by thinning out the image data in at least one of a row unit and a column unit as the compressed data.
- the signal processing circuit includes a compression processing section that generates the compressed data by pixel addition.
- the signal processing circuit further includes a plurality of analog-to-digital converters that convert the pixel signals into digital signals, The pixel signal is an analog signal,
- the signal processing circuit further includes a plurality of analog-to-digital converters that convert the pixel signals into digital signals, The pixel signal is an analog signal,
- the solid-state imaging device according to (6), wherein the signal processing circuit outputs the processing result to the outside of the solid-state imaging device.
- the solid-state image sensor according to (6), wherein the detection processing section detects the presence or absence of a face.
- the solid-state imaging device (9) The solid-state imaging device according to (6), wherein the detection processing section detects the presence or absence of a person. (10) The solid-state imaging device according to (6), wherein the detection processing section detects a difference between the compressed data and predetermined background data. (11) The solid-state imaging device according to (1), further comprising a communication interface that receives the processing result and supplies it to the control circuit.
- the pixel signal includes a predetermined reset level and a signal level according to the exposure amount, Each of the plurality of pixels is first and second capacitive elements; a pre-stage circuit that sequentially generates the reset level and the signal level and causes each of the first and second capacitors to hold the generated reset level and the signal level; Control for connecting one of the first and second capacitive elements to a predetermined downstream node; Control for disconnecting both the first and second capacitive elements from the downstream node; and Control for connecting the first and second capacitive elements to a predetermined downstream node.
- the solid-state imaging device according to any one of (1) to (11), further comprising a rear-stage circuit that sequentially reads and outputs the reset level and the signal level from the first and second capacitive elements via the rear-stage node.
- a rear-stage circuit that sequentially reads and outputs the reset level and the signal level from the first and second capacitive elements via the rear-stage node.
- element. (13) a pixel array section in which a plurality of pixels are arranged, each of which generates and samples and holds a pixel signal; and a vertical scanning circuit that drives each of the plurality of rows in the pixel array section to output the pixel signal.
- a signal processing circuit that reads out the pixel signals and performs predetermined signal processing, and at least one of the vertical scanning circuit and the signal processing circuit to generate compressed data obtained by compressing image data in which the pixel signals are arranged.
- a control circuit that controls at least one of the vertical scanning circuit and the signal processing circuit based on the result of processing the compressed data to output cutout data obtained by cutting out a predetermined region of the image data.
- An imaging system comprising: a host that performs processing different from the processing based on the cutout data.
- a vertical scanning procedure in which a vertical scanning circuit drives each of a plurality of rows in a pixel array section in which a plurality of pixels, each of which generates and samples and holds a pixel signal, is arranged to output the pixel signal; a signal processing procedure in which a signal processing circuit reads out the pixel signal and performs predetermined signal processing; Control at least one of the vertical scanning circuit and the signal processing circuit to generate compressed data obtained by compressing image data in which the pixel signals are arranged, and control the vertical scanning circuit and the signal processing circuit based on the result of processing the compressed data.
- a method for controlling a solid-state image sensor comprising: controlling at least one of a processing circuit to output cutout data obtained by cutting out a predetermined region of the image data.
- Imaging System 110 Host 111, 112 Communication Interface 113 Database 114 Authentication Processing Unit 115 Imaging Control Unit 116, 265 Detection Processing Unit 117, 266 Clipping Area Calculation Unit 118 Action Judgment Unit 150 Imaging Device 200 Solid-state Imaging Device 201 Pixel Chip 202 Circuit Chip 203 Upper pixel chip 204 Lower pixel chip 211 Vertical scanning circuit 212 Control circuit 213 DAC 214, 215 Communication interface 220 Pixel array section 221 Upper pixel array section 222 Lower pixel array section 250 Load MOS circuit block 251 Load MOS transistor 260 Column signal processing circuit 261, 264 Compression processing section 262 Data processing section 263 Demultiplexer 270 ADC 271 Counter 280 Comparator 281, 292 Selector 282, 283, 321, 322, 423 Capacitive element 284, 286 Auto-zero switch 285 Comparator 291 CDS processing section 300 Pixel 301 Effective pixel 310 Pre-stage circuit 311 Photoelectric conversion element 312 Transfer transistor 313 F D reset transistor 314, 432 FD 315
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
画像の一部の領域を切り出す固体撮像素子において、利便性を向上させる。 画素アレイ部内には、それぞれがアナログ信号を生成してサンプルホールドする複数の画素が配列される。垂直走査回路は、画素アレイ部内の複数の行のそれぞれを駆動して画素信号を出力させる。信号処理回路は、画素信号を読み出して所定の信号処理を行う。制御回路は、垂直走査回路および信号処理回路の少なくとも一方を制御して画素信号を配列した画像データを圧縮した圧縮データを生成させ、圧縮データに対する所定の検出処理の結果に基づいて垂直走査回路および信号処理回路の少なくとも一方を制御して画像データのうち所定領域を切り出した切り出しデータを出力させる。
Description
本技術は、固体撮像素子に関する。詳しくは、所定の物体を検出する固体撮像素子、撮像システム、および、固体撮像素子の制御方法に関する。
従来より、防犯や交通などの様々な分野において、顔や人物などの物体を検出する技術が利用されている。例えば、1枚目の画像全体を読み出して人物を検出し、2枚目の画像のうち1枚目の人物の周辺の領域を切り出して解析し、その人物が出入口などを通過したか否かを判別する撮像装置が提案されている(例えば、特許文献1参照。)。
上述の従来技術では、2枚目の画像の一部の領域を切り出すことにより、解析処理の処理量の削減を図っている。しかしながら、人物の移動速度が想定よりも速いと、2枚目の画像において、その人物が切り出した領域内に写っていないことがある。この結果、切り出しデータに対する解析処理の成功率が低下し、システムの利便性が低下するおそれがある。
本技術はこのような状況に鑑みて生み出されたものであり、画像の一部の領域を切り出す固体撮像素子において、利便性を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部と、上記画素アレイ部内の複数の行のそれぞれを駆動して上記画素信号を出力させる垂直走査回路と、上記画素信号を読み出して所定の信号処理を行う信号処理回路と、上記垂直走査回路および上記信号処理回路の少なくとも一方を制御して上記画素信号を配列した画像データを圧縮した圧縮データを生成させ、上記圧縮データに対する処理の結果に基づいて上記垂直走査回路および上記信号処理回路の少なくとも一方を制御して上記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路とを具備する固体撮像素子、および、その制御方法である。これにより、利便性が向上するという作用をもたらす。
また、この第1の側面において、上記制御回路は、行単位および列単位の少なくとも一方の単位で上記画像データを間引いたデータを上記圧縮データとして生成させてもよい。これにより、簡易な処理により画像データが圧縮されるという作用をもたらす。
また、この第1の側面において、上記信号処理回路は、画素加算により上記圧縮データを生成する圧縮処理部を備えてもよい。これにより、ノイズが低減するという作用をもたらす。
また、この第1の側面において、上記信号処理回路は、上記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、上記画素信号は、アナログ信号であり、上記圧縮処理部は、上記デジタル信号の加算により上記圧縮データを生成してもよい。これにより、ノイズが低減するという作用をもたらす。
また、この第1の側面において、上記信号処理回路は、上記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、上記画素信号は、アナログ信号であり、上記圧縮処理部は、上記画素信号の加算により上記圧縮データを生成してもよい。これにより、ノイズが低減するという作用をもたらす。
また、この第1の側面において、上記圧縮データに対して所定の検出処理を行う検出処理部をさらに具備してもよい。これにより、固体撮像素子内で検出対象が検出されるという作用をもたらす。
また、この第1の側面において、上記信号処理回路は、上記処理の結果を上記固体撮像素子の外部に出力してもよい。これにより、固体撮像素子の外部で処理結果が用いられるという作用をもたらす。
また、この第1の側面において、上記検出処理部は、顔の有無を検出してもよい。これにより、顔の検出時に切り出しが行われるという作用をもたらす。
また、この第1の側面において、上記検出処理部は、人物の有無を検出してもよい。これにより、人物の検出時に切り出しが行われるという作用をもたらす。
また、この第1の側面において、上記検出処理部は、上記圧縮データと所定の背景データとの差分を検出してもよい。これにより、簡易な処理により検出対象が検出されるという作用をもたらす。
また、この第1の側面において、上記処理の結果を受信して上記制御回路に供給する通信インターフェースをさらに具備してもよい。これにより、固体撮像素子の処理量が削減されるという作用をもたらす。
また、この第1の側面において、上記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、上記複数の画素のそれぞれは、第1および第2の容量素子と、上記リセットレベルと上記信号レベルとを順に生成して上記第1および第2の容量素子のそれぞれに保持させる前段回路と、上記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と上記第1および第2の容量素子の両方を上記後段ノードから切り離す制御と上記第1および第2の容量素子の他方を上記後段ノードに接続する制御とを順に行う選択回路と、上記第1および第2の容量素子の両方が上記後段ノードから切り離されたときに上記後段ノードのレベルを初期化する後段リセットトランジスタと、上記後段ノードを介して上記リセットレベルおよび上記信号レベルを上記第1および第2の容量素子から順に読み出して出力する後段回路とを備えてもよい。これにより、kTCノイズが低減するという作用をもたらす。
また、本技術の第2の側面は、画素信号をそれぞれが生成してサンプルホールドする複数の画素が配列された画素アレイ部と、上記画素アレイ部内の複数の行のそれぞれを駆動して上記画素信号を出力させる垂直走査回路と、上記画素信号を読み出して所定の信号処理を行う信号処理回路と、上記垂直走査回路および上記信号処理回路の少なくとも一方を制御して上記画素信号を配列した画像データを圧縮した圧縮データを生成させ、上記圧縮データに対する処理の結果に基づいて上記垂直走査回路および上記信号処理回路の少なくとも一方を制御して上記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路とを備える固体撮像素子と、上記切り出しデータに基づいて上記処理と異なる処理を行うホストとを具備する撮像システムである。これにより、撮像システムの利便性が向上するという作用をもたらす。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(圧縮データの処理結果に基づいて切り出しを行う例)
2.第2の実施の形態(画素加算により生成した圧縮データの処理結果に基づいて切り出しを行う例)
3.第3の実施の形態(圧縮データを処理結果に基づいて切り出しを行い、ホストが休止する例)
4.第4の実施の形態(圧縮データをホストが処理し、その結果に基づいて固体撮像素子が切り出しを行う例)
5.第5の実施の形態(圧縮データの処理結果に基づいて固体撮像素子が切り出しを行い、ホストが行為判定を行う例)
6.第6の実施の形態(圧縮データと背景との差分に基づいて切り出しを行う例)
7.第7の実施の形態(排出トランジスタを追加し、第1および第2の容量素子に画素信号を保持させる例)
8.第8の実施の形態(第1および第2の容量素子に画素信号を保持させ、リセット電源電圧を制御する例)
9.第9の実施の形態(第1および第2の容量素子に画素信号を保持させ、フレームごとに保持させるレベルを入れ替える例)
10.第10の実施の形態(第1および第2の容量素子に画素信号を保持させ、黒点現象を抑制する例)
11.第11の実施の形態(第1および第2の容量素子に画素信号を保持させ、ローリングシャッター動作を行う例)
12.第12の実施の形態(ノイズを低減し、第1および第2の容量素子に画素信号を保持させる例)
13.移動体への応用例
1.第1の実施の形態(圧縮データの処理結果に基づいて切り出しを行う例)
2.第2の実施の形態(画素加算により生成した圧縮データの処理結果に基づいて切り出しを行う例)
3.第3の実施の形態(圧縮データを処理結果に基づいて切り出しを行い、ホストが休止する例)
4.第4の実施の形態(圧縮データをホストが処理し、その結果に基づいて固体撮像素子が切り出しを行う例)
5.第5の実施の形態(圧縮データの処理結果に基づいて固体撮像素子が切り出しを行い、ホストが行為判定を行う例)
6.第6の実施の形態(圧縮データと背景との差分に基づいて切り出しを行う例)
7.第7の実施の形態(排出トランジスタを追加し、第1および第2の容量素子に画素信号を保持させる例)
8.第8の実施の形態(第1および第2の容量素子に画素信号を保持させ、リセット電源電圧を制御する例)
9.第9の実施の形態(第1および第2の容量素子に画素信号を保持させ、フレームごとに保持させるレベルを入れ替える例)
10.第10の実施の形態(第1および第2の容量素子に画素信号を保持させ、黒点現象を抑制する例)
11.第11の実施の形態(第1および第2の容量素子に画素信号を保持させ、ローリングシャッター動作を行う例)
12.第12の実施の形態(ノイズを低減し、第1および第2の容量素子に画素信号を保持させる例)
13.移動体への応用例
<1.第1の実施の形態>
[撮像システムの構成例]
図1は、本技術の第1の実施の形態における撮像システム100の一構成例を示す図である。この撮像システム100は、画像データ(言い換えれば、フレーム)を撮像して認証処理などの各種の処理を行うためのものであり、固体撮像素子200およびホスト110を備える。
[撮像システムの構成例]
図1は、本技術の第1の実施の形態における撮像システム100の一構成例を示す図である。この撮像システム100は、画像データ(言い換えれば、フレーム)を撮像して認証処理などの各種の処理を行うためのものであり、固体撮像素子200およびホスト110を備える。
固体撮像素子200は、画像データを撮像するものである。また、この固体撮像素子200は、撮像した画像データのうち、顔や目などの認証対象の領域を切り出し、切り出しデータとして、所定本数の信号線208を介してホスト110に供給する。
また、固体撮像素子200は、制御に関する制御信号をホスト110との間で、所定本数の信号線209を介して送受信する。制御信号は、例えば、垂直同期信号、撮像パラメータ、認証結果やステータス情報などを含む。撮像パラメータは、ISO(International Organization for Standardization)感度、露光時間、絞り値やホワイトバランスの設定値などを含む。
ホスト110は、切り出しデータに基づいて、認証処理を行う装置や回路である。このホスト110は、通信インターフェース111および112と、データベース113と、認証処理部114と、撮像制御部115とを備える。
通信インターフェース111は、切り出しデータを受信し、認証処理部114に供給するものである。通信インターフェース111の規格として、SLVS-EC(Scalable Low Voltage Signaling with Embedded Clock)などの比較的高速なものが用いられる。
通信インターフェース112は、制御信号を送受信し、撮像制御部115との間でやり取りするものである。通信インターフェース112の規格として、I2CやSPI(Serial Peripheral Interface)などの比較的低速なものが用いられる。
データベース113は、認証前に予め登録された登録情報を保持するものである。認証処理部114は、切り出しデータに基づいて認証処理を行うものである。この認証処理部114は、通信インターフェース111からの切り出しデータの特徴量を求めて登録情報の特徴量と比較し、これらの類似度が一定値以上であるか否かを判断する。認証処理部114は、類似度が一定値以上である場合、認証に成功したと判断し、類似度が一定値未満である場合、認証に失敗したと判断する。認証処理部114は、認証結果を撮像制御部115に供給する。
なお、データベース113は、ホスト110の外部のサーバー内に配置することもできる。この場合、ホスト110は、インターネットなどのネットワークを介してサーバーから登録情報を受信する。
撮像制御部115は、固体撮像素子200を制御するものである。この撮像制御部115は、通信インターフェース112を介して、固体撮像素子200との間で、必要に応じて制御信号を送受信する。また、認証結果を取得した場合、撮像制御部115は、その認証結果を固体撮像素子200に送信する。
[固体撮像素子の構成例]
図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、垂直走査回路211、制御回路212、DAC(Digital to Analog Converter)213を備える。また、固体撮像素子200は、画素アレイ部220と、負荷MOS(Metal Oxide Semiconductor)回路ブロック250と、カラム信号処理回路260と、通信インターフェース214および215とを備える。
図2は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、垂直走査回路211、制御回路212、DAC(Digital to Analog Converter)213を備える。また、固体撮像素子200は、画素アレイ部220と、負荷MOS(Metal Oxide Semiconductor)回路ブロック250と、カラム信号処理回路260と、通信インターフェース214および215とを備える。
画素アレイ部220には、複数の画素300が二次元格子状に配列される。また、固体撮像素子200内の各回路は、例えば、単一の半導体チップに設けられる。
以下、水平方向に配列された画素300の集合を「行」と称し、行に垂直な方向に配列された画素300の集合を「列」と称する。
制御回路212は、通信インターフェース215からの制御信号に従って、垂直走査回路211、DAC213、カラム信号処理回路260のそれぞれの動作を制御するものである。
DAC213は、DA(Digital to Analog)変換により、のこぎり波状のランプ信号を生成するものである。DAC213は、生成したランプ信号をカラム信号処理回路260に供給する。
垂直走査回路211は、行を順に選択して駆動し、アナログの画素信号を出力させるものである。画素300は、入射光を光電変換してアナログの画素信号を生成するものである。この画素300は、負荷MOS回路ブロック250を介して、カラム信号処理回路260に画素信号を供給する。
負荷MOS回路ブロック250には、定電流を供給するMOSトランジスタが列ごとに設けられる。
カラム信号処理回路260は、列ごとに、画素信号に対してAD変換処理やCDS処理などの信号処理を実行するものである。このカラム信号処理回路260は、信号処理において切り出しデータを生成して、通信インターフェース214に供給する。なお、カラム信号処理回路260は、特許請求の範囲に記載の信号処理回路の一例である。
通信インターフェース214は、切り出しデータをホスト110に送信するものである。通信インターフェース215は、ホスト110との間で制御信号を送受信するものである。
[画素の構成例]
図3は、本技術の第1の実施の形態における画素300の一構成例を示す回路図である。この画素300は、前段回路310と、容量素子321および322と、選択回路330と、後段リセットトランジスタ341と、後段回路350とを備える。
図3は、本技術の第1の実施の形態における画素300の一構成例を示す回路図である。この画素300は、前段回路310と、容量素子321および322と、選択回路330と、後段リセットトランジスタ341と、後段回路350とを備える。
前段回路310は、光電変換素子311、転送トランジスタ312、FD(Floating Diffusion)リセットトランジスタ313、FD314、前段増幅トランジスタ315および電流源トランジスタ316を備える。
光電変換素子311は、光電変換により電荷を生成するものである。転送トランジスタ312は、垂直走査回路211からの転送信号trgに従って、光電変換素子311からFD314へ電荷を転送するものである。
FDリセットトランジスタ313は、垂直走査回路211からのFDリセット信号rstに従って、FD314から電荷を引き抜いて初期化するものである。FD314は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。前段増幅トランジスタ315は、FD314の電圧のレベルを増幅して前段ノード320に出力するものである。
また、FDリセットトランジスタ313および前段増幅トランジスタ315のソースは、電源電圧VDDに接続される。電流源トランジスタ316は、前段増幅トランジスタ315のドレインに接続される。この電流源トランジスタ316は、垂直走査回路211の制御に従って、電流id1を供給する。
容量素子321および322のそれぞれの一端は、前段ノード320に共通に接続され、それぞれの他端は、選択回路330に接続される。なお、容量素子321および322は、特許請求の範囲に記載の第1および第2の容量素子の一例である。
選択回路330は、選択トランジスタ331および選択トランジスタ332を備える。選択トランジスタ331は、垂直走査回路211からの選択信号Φrに従って、容量素子321と後段ノード340との間の経路を開閉するものである。選択トランジスタ332は、垂直走査回路211からの選択信号Φsに従って、容量素子322と後段ノード340との間の経路を開閉するものである。
後段リセットトランジスタ341は、垂直走査回路211からの後段リセット信号rstbに従って、後段ノード340のレベルを所定の電位Vregに初期化するものである。電位Vregには、電源電圧VDDと異なる電位(例えば、VDDより低い電位)が設定される。
後段回路350は、後段増幅トランジスタ351および後段選択トランジスタ352を備える。後段増幅トランジスタ351は、後段ノード340のレベルを増幅するものである。後段選択トランジスタ352は、垂直走査回路211からの後段選択信号selbに従って、後段増幅トランジスタ351により増幅されたレベルの信号を画素信号として垂直信号線309に出力するものである。
なお、画素300内の各種のトランジスタ(転送トランジスタ312など)として、例えば、nMOS(n-channel Metal Oxide Semiconductor)トランジスタが用いられる。
垂直走査回路211は、露光開始時に全画素へハイレベルのFDリセット信号rstおよび転送信号trgを供給する。これにより、光電変換素子311が初期化される。以下、この制御を「PDリセット」と称する。
そして、垂直走査回路211は、露光終了の直前に、全画素について後段リセット信号rstbおよび選択信号Φrをハイレベルにしつつ、パルス期間に亘ってハイレベルのFDリセット信号rstを供給する。これにより、FD314が初期化され、そのときのFD314のレベルに応じたレベルが容量素子321に保持される。この制御を以下、「FDリセット」と称する。
FDリセットの際のFD314のレベルと、そのレベルに対応するレベル(容量素子321の保持レベルや、垂直信号線309のレベル)とをまとめて、以下、「P相」または「リセットレベル」と称する。
垂直走査回路211は、露光終了時に、全画素について後段リセット信号rstbおよび選択信号Φsをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号trgを供給する。これにより、露光量に応じた信号電荷がFD314へ転送され、そのときのFD314のレベルに応じたレベルが容量素子322に保持される。
信号電荷の転送の際のFD314のレベルと、そのレベルに対応するレベル(容量素子322の保持レベルや、垂直信号線309のレベル)とをまとめて、以下、「D相」または「信号レベル」と称する。
このように全画素について同時に露光を開始し、終了する露光制御は、グローバルシャッター方式と呼ばれる。この露光制御により、全画素の前段回路310は、リセットレベルおよび信号レベルを順に生成する。リセットレベルは、容量素子321に保持され、信号レベルは、容量素子322に保持される。
露光終了後に垂直走査回路211は、行を順に選択して、その行のリセットレベルおよび信号レベルを順に出力させる。リセットレベルを出力させる際に、垂直走査回路211は、選択した行のFDリセット信号rstおよび後段選択信号selbをハイレベルにしつつ、ハイレベルの選択信号Φrを所定期間に亘って供給する。これにより、容量素子321が後段ノード340に接続され、リセットレベルが読み出される。
リセットレベルの読出し後に垂直走査回路211は、選択した行のFDリセット信号rstおよび後段選択信号selbをハイレベルにしたままで、ハイレベルの後段リセット信号rstbをパルス期間に亘って供給する。これにより、後段ノード340のレベルが初期化される。このとき、選択トランジスタ331および選択トランジスタ332は両方とも開状態であり、容量素子321および322は、後段ノード340から切り離される。
後段ノード340の初期化後に、垂直走査回路211は、選択した行のFDリセット信号rstおよび後段選択信号selbをハイレベルにしたままで、ハイレベルの選択信号Φsを所定期間に亘って供給する。これにより、容量素子322が後段ノード340に接続され、信号レベルが読み出される。
上述の読出し制御により、選択された行の選択回路330は、容量素子321を後段ノード340に接続する制御と、容量素子321および322を後段ノード340から切り離す制御と、容量素子322を後段ノード340に接続する制御とを順に行う。また、容量素子321および322が後段ノード340から切り離されたときに、選択された行の後段リセットトランジスタ341は後段ノード340のレベルを初期化する。また、選択された行の後段回路350は、後段ノード340を介してリセットレベルおよび信号レベルを容量素子321および322から順に読み出して垂直信号線309へ出力する。
[カラム信号処理回路の構成例]
図4は、本技術の第1の実施の形態における負荷MOS回路ブロック250およびカラム信号処理回路260の一構成例を示すブロック図である。
図4は、本技術の第1の実施の形態における負荷MOS回路ブロック250およびカラム信号処理回路260の一構成例を示すブロック図である。
負荷MOS回路ブロック250には、列ごとに垂直信号線309が配線される。列数をI(Iは、整数)とすると、I本の垂直信号線309が配線される。また、垂直信号線309のそれぞれには、一定の電流id2を供給する負荷MOSトランジスタ251が接続される。
カラム信号処理回路260には、複数のADC(Analog to Digital Converter)270と、データ処理部262と、デマルチプレクサ263と、検出処理部265と、切り出し領域演算部266とが配置される。ADC270は、列ごとに配置される。列数をIとすると、I個のADC270が配置される。
ADC270は、DAC213からのランプ信号Rmpを用いて、対応する列からのアナログの画素信号をデジタル信号に変換するものである。このADC270は、デジタル信号をデータ処理部262に供給する。例えば、ADC270として、コンパレータおよびカウンタを備えるシングルスロープ型のADCが配置される。
ここで、制御回路212は、垂直走査回路211およびカラム信号処理回路260の少なくとも一方を制御し、画像データを圧縮した圧縮データを生成させることができるものとする。
例えば、制御回路212は、行単位および列単位の少なくとも一方の単位で画像データを間引いたデータを圧縮データとして生成させる。行単位で間引きを行う場合、制御回路212は、垂直走査回路211を制御して、間引き対象の行を除く行を順に選択して駆動させる。また、列単位で間引きを行う場合、制御回路212は、ADC270のそれぞれを制御して、間引き対象の列に対応するADC270を無効にし、残りのADC270を有効にする。
なお、制御回路212は、後述する画素加算により圧縮データを生成させることもできる。
また、制御回路212は、垂直走査回路211およびカラム信号処理回路260の少なくとも一方を制御し、画像データの一部の領域を切り出した切り出しデータを生成させることができるものとする。
切り出しデータを生成させる場合、制御回路212は、垂直走査回路211を制御して切り出し領域内の全行を順に駆動させ、その領域内の全列に対応するADC270を有効に、残りのADC270を無効にする。切り出し領域は、非圧縮の画像データから切り出されるため、圧縮データよりも解像度が高い。このような領域は、ROI(Region of Interest)とも呼ばれる。
データ処理部262は、列ごとのデジタル信号のそれぞれに対して、CDS処理などの所定の信号処理を行うものである。データ処理部262は、処理後のデジタル信号をデマルチプレクサ263に供給する。
デマルチプレクサ263は、認証可能フラグに従って、検出処理部265および通信インターフェース214の一方を出力先として選択し、その出力先へデータ処理部262からのデータを出力するものである。
ここで、認証可能フラグは、所定の対象物(顔など)が圧縮データ内で検出された際に、その対象物の領域が認証可能な程度の画質であるか否かを示すフラグである。認証可能でなかった場合に、認証可能フラグに例えば、「0」が設定される。一方、認証可能な場合、認証可能フラグに例えば、「1」が設定される。初期状態においては、認証可能フラグに「0」が設定される。
認証可能フラグが「0」の場合、制御回路212は、圧縮データを生成させる。また、デマルチプレクサ263は、その圧縮データを検出処理部265に出力する。一方、認証可能フラグが「1」の場合、制御回路212は、切り出しデータを出力させ、デマルチプレクサ263は、その切り出しデータを、通信インターフェース214を介してホスト110に出力する。
検出処理部265は、圧縮データに対して所定の検出対象(顔など)の有無を検出する検出処理を行うものである。この検出処理部265は、検出結果を切り出し領域演算部266に供給する。この検出結果は、検出の成否を示す情報と、検出対象の領域である検出領域とを含む。
切り出し領域演算部266は、必要に応じて切り出し領域を演算により求めるものである。この切り出し領域演算部266は、検出処理部265で対象物が検出されなかった場合、認証可能フラグに「0」を設定し、デマルチプレクサ263および制御回路212に供給する。
一方、検出処理部265で対象物が検出された場合、切り出し領域演算部266は、その対象物の領域の画質が認証可能な程度であるか否かを判断する。認証可能でない場合、切り出し領域演算部266は、認証可能フラグに「0」を設定し、デマルチプレクサ263および制御回路212に供給する。
認証可能である場合、切り出し領域演算部266は、認証可能フラグに「1」を設定し、デマルチプレクサ263および制御回路212に供給する。検出対象と認証対象とが同一である場合、切り出し領域演算部266は、検出領域をそのまま切り出し領域として、その領域を示す情報を制御回路212に供給する。一方、検出対象(顔など)の一部(目など)が認証対象である場合、切り出し領域演算部266は、その認証対象の領域を切り出し領域として演算し、制御回路212に供給する。
制御回路212は、認証可能フラグが「1」の場合に、垂直走査回路211およびカラム信号処理回路260の少なくとも一方を制御して、切り出し領域内の全画素の画素信号を出力させる。また、撮像開始から2フレーム目以降に認証可能フラグが「0」の場合、制御回路212は、必要に応じて、撮像パラメータ(ISO感度、絞り、露光時間やホワイトバランスなど)を変更する。
図5は、本技術の第1の実施の形態における撮像システム100の利用例を示す図である。撮像システム100は、例えば、撮像装置150を含む入退出管理システムに用いられる。撮像装置150は、ゲートの近傍に設置され、矢印の方向にゲートを通過しようとする人間の顔を撮像するものである。この撮像装置150内に、固体撮像素子200が設けられる。
同図に例示した入退出管理システムでは、セキュリティを確保するため、入退出する人間が、予め登録された人物であるか否かの認証が行われる。IC(Integrated Circuit)カードによる認証を行うこともできるが、衛生面の懸念やICカード紛失のおそれなどがあるため、顔や目などの生体認証が行われることがある。
撮像装置150で撮像した画像データを元に、顔認証などを行う場合、人間がゲートを通過する速度に応じた速度でホスト110が認証処理を行う必要がある。例えば、人間が早歩きする場合、1時間の歩数は約8000歩であり、1秒間の歩数は約2.2歩となる。成人の歩幅は平均で70cmであるため、1秒間に進む距離は1.5メートル(m)程度になる。認証可能な程度の画質で撮像可能な距離が、撮像装置150から1.5メートル(m)程度の場合、撮像システム100は、1秒以内に、撮像から認証までの処理を完了する必要があり、高いスループットが要求される。スループットが不十分な場合、処理が完了するまで人間が立ち止まる必要があり、利便性が低下してしまう。
図6は、本技術の第1の実施の形態における検出領域および切り出し領域の一例を示す図である。固体撮像素子200は、顔の有無を検出し、ホスト110は、その顔のうち目を認証するものとする。
固体撮像素子200は、画像データの撮像を行い、その画像データを圧縮して圧縮データ500を生成し、その圧縮データ500に対して顔の検出処理を行う。顔などの検出や、目などの認証領域の特定までは一般的な処理となる。このため、検出処理は、固体撮像素子200内で行うことができる。また、検出処理は、粗い画像でも可能であるため、圧縮データを用いることができる。
ここで、画素300のそれぞれは、画素信号をサンプルホールドすることができるため、圧縮データを読み出してから次の露光終了までの期間内に亘って画素アレイ部220内に圧縮前の元の画像データが保持されている。したがって、固体撮像素子200は、次の露光終了前において、元の画像データを再度読み出すことができる。顔を検出した際に、固体撮像素子200は、その元の画像データの検出領域510のうち目などの認証対象の領域を切り出し領域511として切り出し、ホスト110に出力する。そして、ホスト110は、切り出し領域511に対して認証処理を行う。
認証処理は、高い精度が要求されるため、圧縮前の元の画像データから切り出した高精細な画像が用いられる。
また、認証処理は、認証対象者の登録データが必要で、セキュリティやプライバシーの観点からも、その登録データの保護のために高度なセキュリティ技術が要求される。このため、固体撮像素子200の外部のホスト110で認証処理が行われる。
図7は、本技術の第1の実施の形態における検出領域および切り出し領域の別の例を示す図である。図5や図6では、入退出管理システムに撮像システム100を適用していたが、交通分野に適用することもできる。この場合、例えば、図7におけるaに例示するように、固体撮像素子200は、圧縮データ600において、車の有無を検出する。車を検出した際に、固体撮像素子200は、図7におけるbに例示するように、元の画像データのうち切り出し領域610内のナンバープレートの領域を切り出し領域611として切り出し、ホスト110に出力する。
なお、検出領域や切り出し領域は、上述した顔、目、車やナンバープレートの領域に限定されない。ユースケースに応じて、固体撮像素子200は、任意の領域を検出領域とし、切り出し領域として切り出すことができる。
図8は、本技術の第1の実施の形態における固体撮像素子200の全体図の一例を示す図である。画素アレイ部220に配列された複数の画素300のそれぞれは、アナログの画素信号を生成してサンプルホールドする。
垂直走査回路211は、画素アレイ部220内の複数の行のそれぞれを駆動して画素信号を出力させる。カラム信号処理回路260は、列ごとに、画素信号に対してAD(Analog to Digital)変換処理などの信号処理を実行する。
制御回路212は、垂直走査信号に同期して垂直走査回路211を制御し、全画素を同時に露光させる。
また、初期状態において、認証可能フラグに「0」が設定される。認証可能フラグが「0」の場合、制御回路212は、垂直走査回路211およびカラム信号処理回路260の少なくとも一方を制御して、画像データを圧縮した圧縮データを生成させる。例えば、行単位および列単位の少なくとも一方の単位で画像データを間引いたデータが圧縮データとして生成される。
デマルチプレクサ263は、認証可能フラグが「0」の場合、圧縮データを検出処理部265に供給する。検出処理部265は、圧縮データに対して、顔などの検出処理を行う。切り出し領域演算部266は、検出対象が検出された際に検出領域内の画像が認証可能な程度の画質であるか否かを判断し、認証可能な場合に、認証可能フラグに「1」を設定し、デマルチプレクサ263および制御回路212に供給する。また、切り出し領域演算部266は、必要に応じて切り出し領域を演算し、その領域を示す情報を制御回路212に供給する。
制御回路212は、圧縮データに対する処理の結果(認証可能フラグなど)に基づいて垂直走査回路211およびカラム信号処理回路260の少なくとも一方を制御し、元の画像データのうち切り出し領域を切り出した切り出しデータを出力させる。例えば、認証可能フラグが「1」の場合に切り出しデータが出力される。また、制御回路212は、撮像開始から2フレーム目以降において認証可能フラグが「0」の場合、必要に応じて撮像パラメータを変更する。
[撮像システムの動作例]
図9は、本技術の第1の実施の形態における撮像システム100の動作の一例を示すタイミングチャートである。同図におけるaは、撮像システム100全体の動作を示す。同図におけるbは、固体撮像素子200の間引き動作を示し、同図におけるcは、固体撮像素子200の切り出し動作を示す。
図9は、本技術の第1の実施の形態における撮像システム100の動作の一例を示すタイミングチャートである。同図におけるaは、撮像システム100全体の動作を示す。同図におけるbは、固体撮像素子200の間引き動作を示し、同図におけるcは、固体撮像素子200の切り出し動作を示す。
同図におけるaにおいて、タイミングT1で撮像が開始されたものとする。制御回路212は、垂直同期信号VSYNCに同期したタイミングT1からT2までの露光時間に亘って、画素アレイ部220内の全画素を同時に露光させる。すなわち、グローバルシャッター方式により露光が制御される。また、画素アレイ部220内の全画素は、露光終了時に、画素信号を保持する。これにより、1枚目の画像データ(フレーム)F1が保持される。
タイミングT2からT3までの読出し期間内に、カラム信号処理回路260は、フレームF1に対する間引きにより圧縮データを生成する。そして、タイミングT3以降において、カラム信号処理回路260は、圧縮データに対して検出処理を行う。この検出処理は失敗したものとする。
一方、タイミングT3からT4までの露光時間に亘って、画素アレイ部220内の全画素が同時に露光され、2枚目のフレームF2が保持される。
タイミングT4からT5までの読出し期間内に、カラム信号処理回路260は、フレームF2に対する間引きにより圧縮データを生成する。そして、タイミングT5以降において、カラム信号処理回路260は、圧縮データに対して検出処理を行う。この検出処理は成功し、認証可能であったものとする。この場合、タイミングT6以降において、カラム信号処理回路260は、元のフレームF2の一部を切り出した切り出しデータをホスト110へ出力する。ここで、画素ごとのサンプルホールドにより、次のフレームF3の露光終了までは、フレームF2が破壊されずに保持されている。このため、カラム信号処理回路260は、タイミングT6以降にフレームF2内の画素信号を再度、読み出すことができる。
また、フレームF1の圧縮データの検出失敗に応じて、制御回路212は、撮像パラメータを変更し、タイミングT5からT7までの露光時間に亘って、画素アレイ部220内の全画素を同時に露光させる。例えば、ISO感度の向上により、フレームF1やF2より明るいフレームF3が生成される。
ホスト110は、撮像開始時のタイミングT1や、それ以前において起動し、タイミングT7以降に、切り出しデータに対して認証処理を行う。この切り出しデータは、検出処理が行われた圧縮データの元のフレームF2から切り出したものである。すなわち、検出対象のフレームと、認証対象のフレームとが同一である。また、画素のそれぞれが、画素信号をサンプルホールドするため、検出時のフレームF2を保持するためのフレームメモリを画素の外部に追加する必要が無い。
切り出しデータの出力後に、撮像システム100は、再度の検出処理および認証処理を実行してもよいし、一定期間に亘って検出処理および認証処理を休止してもよい。休止する場合、例えば、撮像システム100は、認証処理の成功時に休止し、失敗時は検出処理および認証処理を繰り返す構成としてもよい。同一の認識対象を繰り返し認証する必要は無いためである。成功時に休止する場合、ホスト110は、固体撮像素子200に、認証に成功したか否かを通知する。
同図におけるbおよびcにおいて、「Rn」は、第n番目の行を示す。同図におけるbに例示するように、間引き読出しを行う場合、R3、R4などが間引かれ、R1、R2、R5、R6などの行が順に読み出される。
また、同図におけるcに例示するように、R6以降の切り出しを行う場合、R6、R7、R8およびR9などの切り出し領域内の全行が順に読み出される。
図10は、本技術の第1の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。垂直走査回路211は、露光開始の直前のタイミングT10から、パルス期間経過後のタイミングT1に亘って、全ての行(言い換えれば、全画素)にハイレベルのFDリセット信号rstおよび転送信号trgを供給する。これにより、全画素がPDリセットされ、全行で同時に露光が開始される。
ここで、同図のrst_[n]およびtrg_[n]は、N行のうちn行目の画素への信号を示す。Nは全行数を示す整数であり、nは、1乃至Nの整数である。
そして、露光期間の終了直前のタイミングT11において、垂直走査回路211は、全画素において後段リセット信号rstbおよび選択信号Φrをハイレベルにしつつ、パルス期間に亘ってハイレベルのFDリセット信号rstを供給する。これにより、全画素がFDリセットされ、リセットレベルがサンプルホールドされる。ここで、同図のrstb_[n]およびΦr_[n]は、n行目の画素への信号を示す。
タイミングT11の後のタイミングT12において、垂直走査回路211は、選択信号Φrをローレベルに戻す。
露光終了のタイミングT2において、垂直走査回路211は、全画素において後段リセット信号rstbおよび選択信号Φsをハイレベルにしつつ、パルス期間に亘ってハイレベルの転送信号trgを供給する。これにより、信号レベルがサンプルホールドされる。また、前段ノード320のレベルは、リセットレベル(VDD-Vgs)から、信号レベル(VDD-Vgs-Vsig)に低下する。ここで、VDDは、電源電圧であり、Vsigは、CDS処理により得られる正味の信号レベルである。Vgsは、前段増幅トランジスタ315のゲート-ソース間電圧である。また、同図のΦs_[n]は、n行目の画素への信号を示す。
タイミングT2の後のタイミングT13において、垂直走査回路211は、選択信号Φsをローレベルに戻す。
また、垂直走査回路211は、全行(全画素)の電流源トランジスタ316を制御して電流id1を供給させる。ここで、同図のid1_[n]は、n行目の画素の電流を示す。電流idが大電流となるとIRドロップが大きくなるため、電流id1は数ナノアンペア(nA)乃至数十ナノアンペア(nA)のオーダーにする必要がある。一方、全列の負荷MOSトランジスタ251は、オフ状態であり、垂直信号線309に電流id2は供給されない。
図11は、本技術の第1の実施の形態における読出し動作の一例を示すタイミングチャートである。タイミングT20からタイミングT27までの第n行の読出し期間において、垂直走査回路211は、第n行のFDリセット信号rstおよび後段選択信号selbをハイレベルにする。ここで、同図のselb_[n]は、n行目の画素への信号を示す。
タイミングT20の直後のタイミングT21からタイミングT23までの期間に亘って垂直走査回路211は、第n行にハイレベルの選択信号Φrを供給する。後段ノード340の電位は、リセットレベルVrstとなる。
タイミングT21の後のタイミングT22からタイミングT23の期間に亘って、DAC213は、ランプ信号Rmpを徐々に上昇させる。ADC270は、ランプ信号Rmpと垂直信号線309のレベルVrst'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、P相レベル(リセットレベル)が読み出される。
タイミングT23の直後のタイミングT24からパルス期間に亘って、垂直走査回路211は、第n行にハイレベルの後段リセット信号rstbを供給する。これにより、後段ノード340に寄生容量が存在する際に、その寄生容量に保持される前回の信号の履歴を消去することができる。
後段ノード340の初期化直後のタイミングT25からタイミングT27までの期間に亘って垂直走査回路211は、第n行にハイレベルの選択信号Φsを供給する。後段ノード340の電位は、信号レベルVsigとなる。露光時においては、リセットレベルより信号レベルの方が低かったが、読出しの際においては、後段ノード340を基準とするため、リセットレベルより信号レベルの方が高くなる。リセットレベルVrstと信号レベルVsigとの差分が、FDのリセットノイズやオフセットノイズを除去した正味の信号レベルに該当する。
タイミングT25の後のタイミングT26からタイミングT27の期間に亘って、DAC213は、ランプ信号Rmpを徐々に上昇させる。ADC270は、ランプ信号Rmpと垂直信号線309のレベルVrst'とを比較し、比較結果が反転するまでに亘って計数値を計数する。これにより、D相レベル(信号レベル)が読み出される。
また、垂直走査回路211は、タイミングT20からタイミングT27の期間に亘って読み出す対象の第n行の電流源トランジスタ316を制御して電流id1を供給させる。また、制御回路212は、全行の読出し期間内において、全列の負荷MOSトランジスタ251を制御して電流id2を供給させる。
なお、固体撮像素子200は、リセットレベルの後に、信号レベルを読み出しているが、この順番に限定されない。図12に例示するように、固体撮像素子200は、信号レベルの後に、リセットレベルを読み出すこともできる。この場合には、同図に例示するように、垂直走査回路211は、ハイレベルの選択信号Φsの後に、ハイレベルの選択信号Φrを供給する。また、この場合、ランプ信号のスロープの傾きを逆にする必要がある。
ここで、画素が画素信号をサンプルホールドせず、検出処理をホスト110が行う撮像システムを第1の比較例として想定する。
図13は、第1の比較例における撮像システム100の動作の一例を示すタイミングチャートである。制御回路212は、タイミングT1からT2までの露光期間内に、間引き対象でない行のみを露光させる。そして、タイミングT2からT3までの読出し期間内に、カラム信号処理回路260は、間引き対象でない列を読み出し、フレームF1の圧縮データを生成してホスト110に出力する。
タイミングT3以降にホスト110は、圧縮データに対して検出処理を行う。この検出処理は成功し、認証可能であるものとする。また、タイミングT3からT4までの間に制御回路212は、間引き対象でない行のみを露光させる。
そして、1枚目で検出に成功したため、タイミングT4以降に、制御回路212は間引きを停止し、タイミングT5からT7までの露光期間内に、切り出し領域内の全行を露光させる。タイミングT7以降に、カラム信号処理回路260は、フレームF3の一部を切り出した切り出しデータをホスト110へ出力し、ホスト110は、その切り出しデータに対して認証処理を行う。
次に、画素が画素信号をサンプルホールドせず、固体撮像素子200が画像データを圧縮せずにホスト110に出力する撮像システムを第2の比較例として想定する。
図14は、第2の比較例における撮像システム100の動作の一例を示すタイミングチャートである。制御回路212は、タイミングT1からT2までの露光期間内に、全行を露光させる。そして、タイミングT2からT3までの読出し期間内に、カラム信号処理回路260は、フレームF1を読み出し、ホスト110に出力する。
タイミングT3からT4までの期間内に、ホスト110は、フレームF1をフレームメモリに保持するとともに圧縮し、顔の検出処理を行う。そして、タイミングT4以降にホスト110は、認証処理を行う。他の物質の映り込みで顔が隠れるなどの原因により認証処理は失敗したものとする。
また、制御回路212は、タイミングT5からT6までの露光期間内に、全行を露光させる。そして、タイミングT6以降の読出し期間内に、カラム信号処理回路260は、フレームF3を読み出す。制御回路212は、認証失敗に応じて、次のフレームF4の撮像パラメータを変更する。例えば、ISO感度を向上させて画像を明るくする。
図13に例示した第1の比較例では、検出対象のフレームF1と認証対象のフレームF3とが異なる。このため、フレームF1からF3までの間に、被写体が移動すると、認証対象の目などが切り出し領域から外れたり、瞬きなどしてパターンが変わる可能性がある。
図14に例示した第2の比較例では、検出対象のフレームF1と認証対象のフレームF1とが同一である。このため、第1の比較例の問題点は解消している。しかしながら、全画素を露光させて非圧縮のフレームを生成させるため、固体撮像素子200とホスト110との間のデータ量や、消費電力が大きくなってしまう。また、フレームF1の認証処理に失敗した場合、その結果に応じて撮像パラメータが変更されるのはフレームF4以降となり、認証処理を2回以上行う場合、スループットが低下してしまう。圧縮および検出処理を固体撮像素子200内で行った場合であっても、スループットの低下の問題は解消しない。
これに対して、図9に例示したように、画素が画素信号をサンプルホールドする構成では、同じフレームを複数回に亘って読み出すことができるため、検出対象のフレームと認証対象のフレームとを同一にすることができる。これにより、ホスト110でインテリジェントな認証処理を行う際に、検出から認証までのタイムラグが無くなり、そのタイムラグの間の画像の変化による認証失敗を抑制することができる。
また、全画素を読み出さず、圧縮データまたは切り出しデータを読み出すため、第2の比較例よりもデータ量や消費電力を削減することができる。これにより、固体撮像素子200内での処理を高速化することができる。また、フレームF1に対する検出失敗時に、撮像パラメータが変更されるのは、フレームF3以降となり、第2の比較例よりもスループットが向上する。
図15は、本技術の第1の実施の形態における画像データ、圧縮データ、および、切り出しデータの一例を示す図である。同図におけるaは、圧縮前の画像データの一例である。同図におけるbは、圧縮データの一例であり、同図におけるcは切り出しデータの一例である。
画像データ内の画素は、R(Red)、G(Green)およびB(Blue)のいずれかの光を受光するものとする。同図におけるaに例示するように、画像データ内の画素は、例えば、ベイヤー配列される。
同図におけるbに例示するように、画像データを行単位や列単位で間引いたデータが圧縮データとして生成される。同図におけるbの点線は、間引いた画素を示す。
また、同図におけるaの太枠で囲まれた領域は、切り出し領域である。同図におけるcに例示するように、その切り出し領域内の全画素が切り出しデータとして読み出される。切り出し領域内の全画素の読出しにより、切り出しデータの解像度は、圧縮データよりも高くなる。
図16は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すフローチャートである。この動作は、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
固体撮像素子200は、まず、グローバルシャッター方式により全画素を露光し、画素ごとに画素信号を保持する(ステップS901)。そして、固体撮像素子200は、圧縮データを読み出し(ステップS902)、顔を検出したか否かを判断する(ステップS903)。顔を検出した場合(ステップS903:Yes)、固体撮像素子200は、目などの認証が可能であるか否かを判断する(ステップS904)。
顔が検出されない場合(ステップS903:No)、または、認証可能でない場合(ステップS904:No)、固体撮像素子200は、撮像パラメータを確認し、必要に応じて変更する(ステップS906)。ステップS906の後に固体撮像素子200は、ステップS901以降を繰り返す。
認証可能な場合(ステップS904:Yes)、固体撮像素子200は、切り出しデータを読み出してホスト110に出力し(ステップS905)、認証成功通知をホスト110から受信したか否かを判断する(ステップS907)。認証成功通知を受信していない場合(ステップS907:No)、固体撮像素子200は、ステップS901以降を繰り返す。一方、認証成功通知を受信した場合(ステップS907:Yes)、固体撮像素子200は、撮像のための動作を終了し、一定期間に亘って休止する。
図17は、本技術の第1の実施の形態におけるホスト110の動作の一例を示すフローチャートである。この動作は、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
ホスト110は、切り出しデータを固体撮像素子200から受信したか否かを判断する(ステップS910)。切り出しデータを受信した場合(ステップS910:Yes)、ホスト110は、認証処理を行い、成功したか否かを判断する(ステップS911)。認証処理に成功した場合(ステップS911:Yes)、ホスト110は、認証成功の通知を行い(ステップS912)、ステップS910以降を繰り返す。
切り出しデータを受信していない場合(ステップS910:No)、または、認証処理に失敗した場合(ステップS911:No)、ホスト110は、ステップS910以降を繰り返し実行する。
このように、本技術の第1の実施の形態によれば、圧縮データに対する検出処理の結果に基づいて、固体撮像素子200が、元の画像データから切り出したデータを出力するため、ホスト110は、検出時と同じ画像を認証することができる。これにより、認証処理の成功率が高くなり、撮像システム100の利便性を向上させることができる。
<2.第2の実施の形態>
上述の第1の実施の形態では、固体撮像素子200は、間引きにより圧縮データを生成していたが、この構成では、圧縮データ内のノイズの低減が困難である。この第2の実施の形態における固体撮像素子200は、画素加算により圧縮データを生成する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、固体撮像素子200は、間引きにより圧縮データを生成していたが、この構成では、圧縮データ内のノイズの低減が困難である。この第2の実施の形態における固体撮像素子200は、画素加算により圧縮データを生成する点において第1の実施の形態と異なる。
図18は、本技術の第2の実施の形態におけるカラム信号処理回路260の一構成例を示すブロック図である。この第2の実施の形態のカラム信号処理回路260は、圧縮処理部264をさらに備える点において第1の実施の形態と異なる。
第2の実施の形態において、制御回路212は、認証可能フラグが「0」の場合に、データ処理部262を制御して全画素をAD変換させる。デマルチプレクサ263は、認証可能フラグが「0」の場合に、データ処理部262からの画像データを圧縮処理部264に供給する。
圧縮処理部264は、AD変換後の画像データを画素加算により圧縮するものである。この圧縮処理部264は、圧縮により生成した圧縮データを検出処理部265に供給する。
第2の実施の形態において、認証可能フラグが「1」の場合のカラム信号処理回路260の動作は、第1の実施の形態と同様である。
図19は、本技術の第2の実施の形態における画像データおよび圧縮データの一例を示す図である。同図におけるaは、圧縮前の画像データの一例を示し、同図におけるbは、圧縮データの一例を示す。
圧縮処理部264は、隣接する同一色の複数のデジタルの画素信号を加算し、圧縮後の画素信号とする。例えば、同図におけるaに例示するように、ベイヤー配列において4つのR画素の画素信号の加算平均が演算される。加算平均の信号は、同図におけるbに例示するように、圧縮データ内のR画素の画素信号として配列される。
同図に例示するように、圧縮処理部264が複数の画素信号(すなわち、デジタル信号)を加算平均することにより、ノイズを低減することができる。
なお、圧縮処理部264がデジタル信号を加算しているが、AD変換前のアナログの画素信号を加算することもできる。この場合には、図20に例示するように、ADC262の前段に、アナログの画素信号を加算する圧縮処理部261が配置される。圧縮処理部261内の回路として、例えば、特開2008-042478号公報の図6に記載の回路が用いられる。
このように、本技術の第2の実施の形態によれば、圧縮処理部264が複数の画素信号の加算により圧縮データを生成するため、第1の実施の形態と比較してノイズを低減することができる。
<3.第3の実施の形態>
上述の第1の実施の形態では、ホスト110が撮像開始時に起動していたが、ホスト110の消費電力をさらに削減することが好ましい。この第3の実施の形態における撮像システム100は、目などが認識可能になるまでホスト110が休止する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、ホスト110が撮像開始時に起動していたが、ホスト110の消費電力をさらに削減することが好ましい。この第3の実施の形態における撮像システム100は、目などが認識可能になるまでホスト110が休止する点において第1の実施の形態と異なる。
図21は、本技術の第3の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第3の実施の形態の固体撮像素子200は、カラム信号処理回路260が、認証可能フラグをホスト110に出力する点において第1の実施の形態と異なる。
図22は、本技術の第3の実施の形態における撮像システム100の動作の一例を示すタイミングチャートである。初期状態において、ホスト110は、休止状態である。ここで、休止状態は、例えば、ホスト110のうち、固体撮像素子200からの信号を処理するための最小限の回路(通信回路や制御回路など)のみが動作し、他の回路(認証処理部114など)が停止している状態である。
タイミングT6において、カラム信号処理回路260は、「1」の認証可能フラグをホスト110に送信する。ホスト110は、そのフラグに応じて休止状態から、認証処理部114などが動作する起動状態に移行する。そして、タイミングT7以降に切り出しデータが出力されると、タイミングT7以降においてホスト110は、その切り出しデータを用いて認証処理を行う。
同図に例示するように、認証可能となるまでホスト110が休止するため、第1の実施の形態と比較して、撮像システム100の消費電力を削減することができる。
なお、第3の実施の形態に、画素加算を行う第2の実施の形態を適用することができる。
このように、本技術の第3の実施の形態によれば、カラム信号処理回路260が認証可能フラグを出力し、認証可能となるまでホスト110が休止するため、撮像システム100の消費電力を削減することができる。
<4.第4の実施の形態>
上述の第1の実施の形態では、固体撮像素子200が顔などの検出処理を行っていたが、固体撮像素子200の代わりにホスト110が検出処理を行うこともできる。この第4の実施の形態における撮像システム100は、ホスト110が検出処理を行う点において第1の実施の形態と異なる。
上述の第1の実施の形態では、固体撮像素子200が顔などの検出処理を行っていたが、固体撮像素子200の代わりにホスト110が検出処理を行うこともできる。この第4の実施の形態における撮像システム100は、ホスト110が検出処理を行う点において第1の実施の形態と異なる。
図23は、本技術の第4の実施の形態における撮像システム100の一構成例を示す図である。この第4の実施の形態の撮像システム100は、ホスト110が、検出処理部116および切り出し領域演算部117をさらに備える点において第1の実施の形態と異なる。
また、第4の実施の形態の固体撮像素子200には、検出処理部265および切り出し領域演算部266が配置されない。
検出処理部116および切り出し領域演算部117の構成は、固体撮像素子200内の検出処理部265および切り出し領域演算部266と同様である。ただし、切り出し領域演算部117は、認証可能フラグおよび切り出し領域を、例えば、通信インターフェース112を介して、固体撮像素子200に送信する。
図24は、本技術の第4の実施の形態における撮像システム100の動作の一例を示すタイミングチャートである。タイミングT2からT3までの読出し期間内に、カラム信号処理回路260は、フレームF1に対する間引きにより圧縮データを生成し、ホスト110に送信する。
タイミングT3の直後にホスト110は、圧縮データに対する検出処理を行う。タイミングT3と検出処理の開始タイミングとの間には、圧縮データの送受信による若干のタイムラグが生じる。この検出処理は失敗したものとする。この場合、ホスト110は、「0」の認証可能フラグを固体撮像素子200にフィードバックする。
そして、タイミングT5の直後にホスト110は、圧縮データに対する検出処理を行い、認証可能であったものとする。ホスト110は、「1」の認証可能フラグおよび切り出し領域を固体撮像素子200にフィードバックする。
タイミングT6以降にカラム信号処理回路260は、切り出しデータを出力し、タイミングT7以降にホスト110は、その切り出しデータを用いて認証処理を行う。
同図に例示するように、ホスト110が検出処理をさらに行うことにより、フィードバックのタイミングが遅くなるものの、固体撮像素子200の処理量を軽減することができる。
なお、第4の実施の形態に、画素加算を行う第2の実施の形態を適用することができる。
このように、本技術の第4の実施の形態によれば、ホスト110が検出処理を行うため、固体撮像素子200の処理量を削減することができる。
<5.第5の実施の形態>
上述の第1の実施の形態では、ホスト110が、切り出しデータを用いて目などの認証処理を行っていたが、認証処理以外の処理を行うこともできる。この第5の実施の形態における撮像システム100は、固体撮像素子200が人物の有無を検出し、ホスト110が行為判定を行う点において第1の実施の形態と異なる。
上述の第1の実施の形態では、ホスト110が、切り出しデータを用いて目などの認証処理を行っていたが、認証処理以外の処理を行うこともできる。この第5の実施の形態における撮像システム100は、固体撮像素子200が人物の有無を検出し、ホスト110が行為判定を行う点において第1の実施の形態と異なる。
図25は、本技術の第5の実施の形態における撮像システム100の一構成例を示す図である。この第5の実施の形態の撮像システム100は、ホスト110が、認証処理部114の代わりに行為判定部118を備える点において第1の実施の形態と異なる。
また、第5の実施の形態における固体撮像素子200は、圧縮データ内の人物の有無を検出し、元の画像データから、検出した人物の領域を切り出す。
行為判定部118は、切り出しデータを解析して、人物の行為が特定の行為であるか否かを判定し、判定結果を外部に出力するものである。
図26は、本技術の第5の実施の形態における撮像システム100の利用例を説明するための図である。同図におけるaに例示するように、固体撮像素子200が設けられた撮像装置150は、画像データ700の圧縮データを生成する。固体撮像素子200は、その圧縮データ内で2人の人物を検出し、元の画像データ700から、各人物に対応する切り出し領域710および720を切り出し、ホスト110に出力する。
ホスト110は、切り出し領域710および720を解析し、各人物の行為が特定の行為であるか否かを判定する。例えば、ホスト110は、人物の服装や持ち物を物体検出などにより検出し、それらの情報を元に行為を判定する。
例えば、同図におけるbに例示するように、検出領域710内の人物は、ポケットのある服を着ており、携帯電話を持ち、マスク、ヘルメットや手袋を装備している。ホスト110は、これらの情報を元に、その人物は点検作業などの業務を行っていると判定する。
一方、同図におけるcに例示するように、検出領域720内の人物は、ポケットのある服を着ており、携帯電話を持ち、マスク、ヘルメットや手袋を装備していない。ホスト110は、これらの情報を元に、その人物は業務外の行為を行っていると判定する。
そして、業務外の行為を行った人物がいた場合に、ホスト110は、警報装置などに判定結果を出力し、アラームを出力させる。
なお、第5の実施の形態に、第2、第3、第4の実施の形態のそれぞれを適用することができる。
このように、本技術の第5の実施の形態によれば、固体撮像素子200が人物の有無を検出し、ホスト110が、その人物の行為を判定するため、認証処理以外の処理を実現することができる。
<6.第6の実施の形態>
上述の第1の実施の形態では、ホスト110が、切り出しデータを用いて目などの認証処理を行っていたが、認証処理以外の処理を行うこともできる。この第6の実施の形態における撮像システム100は、固体撮像素子200が背景データとの差分を検出し、ホスト110が切り出しデータを保存する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、ホスト110が、切り出しデータを用いて目などの認証処理を行っていたが、認証処理以外の処理を行うこともできる。この第6の実施の形態における撮像システム100は、固体撮像素子200が背景データとの差分を検出し、ホスト110が切り出しデータを保存する点において第1の実施の形態と異なる。
図27は、本技術の第6の実施の形態における背景データ、圧縮データおよび切り出しデータの一例を示す図である。同図におけるaは、背景データ800の一例を示す。同図におけるbは、圧縮データ810の一例を示す。同図におけるcは、切り出しデータの一例を示す。
固体撮像素子200内の検出処理部265は、背景データ800と、圧縮データ810との差分を検出し、その差分の領域を切り出し領域811とする。そして、制御回路212は、元の画像データから切り出し領域811を切り出した切り出しデータを出力させる。
ホスト110は、その切り出しデータを保存する。あるいは、切り出しデータを解析して、異常の有無を判定する。
固体撮像素子200が、顔などの検出処理に比べ、背景差分法は処理が簡易であるため、背景差分法を用いることにより、固体撮像素子200の処理負荷を軽減することができる。
なお、第6の実施の形態に、第2から第5の実施の形態のそれぞれを適用することができる。
このように、本技術の第6の実施の形態によれば、固体撮像素子200が背景との差分を検出するため、処理負荷を軽減することができる。
[第1の変形例]
上述の第1の実施の形態では、前段回路310が前段ノード320に接続されたままで信号を読み出していたが、この構成では、読出しの際に前段ノード320からのノイズを遮断することができない。この第1の実施の形態の第1の変形例の画素300は、前段回路310と前段ノード320との間にトランジスタを挿入した点において第1の実施の形態と異なる。
上述の第1の実施の形態では、前段回路310が前段ノード320に接続されたままで信号を読み出していたが、この構成では、読出しの際に前段ノード320からのノイズを遮断することができない。この第1の実施の形態の第1の変形例の画素300は、前段回路310と前段ノード320との間にトランジスタを挿入した点において第1の実施の形態と異なる。
図28は、本技術の第1の実施の形態の第1の変形例における画素300の一構成例を示す回路図である。この第1の実施の形態の第1の変形例の画素300は、前段リセットトランジスタ323および前段選択トランジスタ324をさらに備える点において第1の実施の形態と異なる。また、第1の実施の形態の第1の変形例の前段回路310および後段回路350の電源電圧をVDD1とする。
前段リセットトランジスタ323は、前段ノード320のレベルを電源電圧VDD2により初期化するものである。この電源電圧VDD2は、次の式を満たす値に設定することが望ましい。
VDD2=VDD1-Vgs ・・・式1
上式において、Vgsは、前段増幅トランジスタ315のゲート-ソース間電圧である。
VDD2=VDD1-Vgs ・・・式1
上式において、Vgsは、前段増幅トランジスタ315のゲート-ソース間電圧である。
式1を満たす値に設定することにより、暗いときの前段ノード320と後段ノード340との間の電位変動を少なくすることができる。これにより、感度不均一性 (PRNU: Photo Response Non-Uniformity)を改善することができる。
前段選択トランジスタ324は、垂直走査回路211からの前段選択信号selに従って、前段回路310と前段ノード320との間の経路を開閉するものである。
図29は、本技術の第1の実施の形態の第1の変形例におけるグローバルシャッター動作の一例を示すタイミングチャートである。第1の実施の形態の第1の変形例のタイミングチャートは、垂直走査回路211が前段リセット信号rstaおよび前段選択信号selをさらに供給する点において第1の実施の形態と異なる。同図において、rsta_[n]およびsel_[n]は、第n行の画素への信号を示す。
垂直走査回路211は、露光終了の直前のタイミングT2からタイミングT5に亘って全画素へハイレベルの前段選択信号selを供給する。前段リセット信号rstaは、ローレベルに制御される。
図30は、本技術の第1の実施の形態の第1の変形例における読出し動作の一例を示すタイミングチャートである。各行の読出しの際に前段選択信号selはローレベルに制御される。この制御により、前段選択トランジスタ324が開状態に移行して、前段ノード320が前段回路310から切り離される。これにより、読出しの際に前段ノード320からのノイズを遮断することができる。
また、タイミングT10からタイミングT17までの第n行の読出し期間において、垂直走査回路211は、第n行にハイレベルの前段リセット信号rstaを供給する。
また、読出しの際に、垂直走査回路211は、全画素の電流源トランジスタ316を制御して電流id1の供給を停止させる。電流id2は、第1の実施の形態と同様に供給される。このように、第1の実施の形態と比較して、電流id1の制御がシンプルとなる。
このように、本技術の第1の実施の形態の第1の変形例によれば、読出しの際に前段選択トランジスタ324が開状態に移行し、前段回路310を前段ノード320から切り離すため、前段回路310からのノイズを遮断することができる。
[第2の変形例]
上述の第1の実施の形態では、固体撮像素子200内の回路を単一の半導体チップに設けていたが、この構成では、画素300を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第1の実施の形態の第2の変形例の固体撮像素子200は、固体撮像素子200内の回路を2つの半導体チップに分散して配置した点において第1の実施の形態と異なる。
[第2の変形例]
上述の第1の実施の形態では、固体撮像素子200内の回路を単一の半導体チップに設けていたが、この構成では、画素300を微細化した際に半導体チップ内に素子が収まらなくなるおそれがある。この第1の実施の形態の第2の変形例の固体撮像素子200は、固体撮像素子200内の回路を2つの半導体チップに分散して配置した点において第1の実施の形態と異なる。
図31は、本技術の第1の実施の形態の第2の変形例における固体撮像素子200の積層構造の一例を示す図である。第1の実施の形態の第2の変形例の固体撮像素子200は、回路チップ202と、その回路チップ202に積層された画素チップ201とを備える。これらのチップは、例えば、Cu-Cu接合により電気的に接続される。なお、Cu-Cu接合の他、ビアやバンプにより接続することもできる。
画素チップ201には、上側画素アレイ部221が配置される。回路チップ202には、下側画素アレイ部222とカラム信号処理回路260とが配置される。画素アレイ部220内の画素ごとに、その一部が、上側画素アレイ部221に配置され、残りが下側画素アレイ部222に配置される。
また、回路チップ202には、垂直走査回路211、制御回路212、DAC213および負荷MOS回路ブロック250も配置される。これらの回路は、同図において省略されている。
また、画素チップ201は、例えば、画素専用のプロセスで製造され、回路チップ202は、例えば、CMOS(Complementary MOS)プロセスで製造される。なお、画素チップ201は、特許請求の範囲に記載の第1のチップの一例であり、回路チップ202は、特許請求の範囲に記載の第2のチップの一例である。
図32は、本技術の第1の実施の形態の第2の変形例における画素300の一構成例を示す回路図である。画素300のうち、前段回路310は、画素チップ201に配置され、それ以外の回路や素子(容量素子321および322など)は、回路チップ202に配置される。なお、電流源トランジスタ316をさらに回路チップ202に配置することもできる。同図に例示するように、画素300内の素子を、積層した画素チップ201および回路チップ202に分散して配置することにより、画素の面積を小さくすることができ、画素の微細化が容易になる。
このように、本技術の第1の実施の形態の第2の変形例によれば、画素300内の回路や素子を2つの半導体チップに分散して配置するため、画素の微細化が容易になる。
[第3の変形例]
上述の第1の実施の形態の第2の変形例では、画素300の一部と周辺回路(カラム信号処理回路260など)とを下側の回路チップ202に設けていた。しかし、この構成では、周辺回路の分、回路チップ202側の回路や素子の配置面積が画素チップ201より大きくなり、画素チップ201に、回路や素子の無い無駄なスペースが生じるおそれがある。この第1の実施の形態の第3の変形例の固体撮像素子200は、固体撮像素子200内の回路を3つの半導体チップに分散して配置した点において第1の実施の形態の第2の変形例と異なる。
上述の第1の実施の形態の第2の変形例では、画素300の一部と周辺回路(カラム信号処理回路260など)とを下側の回路チップ202に設けていた。しかし、この構成では、周辺回路の分、回路チップ202側の回路や素子の配置面積が画素チップ201より大きくなり、画素チップ201に、回路や素子の無い無駄なスペースが生じるおそれがある。この第1の実施の形態の第3の変形例の固体撮像素子200は、固体撮像素子200内の回路を3つの半導体チップに分散して配置した点において第1の実施の形態の第2の変形例と異なる。
図33は、本技術の第1の実施の形態の第3の変形例における固体撮像素子200の積層構造の一例を示す図である。第1の実施の形態の第3の変形例の固体撮像素子200は、上側画素チップ203、下側画素チップ204および回路チップ202を備える。これらのチップは積層され、例えば、Cu-Cu接合により電気的に接続される。なお、Cu-Cu接合の他、ビアやバンプにより接続することもできる。
上側画素チップ203には、上側画素アレイ部221が配置される。下側画素チップ204には、下側画素アレイ部222が配置される。画素アレイ部220内の画素ごとに、その一部が、上側画素アレイ部221に配置され、残りが下側画素アレイ部222に配置される。
また、回路チップ202には、カラム信号処理回路260、垂直走査回路211、制御回路212、DAC213および負荷MOS回路ブロック250が配置される。カラム信号処理回路260以外の回路は、同図において省略されている。
なお、上側画素チップ203は、特許請求の範囲に記載の第1のチップの一例であり、下側画素チップ204は、特許請求の範囲に記載の第2のチップの一例である。回路チップ202は、特許請求の範囲に記載の第3のチップの一例である。
同図に例示したように3層構成にすることにより、2層構成と比較して無駄なスペースを削減し、さらに画素を微細化することができる。また、2層目の下側画素チップ204を、容量やスイッチのための専用のプロセスで製造することができる。
このように、本技術の第1の実施の形態の第3の変形例では、固体撮像素子200内の回路を3つの半導体チップに分散して配置するため、2つの半導体チップに分散して配置する場合と比較してさらに画素を微細化することができる。
<7.第7の実施の形態>
上述の第1の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第7の実施の形態の固体撮像素子200は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第1の実施の形態と異なる。
上述の第1の実施の形態では、露光期間内にリセットレベルをサンプルホールドしていたが、この構成では、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。この第7の実施の形態の固体撮像素子200は、光電変換素子から電荷を排出するトランジスタを追加することにより、露光期間をより短くした点において第1の実施の形態と異なる。
図34は、本技術の第7の実施の形態における画素300の一構成例を示す回路図である。この第7の実施の形態の画素300は、前段回路310内に排出トランジスタ317をさらに備える点において第1の実施の形態と異なる。
排出トランジスタ317は、垂直走査回路211からの排出信号оfgに従って光電変換素子311から電荷を排出するオーバーフロードレインとして機能するものである。排出トランジスタ317として、例えば、nMOSトランジスタが用いられる。
第1の実施の形態のように、排出トランジスタ317を設けない構成では、全画素について光電変換素子311からFD314へ電荷を転送した際に、ブルーミングが生じることがある。そして、FDリセットの際にFD314と前段ノード320の電位が降下する。この電位降下に追従して、容量素子321および322の充放電の電流が発生し続け、電源やグランドのIRドロップが、ブルーミングの無い定常状態から変化してしまう。
その一方で、全画素の信号レベルのサンプルホールドの際には、信号電荷の転送後、光電変換素子311内の電荷が空の状態になるため、ブルーミングが発生しなくなり、電源やグランドのIRドロップが、ブルーミングの無い定常状態となる。これらのリセットレベル、信号レベルをサンプルホールドの際のIRドロップの違いに起因して、ストリーキングノイズが生じる。
これに対して、排出トランジスタ317を設けた第7の実施の形態では、光電変換素子311の電荷がオーバーフロードレイン側に排出される。このため、リセットレベル、信号レベルをサンプルホールドの際のIRドロップが同程度となり、ストリーキングノイズを抑制することができる。
図35は、本技術の第7の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。露光開始のタイミング前のタイミングT0において、垂直走査回路211は、全画素の排出信号оfgをハイレベルにしつつ、全画素にハイレベルのFDリセット信号rstをパルス期間に亘って供給する。これにより、全画素についてPDリセットおよびFDリセットが行われる。また、リセットレベルがサンプルホールドされる。ここで、同図のоfg_[n]は、N行のうちn行目の画素への信号を示す。
そして、露光開始のタイミングT1において、垂直走査回路211は、全画素の排出信号оfgをローレベルに戻す。そして、露光終了の直前のタイミングT2から露光終了のT3までの期間に亘って、垂直走査回路211は、全画素にハイレベルの転送信号trgを供給する。これにより、信号レベルがサンプルホールドされる。
第1の実施の形態のように、排出トランジスタ317を設けない構成では、露光開始時(すなわち、PDリセット時)に転送トランジスタ312およびFDリセットトランジスタ313の両方をオン状態にしなければならない。この制御では、PDリセットの際に、同時にFD314もリセットしなければならない。このため、露光期間内に再度FDリセットを行い、リセットレベルをサンプルホールドする必要があり、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができない。全画素のリセットレベルをサンプルホールドする際には、電圧や電流が静定するまでにある程度の待ち時間が必要になり、例えば、数マイクロ秒(μs)から数十マイクロ秒(μs)のサンプルホールド期間が必要となる。
これに対して、排出トランジスタ317を設ける第7の実施の形態では、PDリセットとFDリセットとを個別に行うことができる。このため、同図に例示するように、PDリセットの解除(露光開始)前にFDリセットを行って、リセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
なお、第7の実施の形態に、第1の実施の形態の第1乃至第3の変形例や、第2から第6の実施の形態のそれぞれを適応することもできる。
このように、本技術の第7の実施の形態によれば、光電変換素子311から電荷を排出する排出トランジスタ317を設けたため、露光開始前にFDリセットを行ってリセットレベルをサンプルホールドすることができる。これにより、リセットレベルのサンプルホールド期間よりも露光期間を短くすることができる。
<8.第8の実施の形態>
上述の第1の実施の形態では、電源電圧VDDによりFD314を初期化していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第8の実施の形態の固体撮像素子200は、FDリセットトランジスタ313の電源を読出しの際に低下させることにより、PRNUを改善する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、電源電圧VDDによりFD314を初期化していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第8の実施の形態の固体撮像素子200は、FDリセットトランジスタ313の電源を読出しの際に低下させることにより、PRNUを改善する点において第1の実施の形態と異なる。
図36は、本技術の第8の実施の形態における画素300の一構成例を示す回路図である。この第8の実施の形態の画素300は、FDリセットトランジスタ313の電源が、画素300の電源電圧VDDと分離されている点において第1の実施の形態と異なる。
第3の実施の形態のFDリセットトランジスタ313のドレインは、リセット電源電圧VRSTに接続される。このリセット電源電圧VRSTは、例えば、制御回路212により制御される。
ここで、図37および図38を参照して、第1の実施の形態の画素300におけるPRNUの悪化について考える。第1の実施の形態では、図37に例示するように露光開始時直前のタイミングT0において、FD314の電位は、FDリセットトランジスタ313のリセットフィードスルーにより低下する。この変動量をVftとする。
第1の実施の形態では、FDリセットトランジスタ313の電源電圧はVDDであるため、タイミングT0において、FD314の電位は、VDDから、VDD-Vftに変動する。また、露光時の前段ノード320の電位は、VDD-Vft-Vgsとなる。
また、第1の実施の形態では、図38に例示するように読出しの際にFDリセットトランジスタ313がオン状態に移行し、FD314が、電源電圧VDDに固定される。そのFD314の変動量Vftにより、読出しの際の前段ノード320および後段ノード340の電位を、Vft程度高くシフトする。ただし、容量素子321および322の容量値のばらつきや、寄生容量により、シフトする電圧量が画素ごとにばらつき、PRNU悪化の元になる。
前段ノード320がVftだけ遷移した場合の後段ノード340の遷移量は、例えば、次の式により表される。
{(Cs+δCs)/(Cs+δCs+Cp)}*Vft・・・式2
上式において、Csは、信号レベル側の容量素子322の容量値であり、δCsは、Csのばらつきである。Cpは、後段ノード340の寄生容量の容量値である。
{(Cs+δCs)/(Cs+δCs+Cp)}*Vft・・・式2
上式において、Csは、信号レベル側の容量素子322の容量値であり、δCsは、Csのばらつきである。Cpは、後段ノード340の寄生容量の容量値である。
式2は、次の式に近似することができる。
{1-(δCs/Cs)*(Cp/Cs)}*Vft ・・・式3
{1-(δCs/Cs)*(Cp/Cs)}*Vft ・・・式3
式3より、後段ノード340のばらつきは、次の式により表すことができる。
{(δCs/Cs)*(Cp/Cs)}*Vft ・・・式4
{(δCs/Cs)*(Cp/Cs)}*Vft ・・・式4
(δCs/Cs)を10-2とし、(Cp/Cs)を10-1とし、Vftを400ミリボルト(mV)とすると、式4よりPRNUは、400μVrmsとなり、比較的大きな値となる。
特に、入力換算の容量のサンプリングホールド時のkTCノイズを小さくする際には、FD314の電荷電圧変換効率を大きくする必要がある。電荷電圧変換効率を大きくするにはFD314の容量を小さくしなければならないが、FD314の容量が小さいほど変動量Vftが大きくなり、数百ミリボルト(mV)になりうる。この場合、式4よりPRNUの影響が無視できないレベルになりうる。
図39は、本技術の第8の実施の形態における電圧制御の一例を示すタイミングチャートである。
制御回路212は、タイミングT9以降の行単位の読出し期間において、リセット電源電圧VRSTを露光期間と異なる値に制御する。
例えば、露光期間において、制御回路212は、リセット電源電圧VRSTを電源電圧VDDと同じ値にする。一方、読出し期間において制御回路212は、リセット電源電圧VRSTを、VDD-Vftに低下させる。すなわち、読出し期間において、制御回路212は、リセットフィードスルーによる変動量Vftに略一致する分だけ、リセット電源電圧VRSTを低下させる。この制御により、露光時と、読出しの際とにおいて、FD314のリセットレベルを揃えることができる。
リセット電源電圧VRSTの制御により、同図に例示するように、FD314と、前段ノード320との電圧変動量を低減することができる。これにより、容量素子321および322のばらつきや、寄生容量に起因するPRNUの悪化を抑制することができる。
なお、第8の実施の形態に、第1の実施の形態の第1乃至第3の変形例や、第2から第7の実施の形態のそれぞれを適用することもできる。
このように、本技術の第8の実施の形態によれば、読出しの際に制御回路212が、リセットフィードスルーによる変動量Vftだけリセット電源電圧VRSTを低下させるため、露光と読出しとでリセットレベルを揃えることができる。これにより、感度不均一性(PRNU)の悪化を抑制することができる。
<9.第9の実施の形態>
上述の第1の実施の形態では、フレーム毎にリセットレベルの次に信号レベルを読み出していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第9の実施の形態の固体撮像素子200は、フレームごとに、容量素子321に保持するレベルと容量素子322に保持するレベルとを入れ替えることにより、PRNUを改善する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、フレーム毎にリセットレベルの次に信号レベルを読み出していたが、この構成では容量素子321および322のばらつきや、寄生容量により、感度不均一性(PRNU)が悪化するおそれがある。この第9の実施の形態の固体撮像素子200は、フレームごとに、容量素子321に保持するレベルと容量素子322に保持するレベルとを入れ替えることにより、PRNUを改善する点において第1の実施の形態と異なる。
第9の実施の形態の固体撮像素子200は、複数のフレームを垂直同期信号に同期して連続して撮像する。奇数番目のフレームを「奇数フレーム」と称し、偶数番目のフレームを「偶数フレーム」と称する。
図40は、第9の実施の形態における奇数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。奇数フレームの露光期間内に固体撮像素子200内の前段回路310は、選択信号Φrの次に選択信号Φsをハイレベルにすることにより、リセットレベルを容量素子321に保持させ、次に信号レベルを容量素子322に保持させる。
図41は、本技術の第9の実施の形態における奇数フレームの読出し動作の一例を示すタイミングチャートである。奇数フレームの読出し期間内に固体撮像素子200内の後段回路350は、選択信号Φrの次に選択信号Φsをハイレベルにしてリセットレベルの次に信号レベルを読み出す。
図42は、第9の実施の形態における偶数フレームのグローバルシャッター動作の一例を示すタイミングチャートである。偶数フレームの露光期間内に固体撮像素子200内の前段回路310は、選択信号Φsの次に選択信号Φrをハイレベルにすることにより、リセットレベルを容量素子322に保持させ、次に信号レベルを容量素子321に保持させる。
図43は、本技術の第9の実施の形態における偶数フレームの読出し動作の一例を示すタイミングチャートである。偶数フレームの読出し期間内に固体撮像素子200内の後段回路350は、選択信号Φsの次に選択信号Φrをハイレベルにしてリセットレベルの次に信号レベルを読み出す。
図40および図42に例示したように、偶数フレームと奇数フレームとで、容量素子321および322のそれぞれに保持されるレベルが逆になる。これにより、偶数フレームと奇数フレームとで、PRNUの極性も逆になる。後段のカラム信号処理回路260は、奇数フレームと偶数フレームとの加算平均を求める。これにより、極性が逆のPRNU同士を相殺することができる。
この制御は、動画の撮像や、フレーム同士の加算において有効な制御である。また、画素300に素子を追加する必要はなく、駆動方式の変更のみにより実現することができる。
なお、第9の実施の形態に、第1の実施の形態の第1乃至第3の変形例や、第2から第8の実施の形態のそれぞれを適用することもできる。
このように、本技術の第9の実施の形態では、奇数フレームと偶数フレームとで容量素子321に保持されるレベルと容量素子322に保持されるレベルとが逆になるため、奇数フレームと偶数フレームとでPRNUの極性を逆にすることができる。これらの奇数フレームおよび偶数フレームをカラム信号処理回路260が加算することにより、PRNUの悪化を抑制することができる。
<10.第10の実施の形態>
上述の第1の実施の形態では、カラム信号処理回路260は、カラム毎にリセットレベルと信号レベルとの差分を求めていた。しかし、この構成では、非常に高照度の光が画素に入射した際に、光電変換素子311から電荷が溢れることにより輝度が低下し、黒く沈んでしまう黒点現象が生じるおそれがある。この第10の実施の形態の固体撮像素子200は、黒点現象が生じたか否かを画素ごとに判定する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、カラム信号処理回路260は、カラム毎にリセットレベルと信号レベルとの差分を求めていた。しかし、この構成では、非常に高照度の光が画素に入射した際に、光電変換素子311から電荷が溢れることにより輝度が低下し、黒く沈んでしまう黒点現象が生じるおそれがある。この第10の実施の形態の固体撮像素子200は、黒点現象が生じたか否かを画素ごとに判定する点において第1の実施の形態と異なる。
図44は、本技術の第10の実施の形態におけるカラム信号処理回路260の一構成例を示す回路図である。この第5の実施の形態のカラム信号処理回路260には、複数のCDS処理部291と複数のセレクタ292とがさらに配置される。ADC270、CDS処理部291およびセレクタ292は、列ごとに設けられる。
また、ADC270は、コンパレータ280およびカウンタ271を備える。コンパレータ280は、垂直信号線309のレベルと、DAC213からのランプ信号Rmpとを比較し、比較結果VCOを出力するものである。比較結果VCOは、カウンタ271と制御回路212とに供給される。コンパレータ280は、セレクタ281と、容量素子282および283と、オートゼロスイッチ284および286と、比較器285とを備える。
セレクタ281は、入力側選択信号selinに従って、対応する列の垂直信号線309と、所定の参照電圧VREFのノードとのいずれかを比較器285の非反転入力端子(+)に、容量素子282を介して接続するものである。入力側選択信号selinは、制御回路212から供給される。
比較器285は、非反転入力端子(+)と反転入力端子(-)とのそれぞれのレベルを比較して、比較結果VCOをカウンタ271へ出力するものである。反転入力端子(-)には、容量素子283を介してランプ信号Rmpが入力される。
オートゼロスイッチ284は、制御回路212からのオートゼロ信号Azに従って、比較結果VCOの非反転入力端子(+)と出力端子とを短絡するものである。オートゼロスイッチ286は、オートゼロ信号Azに従って、比較結果VCOの反転入力端子(-)と出力端子とを短絡するものである。
カウンタ271は、比較結果VCOが反転するまでに亘って計数値を計数し、その計数値を示すデジタル信号CNT_outをCDS処理部291へ出力するものである。
CDS処理部291は、デジタル信号CNT_outに対してCDS処理を行うものである。このCDS処理部291は、リセットレベルに対応するデジタル信号CNT_outと、信号レベルに対応するデジタル信号CNT_outとの差分を演算し、CDS_outとしてセレクタ292に出力する。
セレクタ292は、制御回路212からの出力側選択信号selоutに従って、CDS処理後のデジタル信号CDS_outと、フルコードのデジタル信号FULLとのいずれかを対応する列の画素データとしてデータ処理部262に出力するものである。
図45は、本技術の第10の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第10の実施の形態のグローバルシャッター時のトランジスタの制御方法は、第1の実施の形態と同様である。
ここで、画素300に非常に高照度の光が入射したものとする。この場合、光電変換素子311の電荷が満杯になり、光電変換素子311からFD314へと電荷があふれ出し、FDリセット後のFD314の電位が低下する。同図における一点鎖線は、溢れた電荷量が比較的少なくなる程度の弱い太陽光が入射した際のFD314の電位変動を示す。同図における点線は、溢れた電荷量が比較的多くなるような強い太陽光が入射した際のFD314の電位変動を示す。
弱い太陽光が入射した際は、FDリセットの完了したタイミングT3においてリセットレベルが低下しているが、この時点ではレベルが下がりきってない。
一方、強い太陽光が入射した際は、タイミングT3の時点でリセットレベルが下がりきってしまう。この場合、信号レベルがリセットレベルと同じになり、それらの電位差が「0」であるため、CDS処理後のデジタル信号が、暗状態の場合と同じになって黒く沈んでしまう。このように、太陽光などの非常に高照度の光が入射したにも関わらず、その画素が黒くなる現象は、黒点現象あるいはブルーミングと呼ばれる。
また、黒点現象の生じた画素のFD314のレベルが下がりすぎると、前段回路310の動作点が確保できなくなって、電流源トランジスタ316の電流id1が変動する。各画素の電流源トランジスタ316は、共通の電源やグランドに接続されているため、ある画素で電流が変動した際に、その画素のIRドロップの変動が、他の画素のサンプルレベルに影響を及ぼしてしまう。黒点現象の生じた画素がアグレッサーとなり、その画素によりサンプルレベルが変動した画素がビクティムとなる。この結果、ストリーキングノイズが生じる。
なお、第7の実施の形態のように排出トランジスタ317を設けた場合、黒点(ブルーミング)のある画素では、溢れた電荷が排出トランジスタ317側に捨てられるため、黒点現象が生じにくい。ただし、排出トランジスタ317を設けても、一部の電荷がFD314に流れる可能性があり、黒点現象の根治にはならない可能性がある。さらに、排出トランジスタ317の追加により、画素毎の有効面積/電荷量の比率が低下してしまうというデメリットもある。このため、排出トランジスタ317を用いずに、黒点現象を抑制することが望ましい。
排出トランジスタ317を用いずに黒点現象を抑制する方法として2つの方法が考えられる。1つ目は、FD314のクリップレベルの調整である。2つ目は、読出しの際に黒点現象が生じたか否かを判断して、黒点現象の生じた際に、出力をフルコードに置き換える方法である。
1つ目の方法に関して、同図のFDリセット信号rst(言い換えれば、FDリセットトランジスタ313のゲート)のハイレベルは電源電圧VDDであり、ローレベルが、FD314のクリップレベルに該当する。第1の実施の形態では、これらのハイレベルとローレベルとの差(すなわち、振幅)は、ダイナミックレンジに対応する値に設定される。これに対して、第10の実施の形態では、その値にさらにマージンを加えた値に調整される。ここで、ダイナミックレンジに対応する値は、電源電圧VDDと、デジタル信号がフルコードになるときのFD314の電位との差分に該当する。
FDリセットトランジスタ313のオフ時のゲート電圧(FDリセット信号rstのローレベル)を下げることにより、ブルーミングによりFD314が低下しすぎて、前段増幅トランジスタ315の動作点をつぶすことを防止することができる。
なお、ダイナミックレンジは、ADCのアナログゲインによって変わる。アナログゲインが低いときは、大きなダイナミックレンジが必要となり、逆にアナログゲインが高い時は、ダイナミックレンジは少なくて済む。このため、FDリセットトランジスタ313のオフ時のゲート電圧を、アナログゲインに応じて変更することもできる。
図46は、本技術の第10の実施の形態における読出し動作の一例を示すタイミングチャートである。読出しの開始のタイミングT10の直後のタイミングT11において選択信号Φrがハイレベルになると、太陽光が入射した画素では、垂直信号線309の電位が変動する。同図における一点鎖線は、弱い太陽光が入射した際の垂直信号線309の電位変動を示す。同図における点線は、強い太陽光が入射した際の垂直信号線309の電位変動を示す。
タイミングT10からタイミングT12までのオートゼロ期間において、制御回路212は、例えば、「0」の入力側選択信号selinを供給し、比較器285を垂直信号線309に接続させる。このオートゼロ期間内に制御回路212は、オートゼロ信号Azによりオートゼロを行う。
2つ目の方法に関して、タイミングT12からタイミングT13までの判定期間内に制御回路212は、例えば、「1」の入力側選択信号selinを供給する。この入力側選択信号selinにより、比較器285が垂直信号線309から切り離され、参照電圧VREFのノードと接続される。この参照電圧VREFは、ブルーミングが生じなかったときの、垂直信号線309のレベルの期待値に設定される。Vrstは、例えば、後段増幅トランジスタ351のゲート-ソース間電圧をVgs2とすると、Vreg-Vgs2に該当する。また、DAC213は、判定期間内にランプ信号RmpのレベルをVrmp_azからVrmp_sunに低下させる。
また、判定期間内において、ブルーミングが発生しなかった場合、垂直信号線309のリセットレベルのVrstは、参照電圧VREFとほぼ同じであり、比較器285の反転入力端子(+)の電位がオートゼロのときとあまり変わらない。一方、非反転入力端子(-)は、Vrmp_azからVrmp_sunに下がったため、比較結果VCOはハイレベルとなる。
逆に、ブルーミングが発生した場合、リセットレベルVrstは、参照電圧VREFよりも十分に高くなり、次の式が成立した際に、比較結果VCOがローレベルになる。
Vrst-VREF>Vrmp_az-Vrmp_sun・・・式5
Vrst-VREF>Vrmp_az-Vrmp_sun・・・式5
つまり、制御回路212は、判定期間内に比較結果VCOがローレベルとなるか否かにより、ブルーミングが発生したか否かを判断することができる。
なお、後段増幅トランジスタ351の閾値電圧のバラツキや、面内のVregのIRドロップ差等による誤判定が発生しないように、太陽判定のためのマージン(式5の右辺)をある程度大きく確保する必要がある。
判定期間経過後のタイミングT13以降において、制御回路212は、比較器285を垂直信号線309に接続させる。また、タイミングT13乃至T14のP相セトリング期間が経過すると、タイミングT14乃至T15の期間内にP相が読み出される。タイミングT15乃至T19のD相セトリング期間が経過すると、タイミングT19乃至T20の期間内にD相が読み出される。
判定期間においてブルーミングが発生していないと判断した場合、制御回路212は、出力側選択信号selоutによりセレクタ292を制御してCDS処理後のデジタル信号CDS_outをそのまま出力させる。
一方、判定期間においてブルーミングが発生したと判断した場合、制御回路212は、出力側選択信号selоutによりセレクタ292を制御してCDS処理後のデジタル信号CDS_outの代わりにフルコードFULLを出力させる。これにより、黒点現象を抑制することができる。
なお、第10の実施の形態に、第1の実施の形態の第1乃至第3の変形例や、第2乃至第9の実施の形態を適用することもできる。
このように、本技術の第10の実施の形態によれば、制御回路212は、比較結果VCOに基づいて黒点現象が生じたか否かを判断し、黒点現象が生じた際にフルコードを出力させるため、黒点現象を抑制することができる。
<11.第11の実施の形態>
上述の第1の実施の形態では、垂直走査回路211は、全行(全画素)を同時に露光させる制御(すなわち、グローバルシャッター動作)を行っていた。しかし、テストのときや、解析を行うときなど、露光の同時性が不要で低ノイズが要求される場合には、ローリングシャッター動作を行うことが望ましい。この第11の実施の形態の固体撮像素子200は、テスト時などにおいて、ローリングシャッター動作を行う点において第1の実施の形態と異なる。
上述の第1の実施の形態では、垂直走査回路211は、全行(全画素)を同時に露光させる制御(すなわち、グローバルシャッター動作)を行っていた。しかし、テストのときや、解析を行うときなど、露光の同時性が不要で低ノイズが要求される場合には、ローリングシャッター動作を行うことが望ましい。この第11の実施の形態の固体撮像素子200は、テスト時などにおいて、ローリングシャッター動作を行う点において第1の実施の形態と異なる。
図47は、本技術の第11の実施の形態におけるローリングシャッター動作の一例を示すタイミングチャートである。垂直走査回路211は、複数の行を順に選択して露光を開始させる制御を行う。同図は、第n行の露光制御を示す。
タイミングT0乃至T2の期間において、垂直走査回路211は、第n行にハイレベルの後段選択信号selb、選択信号Φrおよび選択信号Φsを供給する。また、露光開始のタイミングT0において、垂直走査回路211は、第n行にハイレベルのFDリセット信号rstおよび後段リセット信号rstbをパルス期間に亘って供給する。露光終了のタイミングT1において垂直走査回路211は、第n行に転送信号trgを供給する。同図のローリングシャッター動作により、固体撮像素子200は、低ノイズの画像データを生成することができる。
なお、通常の撮像時において第11の実施の形態の固体撮像素子200は、第1の実施の形態と同様にグローバルシャッター動作を行う。
また、第11の実施の形態に、第1の実施の形態の第1乃至第3の変形例や、第2乃至第10の実施の形態を適用することもできる。
このように本技術の第11の実施の形態によれば、垂直走査回路211は、複数の行を順に選択して露光を開始させる制御(すなわち、ローリングシャッター動作)を行うため、低ノイズの画像データを生成することができる。
<12.第12の実施の形態>
上述の第1の実施の形態では、前段のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)のソースを電源電圧VDDに接続し、そのソースフォロワがオンの状態で行単位で読出しを行っていた。しかし、この駆動方法では、行単位の読出しの際の前段のソースフォロワの回路ノイズが後段に伝搬し、ランダムノイズが増大するおそれがある。この第12の実施の形態の固体撮像素子200は、読出しの際に前段のソースフォロワをオフ状態にすることにより、ノイズを低減する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、前段のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)のソースを電源電圧VDDに接続し、そのソースフォロワがオンの状態で行単位で読出しを行っていた。しかし、この駆動方法では、行単位の読出しの際の前段のソースフォロワの回路ノイズが後段に伝搬し、ランダムノイズが増大するおそれがある。この第12の実施の形態の固体撮像素子200は、読出しの際に前段のソースフォロワをオフ状態にすることにより、ノイズを低減する点において第1の実施の形態と異なる。
図48は、本技術の第12の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第12の実施の形態の固体撮像素子200は、レギュレータ420および切り替え部440をさらに備える点において第1の実施の形態と異なる。同図において、通信インターフェース214および215は省略されている。また、第12の実施の形態の画素アレイ部220には、複数の有効画素301と、所定数のダミー画素430とが配列される。ダミー画素430は、有効画素301が配列された領域の周囲に配列される。
また、ダミー画素430のそれぞれには、電源電圧VDDが供給され、有効画素301のそれぞれには、電源電圧VDDと、ソース電圧Vsとが供給される。有効画素301へ電源電圧VDDを供給する信号線は、同図において省略されている。また、電源電圧VDDは、固体撮像素子200の外部のパッド410から供給される。
レギュレータ420は、ダミー画素430からの入力電圧Viに基づいて、一定の生成電圧Vgenを生成し、切り替え部440に供給するものである。切り替え部440は、パッド410からの電源電圧VDDと、レギュレータ420からの生成電圧Vgenとのいずれかを選択し、ソース電圧Vsとして有効画素301のカラムのそれぞれに供給するものである。
図49は、本技術の第12の実施の形態におけるダミー画素430、レギュレータ420、および、切り替え部440の一構成例を示す回路図である。同図におけるaは、ダミー画素430およびレギュレータ420の回路図であり、同図におけるbは、切り替え部440の回路図である。
同図におけるaに例示するように、ダミー画素430は、リセットトランジスタ431、FD432、増幅トランジスタ433および電流源トランジスタ434を備える。リセットトランジスタ431は、垂直走査回路211からのリセット信号RSTに従って、FD432を初期化するものである。FD432は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。増幅トランジスタ433は、FD432の電圧のレベルを増幅し、入力電圧Viとしてレギュレータ420に供給するものである。
また、リセットトランジスタ431および増幅トランジスタ433のソースは、電源電圧VDDに接続される。電流源トランジスタ434は、増幅トランジスタ433のドレインに接続される。この電流源トランジスタ434は、垂直走査回路211の制御に従って、電流id1を供給する。
レギュレータ420は、ローパスフィルタ421、バッファアンプ422および容量素子423を備える。ローパスフィルタ421は、入力電圧Viの信号のうち、所定周波数未満の低周波数帯域の成分を出力電圧Vjとして通過させるものである。
バッファアンプ422の非反転入力端子(+)には、出力電圧Vjが入力される。バッファアンプ422の反転入力端子(-)は、その出力端子と接続される。容量素子423は、バッファアンプ422の出力端子の電圧をVgenとして保持するものである。このVgenは、切り替え部440に供給される。
同図におけるbに例示するように、切り替え部440は、インバータ441と、複数の切り替え回路442とを備える。切り替え回路442は、有効画素301の列ごとに配置される。
インバータ441は、制御回路212からの切替信号SWを反転させるものである。このインバータ441は、反転信号を切り替え回路442のそれぞれに供給する。
切り替え回路442は、電源電圧VDDと、生成電圧Vgenとのいずれかを選択し、ソース電圧Vsとして、画素アレイ部220内の対応する列に供給するものである。切り替え回路442は、スイッチ443および444を備える。スイッチ443は、切替信号SWに従って、電源電圧VDDのノードと、対応する列との間の経路を開閉するものである。スイッチ444は、切替信号SWの反転信号に従って、生成電圧Vgenのノードと、対応する列との間の経路を開閉するものである。
図50は、本技術の第12の実施の形態におけるダミー画素430およびレギュレータ420の動作の一例を示すタイミングチャートである。ある行の読出しの直前のタイミングT10において、垂直走査回路211は、ダミー画素430のそれぞれに、ハイレベル(ここでは、電源電圧VDD)のリセット信号RSTを供給する。ダミー画素430内のFD432の電位Vfdは、電源電圧VDDに初期化される。そして、リセット信号RSTがローレベルとなった際に、リセットフィードスルーにより、VDD-Vftに変動する。
また、入力電圧Viは、リセット後にVDD-Vgs-Vftに低下する。ローパスフィルタ421の通過により、Vj、Vgenは、略一定の電圧となる。
次の行の読出しの直前のタイミングT20以降は、行ごとに、同様の制御が行われ、一定の生成電圧Vgenが供給される。
図51は、本技術の第12の実施の形態における有効画素301の一構成例を示す回路図である。有効画素301の回路構成は、前段増幅トランジスタ315のソースに、切り替え部440からのソース電圧Vsが供給される点以外は、第1の実施の形態の画素300と同様である。
図52は、本技術の第12の実施の形態におけるグローバルシャッター動作の一例を示すタイミングチャートである。第12の実施の形態において、全画素で同時に露光する際に、切り替え部440は、電源電圧VDDを選択し、ソース電圧Vsとして供給する。また、前段ノードの電圧は、タイミングT4において、VDD-Vgs-VthからVDD-Vgs-Vsigに低下する。ここで、Vthは、転送トランジスタ312の閾値電圧である。
図53は、本技術の第12の実施の形態における読出し動作の一例を示すタイミングチャートである。この第12の実施の形態では、読出しの際に切り替え部440は、生成電圧Vgenを選択し、ソース電圧Vsとして供給する。この生成電圧Vgenは、VDD-Vgs-Vftに調整される。また、第12の実施の形態では、垂直走査回路211が、全行(全画素)の電流源トランジスタ316を制御して電流id1の供給を停止させる。
図54は、本技術の第12の実施の形態における効果を説明するための図である。第1の実施の形態では、行ごとの読出しにおいて、読出し対象の画素300のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)をオンにしていた。しかし、この駆動方法では、前段のソースフォロワの回路ノイズが、後段(容量素子、後段のソースフォロワやADC)に伝搬し、読出しノイズが増大するおそれがある。
例えば、第1の実施の形態では、同図に例示するようにグローバルシャッター動作時の画素で生じるkTCノイズは、450(μVrms)である。また、行ごとの読出しにおける、前段のソースフォロワ(前段増幅トランジスタ315および電流源トランジスタ316)で生じるノイズは、380(μVrms)となる。後段のソースフォロワ以降で生じるノイズは、160(μVrms)である。このため、合計のノイズは、610(μVrms)である。このように、第1の実施の形態では、ノイズの合計値における、前段のソースフォロワのノイズの寄与分は、比較的大きくなる。
この前段のソースフォロワのノイズを低減するために、第12の実施の形態では、前述したように前段のソースフォロワのソースに、電圧調整の可能な電圧(Vs)を供給している。グローバルシャッター(露光)動作時に、切り替え部440は、電源電圧VDDを選択してソース電圧Vsとして供給する。そして、露光の終了後に切り替え部440は、ソース電圧VsをVDD-Vgs-Vftに切り替える。また、制御回路212は、グローバルシャッター(露光)動作時に、前段の電流源トランジスタ316をオンにし、露光の終了後にオフにする。
上述の制御により、図52および図53に例示したように、グローバルシャッター動作時と、行ごとの読出し時とのそれぞれの前段ノードの電位が揃い、PRNUを改善することができる。また、行ごとに読み出す際に前段のソースフォロワがオフ状態になるため、図54に例示するように、ソースフォロワの回路ノイズが生じず、0(μVrms)となる。なお、前段のソースフォロワのうち前段増幅トランジスタ315はオン状態である。
このように、本技術の第12の実施の形態によれば、読出しの際に前段のソースフォロワをオフ状態にするため、そのソースフォロワで生じるノイズを低減することができる。
<13.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図55は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図55に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図55の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図56は、撮像部12031の設置位置の例を示す図である。
図56では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図56には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、例えば、図1の固体撮像素子200は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、システムの利便性を向上させることが可能になる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部と、
前記画素アレイ部内の複数の行のそれぞれを駆動して前記画素信号を出力させる垂直走査回路と、
前記画素信号を読み出して所定の信号処理を行う信号処理回路と、
前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路と
を具備する固体撮像素子。
(2)前記制御回路は、行単位および列単位の少なくとも一方の単位で前記画像データを間引いたデータを前記圧縮データとして生成させる
前記(1)記載の固体撮像素子。
(3)前記信号処理回路は、画素加算により前記圧縮データを生成する圧縮処理部を備える
前記(1)記載の固体撮像素子。
(4)前記信号処理回路は、前記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、
前記画素信号は、アナログ信号であり、
前記圧縮処理部は、前記デジタル信号の加算により前記圧縮データを生成する
前記(3)記載の固体撮像素子。
(5)前記信号処理回路は、前記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、
前記画素信号は、アナログ信号であり、
前記圧縮処理部は、前記画素信号の加算により前記圧縮データを生成する
前記(3)記載の固体撮像素子。
(6)前記圧縮データに対して所定の検出処理を行う検出処理部をさらに具備する
前記(1)から(5)のいずれかに記載の固体撮像素子。
(7)前記信号処理回路は、前記処理の結果を前記固体撮像素子の外部に出力する
前記(6)記載の固体撮像素子。
(8)前記検出処理部は、顔の有無を検出する
前記(6)記載の固体撮像素子。
(9)前記検出処理部は、人物の有無を検出する
前記(6)記載の固体撮像素子。
(10)前記検出処理部は、前記圧縮データと所定の背景データとの差分を検出する
前記(6)記載の固体撮像素子。
(11)前記処理の結果を受信して前記制御回路に供給する通信インターフェースをさらに具備する前記(1)記載の固体撮像素子。
(12)前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
前記複数の画素のそれぞれは、
第1および第2の容量素子と、
前記リセットレベルと前記信号レベルとを順に生成して前記第1および第2の容量素子のそれぞれに保持させる前段回路と、
前記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と前記第1および第2の容量素子の両方を前記後段ノードから切り離す制御と前記第1および第2の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と、
前記第1および第2の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタと、
前記後段ノードを介して前記リセットレベルおよび前記信号レベルを前記第1および第2の容量素子から順に読み出して出力する後段回路と
を備える前記(1)から(11)のいずれかに記載の固体撮像素子。
(13)画素信号をそれぞれが生成してサンプルホールドする複数の画素が配列された画素アレイ部と、前記画素アレイ部内の複数の行のそれぞれを駆動して前記画素信号を出力させる垂直走査回路と、前記画素信号を読み出して所定の信号処理を行う信号処理回路と、前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路とを備える固体撮像素子と、
前記切り出しデータに基づいて前記処理と異なる処理を行うホストと
を具備する撮像システム。
(14)それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部内の複数の行のそれぞれを垂直走査回路が駆動して前記画素信号を出力させる垂直走査手順と、
信号処理回路が、前記画素信号を読み出して所定の信号処理を行う信号処理手順と、
前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御手順と
を具備する固体撮像素子の制御方法。
(1)それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部と、
前記画素アレイ部内の複数の行のそれぞれを駆動して前記画素信号を出力させる垂直走査回路と、
前記画素信号を読み出して所定の信号処理を行う信号処理回路と、
前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路と
を具備する固体撮像素子。
(2)前記制御回路は、行単位および列単位の少なくとも一方の単位で前記画像データを間引いたデータを前記圧縮データとして生成させる
前記(1)記載の固体撮像素子。
(3)前記信号処理回路は、画素加算により前記圧縮データを生成する圧縮処理部を備える
前記(1)記載の固体撮像素子。
(4)前記信号処理回路は、前記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、
前記画素信号は、アナログ信号であり、
前記圧縮処理部は、前記デジタル信号の加算により前記圧縮データを生成する
前記(3)記載の固体撮像素子。
(5)前記信号処理回路は、前記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、
前記画素信号は、アナログ信号であり、
前記圧縮処理部は、前記画素信号の加算により前記圧縮データを生成する
前記(3)記載の固体撮像素子。
(6)前記圧縮データに対して所定の検出処理を行う検出処理部をさらに具備する
前記(1)から(5)のいずれかに記載の固体撮像素子。
(7)前記信号処理回路は、前記処理の結果を前記固体撮像素子の外部に出力する
前記(6)記載の固体撮像素子。
(8)前記検出処理部は、顔の有無を検出する
前記(6)記載の固体撮像素子。
(9)前記検出処理部は、人物の有無を検出する
前記(6)記載の固体撮像素子。
(10)前記検出処理部は、前記圧縮データと所定の背景データとの差分を検出する
前記(6)記載の固体撮像素子。
(11)前記処理の結果を受信して前記制御回路に供給する通信インターフェースをさらに具備する前記(1)記載の固体撮像素子。
(12)前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
前記複数の画素のそれぞれは、
第1および第2の容量素子と、
前記リセットレベルと前記信号レベルとを順に生成して前記第1および第2の容量素子のそれぞれに保持させる前段回路と、
前記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と前記第1および第2の容量素子の両方を前記後段ノードから切り離す制御と前記第1および第2の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と、
前記第1および第2の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタと、
前記後段ノードを介して前記リセットレベルおよび前記信号レベルを前記第1および第2の容量素子から順に読み出して出力する後段回路と
を備える前記(1)から(11)のいずれかに記載の固体撮像素子。
(13)画素信号をそれぞれが生成してサンプルホールドする複数の画素が配列された画素アレイ部と、前記画素アレイ部内の複数の行のそれぞれを駆動して前記画素信号を出力させる垂直走査回路と、前記画素信号を読み出して所定の信号処理を行う信号処理回路と、前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路とを備える固体撮像素子と、
前記切り出しデータに基づいて前記処理と異なる処理を行うホストと
を具備する撮像システム。
(14)それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部内の複数の行のそれぞれを垂直走査回路が駆動して前記画素信号を出力させる垂直走査手順と、
信号処理回路が、前記画素信号を読み出して所定の信号処理を行う信号処理手順と、
前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御手順と
を具備する固体撮像素子の制御方法。
100 撮像システム
110 ホスト
111、112 通信インターフェース
113 データベース
114 認証処理部
115 撮像制御部
116、265 検出処理部
117、266 切り出し領域演算部
118 行為判定部
150 撮像装置
200 固体撮像素子
201 画素チップ
202 回路チップ
203 上側画素チップ
204 下側画素チップ
211 垂直走査回路
212 制御回路
213 DAC
214、215 通信インターフェース
220 画素アレイ部
221 上側画素アレイ部
222 下側画素アレイ部
250 負荷MOS回路ブロック
251 負荷MOSトランジスタ
260 カラム信号処理回路
261、264 圧縮処理部
262 データ処理部
263 デマルチプレクサ
270 ADC
271 カウンタ
280 コンパレータ
281、292 セレクタ
282、283、321、322、423 容量素子
284、286 オートゼロスイッチ
285 比較器
291 CDS処理部
300 画素
301 有効画素
310 前段回路
311 光電変換素子
312 転送トランジスタ
313 FDリセットトランジスタ
314、432 FD
315 前段増幅トランジスタ
316、434 電流源トランジスタ
317 排出トランジスタ
323 前段リセットトランジスタ
324 前段選択トランジスタ
330 選択回路
331、332 選択トランジスタ
341 後段リセットトランジスタ
350 後段回路
351 後段増幅トランジスタ
352 後段選択トランジスタ
420 レギュレータ
421 ローパスフィルタ
422 バッファアンプ
430 ダミー画素
431 リセットトランジスタ
433 増幅トランジスタ
440 切り替え部
441 インバータ
442 切り替え回路
443、444 スイッチ
12031 撮像部
110 ホスト
111、112 通信インターフェース
113 データベース
114 認証処理部
115 撮像制御部
116、265 検出処理部
117、266 切り出し領域演算部
118 行為判定部
150 撮像装置
200 固体撮像素子
201 画素チップ
202 回路チップ
203 上側画素チップ
204 下側画素チップ
211 垂直走査回路
212 制御回路
213 DAC
214、215 通信インターフェース
220 画素アレイ部
221 上側画素アレイ部
222 下側画素アレイ部
250 負荷MOS回路ブロック
251 負荷MOSトランジスタ
260 カラム信号処理回路
261、264 圧縮処理部
262 データ処理部
263 デマルチプレクサ
270 ADC
271 カウンタ
280 コンパレータ
281、292 セレクタ
282、283、321、322、423 容量素子
284、286 オートゼロスイッチ
285 比較器
291 CDS処理部
300 画素
301 有効画素
310 前段回路
311 光電変換素子
312 転送トランジスタ
313 FDリセットトランジスタ
314、432 FD
315 前段増幅トランジスタ
316、434 電流源トランジスタ
317 排出トランジスタ
323 前段リセットトランジスタ
324 前段選択トランジスタ
330 選択回路
331、332 選択トランジスタ
341 後段リセットトランジスタ
350 後段回路
351 後段増幅トランジスタ
352 後段選択トランジスタ
420 レギュレータ
421 ローパスフィルタ
422 バッファアンプ
430 ダミー画素
431 リセットトランジスタ
433 増幅トランジスタ
440 切り替え部
441 インバータ
442 切り替え回路
443、444 スイッチ
12031 撮像部
Claims (14)
- それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部と、
前記画素アレイ部内の複数の行のそれぞれを駆動して前記画素信号を出力させる垂直走査回路と、
前記画素信号を読み出して所定の信号処理を行う信号処理回路と、
前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路と
を具備する固体撮像素子。 - 前記制御回路は、行単位および列単位の少なくとも一方の単位で前記画像データを間引いたデータを前記圧縮データとして生成させる
請求項1記載の固体撮像素子。 - 前記信号処理回路は、画素加算により前記圧縮データを生成する圧縮処理部を備える
請求項1記載の固体撮像素子。 - 前記信号処理回路は、前記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、
前記画素信号は、アナログ信号であり、
前記圧縮処理部は、前記デジタル信号の加算により前記圧縮データを生成する
請求項3記載の固体撮像素子。 - 前記信号処理回路は、前記画素信号をデジタル信号に変換する複数のアナログデジタル変換器をさらに具備し、
前記画素信号は、アナログ信号であり、
前記圧縮処理部は、前記画素信号の加算により前記圧縮データを生成する
請求項3記載の固体撮像素子。 - 前記圧縮データに対して所定の検出処理を行う検出処理部をさらに具備する
請求項1記載の固体撮像素子。 - 前記信号処理回路は、前記処理の結果を前記固体撮像素子の外部に出力する
請求項6記載の固体撮像素子。 - 前記検出処理部は、顔の有無を検出する
請求項6記載の固体撮像素子。 - 前記検出処理部は、人物の有無を検出する
請求項6記載の固体撮像素子。 - 前記検出処理部は、前記圧縮データと所定の背景データとの差分を検出する
請求項6記載の固体撮像素子。 - 前記処理の結果を受信して前記制御回路に供給する通信インターフェースをさらに具備する請求項1記載の固体撮像素子。
- 前記画素信号は、所定のリセットレベルと露光量に応じた信号レベルとを含み、
前記複数の画素のそれぞれは、
第1および第2の容量素子と、
前記リセットレベルと前記信号レベルとを順に生成して前記第1および第2の容量素子のそれぞれに保持させる前段回路と、
前記第1および第2の容量素子の一方を所定の後段ノードに接続する制御と前記第1および第2の容量素子の両方を前記後段ノードから切り離す制御と前記第1および第2の容量素子の他方を前記後段ノードに接続する制御とを順に行う選択回路と、
前記第1および第2の容量素子の両方が前記後段ノードから切り離されたときに前記後段ノードのレベルを初期化する後段リセットトランジスタと、
前記後段ノードを介して前記リセットレベルおよび前記信号レベルを前記第1および第2の容量素子から順に読み出して出力する後段回路と
を備える請求項1記載の固体撮像素子。 - 画素信号をそれぞれが生成してサンプルホールドする複数の画素が配列された画素アレイ部と、前記画素アレイ部内の複数の行のそれぞれを駆動して前記画素信号を出力させる垂直走査回路と、前記画素信号を読み出して所定の信号処理を行う信号処理回路と、前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御回路とを備える固体撮像素子と、
前記切り出しデータに基づいて前記処理と異なる処理を行うホストと
を具備する撮像システム。 - それぞれが画素信号を生成してサンプルホールドする複数の画素が配列された画素アレイ部内の複数の行のそれぞれを垂直走査回路が駆動して前記画素信号を出力させる垂直走査手順と、
信号処理回路が、前記画素信号を読み出して所定の信号処理を行う信号処理手順と、
前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画素信号を配列した画像データを圧縮した圧縮データを生成させ、前記圧縮データに対する処理の結果に基づいて前記垂直走査回路および前記信号処理回路の少なくとも一方を制御して前記画像データのうち所定領域を切り出した切り出しデータを出力させる制御手順と
を具備する固体撮像素子の制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118366 | 2022-07-26 | ||
JP2022-118366 | 2022-07-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024024261A1 true WO2024024261A1 (ja) | 2024-02-01 |
Family
ID=89706046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/020253 WO2024024261A1 (ja) | 2022-07-26 | 2023-05-31 | 固体撮像素子、撮像システム、および、固体撮像素子の制御方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024024261A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012165168A (ja) * | 2011-02-07 | 2012-08-30 | Sony Corp | 半導体装置、物理情報取得装置、及び、信号読出し方法 |
JP2019036925A (ja) * | 2017-08-21 | 2019-03-07 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像装置の制御方法 |
JP2019057873A (ja) * | 2017-09-22 | 2019-04-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子及び電子機器 |
WO2021182190A1 (ja) * | 2020-03-11 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像システム及び撮像方法 |
-
2023
- 2023-05-31 WO PCT/JP2023/020253 patent/WO2024024261A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012165168A (ja) * | 2011-02-07 | 2012-08-30 | Sony Corp | 半導体装置、物理情報取得装置、及び、信号読出し方法 |
JP2019036925A (ja) * | 2017-08-21 | 2019-03-07 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像装置の制御方法 |
JP2019057873A (ja) * | 2017-09-22 | 2019-04-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子及び電子機器 |
WO2021182190A1 (ja) * | 2020-03-11 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像システム及び撮像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11418749B2 (en) | Solid-state image pick-up device and electronic device | |
CN112640428B (zh) | 固态成像装置、信号处理芯片和电子设备 | |
KR20200112839A (ko) | 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법 | |
WO2020105314A1 (ja) | 固体撮像素子、および、撮像装置 | |
WO2021215105A1 (ja) | 固体撮像素子 | |
US11375149B2 (en) | Solid-state image sensor and imaging device | |
US11418746B2 (en) | Solid-state image sensor, imaging device, and method of controlling solid-state image sensor | |
WO2020105301A1 (ja) | 固体撮像素子、および、撮像装置 | |
WO2024024261A1 (ja) | 固体撮像素子、撮像システム、および、固体撮像素子の制御方法 | |
JP7309713B2 (ja) | コンパレータ及び撮像装置 | |
WO2023157489A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2024004377A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023007772A1 (ja) | 固体撮像素子 | |
WO2023062935A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023062940A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023166854A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023162471A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023166848A1 (ja) | 撮像装置、画像処理装置および撮像装置の制御方法 | |
WO2023063024A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023062947A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023067961A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023171109A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023062962A1 (ja) | 固体撮像素子 | |
WO2024004370A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
CN117957854A (zh) | 固态图像传感器、成像设备和固态图像传感器的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23845999 Country of ref document: EP Kind code of ref document: A1 |