WO2019049923A1 - 固体撮像装置およびその制御方法と駆動方法、並びに電子機器 - Google Patents
固体撮像装置およびその制御方法と駆動方法、並びに電子機器 Download PDFInfo
- Publication number
- WO2019049923A1 WO2019049923A1 PCT/JP2018/033007 JP2018033007W WO2019049923A1 WO 2019049923 A1 WO2019049923 A1 WO 2019049923A1 JP 2018033007 W JP2018033007 W JP 2018033007W WO 2019049923 A1 WO2019049923 A1 WO 2019049923A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- column
- unit
- solid
- imaging device
- state imaging
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000011156 evaluation Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 42
- 238000012545 processing Methods 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 23
- 230000003321 amplification Effects 0.000 description 19
- 238000003199 nucleic acid amplification method Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 12
- 238000012937 correction Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 101100387368 Arabidopsis thaliana DIT2-1 gene Proteins 0.000 description 3
- 101150085690 DIT2 gene Proteins 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101150025279 DIT1 gene Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/701—Line sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Definitions
- the present disclosure relates to a solid-state imaging device, a control method and a driving method thereof, and an electronic device, and more particularly, to a solid-state imaging device capable of reducing power consumption, a control method and a driving method thereof, and an electronic device.
- Patent Document 1 discloses a configuration in which power consumption is reduced by switching on / off the current of the vertical signal line of the column not to be read when performing thinning-out reading.
- Patent Document 2 discloses a configuration in which power consumption can be reduced by enabling readout control of a part of pixel column ranges when performing ROI readout.
- the present disclosure has been made in view of such a situation, and aims to reduce power consumption.
- the operation of the column AD unit is programmably controlled according to a pixel array unit, a column AD unit arranged for each column of the pixel array unit, and a photographing mode. And a column enable control unit.
- the control method of a solid-state imaging device is a control method of a solid-state imaging device that programmably controls the operation of a column AD unit arranged for each column of a pixel array unit according to a photographing mode. .
- the electronic device controls the operation of the column AD unit according to a pixel array unit, a column AD unit arranged for each column of the pixel array unit, and an imaging mode. It is an electronic device provided with the solid-state imaging device which has a column enable control part.
- the operation of the column AD unit arranged for each column of the pixel array unit is programmably controlled in accordance with the imaging mode.
- a pixel drive unit configured to drive a pixel with a different exposure time for each unit area obtained by dividing the pixel area into a plurality of pixels within one frame; And a calculation unit that calculates an optimal exposure time based on the pixel drive unit, which is a solid-state imaging device that drives the pixels after the next frame with the calculated optimal exposure time.
- the driving method of the solid-state imaging device drives a pixel with different exposure time for each unit area obtained by dividing the pixel area into a plurality of parts in one frame, and is based on the pixel value for each unit area. It is a driving method of a solid-state imaging device which calculates the optimal exposure time and drives the pixels in the next frame and the subsequent with the calculated optimal exposure time.
- the electronic device is based on a pixel drive unit that drives a pixel with a different exposure time for each unit area obtained by dividing the pixel area into a plurality in one frame, and a pixel value for each unit area.
- the pixel drive unit is an electronic device that includes a solid-state imaging device that drives the pixels in the next frame and thereafter in the calculated optimum exposure time.
- pixels are driven with different exposure times for each unit area obtained by dividing the pixel area into a plurality, and the optimal exposure time is based on the pixel value for each unit area.
- the pixels after the next frame are driven at the calculated and calculated optimum exposure time.
- FIG. 1 is a diagram for describing an outline of a technology according to the present disclosure. It is a block diagram showing an example of composition of a solid-state imaging device. It is a block diagram showing an example of composition of a pixel drive part. It is a figure explaining a counter hold signal. It is a block diagram which shows the structural example of an evaluation value calculation part.
- First Embodiment 1-1 Configuration of solid-state imaging device according to the present disclosure 1-2. Read mode and column operation 1-3. Configuration and operation of column enable control unit 1-4. Power control method of column AD unit 1-5. Application example and modification 1-6. Configuration of electronic device according to the present disclosure Second Embodiment 2-1. Outline of technology related to the present disclosure 2-2. Configuration of solid-state imaging device 2-3. Configuration of Pixel Driving Unit 2-4. Configuration of Evaluation Value Calculation Unit 2-5. Configuration of Exposure Parameter Calculation Unit 2-6. Application example 2-7. Modification 2-8. Configuration of electronic device according to the present disclosure
- FIG. 1 is a block diagram showing a configuration example of a solid-state imaging device of the present disclosure.
- the solid-state imaging device 1 is a CMOS (Complementary Metal Oxide) Semiconductor) Configured as an image sensor.
- the solid-state imaging device 1 includes a pixel area (pixel array portion) 3 in which a plurality of pixels 2 are regularly arranged in a two-dimensional array on a semiconductor substrate (for example, a Si substrate), and a peripheral circuit portion.
- the pixel 2 includes a photoelectric conversion unit (for example, a photodiode) and a plurality of pixel transistors (MOS transistors).
- the plurality of pixel transistors are configured of, for example, three transistors: a transfer transistor, a reset transistor, and an amplification transistor. Further, the plurality of pixel transistors may be configured by four transistors in which a selection transistor is added to the three transistors described above.
- the pixel 2 can be configured as one unit pixel or can be a shared pixel structure.
- the pixel sharing structure is a structure in which a plurality of photodiodes share the floating diffusion and another transistor other than the transfer transistor.
- the peripheral circuit unit includes a pixel drive unit 4, a column AD unit 5, a column enable control unit 6, an output circuit 7, and a control circuit 8.
- the control circuit 8 is configured of, for example, a CPU (Central Processing Unit), and controls each of the pixel drive unit 4, the column AD unit 5, and the column enable control unit 6 using a predetermined program or parameter.
- a CPU Central Processing Unit
- the pixel drive unit 4 selects a pixel drive wiring, supplies a pulse for driving the pixel to the selected pixel drive wiring, and drives the pixels in units of rows. That is, the pixel drive unit 4 sequentially and selectively scans the pixels 2 of the pixel array unit 3 in units of rows. Then, the pixel drive unit 4 supplies the pixel signal based on the signal charge generated according to the light reception amount in the photoelectric conversion unit of each pixel 2 through the vertical signal line 9 to the column AD unit 5.
- the column AD unit 5 is formed of, for example, a single slope type AD conversion circuit, and is arranged for each column of the pixels 2 of the pixel array unit 3.
- the column AD unit 5 performs signal processing such as noise removal for each column on signals output from the pixels 2 for one row. Specifically, the column AD unit 5 performs CDS (Correlated) for removing fixed pattern noise unique to the pixel 2. Perform signal processing such as double sampling), signal amplification, and AD conversion.
- a horizontal selection switch (not shown) is provided in the output stage of the column AD unit 5 so as to be connected to the horizontal signal line 10.
- the column enable control unit 6 controls the operation of the column AD unit 5. Specifically, under the control of the control circuit 8, the column enable control unit 6 controls the operation of the column AD unit 5 in a programmable manner in accordance with the imaging mode.
- the pixel signals from each of the column AD units 5 are output to the horizontal signal line 10.
- the output circuit 7 performs signal processing on signals sequentially supplied from each of the column AD units 5 through the horizontal signal line 10 and outputs the processed signal.
- the output circuit 7 may perform only buffering, for example, or may perform black level adjustment, column variation correction, various digital signal processing, and the like.
- FIG. 2 is a block diagram showing a configuration example of the column AD unit 5.
- the column AD unit 5 includes a load MOS transistor 11, a comparator 12, a counter 13, and a latch circuit 14.
- the vertical signal line 9 is connected to the load MOS transistor (LM) 11.
- LM load MOS transistor
- the comparator (CM) 12 compares the ramp signal input to one terminal with the pixel signal input to the other terminal.
- the comparator 12 outputs to the counter 13 a signal whose level is inverted according to the magnitude relationship between the ramp signal and the pixel signal.
- the counter (CN) 13 switches and executes up-counting operation and down-counting operation.
- the counter 13 ends the up-counting operation and the down-counting operation according to the timing when the output of the comparator 12 is inverted.
- the count value obtained by the up-counting operation and the down-counting operation is held in the latch circuit 14 and output as digital data.
- the column enable control unit 6 operates only the column AD unit 5 of the necessary columns for each read mode according to the imaging mode, and the unnecessary column AD unit 5 Stop the operation.
- FIG. 3 is a diagram for explaining the column operation in the ROI (region of interest) readout mode.
- the pixel array unit 3, the column AD unit 5, and the column enable control unit 6 are shown in FIG.
- FIG. 3 as the column AD unit 5, a load MOS transistor, a comparator, and a counter are shown by three rectangles arranged for each column.
- each column AD unit 5 is indicated by a gray rectangle, it indicates that the column AD unit 5 is operated, and when each column AD unit 5 is indicated by a white rectangle, the column AD unit 5 is indicated by Indicates that the operation is stopped. The same applies to FIGS. 4 to 7.
- the pixel 2 of the ROI set for the partial region in the horizontal direction (H direction) of the pixel array unit 3 and the partial region in the vertical direction (V direction) is read.
- the column enable control unit 6 operates the column AD unit 5 of the column corresponding to the H direction of the ROI, and stops the operation of the column AD unit 5 of the other columns.
- the pixel row corresponding to the V direction of the ROI is driven by being selected by the pixel drive unit 4.
- FIG. 4 is a diagram for explaining the column operation in the H-direction addition readout mode.
- the pixels 2 of the pixel array unit 3 are subjected to pixel addition in a predetermined number of columns in the H direction and read out.
- the column enable control unit 6 operates the column AD unit 5 in units of columns in which the pixels are added in the H direction of the pixel array unit 3 and stops the operation of the column AD unit 5 of the other columns.
- the column AD unit 5 operates every three columns from the left end column of the pixel array unit 3.
- the column operation in the H-direction addition readout mode has been described here, the column operation in the H-direction thinning readout mode in which pixels are read out by thinning in the H direction is the same as the set thinning interval. Be done.
- FIG. 5 is a diagram for explaining the column operation in the reading mode in which the H-direction ROI reading and the H-direction addition reading are performed.
- the pixels 2 of the ROI set for a partial region of the pixel array unit 3 in the H direction are read out after pixel addition in a predetermined number of columns in the H direction.
- the column enable control unit 6 operates the column AD unit 5 in units of columns in which pixels are added in the H direction of the ROI, and stops the operation of the column AD unit 5 of the other columns.
- the column AD unit 5 operates every three columns from the left end column of the ROI.
- FIG. 6 is a diagram for explaining column operations in a plurality of H-direction ROI readout modes.
- the pixels 2 of two ROIs set for a partial region in the H direction of the pixel array unit 3 are read out.
- the column enable control unit 6 operates the column AD unit 5 of the column corresponding to the H direction of each of the two ROIs, and stops the operation of the column AD unit 5 of the other columns.
- FIG. 7 is a diagram for explaining the column operation according to the read row.
- FIG. 7 shows the column operation at the time of OPB area readout for black level correction
- the right side of FIG. 7 shows the column operation at the time of ROI readout as an effective pixel area.
- the OPB area is set for the upper several row area excluding several columns at both ends in the H direction of the pixel array unit 3.
- ROIs are set for a partial region in the H direction and a partial region in the V direction of the pixel array unit 3.
- the column enable control unit 6 (not shown) operates the column AD unit 5 of the column corresponding to the H direction of the OPB region and stops the operation of the column AD unit 5 of the other columns.
- the column enable control unit 6 (not shown) operates the column AD unit 5 of the column corresponding to the H direction of the ROI. Stop the operation.
- an average value of pixel values in the OPB area is used for black level correction.
- the accuracy of black level correction is degraded. That is, when only the column AD unit 5 of the column corresponding to the ROI is operated at the time of black level correction, the accuracy of black level correction may be lowered.
- FIG. 8 is a diagram showing an example of the configuration of the column enable control unit 6.
- the column enable control unit 6 controls the output of an operation signal (column enable signal) for operating the column AD unit 5 under the control of the CPU 30 that operates based on a specific firmware.
- the column enable control unit 6 includes a controller 31 and a register 32.
- the controller 31 controls the operation of the register 32 under the control of the CPU 30.
- the register 32 has a register for outputting a column enable signal to the column AD unit 5 of each column.
- the total number of columns is N
- the controller 31 outputs a setting signal for setting a column to be operated to the register 32 based on the parameter supplied from the CPU 30.
- the register 32 determines the register that outputs the column enable signal in accordance with the setting signal from the controller 31.
- the parameters supplied from the CPU 30 are set according to the imaging mode (readout mode). This makes it possible to control the operation of the column AD unit 5 in a programmable manner according to the imaging mode.
- FIG. 9 is a block diagram showing a first implementation example of the column enable control unit 6.
- the column enable control unit 6 of FIG. 9 also controls the output of a column enable signal for operating the column AD unit 5 under the control of the CPU 40 in which the specific firmware is written.
- the column enable control unit 6 includes a shift controller 41, a shift register 42, and a clock controller 43.
- the shift controller 41 outputs a setting signal CLM_SET for setting a column to be operated to the shift register 42 based on the parameters supplied from the CPU 40.
- the parameters supplied from the CPU 40 include, for example, COL_START, COL_END, COL_SKIP, COL_OFF #, and COL_OFFWID #.
- COL_START and COL_END respectively indicate the column number of the column at one end (the beginning) and the column number of the column at the other end (the end) among the consecutive columns to be read.
- COL_SKIP represents the number of consecutive columns (skiped columns) not to be read out between one column to be periodically read out. In other words, COL_SKIP represents the number of columns to be decimated in the H-direction decimated read mode.
- COL_OFF # and COL_OFFWID # respectively indicate the column number of one end of the continuous column which is not partially targeted for reading and the number of columns from that column.
- the shift controller 41 shifts the setting signal CONFIG_DONE representing a period for setting the content of the setting signal CLM_SET (whether or not to operate the column) in the shift register 42 based on the reset signal COLEN_RESET supplied from the CPU 40 Output to 42.
- the shift controller 41 outputs an operation signal SHIFT_CLK_EN for causing the clock controller 43 to output a clock signal to the clock controller 43 based on the reset signal COLEN_RESET supplied from the CPU 40.
- the clock controller 43 outputs the clock signal SHIFT_CLK to the shift register 42 in response to the operation signal SHIFT_CLK_EN from the shift controller 41.
- the shift register 42 sets the content of the setting signal CLM_SET in each column in accordance with the clock signal SHIFT_CLK during a period represented by the setting signal CONFIG_DONE. When the period represented by the setting signal CONFIG_DONE ends, the shift register 42 outputs a column enable signal COLEN according to the content of the setting signal CLM_SET set in each column.
- flip-flops corresponding to the respective columns from the 0th column to the N-1th column are provided.
- the output of the flip flop is input to one of the input terminals of an AND gate provided for each column.
- the setting signal CONFIG_DONE is input to the other of the input terminals of the AND gate.
- a column enable signal COLEN is output from the output terminal of the AND gate. That is, in each column, the column enable signal COLEN is output when the output of the flip flop and the setting signal CONFIG_DONE both become H (High).
- FIG. 10 is a timing chart showing the operation of the column enable control unit 6 in the H-direction ROI readout mode.
- the shift controller 41 sets the operation signal SHIFT_CLK_EN to H.
- the clock controller 43 starts output of the clock signal SHIFT_CLK to the shift register 42 when the operation signal SHIFT_CLK_EN becomes H.
- a period during which the operation signal SHIFT_CLK_EN is H is set to N clocks of the clock signal SHIFT_CLK.
- the shift controller 41 changes the setting signal CONFIG_DONE from H to L at the timing when the reset signal COLEN_RESET from the CPU 40 changes from H to L (Low).
- the period during which the setting signal CONFIG_DONE is at L level corresponds to N clocks of the clock signal SHIFT_CLK.
- the shift register 42 sets the content of the setting signal CLM_SET in each column in accordance with the clock signal SHIFT_CLK while the setting signal CONFIG_DONE is L (period of N clocks). Specifically, in the shift register 42, the output of the flip flop corresponding to the column to be read is held at H.
- the setting signal CLM_SET becomes L for a period of N-COL_END-1 clock after the setting signal CONFIG_DONE becomes L. After that, the setting signal CLM_SET becomes H during a period of COL_END-COL_START + 1 clock. Then, the setting signal CLM_SET becomes L for a period corresponding to the remaining COL_START clock until the setting signal CONFIG_DONE becomes H.
- the output of the flip flop corresponding to the columns from the COL_START column to the COL_END column is held at H.
- a column enable signal COLEN is output from the AND gate corresponding to the columns from the COL_START column to the COL_END column.
- the H-direction ROI can be read out from the COL_START column to the COL_END column.
- the range (position) of the ROI can be set with a high degree of freedom only by setting the parameters COL_START and COL_END.
- FIG. 11 is a timing chart showing the operation of the column enable control unit 6 in the H-direction ROI readout + H-direction addition (decimation) readout mode.
- signals other than the setting signal CLM_SET are the same as in the example of FIG.
- the setting signal CLM_SET is L for a period of N-COL_END-1 clock after the setting signal CONFIG_DONE becomes L. After that, the setting signal CLM_SET becomes H for one clock every period of the COL_SKIP clock. Then, the setting signal CLM_SET becomes L for a period corresponding to the remaining COL_START clock until the setting signal CONFIG_DONE becomes H.
- a column enable signal COLEN is output from the AND gate corresponding to every other column of the COL_SKIP column from the COL_START column to the COL_END column.
- the position of the ROI and the addition (decimation) interval can be flexibly set with a high degree of freedom.
- FIG. 12 is a timing chart showing the operation of the column enable control unit 6 in the multiple H-direction ROI readout mode.
- the setting signal CLM_SET is L for a period of N-COL_END-1 clock after the setting signal CONFIG_DONE becomes L. After that, the setting signal CLM_SET becomes H during a period of COL_END-COL_START + 1 clock. Then, it remains L for the remaining COL_START clock period until the setting signal CONFIG_DONE becomes H.
- the setting signal CLM_SET is L only for a period for 1 clock of COL_OFFWID, which is backward by 1 clock of COL_OFF and a period for 2 clocks of COL_OFFWID, which is 2 clocks for COL_OFF, which go back by 1 clock of COL_OFF.
- FIG. 13 is a block diagram showing a second implementation example of the column enable control unit 6.
- the column enable control unit 6 of FIG. 13 also controls the output of the column enable signal for operating the column AD unit 5 under the control of the CPU 50 in which the specific firmware is written.
- the column enable control unit 6 includes a skip decoder 51 and a comparator 52 provided for each column.
- the skip decoder 51 is a setting for setting a column to be skipped with the number of columns M being one period (phase number M) based on the parameters COL_START and COL_SKIP supplied from the CPU 50 and based on the columns represented by COL_START.
- the signal PHASE_EN [m] is output. m takes values from 0 to M-1.
- the comparator 52 outputs, based on the parameters COL_START and COL_END supplied from the CPU 50, a column valid flag AREA_EN [n] indicating whether each column is a reading target. n takes values from 0 to N ⁇ 1, where N is the total number of columns.
- the column valid flag AREA_EN [n] becomes H when COL_START ⁇ n and COL_END ⁇ n are satisfied.
- an AND gate for outputting a column enable signal COLEN of each column is provided for each column.
- the column valid flag AREA_EN [n] is input to one of the input terminals of the AND gate in the nth column, and the setting signal PHASE_EN [n% m] is input to the other input terminal of the AND gate. That is, in each column, the column enable signal COLEN is output when the column enable flag AREA_EN [n] and the setting signal PHASE_EN [n% m] both become H.
- FIG. 14 is a diagram for explaining the operation of the column enable control unit 6 in the H-direction ROI readout mode.
- the column valid flags AREA_EN [4],..., AREA_EN [18] of the fourth to eighteenth columns become H.
- COL_SKIP 0 is set as a parameter, and the setting signal PHASE_EN [7: 0] is 1111_1111 in binary representation. That is, the setting signal PHASE_EN [m] becomes H for all the columns when one column has eight columns, and none of the columns are skipped.
- FIG. 15 is a diagram for explaining the operation of the column enable control unit 6 in the H-direction ROI readout + H-direction addition (decimation) readout mode.
- the column valid flags AREA_EN [4],..., AREA_EN [18] of the fourth to eighteenth columns become H.
- addition (thinning) reading can be performed every three columns from the fourth column in the H direction ROI from the fourth column to the eighteenth column. it can.
- FIG. 16 is a diagram for explaining the operation of the column enable control unit 6 in the H-direction ROI readout + H-direction addition (decimation) readout mode.
- the column valid flags AREA_EN [6],..., AREA_EN [16] in the sixth to sixteenth columns become H.
- FIG. 17 is a block diagram showing a third implementation example of the column enable control unit 6.
- the column enable control unit 6 of FIG. 17 also controls the output of a column enable signal for operating the column AD unit 5 under the control of the CPU 60 in which the specific firmware is written.
- the column enable control unit 6 includes a skip decoder 61 and a comparator 62 provided for each column.
- the skip decoder 61 outputs PHASE_EN [m] based on the parameters COL_START and COL_SKIP supplied from the CPU 60 as in the skip decoder 51 of FIG. 13.
- the comparator 62 outputs a column valid flag AREA_EN [n] indicating whether each column is a read target based on the parameters COL_START, COL_END, COL_START1, COL_END1, COL_START2, COL_END2 supplied from the CPU 60.
- the column valid flag AREA_EN [n] becomes H when any of COL_START ⁇ n, COL_ENDnn, COL_START1 ⁇ n, COL_END1 ⁇ n, COL_START2 ⁇ n and COL_END2 ⁇ n is satisfied.
- the parameters COL_START1 and COL_END1 indicate the column numbers of the first column of the H-direction ROI and the column numbers of the last column, which are set to the next (right side) of the H-direction ROI specified by COL_START, COL_END.
- the parameters COL_START2 and COL_END2 indicate the column numbers of the first column of the H-direction ROI and the column numbers of the last column, which are set to the next (right side) of the H-direction ROI specified by COL_START1 and COL_END1.
- an AND gate for outputting the column enable signal COLEN of each column is provided for each column.
- the column valid flag AREA_EN [n] is input to one of the input terminals of the AND gate in the nth column, and the setting signal PHASE_EN [n% m] is input to the other input terminal of the AND gate. That is, in each column, the column enable signal COLEN is output when the column enable flag AREA_EN [n] and the setting signal PHASE_EN [n% m] both become H.
- FIG. 18 is a diagram for explaining the operation of the column enable control unit 6 in the multiple H-direction ROI readout mode.
- COL_START 2
- COL_END 6
- COL_START1 9
- COL_END1 13,
- COL_START2 16
- 9] ..., AREA_EN [13], AREA_EN [16], ..., AREA_EN [20] become H.
- COL_SKIP 0 is set as a parameter, and the setting signal PHASE_EN [7: 0] is 1111_1111 in binary representation. That is, the setting signal PHASE_EN [m] becomes H for all the columns when one column has eight columns, and none of the columns are skipped.
- FIG. 19 is a diagram for explaining the operation of the column enable control unit 6 in the multiple H-direction ROI readout + H-direction addition (decimation) readout mode.
- FIG. 20 shows the load MOS transistor (LM) 11, the comparator (CM) 12 and the counter (CN) 13 of each column.
- the output terminal of the NOR gate 71 is connected to the LM 11.
- the column enable signal COLEN is input to one of the input terminals of the NOR gate 71, and the all LM forced ON signal that forcibly turns on all the LMs 11 is input to the other input terminal.
- the LM 11 shuts off the current of the vertical signal line 9 (VSL).
- the output of the NOR gate 71 becomes L regardless of the column enable signal COLEN, and the current of VSL is not cut off. That is, when the all LM forced on signal is H, the column enable signal COLEN is invalidated, and the LM 11 is forcibly turned on.
- the output of the NOR gate 71 is H. That is, in the case of LM11, when the all LM forced ON signal is L, when the column enable signal COLEN is L, the current of VSL is cut off.
- the output terminal of the NOR gate 72 is connected to the CM 12.
- a column enable signal COLEN is input to one of the input terminals of the NOR gate 72, and an all CM forced on signal that forcibly turns on all the CMs 12 is input to the other input terminal.
- the output of the NOR gate 72 is H, the CM 12 is turned off by blocking part or all of the current supplied to the CM 12.
- the output of the NOR gate 72 becomes L regardless of the column enable signal COLEN, and the current supplied to the CM 12 is not cut off. That is, when the all CM forced on signal is H, the column enable signal COLEN is invalidated, and the CM 12 is forcibly turned on.
- the output of the NOR gate 72 is H. That is, in the CM 12, when the all CM forced ON signal is L, when the column enable signal COLEN is L, part or all of the current supplied to the CM 12 is cut off.
- the output terminal of the NOR gate 73 is connected to the CN 13.
- a column enable signal COLEN is input to one of the input terminals of the NOR gate 73, and an all-CN forced-on signal that forcibly turns on all the CNs 13 is input to the other input terminal.
- the output of the NOR gate 73 is H, the supply of the input clock is stopped and the CN 13 is turned off.
- the power of each of LM11, CM12, and CN13 is controlled by the column enable signal COLEN.
- the power of at least one of the configurations of LM11, CM12, and CN13 of each column may be controlled by the column enable signal COLEN.
- the necessary columns operate and the operation of unnecessary columns is stopped by the reading mode corresponding to the imaging mode.
- FIG. 21 is a diagram for explaining an example of the readout mode when the solid-state imaging device 1 is applied to a surveillance camera.
- FIG. 21 shows the column operation when the surveillance camera is operating in the motion detection mode.
- the pixels 2 in the pixel array unit 3 are read out after pixel addition in units of pixel blocks in the H direction and the V direction. That is, the surveillance camera performs low resolution imaging.
- the imaging mode of the surveillance camera transits to the ROI readout mode with the pixel block as the ROI.
- FIG. 21 shows column operation when the surveillance camera is operating in the ROI readout mode.
- the pixel 2 set for the pixel block whose motion is detected in the pixel array unit 3 is read out. That is, the surveillance camera performs normal imaging of the ROI.
- the solid-state imaging device 1 of the present embodiment can be applied to a monitoring camera that captures an area in which a motion is detected in the motion detection mode as an ROI.
- FIG. 22 is a diagram for explaining another example of the readout mode when the solid-state imaging device 1 is applied to a surveillance camera.
- FIG. 22 shows a column operation when the monitoring camera is operating in the person detection mode.
- the pixels 2 of the pixel array unit 3 are subjected to pixel addition in a predetermined number of columns in the H direction and read out.
- the imaging mode of the monitoring camera is transitioned to a plurality of ROI readout modes, with a plurality of regions in which the faces are detected as ROIs.
- FIG. 22 shows column operation when the surveillance camera is operating in the multiple ROI readout mode.
- the pixel 2 of the ROI set for the area where the face is detected in the pixel array unit 3 is read out.
- a pixel row in which the ROI is not included in the V-direction is not selected.
- the detection target in the person detection mode is not limited to the face, but may be the whole or a part of the person's body, for example, the whole body of the person, parts such as hands and feet, face parts such as eyes, nose, and mouth It may be
- the solid-state imaging device 1 of the present embodiment can be applied to a monitoring camera that captures an area in which a face is detected in the person detection mode as an ROI.
- the column to be read may be switched in frame units.
- the column AD unit 5 to be operated is shifted by one column every N frames.
- This operation is realized by enabling the parameters COL_START and COL_END to be set every N frames in the H-direction addition readout using the parameter COL_SKIP described with reference to FIG.
- the present disclosure is not limited to the application to a solid-state imaging device, and is also applicable to an electronic device.
- the electronic device refers to a camera system such as a digital still camera or a digital video camera, or an electronic device having an imaging function such as a cellular phone.
- the present disclosure may be applied to a modular form mounted in an electronic device, that is, a camera module.
- An electronic device 200 shown in FIG. 24 includes an optical lens 201, a shutter device 202, a solid-state imaging device 203, a drive circuit 204, and a signal processing circuit 205.
- FIG. 24 shows an embodiment in the case where the above-described solid-state imaging device 1 of the present disclosure is provided in an electronic device (digital still camera) as the solid-state imaging device 203.
- the optical lens 201 focuses image light (incident light) from a subject on the imaging surface of the solid-state imaging device 203. Thereby, the signal charge is accumulated in the solid-state imaging device 203 for a certain period.
- the shutter device 202 controls a light irradiation period and a light shielding period for the solid-state imaging device 203.
- the drive circuit 204 supplies a drive signal to the shutter device 202 and the solid-state imaging device 203.
- the drive signal supplied to the shutter device 202 is a signal for controlling the shutter operation of the shutter device 202.
- the drive signal supplied to the solid-state imaging device 203 is a signal for controlling the signal transfer operation of the solid-state imaging device 203.
- the solid-state imaging device 203 performs signal transfer by the drive signal (timing signal) supplied from the drive circuit 204.
- the signal processing circuit 205 performs various types of signal processing on the signal output from the solid-state imaging device 203.
- the video signal subjected to the signal processing is stored in a storage medium such as a memory or output to a monitor.
- the power consumption can be reduced regardless of the read mode in the solid-state imaging device 203. As a result, an electronic device with low power consumption can be provided. .
- Second embodiment> By the way, in the conventional AE (Auto Exposure), the optimum exposure time is detected by changing the exposure time and reading out images of a plurality of frames.
- Japanese Patent Application Laid-Open No. 10-155112 and Japanese Patent Application Laid-Open No. 2002-223386 disclose a technique for expanding an imaging dynamic range by combining a plurality of images with different exposure amounts.
- the technique according to the present disclosure is a technique for calculating an optimal exposure time by performing imaging with different exposure times for each unit area obtained by dividing a pixel area into a plurality of images within one frame of an image.
- FIG. 25 is a diagram for describing an overview of the technology according to the present disclosure.
- FIG. 25 shows the timing of the shutter and the lead within one frame of the image
- the right side of FIG. 25 schematically shows one frame of the image taken at the timing shown on the left side of FIG. There is.
- the exposure time is changed for each row unit region obtained by dividing the pixel region of one frame into a plurality of rows.
- the pixel area of one frame is divided into N IT (Integration Time) units 0 to N-1 as a row unit area from the top to the bottom, and the shutter timing is shifted for each IT unit. It is done.
- N IT Integration Time
- the reference exposure time serving as a reference is indicated by IT base
- the shutter time of each IT unit is indicated by IT_UNIT_LEN
- the difference (step difference) in exposure time between IT units is indicated by DIT.
- the reference exposure time ITbase is the exposure time of the IT unit 0 (row unit area at the top of the pixel area).
- the exposure time IT (n) of the IT unit n (n is 0 to N ⁇ 1) is represented by IT base ⁇ DIT ⁇ n.
- the shutter timing of each IT unit becomes closer to the read timing as it goes from IT unit 0 to IT unit N-1 in the pixel area (the exposure time becomes shorter ) Will be shifted.
- the optimal exposure time which is the optimal exposure time in the environment. After that, shooting is performed for the next and subsequent frames with the calculated optimum exposure time.
- one frame AE photographing is performed with different exposure times for each unit area within one frame of an image and calculation of the optimum exposure time.
- FIG. 26 is a block diagram showing a configuration example of a solid-state imaging device of the present disclosure.
- the solid-state imaging device 1001 is configured as a complementary metal oxide semiconductor (CMOS) image sensor that performs imaging using a rolling shutter method.
- CMOS complementary metal oxide semiconductor
- the solid-state imaging device 1001 includes an imaging element 1002, a pixel drive unit 1003, an ADC (AD conversion unit) 1004, an input processing unit 1005, an image processing unit 1006, and an output IF (Interface) 1007.
- the imaging element 1002 is configured by arranging a plurality of pixels in a two-dimensional array.
- the pixel driving unit 1003 performs imaging by driving each pixel constituting the imaging element 1002. Specifically, the pixel drive unit 1003 drives the pixels for each unit area obtained by dividing the pixel area (area corresponding to all the pixels involved in the imaging of the imaging device 1002) into a plurality of parts within one frame of the image. The pixels after the next frame are driven at the optimum exposure time.
- the ADC 1004 includes an AD conversion circuit arranged for each pixel column of the imaging element 1002.
- the ADC 1004 performs signal processing such as signal amplification and AD conversion for each column on pixel signals (analog signals) output from pixels for one row.
- the input processing unit 1005 sequentially inputs the image signal (digital signal) supplied from the ADC 1004 to the image processing unit 1006.
- the image processing unit 1006 performs image processing on the image signal input from the input processing unit 1005, and outputs the image signal via the output IF 1007.
- the image processing unit 1006 may perform only buffering, or may perform black level adjustment, column variation correction, signal amplification, various digital signal processing, and the like.
- the solid-state imaging device 1001 further includes an evaluation value calculation unit 1008 and an exposure parameter calculation unit 1009.
- the evaluation value calculation unit 1008 evaluates the exposure time (IT) of each IT unit from the pixel value of each unit area (IT unit) used for one frame AE based on the image signal input from the input processing unit 1005. Calculate the evaluation value to
- the exposure parameter calculation unit 1009 calculates the optimal exposure time based on the evaluation value for each IT unit calculated by the evaluation value calculation unit 1008. Also, the exposure parameter calculation unit 1009 calculates an analog signal amplification factor in the ADC 1004 and a digital signal amplification factor in the image processing unit 1006 corresponding to the calculated optimum exposure time. Exposure parameters including the calculated optimum exposure time, analog signal amplification factor, and digital signal amplification factor are supplied to the pixel drive unit 1003, the ADC 1004, and the image processing unit 1006.
- the solid-state imaging device 1001 further includes a control unit 1010.
- the control unit 1010 is, for example, a CPU (Central). Processing unit), and controls the pixel drive unit 1003, the ADC 1004, the input processing unit 1005, the image processing unit 1006, the output IF 1007, the evaluation value calculation unit 1008, and the exposure parameter calculation unit 1009.
- CPU Central
- the control unit 1010 is, for example, a CPU (Central). Processing unit), and controls the pixel drive unit 1003, the ADC 1004, the input processing unit 1005, the image processing unit 1006, the output IF 1007, the evaluation value calculation unit 1008, and the exposure parameter calculation unit 1009.
- control unit 1010 controls the pixel drive unit 1003, the evaluation value calculation unit 1008, and the exposure parameter calculation unit 1009 to perform one frame AE, or perform conventional AE using a plurality of frames, or Decide whether to shoot normally.
- FIG. 27 is a block diagram showing a configuration example of the pixel drive unit 1003.
- the pixel drive unit 1003 includes a state control unit 1021, a shutter row address counter 1022, a read row address counter 1023, a row address decoder 1024, a row driver 1025, and a shutter hold 1026.
- the state control unit 1021 controls operation of the shutter row address counter 1022 and the read row address counter 1023 to control the driving state (shutter drive / read drive) of the pixel in the image pickup device 1002.
- the shutter row address counter 1022 sequentially designates pixel rows to be shutter-driven, for example, from the top to the bottom.
- the read row address counter 1023 sequentially designates, for example, from top to bottom, pixel rows to be read driven.
- the row address decoder 1024 selects a pixel row to be shutter-driven based on designation by the shutter row address counter 1022. Further, the row address decoder 1024 selects a pixel row to be read driven based on designation by the read row address counter 1023.
- the row driver 1025 drives the pixels in the pixel row by supplying a drive signal to the pixel row selected by the row address decoder 1024.
- the shutter hold 1026 supplies a counter hold signal to the shutter row address counter 1022 under the control of the state control unit 1021 when the control unit 1010 determines that one frame AE is to be performed.
- the counter hold signal becomes H (High) during the step difference DIT of the exposure time between IT units, and L (Low) during the shutter time IT_UNIT_LEN of each IT unit. ).
- the shutter row address counter 1022 stops its operation while the counter hold signal becomes H. In this manner, when performing the one-frame AE, the pixel drive unit 1003 can shorten the exposure time in stages by shifting the shutter timing for each IT unit.
- FIG. 29 is a block diagram showing a configuration example of the evaluation value calculation unit 1008.
- the evaluation value calculation unit 1008 includes a row luminance average value calculation unit 1031 and a unit luminance average value calculation unit 1032.
- the row luminance average value calculation unit 1031 supplies pixels from each pixel row based on an image signal supplied from the input processing unit 1005 and obtained by performing imaging with different exposure times for each IT unit in one frame.
- the row luminance average value which is the average value of the luminance values, is calculated.
- the calculated row luminance average value for each pixel row is supplied to the unit luminance average value calculation unit 1032.
- the unit luminance average value calculation unit 1032 calculates a unit luminance average value which is an average value of the row luminance average values for each IT unit, based on the row luminance average value for each pixel row.
- the calculated row luminance average value for each IT unit is supplied to the exposure parameter calculation unit 1009 as an evaluation value of the exposure time for each IT unit.
- OPD Optical Detect
- FIG. 30 is a block diagram showing a first configuration example of the exposure parameter calculation unit 1009.
- the exposure parameter calculation unit 1009 in FIG. 30 includes an OPD value combining unit 1041 and a determination unit 1042.
- the OPD value combining unit 1041 calculates an OPD combined value that is an evaluation value of the exposure time of the entire frame by combining OPD values within a preset effective range among OPD values for each IT unit.
- FIG. 31 shows a plot of OPD values against the exposure time IT (n) of each IT unit.
- the OPD value decreases as the exposure time decreases.
- the OPD value combining unit 1041 combines the OPD values within the valid range, with the preset range between the upper limit value and the lower limit value as the valid range. Since the OPD value is saturated near the maximum value of the OPD value, these OPD values are not included in the effective range.
- the determination unit 1042 determines the optimum exposure time, the analog signal amplification factor, and the digital signal amplification factor using the OPD composite value calculated by the OPD value composition unit 1041, and outputs it as an exposure parameter. Do.
- FIG. 32 shows the exposure gain (total gain), the (optimum) exposure time for obtaining the total gain, the analog signal amplification factor, and the digital signal amplification factor with respect to the OPD composite value.
- the relationship between the OPD composition value and the total gain is preset to realize appropriate exposure for the OPD composition value.
- the determination unit 1042 determines the optimum exposure time, the analog signal amplification factor, and the digital signal amplification factor for achieving proper exposure based on the OPD composite value calculated by the OPD value composition unit 1041. It can be decided.
- FIG. 33 is a block diagram showing a second configuration example of the exposure parameter calculation unit 1009.
- the exposure parameter calculation unit 1009 in FIG. 33 includes an optimum IT calculation unit 1051 and a conversion unit 1052.
- the optimal IT calculation unit 1051 calculates the optimal IT based on the exposure time IT (n) corresponding to the OPD value closer to the preset target value among the OPD values for each IT unit.
- step S1001 the IT number n, the IT upper value, the IT lower value, the target OPD upper value, and the target OPD lower value are all set to 0.
- the target OPD value is set as the target value of the OPD value.
- the target OPD upper value is the OPD value closest to the target OPD value among OPD values larger than the target OPD value.
- the target OPD lower value is the OPD value closest to the target OPD value among the OPD values smaller than the target OPD value.
- the IT upper value is IT corresponding to the target OPD upper value, and the IT lower value is IT corresponding to the target OPD lower value.
- step S1002 it is determined whether OPD (n) (initially OPD (0)) is equal to the target OPD value.
- step S1003 the IT (n) corresponding to the OPD (n) equal to the target OPD value becomes the optimal IT, and the process ends.
- step S1004 it is determined whether OPD (n) is smaller than the target OPD value.
- step S1006 If it is determined that n is not equal to N-1, then the process proceeds to step S1006, where IT (n) is set to the IT upper value, and OPD (n) is set to the target OPD upper value.
- n is incremented by one in step S1007, the process returns to step S1002, and the subsequent processes are repeated.
- step S1008 IT (n) is set to the IT lower value, and OPD (n) is set to the target OPD lower value.
- the target OPD upper value and the target OPD lower value sandwiching the target OPD value are searched.
- step S1009 (IT upper value-IT lower value) / (target OPD upper value-target OPD lower value) x (target OPD value) becomes the optimum IT, and the process ends.
- the conversion unit 1052 converts the optimum IT calculated by the optimum IT calculation unit 1051 into an optimum exposure time, an analog signal amplification factor, and a digital signal amplification factor, and outputs it as an exposure parameter. Specifically, the conversion unit 1052 may determine the analog signal amplification factor and the digital signal amplification factor corresponding to the optimal exposure time, using the optimal IT as the optimal exposure time and using, for example, the relationship shown in FIG. it can.
- the solid-state imaging device 1001 that performs the above-described one-frame AE can be applied to an event-driven surveillance camera.
- step S1011 the control unit 1010 determines whether a motion has been detected within the imaging range.
- step S1011 The process of step S1011 is repeated until it is determined that a motion is detected, and when it is determined that a motion is detected, the process proceeds to step S1012.
- step S1012 the control unit 1010 performs one frame AE by controlling the pixel drive unit 1003, the evaluation value calculation unit 1008, and the exposure parameter calculation unit 1009.
- step S1013 the control unit 1010 reads an image by performing normal shooting with the optimal exposure time calculated by one frame AE from the next frame.
- step S1014 the control unit 1010 determines whether or not a predetermined time has elapsed since the movement was detected within the imaging range. In step S1014, it may be determined whether the movement within the imaging range is no longer detected.
- step S1013 While the predetermined time has not elapsed or the motion is detected, the process of step S1013 is repeated, and normal shooting is continuously performed.
- step S1015 the control unit 1010 causes the solid-state imaging device 1001 to transition to the standby mode, and the process returns to step S1011.
- one frame AE is performed at the timing when movement is detected in the standby mode, and then normal shooting is performed, so that moving object monitoring with optimal exposure is performed with high speed and low power consumption. Is possible.
- a monitoring camera provided with a time-lapse shooting mode in which a solid-state imaging device 1001 combines a plurality of still images continuously shot at constant time intervals as a shooting mode to generate one moving image.
- the operation when applied to The process of FIG. 37 is started with the solid-state imaging device 1001 in the standby mode.
- step S1021 the control unit 1010 starts time counting until a predetermined time has elapsed.
- step S1022 the control unit 1010 determines whether the predetermined time has elapsed and the counting has ended.
- step S1022 is repeated until it is determined that the count is completed, and when it is determined that the count is completed, the process proceeds to step S1023.
- step S1023 the control unit 1010 performs one frame AE by controlling the pixel drive unit 1003, the evaluation value calculation unit 1008, and the exposure parameter calculation unit 1009.
- step S1024 the control unit 1010 reads an image by performing normal photographing with the optimal exposure time calculated by one frame AE from the next frame.
- an image of one frame or several frames is read as a still image.
- step S1025 the control unit 1010 causes the solid-state imaging device 1001 to transition to the standby mode, and the process returns to step S1021.
- one frame AE is performed at a constant time interval, and then a still image of one frame or several frames is taken, so high speed, low power consumption, and optimum exposure can be achieved. It becomes possible to perform time-lapse photography.
- step S1031 the control unit 1010 determines whether a change in illuminance is detected.
- step S1032 If it is determined that the change in illuminance is detected, the process proceeds to step S1032.
- step S1032 the control unit 1010 determines whether the change in illuminance exceeds a predetermined threshold.
- step S1033 the control unit 1010 controls the pixel drive unit 1003, the evaluation value calculation unit 1008, and the exposure parameter calculation unit 1009 to control one frame. Perform AE.
- step S1034 the control unit 1010 reads an image by performing normal shooting with the optimal exposure time calculated by one frame AE from the next frame.
- step S1032 determines whether the illuminance change has exceeded the threshold. If it is determined in step S1032 that the illuminance change does not exceed the threshold, the process advances to step S1035, and the control unit 1010 controls the pixel drive unit 1003 to perform conventional AE using a plurality of frames.
- step S1034 the control unit 1010 reads an image by performing normal photographing with the exposure time obtained by the conventional AE after the next frame.
- step S1031 If it is determined in step S1031 that a change in illuminance is not detected, the control unit 1010 reads an image by performing normal shooting with the same exposure time as that in the previous step in step S1034.
- one frame AE is performed at the timing when a large change in illuminance is detected, and then normal shooting is performed. Therefore, even in an environment with a large change in illuminance, optimal exposure can be performed with high speed and low power consumption. It is possible to take pictures with
- spot AE spot area of the one part.
- one frame AE is performed for an ROI (region of interest) 1101 set by detecting the face of a person.
- the target to which the ROI 1101 is set is not limited to the face, and may be the whole body of a person, a part such as a hand or a foot, or a face part such as an eye, a nose, or a mouth.
- one frame AE is performed by shortening the exposure time from the top to the bottom of the pixel area to be the imaging range. However, if the illumination difference is large between the top and the bottom of the imaging range, one frame AE may not be properly performed.
- the exposure time of two steps (long exposure and short exposure) is set in each IT unit.
- the step difference of the first-step exposure time between IT units is DIT
- the difference (partial difference) of the first-step and second-step exposure time of each IT unit is indicated by DIT2.
- the first stage exposure time IT in the IT unit n (n) is represented by the IT base -DIT ⁇ n
- 2-stage exposure time IT2 (n) is IT base - in (DIT ⁇ n + DIT2) expressed.
- IT2 (n) is represented by IT2 (n) + IT base .
- one frame AE can be appropriately performed.
- the shutter hold 1026 supplies a counter hold signal to the read row address counter 1023 under the control of the state control unit 1021.
- the counter hold signal becomes H during the step difference DIT of the exposure time between IT units during read driving, and L during the read time IT_UNIT_LEN of each IT unit. It becomes.
- the exposure time IT (n) of the IT unit n is represented by IT base + DIT ⁇ n.
- the read row address counter 1023 stops its operation while the counter hold signal becomes H. In this manner, the pixel drive unit 1003 can extend the exposure time in stages by shifting the read timing for each IT unit when performing one frame AE.
- Both the shutter timing and the read timing may be shifted for each IT unit.
- the shutter hold 1026 supplies a shutter counter hold signal to the shutter row address counter 1022 under the control of the state control unit 1021 and a read counter hold signal as the read row address counter 1023.
- the shutter counter hold signal becomes H during the step difference DIT1 of the exposure time between IT units when the shutter is driven, and during the shutter time IT_UNIT_LEN1 of each IT unit It becomes L.
- the read counter hold signal becomes H in the period of the step difference DIT2 of the exposure time between the IT units in the read driving, and becomes L in the period of the read time IT_UNIT_LEN2 of each IT unit.
- the shutter row address counter 1022 stops its operation while the shutter counter hold signal becomes H.
- the read row address counter 1023 stops its operation while the read counter hold signal becomes H.
- the shutter timing and the read timing are shifted for each half region (pixel row) of the IT unit in the V direction. In this manner, the pixel drive unit 1003 can shorten the exposure time in stages for each half area of the IT unit when performing one frame AE.
- a gain control unit 1112 is provided to control the gain of each amplifier 1111 provided for each column.
- the gain control unit 1112 divides the IT unit into three blocks in the H direction, and controls the gain for each H direction block in each IT unit.
- the gain of the central H direction block is large and the gain of the right H direction block is larger based on the gain of the left H direction block.
- the gain of the central H-direction block and the gain of the right H-direction block increase from top to bottom of one frame for each IT unit.
- one frame having different brightness in the H direction can be obtained, and the width of the gain can be expanded.
- the solid-state imaging device 1001 may be configured as an area ADC system image sensor that performs AD conversion in area units within a frame.
- the shutter area address counter 1131 sequentially designates areas to be shutter driven under the control of the state control unit 1021.
- the read area address counter 1132 sequentially designates areas to be read driven under the control of the state control unit 1021.
- the area address decoder 1133 selects an area to be shutter-driven based on designation by the shutter area address counter 1131. Further, the area address decoder 1133 selects an area to be read driven based on designation by the read area address counter 1132.
- the area driver 1134 drives the pixels in the area by supplying a drive signal to the area selected by the area address decoder 1133.
- the shutter hold 1135 supplies a counter hold signal to the shutter area address counter 1131 under the control of the state control unit 1021.
- one frame AE is performed by changing the exposure time for each area.
- the exposure time is changed for each area obtained by dividing one frame into 20 areas in the H direction 4 ⁇ V direction 5.
- the shutter timing is controlled so that the exposure time becomes shorter stepwise from the area of area number 1 to the area of area number 20.
- the evaluation value is calculated based on the pixel value for each area, and the optimal exposure time is calculated based on the evaluation value for each area.
- the exposure time can be changed in the H direction as well as in the V direction.
- one frame AE can be performed for the ROI set within the imaging range.
- the ROI 1151 consisting of nine areas of area numbers 13 to 15, 21 to 23, 29 to 31 is It is set.
- the evaluation value is calculated based on the pixel value for each area included in the ROI 1151, and the optimal exposure time is calculated based on the evaluation value for each area.
- the present disclosure is not limited to the application to a solid-state imaging device, and is also applicable to an electronic device.
- the electronic device refers to a camera system such as a digital still camera or a digital video camera, or an electronic device having an imaging function such as a cellular phone.
- the present disclosure may be applied to a modular form mounted in an electronic device, that is, a camera module.
- An electronic device 1200 shown in FIG. 50 includes an optical lens 1201, a shutter device 1202, a solid-state imaging device 1203, a drive circuit 1204, and a signal processing circuit 1205.
- FIG. 50 shows an embodiment in the case where the solid-state imaging device 1001 of the present disclosure described above is provided in an electronic apparatus (digital still camera) as the solid-state imaging device 1203.
- the optical lens 1201 focuses image light (incident light) from a subject on the imaging surface of the solid-state imaging device 1203. Thereby, the signal charge is accumulated in the solid-state imaging device 1203 for a certain period.
- the shutter device 1202 controls a light irradiation period and a light shielding period for the solid-state imaging device 1203.
- the drive circuit 1204 supplies a drive signal to the shutter device 1202 and the solid-state imaging device 1203.
- the drive signal supplied to the shutter device 1202 is a signal for controlling the shutter operation of the shutter device 1202.
- the drive signal supplied to the solid-state imaging device 1203 is a signal for controlling the signal transfer operation of the solid-state imaging device 1203.
- the solid-state imaging device 1203 performs signal transfer by the drive signal (timing signal) supplied from the drive circuit 1204.
- the signal processing circuit 1205 performs various signal processing on the signal output from the solid-state imaging device 1203.
- the video signal subjected to the signal processing is stored in a storage medium such as a memory or output to a monitor.
- imaging with optimum exposure can be realized with high speed and low power consumption in the solid-state imaging device 1203.
- an electronic device with low power consumption is provided. It becomes possible.
- the region of interest is a region in which motion is detected in the motion detection mode.
- the solid-state imaging device (5) The solid-state imaging device according to (3), wherein the region of interest is a region where all or part of a person's body is detected in the person detection mode.
- the column enable control unit controls an output of an operation signal for operating the column AD unit based on a plurality of parameters.
- the parameters include a column number of the column at one end and a column number of the column at the other end among the consecutive columns to be read out.
- the parameter includes the number of consecutive columns not to be read out between one column to be periodically read out.
- the solid-state imaging device according to any one of (6) to (8), wherein the parameter includes a column number of one end of the continuous column that is not partially targeted for reading and the number of columns.
- the solid-state imaging device according to any one of (6) to (9), wherein the parameter can be set in frame units.
- the column enable control unit has a register that outputs the operation signal to the column AD unit.
- the column enable control unit includes a shift register including a flip flop that outputs the operation signal to the column AD unit.
- the column AD unit has a load MOS transistor, The solid-state imaging device according to any one of (1) to (12), wherein the column enable control unit shuts off a current supplied to the load MOS transistor of the column AD unit corresponding to the column that is not operated.
- the column AD unit has a comparator, The solid-state imaging according to any one of (1) to (12), wherein the column enable control unit cuts off part or all of the current supplied to the comparator included in the column AD unit corresponding to the column that is not operated. apparatus.
- the column AD unit has a counter, The solid-state imaging device according to any one of (1) to (12), wherein the column enable control unit stops supply of an input clock to the counter included in the column AD unit corresponding to the column that is not operated.
- a control method of a solid-state imaging device which programmably controls an operation of a column AD unit arranged for each column of a pixel array unit according to a photographing mode.
- An electronic apparatus comprising: a solid-state imaging device including: a column enable control unit configured to programably control the operation of the column AD unit according to a photographing mode.
- a pixel drive unit that drives pixels with different exposure times for each unit area obtained by dividing the pixel area into a plurality of parts in one frame; A calculation unit that calculates an optimal exposure time based on the pixel value of each unit area; A solid-state imaging device, wherein the pixel drive unit drives the pixels after the next frame with the calculated optimal exposure time.
- the pixel driving unit drives the pixels with an exposure time that is different for each unit area in the one frame at a timing according to a shooting mode.
- the pixel drive unit drives the pixel with an exposure time that is different for each unit area in the one frame, when a motion is detected in an imaging range.
- the pixel drive unit drives the pixels at different exposure times for each unit area by shifting the read timing for each unit area in one frame,
- the solid according to any one of (18) to (22) Imaging device.
- the solid-state imaging device according to any one of (18) to (24), wherein the calculation unit calculates the optimum exposure time based on a luminance average value which is an average of luminance values of the unit regions.
- the calculation unit is configured to calculate the optimum exposure time based on an evaluation value obtained from the brightness average value within a preset effective range among the brightness average values for each unit region (25).
- the calculation unit calculates the optimal exposure time based on the exposure time of the unit area corresponding to the brightness average value closer to a preset target value among the brightness average values of the unit areas.
- the solid-state imaging device as described in (25).
- the unit area is an area in an area ADC system (18) to (27).
- the solid-state imaging device according to any one of (18) to (29), wherein the pixel region is a region of interest.
- (32) In one frame, pixels are driven with different exposure times for each unit area obtained by dividing the pixel area into a plurality of areas, The optimal exposure time is calculated based on the pixel value of each unit area, A driving method of a solid-state imaging device, wherein the pixels after the next frame are driven with the calculated optimum exposure time.
- a pixel drive unit that drives pixels with different exposure times for each unit area obtained by dividing the pixel area into a plurality of parts in one frame; And a calculation unit that calculates an optimal exposure time based on the pixel value of each unit area.
- the electronic apparatus comprising the solid-state imaging device in which the pixel drive unit drives the pixels in the next frame and the subsequent in the calculated optimum exposure time.
- 1 solid-state imaging device 2 pixels, 3 pixel array units, 5 column AD units, 6 column enable control units, 11 load MOS transistors, 12 comparators, 13 counters, 30 CPUs, 31 controllers, 32 registers, 40 CPUs, 41 shift controllers , 42 shift registers, 50 CPUs, 51 skip decoders, 52 comparators, 60 CPUs, 61 skip decoders, 62 comparators, 200 electronic devices, 203 solid state imaging devices, 1001 solid state imaging devices, 1002 imaging elements, 1003 pixel drive units, 1004 ADC, 1006 image processing unit, 1008 evaluation value calculation unit, 1009 exposure parameter calculation unit, 1010 control unit, 1200 Child devices, 1203 solid-state imaging device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本開示は、消費電力を低減することができるようにする固体撮像装置およびその制御方法と駆動方法、並びに電子機器に関する。 カラムAD部は、画素アレイ部のカラム毎に配列され、カラムイネーブル制御部は、撮影モードに応じて、カラムAD部の動作をプログラマブルに制御する。本開示は、例えばCMOSイメージセンサに適用することができる。
Description
本開示は、固体撮像装置およびその制御方法と駆動方法、並びに電子機器に関し、特に、消費電力を低減することができるようにする固体撮像装置およびその制御方法と駆動方法、並びに電子機器に関する。
従来、画素列毎に設けられたAD変換部を並列に動作させることにより、読み出し速度を高速化するカラムAD方式のCMOSイメージセンサが知られている。
カラムAD方式のCMOSイメージセンサでは、間引き読み出しやROI読み出しを行う各撮影モードにおいて、一部のカラムだけが読み出し対象となるにもかかわらず、全てのカラムを動作させるため、無駄な電力が消費されていた。
そこで、特許文献1には、間引き読み出しを行う際、読み出し対象としないカラムの垂直信号線の電流のオン/オフを切り替えることで、消費電力の低減を図る構成が開示されている。
また、特許文献2には、ROI読み出しを行う際、一部の画素カラム範囲の読み出しを制御可能とすることで、消費電力の低減を図る構成が開示されている。
しかしながら、特許文献1の構成では、領域切り出しを行うことができず、特許文献2の構成では、間引き読み出しを行うことができなかった。すなわち、読み出しモードによらずに消費電力の低減を図ることはできなかった。
本開示は、このような状況に鑑みてなされたものであり、消費電力を低減するようにするものである。
本開示の第1の側面の固体撮像装置は、画素アレイ部と、前記画素アレイ部のカラム毎に配列されるカラムAD部と、撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部とを備える固体撮像装置である。
本開示の第1の側面の固体撮像装置の制御方法は、撮影モードに応じて、画素アレイ部のカラム毎に配列されるカラムAD部の動作をプログラマブルに制御する固体撮像装置の制御方法である。
本開示の第1の側面の電子機器は、画素アレイ部と、前記画素アレイ部のカラム毎に配列されるカラムAD部と、撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部とを有する固体撮像装置を備える電子機器である。
本開示の第1の側面においては、撮影モードに応じて、画素アレイ部のカラム毎に配列されるカラムAD部の動作がプログラマブルに制御される。
本開示の第2の側面の固体撮像装置は、1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部とを備え、前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する固体撮像装置である。
本開示の第2の側面の固体撮像装置の駆動方法は、1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動し、前記単位領域毎の画素値に基づいて、最適露光時間を算出し、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する固体撮像装置の駆動方法である。
本開示の第2の側面の電子機器は、1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部とを有し、前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する固体撮像装置を備える電子機器である。
本開示の第2の側面においては、1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素が駆動され、前記単位領域毎の画素値に基づいて、最適露光時間が算出され、算出された前記最適露光時間で、次フレーム以降の前記画素が駆動される。
以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
1-1.本開示にかかる固体撮像装置の構成
1-2.読み出しモードとカラム動作
1-3.カラムイネーブル制御部の構成と動作
1-4.カラムAD部の電力制御方法
1-5.適用例と変形例
1-6.本開示にかかる電子機器の構成
2.第2の実施の形態
2-1.本開示に係る技術の概要
2-2.固体撮像装置の構成
2-3.画素駆動部の構成
2-4.評価値算出部の構成
2-5.露光パラメータ算出部の構成
2-6.適用例
2-7.変形例
2-8.本開示にかかる電子機器の構成
1-1.本開示にかかる固体撮像装置の構成
1-2.読み出しモードとカラム動作
1-3.カラムイネーブル制御部の構成と動作
1-4.カラムAD部の電力制御方法
1-5.適用例と変形例
1-6.本開示にかかる電子機器の構成
2.第2の実施の形態
2-1.本開示に係る技術の概要
2-2.固体撮像装置の構成
2-3.画素駆動部の構成
2-4.評価値算出部の構成
2-5.露光パラメータ算出部の構成
2-6.適用例
2-7.変形例
2-8.本開示にかかる電子機器の構成
<1.第1の実施の形態>
<1-1.本開示にかかる固体撮像装置の構成>
(固体撮像装置の構成例)
図1は、本開示の固体撮像装置の構成例を示すブロック図である。
<1-1.本開示にかかる固体撮像装置の構成>
(固体撮像装置の構成例)
図1は、本開示の固体撮像装置の構成例を示すブロック図である。
固体撮像装置1は、CMOS(Complementary Metal Oxide
Semiconductor)イメージセンサとして構成される。固体撮像装置1は、複数の画素2が半導体基板(例えばSi基板)に規則的に2次元アレイ状に配列された画素領域(画素アレイ部)3と、周辺回路部とを有する。
Semiconductor)イメージセンサとして構成される。固体撮像装置1は、複数の画素2が半導体基板(例えばSi基板)に規則的に2次元アレイ状に配列された画素領域(画素アレイ部)3と、周辺回路部とを有する。
画素2は、光電変換部(例えばフォトダイオード)と、複数の画素トランジスタ(MOSトランジスタ)を有する。複数の画素トランジスタは、例えば、転送トランジスタ、リセットトランジスタ、および増幅トランジスタの3つのトランジスタで構成される。また、複数の画素トランジスタは、上述した3つのトランジスタに、選択トランジスタを追加した4つのトランジスタで構成されてもよい。
画素2は、1つの単位画素として構成することもできるし、共有画素構造とすることもできる。画素共有構造は、複数のフォトダイオードが、フローティングディフュージョンと、転送トランジスタ以外の他のトランジスタとを共有する構造である。
周辺回路部は、画素駆動部4、カラムAD部5、カラムイネーブル制御部6、出力回路7、および制御回路8から構成される。
制御回路8は、例えばCPU(Central Processing unit)により構成され、所定のプログラムやパラメータを用いて、画素駆動部4、カラムAD部5、およびカラムイネーブル制御部6の各部を制御する。
画素駆動部4は、画素駆動配線を選択し、選択された画素駆動配線に画素を駆動するためのパルスを供給し、行単位で画素を駆動する。すなわち、画素駆動部4は、画素アレイ部3の各画素2を行単位で順次垂直方向に選択走査する。そして、画素駆動部4は、垂直信号線9を通して各画素2の光電変換部において受光量に応じて生成された信号電荷に基づく画素信号を、カラムAD部5に供給する。
カラムAD部5は、例えばシングルスロープ型のAD変換回路により構成され、画素アレイ部3の画素2のカラム毎に配列される。カラムAD部5は、1行分の画素2から出力される信号に対してカラム毎に、ノイズ除去などの信号処理を行う。具体的には、カラムAD部5は、画素2固有の固定パターンノイズを除去するためのCDS(Correlated
Double Sampling)や信号増幅、AD変換などの信号処理を行う。カラムAD部5の出力段には、水平選択スイッチ(図示せず)が水平信号線10との間に接続されて設けられる。
Double Sampling)や信号増幅、AD変換などの信号処理を行う。カラムAD部5の出力段には、水平選択スイッチ(図示せず)が水平信号線10との間に接続されて設けられる。
カラムイネーブル制御部6は、カラムAD部5の動作を制御する。具体的には、カラムイネーブル制御部6は、制御回路8による制御の下、撮影モードに応じて、カラムAD部5の動作をプログラマブルに制御する。カラムAD部5それぞれからの画素信号は、水平信号線10に出力される。
出力回路7は、カラムAD部5それぞれから水平信号線10を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路7は、例えば、バッファリングだけ行う場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などを行う場合もある。
(カラムAD部の構成例)
図2は、カラムAD部5の構成例を示すブロック図である。
図2は、カラムAD部5の構成例を示すブロック図である。
カラムAD部5は、負荷MOSトランジスタ11、コンパレータ12、カウンタ13、およびラッチ回路14から構成される。
負荷MOSトランジスタ(LM)11には、垂直信号線9が接続される。これにより、画素2の増幅トランジスタと負荷MOSトランジスタ11とがソースフォロワ回路を構成する。
コンパレータ(CM)12は、一方の端子に入力されるランプ信号と、他方の端子に入力される画素信号とを比較する。コンパレータ12は、ランプ信号と画素信号との大小関係に応じてレベルが反転する信号を、カウンタ13に出力する。
カウンタ(CN)13は、アップカウント動作とダウンカウント動作とを切り替えて実行する。カウンタ13は、コンパレータ12の出力が反転したタイミングに応じて、アップカウント動作とダウンカウント動作とを終了する。アップカウント動作およびダウンカウント動作により得られたカウント値は、ラッチ回路14に保持され、デジタルデータとして出力される。
<1-2.読み出しモードとカラム動作>
本実施の形態の固体撮像装置1においては、カラムイネーブル制御部6が、撮影モードに応じた読み出しモード毎に、必要なカラムのカラムAD部5のみを動作させ、必要のないカラムAD部5の動作を停止させる。
本実施の形態の固体撮像装置1においては、カラムイネーブル制御部6が、撮影モードに応じた読み出しモード毎に、必要なカラムのカラムAD部5のみを動作させ、必要のないカラムAD部5の動作を停止させる。
図3乃至図7を参照して、読み出しモード毎のカラム動作の例について説明する。
(ROI読み出しモード)
図3は、ROI(関心領域)読み出しモード時のカラム動作について説明する図である。
図3は、ROI(関心領域)読み出しモード時のカラム動作について説明する図である。
図3には、画素アレイ部3、カラムAD部5、およびカラムイネーブル制御部6が示されている。
図3においては、カラムAD部5として、負荷MOSトランジスタ、コンパレータ、およびカウンタが、カラム毎に配列された3つの矩形で示されている。各カラムAD部5がグレーの矩形で示されている場合、そのカラムAD部5が動作することを表し、各カラムAD部5がホワイトの矩形で示されている場合、そのカラムAD部5の動作が停止することを表す。このことは、図4乃至図7においても同様とする。
図3の例では、画素アレイ部3の水平方向(H方向)の一部領域と、垂直方向(V方向)の一部領域について設定されたROIの画素2が読み出される。
この場合、カラムイネーブル制御部6は、ROIのH方向に対応するカラムのカラムAD部5を動作させ、それ以外のカラムのカラムAD部5の動作を停止させる。なお、ROIのV方向に対応する画素行は、画素駆動部4により選択されることで駆動される。
このようにして、設定されたROIの位置に応じて、必要なカラムのみを動作させ、必要のないカラムの動作を停止させることで、消費電力を低減することができる。
(H方向加算読み出しモード)
図4は、H方向加算読み出しモード時のカラム動作について説明する図である。
図4は、H方向加算読み出しモード時のカラム動作について説明する図である。
図4の例では、画素アレイ部3の画素2が、H方向の所定数カラム単位で画素加算されて読み出される。
この場合、カラムイネーブル制御部6は、画素アレイ部3のH方向に画素加算されるカラム単位でカラムAD部5を動作させ、それ以外のカラムのカラムAD部5の動作を停止させる。図4の例では、画素アレイ部3の左端のカラムから3カラムおきにカラムAD部5が動作している。
このようにして、設定された加算間隔に応じて、必要なカラムのみを動作させ、必要のないカラムの動作を停止させることで、消費電力を低減することができる。
なお、ここでは、H方向加算読み出しモード時のカラム動作について説明したが、H方向に間引きして画素が読み出されるH方向間引き読み出しモード時のカラム動作も、設定された間引き間隔に応じて同様にして行われる。
(H方向ROI読み出し+H方向加算読み出しモード)
図5は、H方向ROI読み出しとH方向加算読み出しを行う読み出しモード時のカラム動作について説明する図である。
図5は、H方向ROI読み出しとH方向加算読み出しを行う読み出しモード時のカラム動作について説明する図である。
図5の例では、画素アレイ部3のH方向の一部領域について設定されたROIの画素2が、H方向の所定数カラム単位で画素加算されて読み出される。
この場合、カラムイネーブル制御部6は、ROIのH方向に画素加算されるカラム単位でカラムAD部5を動作させ、それ以外のカラムのカラムAD部5の動作を停止させる。図5の例では、ROIの左端のカラムから3カラムおきにカラムAD部5が動作している。
このようにして、設定されたROIの位置と加算間隔に応じて、必要なカラムのみを動作させ、必要のないカラムの動作を停止させることで、消費電力を低減することができる。
(複数H方向ROI読み出しモード)
図6は、複数のH方向ROI読み出しモード時のカラム動作について説明する図である。
図6は、複数のH方向ROI読み出しモード時のカラム動作について説明する図である。
図6の例では、画素アレイ部3のH方向の一部領域について設定された2つのROIの画素2が読み出される。
この場合、カラムイネーブル制御部6は、2つのROIそれぞれのH方向に対応するカラムのカラムAD部5を動作させ、それ以外のカラムのカラムAD部5の動作を停止させる。
このようにして、設定された複数のROIの位置に応じて、必要なカラムのみを動作させ、必要のないカラムの動作を停止させることで、消費電力を低減することができる。
(読み出し行に応じたカラム動作)
図7は、読み出し行に応じたカラム動作について説明する図である。
図7は、読み出し行に応じたカラム動作について説明する図である。
図7左側は、黒レベル補正用のOPB領域読み出し時のカラム動作を示しており、図7右側は、有効画素領域としてのROI読み出し時のカラム動作を示している。
図7の例では、画素アレイ部3のH方向両端の数カラムを除く上部数行の領域についてOPB領域が設定されている。また、画素アレイ部3のH方向の一部領域とV方向の一部領域についてROIが設定されている。
OPB領域読み出し時、カラムイネーブル制御部6(図示せず)は、OPB領域のH方向に対応するカラムのカラムAD部5を動作させ、それ以外のカラムのカラムAD部5の動作を停止させる。
一方、有効画素領域(ROI)読み出し時、カラムイネーブル制御部6(図示せず)は、ROIのH方向に対応するカラムのカラムAD部5を動作させ、それ以外のカラムのカラムAD部5の動作を停止させる。
一般的に、黒レベル補正には、OPB領域内の画素値の平均値が用いられる。しかしながら、OPB領域内で読み出される画素のサンプル数が少ない場合、黒レベル補正の精度が低下してしまう。すなわち、黒レベル補正の際にROIに対応するカラムのカラムAD部5のみを動作させた場合、黒レベル補正の精度が低下するおそれがある。
そこで、図7の例のように、黒レベル補正の際には、ROIよりH方向に広いOPB領域に対応するカラムのカラムAD部5を動作させることで、黒レベル補正の精度の低下を抑えることができる。
このようにして、読み出し行に応じて、動作させるカラムの範囲をダイナミックに制御することで、効率よく消費電力を低減することができる。
以上のように、本実施の形態の固体撮像装置1においては、読み出しモードによらずに消費電力を低減することが可能となる。
<1-3.カラムイネーブル制御部の構成と動作>
以下においては、上述したカラム動作の制御を実現するカラムイネーブル制御部の構成と動作について説明する。
以下においては、上述したカラム動作の制御を実現するカラムイネーブル制御部の構成と動作について説明する。
(カラムイネーブル制御部の構成)
図8は、カラムイネーブル制御部6の構成例を示す図である。
図8は、カラムイネーブル制御部6の構成例を示す図である。
カラムイネーブル制御部6は、特定のファームウェアに基づいて動作するCPU30の制御により、カラムAD部5を動作させるための動作信号(カラムイネーブル信号)の出力を制御する。
カラムイネーブル制御部6は、コントローラ31とレジスタ32を備える。
コントローラ31は、CPU30の制御の下、レジスタ32の動作を制御する。レジスタ32は、各カラムのカラムAD部5にカラムイネーブル信号を出力するレジスタを有している。
図8の例では、総カラム数はNとされ、各カラムのカラムAD部5には、カラムイネーブル信号column0 enable,column1 enable,column2 enable,・・・,columnN-1 enable(=COLEN[0],COLEN[1],COLEN[2],・・・,COLEN[N-1])が出力される。
具体的には、コントローラ31は、CPU30から供給されるパラメータに基づいて、動作させるカラムを設定するための設定信号を、レジスタ32に出力する。レジスタ32は、コントローラ31からの設定信号に従って、カラムイネーブル信号を出力するレジスタを決定する。
CPU30から供給されるパラメータは、撮影モード(読み出しモード)に応じて設定される。これにより、撮影モードに応じて、カラムAD部5の動作をプログラマブルに制御することが可能となる。
以下においては、カラムイネーブル制御部6の具体的な実装例について説明する。
(カラムイネーブル制御部の実装例1)
図9は、カラムイネーブル制御部6の第1の実装例を示すブロック図である。図9のカラムイネーブル制御部6もまた、特定のファームウェアが書き込まれたCPU40の制御により、カラムAD部5を動作させるためのカラムイネーブル信号の出力を制御する。
図9は、カラムイネーブル制御部6の第1の実装例を示すブロック図である。図9のカラムイネーブル制御部6もまた、特定のファームウェアが書き込まれたCPU40の制御により、カラムAD部5を動作させるためのカラムイネーブル信号の出力を制御する。
カラムイネーブル制御部6は、シフトコントローラ41、シフトレジスタ42、およびクロックコントローラ43を備える。
シフトコントローラ41は、CPU40から供給されるパラメータに基づいて、動作させるカラムを設定するための設定信号CLM_SETを、シフトレジスタ42に出力する。
CPU40から供給されるパラメータには、例えば、COL_START,COL_END,COL_SKIP,COL_OFF#,COL_OFFWID#がある。
COL_START,COL_ENDはそれぞれ、読み出し対象とする連続するカラムのうちの、一端(初め)のカラムのカラム番号、他端(終わり)のカラムのカラム番号を表す。
COL_SKIPは、周期的に読み出し対象とする1カラム同士の間で、読み出し対象としない連続するカラム(スキップするカラム)のカラム数を表す。言い換えると、COL_SKIPは、H方向間引き読み出しモードにおいて間引き対象となるカラムのカラム数を表す。
COL_OFF#,COL_OFFWID#はそれぞれ、部分的に読み出し対象としない連続するカラムの一端のカラム番号と、そのカラムからのカラム数を表す。
また、シフトコントローラ41は、CPU40から供給されるリセット信号COLEN_RESETに基づいて、設定信号CLM_SETの内容(カラムを動作させるか否か)をシフトレジスタ42に設定させる期間を表す設定信号CONFIG_DONEを、シフトレジスタ42に出力する。
さらに、シフトコントローラ41は、CPU40から供給されるリセット信号COLEN_RESETに基づいて、クロックコントローラ43にクロック信号を出力させるための動作信号SHIFT_CLK_ENを、クロックコントローラ43に出力する。
クロックコントローラ43は、シフトコントローラ41からの動作信号SHIFT_CLK_ENに応じて、クロック信号SHIFT_CLKをシフトレジスタ42に出力する。
シフトレジスタ42は、設定信号CONFIG_DONEで表される期間中、クロック信号SHIFT_CLKにあわせて、設定信号CLM_SETの内容を各カラムに設定する。シフトレジスタ42は、設定信号CONFIG_DONEで表される期間が終了すると、各カラムに設定された設定信号CLM_SETの内容に応じたカラムイネーブル信号COLENを出力する。
具体的には、シフトレジスタ42においては、0カラム目からN-1カラム目までの各カラムに対応したフリップフロップが設けられている。フリップフロップの出力は、カラム毎に設けられたANDゲートの入力端子の一方に入力される。ANDゲートの入力端子の他方には、設定信号CONFIG_DONEが入力される。ANDゲートの出力端子からは、カラムイネーブル信号COLENが出力される。すなわち、各カラムにおいては、フリップフロップの出力と設定信号CONFIG_DONEがいずれもH(High)になったときに、カラムイネーブル信号COLENが出力される。
(カラムイネーブル制御部の動作)
ここで、図10乃至図12のタイミングチャートを参照して、図9のカラムイネーブル制御部6の動作について説明する。なお、以下においても、総カラム数はNとされる。
ここで、図10乃至図12のタイミングチャートを参照して、図9のカラムイネーブル制御部6の動作について説明する。なお、以下においても、総カラム数はNとされる。
図10は、H方向ROI読み出しモード時のカラムイネーブル制御部6の動作を示すタイミングチャートである。
まず、シフトコントローラ41は、CPU40からのリセット信号COLEN_RESETがHになると、動作信号SHIFT_CLK_ENをHにする。クロックコントローラ43は、動作信号SHIFT_CLK_ENがHになることで、シフトレジスタ42へのクロック信号SHIFT_CLKの出力を開始する。動作信号SHIFT_CLK_ENがHになっている期間は、クロック信号SHIFT_CLKのNクロック分とされる。
また、シフトコントローラ41は、CPU40からのリセット信号COLEN_RESETがHからL(Low)になったタイミングで、設定信号CONFIG_DONEをHからLにする。設定信号CONFIG_DONEがLになっている期間は、クロック信号SHIFT_CLKのNクロック分とされる。
シフトレジスタ42は、設定信号CONFIG_DONEがLになっている期間(Nクロック分の期間)、クロック信号SHIFT_CLKにあわせて、設定信号CLM_SETの内容を各カラムに設定する。具体的には、シフトレジスタ42において、読み出し対象とするカラムに対応するフリップフロップの出力がHに保持される。
図10の例では、設定信号CLM_SETは、設定信号CONFIG_DONEがLになってからN-COL_END-1クロック分の期間、Lとなる。その後、設定信号CLM_SETは、COL_END-COL_START+1クロック分の期間、Hとなる。そして、設定信号CLM_SETは、設定信号CONFIG_DONEがHになるまでの残りのCOL_STARTクロック分の期間、Lとなる。
これにより、シフトレジスタ42においては、COL_STARTカラム目からCOL_ENDカラム目までのカラムに対応するフリップフロップの出力がHに保持される。
そして、設定信号CONFIG_DONEがLからHになったとき、シフトレジスタ42においては、COL_STARTカラム目からCOL_ENDカラム目までのカラムに対応するANDゲートから、カラムイネーブル信号COLENが出力される。
以上のような動作により、COL_STARTカラム目からCOL_ENDカラム目までのH方向ROI読み出しを行うことができる。
以上の動作においては、設定信号CONFIG_DONEがLになっている期間のみクロックコントローラ43が動作するので、カラムイネーブル制御部6における消費電力を抑えることができる。
また、パラメータCOL_START,COL_ENDの設定のみで、ROIの範囲(位置)を高い自由度で設定することができる。
図11は、H方向ROI読み出し+H方向加算(間引き)読み出しモード時のカラムイネーブル制御部6の動作を示すタイミングチャートである。
図11において、設定信号CLM_SET以外の信号は、図10の例と同様である。
図11の例では、設定信号CLM_SETは、設定信号CONFIG_DONEがLになってからN-COL_END-1クロック分の期間、Lとなる。その後、設定信号CLM_SETは、COL_SKIPクロック分の期間おきに1クロック分だけHとなる。そして、設定信号CLM_SETは、設定信号CONFIG_DONEがHになるまでの残りのCOL_STARTクロック分の期間、Lとなる。
これにより、シフトレジスタ42においては、COL_STARTカラム目からCOL_ENDカラム目までのカラムのうち、COL_SKIPカラムおきのカラムに対応するフリップフロップの出力がHに保持される。
そして、設定信号CONFIG_DONEがLからHになったとき、シフトレジスタ42においては、COL_STARTカラム目からCOL_ENDカラム目までのCOL_SKIPカラムおきのカラムに対応するANDゲートから、カラムイネーブル信号COLENが出力される。
以上のような動作により、COL_STARTカラム目からCOL_ENDカラム目までのH方向のROIにおいて、COL_SKIP+1カラム毎のH方向加算(間引き)読み出しを行うことができる。
以上の動作においても、設定信号CONFIG_DONEがLになっている期間のみクロックコントローラ43が動作するので、カラムイネーブル制御部6における消費電力を抑えることができる。
また、パラメータCOL_START,COL_END,COL_SKIPの設定のみで、ROIの位置と加算(間引き)間隔を高い自由度で柔軟に設定することができる。
図12は、複数H方向ROI読み出しモード時のカラムイネーブル制御部6の動作を示すタイミングチャートである。
図12においても、設定信号CLM_SET以外の信号は、図10の例と同様である。
図12の例では、設定信号CLM_SETは、設定信号CONFIG_DONEがLになってからN-COL_END-1クロック分の期間、Lとなる。その後、設定信号CLM_SETは、COL_END-COL_START+1クロック分の期間、Hとなる。そして、設定信号CONFIG_DONEがHになるまでの残りのCOL_STARTクロック分の期間、Lとなる。
但し、設定信号CLM_SETは、設定信号CONFIG_DONEがHになるタイミングからCOL_OFF1クロック分遡ったCOL_OFFWID1クロック分の期間と、COL_OFF2クロック分遡ったCOL_OFFWID2クロック分の期間だけLとなる。
これにより、シフトレジスタ42においては、COL_STARTカラム目からCOL_ENDカラム目までのカラムのうち、読み出し対象としない、COL_OFF1カラム目からCOL_OFFWID1カラム分と、COL_OFF2カラム目からCOL_OFFWID2カラム分のカラムを除いたカラムに対応するフリップフロップの出力がHに保持される。
そして、設定信号CONFIG_DONEがLからHになったとき、シフトレジスタ42においては、COL_STARTカラム目からCOL_ENDカラム目までのカラムのうち、読み出し対象としないカラムを除いたカラムに対応するANDゲートから、カラムイネーブル信号COLENが出力される。
以上のような動作により、複数のH方向ROI読み出しを行うことができる。
以上の動作においては、設定信号CONFIG_DONEがLになっている期間のみクロックコントローラ43が動作するので、カラムイネーブル制御部6における消費電力を抑えることができる。
また、パラメータCOL_OFF#,COL_OFFWID#の設定のみで、読み出し対象としないカラム範囲を高い自由度で設定することができる。
(カラムイネーブル制御部の実装例2)
図13は、カラムイネーブル制御部6の第2の実装例を示すブロック図である。図13のカラムイネーブル制御部6もまた、特定のファームウェアが書き込まれたCPU50の制御により、カラムAD部5を動作させるためのカラムイネーブル信号の出力を制御する。
図13は、カラムイネーブル制御部6の第2の実装例を示すブロック図である。図13のカラムイネーブル制御部6もまた、特定のファームウェアが書き込まれたCPU50の制御により、カラムAD部5を動作させるためのカラムイネーブル信号の出力を制御する。
カラムイネーブル制御部6は、スキップデコーダ51と、カラム毎に設けられる比較器52を備える。
スキップデコーダ51は、CPU50から供給されるパラメータCOL_START,COL_SKIPに基づいて、COL_STARTで表されるカラムを基準に、カラム数Mを1周期(位相数M)として、スキップするカラムを設定するための設定信号PHASE_EN[m]を出力する。mは、0からM-1までの値をとる。
具体的には、(COL_START+m)%(COL_SKIP+1)=0の場合、設定信号PHASE_EN[m]はHとなる。ここで、%は剰余演算を表す。
比較器52は、CPU50から供給されるパラメータCOL_START,COL_ENDに基づいて、各カラムが読み出し対象であるか否かを表すカラム有効フラグAREA_EN[n]を出力する。nは、総カラム数をNとしたときに、0からN-1までの値をとる。
具体的には、COL_START≦nかつCOL_END≧nを満たすとき、カラム有効フラグAREA_EN[n]はHとなる。
図13のカラムイネーブル制御部6においては、各カラムのカラムイネーブル信号COLENを出力するANDゲートが、カラム毎に設けられる。nカラム目のANDゲートの入力端子の一方には、カラム有効フラグAREA_EN[n]が入力され、ANDゲートの入力端子の他方には、設定信号PHASE_EN[n%m]が入力される。すなわち、各カラムにおいては、カラム有効フラグAREA_EN[n]と設定信号PHASE_EN[n%m]がいずれもHになったときに、カラムイネーブル信号COLENが出力される。
(カラムイネーブル制御部の動作)
ここで、図14乃至図16を参照して、図13のカラムイネーブル制御部6の動作について説明する。以下においては、カラム数N=22とされる。
ここで、図14乃至図16を参照して、図13のカラムイネーブル制御部6の動作について説明する。以下においては、カラム数N=22とされる。
図14は、H方向ROI読み出しモード時のカラムイネーブル制御部6の動作について説明する図である。
図14の例では、パラメータとしてCOL_START=4,COL_END=18が設定されている。これにより、4カラム目から18カラム目までのカラム有効フラグAREA_EN[4],・・・,AREA_EN[18]がHとなる。
また、図14の例では、パラメータとしてCOL_SKIP=0が設定され、かつ、設定信号PHASE_EN[7:0]が2進表現で1111_1111とされる。すなわち、8カラムを1周期としたときの全てのカラムについて設定信号PHASE_EN[m]がHとなり、いずれのカラムもスキップされない。
以上の動作によれば、パラメータCOL_START,COL_END,COL_SKIPの設定により、4カラム目から18カラム目までのH方向ROIを設定することができる。
図15は、H方向ROI読み出し+H方向加算(間引き)読み出しモード時のカラムイネーブル制御部6の動作について説明する図である。
図15の例では、パラメータとしてCOL_START=4,COL_END=18が設定されている。これにより、4カラム目から18カラム目までのカラム有効フラグAREA_EN[4],・・・,AREA_EN[18]がHとなる。
また、図15の例では、パラメータCOL_SKIP=3が設定され、かつ、設定信号PHASE_EN[7:0]が2進表現で0001_0001とされる。具体的には、m=0乃至7それぞれについて、(COL_START+m)%(COL_SKIP+1)が、1,0,0,0,1,0,0,0で表される。すなわち、8カラムを1周期としたときの1,5カラム目について設定信号PHASE_EN[m]がHとなり、2乃至4,6乃至8カラム目がスキップされる。
以上の動作によれば、パラメータCOL_START,COL_END,COL_SKIPの設定により、4カラム目から18カラム目までのH方向ROIにおいて、4カラム目を起点に3カラムおきの加算(間引き)読み出しを行うことができる。
図16は、H方向ROI読み出し+H方向加算(間引き)読み出しモード時のカラムイネーブル制御部6の動作について説明する図である。
図16の例では、パラメータとしてCOL_START=6,COL_END=16が設定されている。これにより、6カラム目から16カラム目までのカラム有効フラグAREA_EN[6],・・・,AREA_EN[16]がHとなる。
また、図16の例では、パラメータとしてCOL_SKIP=3が設定され、かつ、設定信号PHASE_EN[7:0]が2進表現で0100_0100とされる。具体的には、m=0乃至7それぞれについて、(COL_START+m)%(COL_SKIP+1)が、0,0,1,0,0,0,1,0で表される。すなわち、8カラムを1周期としたときの3,7カラム目について設定信号PHASE_EN[m]がHとなり、1,2,4乃至6,8カラム目がスキップされる。
以上の動作によれば、パラメータCOL_START,COL_END,COL_SKIPの設定により、6カラム目から16カラム目までのH方向ROIにおいて、6カラム目を起点に3カラムおきの加算(間引き)読み出しを行うことができる。
(カラムイネーブル制御部の実装例3)
図17は、カラムイネーブル制御部6の第3の実装例を示すブロック図である。図17のカラムイネーブル制御部6もまた、特定のファームウェアが書き込まれたCPU60の制御により、カラムAD部5を動作させるためのカラムイネーブル信号の出力を制御する。
図17は、カラムイネーブル制御部6の第3の実装例を示すブロック図である。図17のカラムイネーブル制御部6もまた、特定のファームウェアが書き込まれたCPU60の制御により、カラムAD部5を動作させるためのカラムイネーブル信号の出力を制御する。
カラムイネーブル制御部6は、スキップデコーダ61と、カラム毎に設けられる比較器62を備える。
スキップデコーダ61は、図13のスキップデコーダ51と同様に、CPU60から供給されるパラメータCOL_START,COL_SKIPに基づいて、PHASE_EN[m]を出力する。
比較器62は、CPU60から供給されるパラメータCOL_START,COL_END,COL_START1,COL_END1,COL_START2,COL_END2に基づいて、各カラムが読み出し対象であるか否かを表すカラム有効フラグAREA_EN[n]を出力する。
具体的には、COL_START≦nかつCOL_END≧n,COL_START1≦nかつCOL_END1≧n,COL_START2≦nかつCOL_END2≧nのいずれかを満たすとき、カラム有効フラグAREA_EN[n]はHとなる。
なお、パラメータCOL_START1,COL_END1は、COL_START,COL_ENDで特定されるH方向ROIの次(右側)に設定されるH方向ROIの初めのカラムのカラム番号と、終わりのカラムのカラム番号を表す。パラメータCOL_START2,COL_END2は、COL_START1,COL_END1で特定されるH方向ROIの次(右側)に設定されるH方向ROIの初めのカラムのカラム番号と、終わりのカラムのカラム番号を表す。
図17のカラムイネーブル制御部6においても、各カラムのカラムイネーブル信号COLENを出力するANDゲートが、カラム毎に設けられる。nカラム目のANDゲートの入力端子の一方には、カラム有効フラグAREA_EN[n]が入力され、ANDゲートの入力端子の他方には、設定信号PHASE_EN[n%m]が入力される。すなわち、各カラムにおいては、カラム有効フラグAREA_EN[n]と設定信号PHASE_EN[n%m]がいずれもHになったときに、カラムイネーブル信号COLENが出力される。
(カラムイネーブル制御部の動作)
ここで、図18および図19を参照して、図17のカラムイネーブル制御部6の動作について説明する。以下においても、カラム数N=22とされる。
ここで、図18および図19を参照して、図17のカラムイネーブル制御部6の動作について説明する。以下においても、カラム数N=22とされる。
図18は、複数H方向ROI読み出しモード時のカラムイネーブル制御部6の動作について説明する図である。
図18の例では、パラメータとしてCOL_START=2,COL_END=6,COL_START1=9,COL_END1=13,COL_START2=16,COL_END2=20が設定されている。これにより、2カラム目から6カラム目まで、9カラム目から13カラム目まで、そして16カラム目から20カラム目までのカラム有効フラグAREA_EN[2],・・・,AREA_EN[6],AREA_EN[9],・・・,AREA_EN[13],AREA_EN[16],・・・,AREA_EN[20]がHとなる。
また、図18の例では、パラメータとしてCOL_SKIP=0が設定され、かつ、設定信号PHASE_EN[7:0]が2進表現で1111_1111とされる。すなわち、8カラムを1周期としたときの全てのカラムについて設定信号PHASE_EN[m]がHとなり、いずれのカラムもスキップされない。
以上の動作によれば、パラメータCOL_START,COL_END,COL_SKIP,COL_START1,COL_END1,COL_START2,COL_END2の設定により、2カラム目から6カラム目まで、9カラム目から13カラム目まで、そして、16カラム目から20カラム目までの3つのH方向ROIを設定することができる。
図19は、複数H方向ROI読み出し+H方向加算(間引き)読み出しモード時のカラムイネーブル制御部6の動作について説明する図である。
図19の例でも、図18の例と同様、パラメータCOL_START=2,COL_END=6,COL_START1=9,COL_END1=13,COL_START2=16,COL_END2=20が設定されている。これにより、2カラム目から6カラム目まで、9カラム目から13カラム目まで、そして16カラム目から20カラム目までのカラム有効フラグAREA_EN[2],・・・,AREA_EN[6],AREA_EN[9],・・・,AREA_EN[13],AREA_EN[16],・・・,AREA_EN[20]がHとなる。
また、図19の例では、パラメータCOL_SKIP=1が設定され、かつ、設定信号PHASE_EN[7:0]が2進表現で0001_0001とされる。具体的には、m=0乃至7それぞれについて、(COL_START+m)%(COL_SKIP+1)が、1,0,1,0,1,0,1,0で表される。すなわち、8カラムを1周期としたときの1,3,5,7カラム目について設定信号PHASE_EN[m]がHとなり、2,4,6,8カラム目がスキップされる。
以上の動作によれば、パラメータCOL_START,COL_END,COL_SKIP,COL_START1,COL_END1,COL_START2,COL_END2の設定により、2カラム目から6カラム目まで、9カラム目から13カラム目まで、そして16カラム目から20カラム目までの3つのH方向ROIにおいて、2カラム目を起点に1カラムおきの加算(間引き)読み出しを行うことができる。
<1-4.カラムAD部の電力制御方法>
次に、図20を参照して、カラムイネーブル信号COLENによるカラムAD部5の電力制御方法について説明する。
次に、図20を参照して、カラムイネーブル信号COLENによるカラムAD部5の電力制御方法について説明する。
図20には、各カラムの負荷MOSトランジスタ(LM)11、コンパレータ(CM)12、およびカウンタ(CN)13が示されている。
LM11には、NORゲート71の出力端子が接続されている。NORゲート71の入力端子の一方には、カラムイネーブル信号COLENが入力され、入力端子の他方には、全てのLM11を強制的にONにする全LM強制ON信号が入力される。LM11は、NORゲート71の出力がHのときに、垂直信号線9(VSL)の電流が遮断され、OFFになる。
全LM強制ON信号がHの場合、カラムイネーブル信号COLENによらずNORゲート71の出力はLとなり、VSLの電流は遮断されない。すなわち、全LM強制ON信号がHの場合、カラムイネーブル信号COLENは無効になり、LM11は強制的にONになる。一方、全LM強制ON信号がLで、かつ、カラムイネーブル信号COLENがLの場合、NORゲート71の出力はHとなる。すなわち、LM11においては、全LM強制ON信号がLの場合において、カラムイネーブル信号COLENがLのときに、VSLの電流が遮断される。
CM12には、NORゲート72の出力端子が接続されている。NORゲート72の入力端子の一方には、カラムイネーブル信号COLENが入力され、入力端子の他方には、全てのCM12を強制的にONにする全CM強制ON信号が入力される。CM12は、NORゲート72の出力がHのときに、CM12に供給される電流の一部または全部が遮断され、OFFになる。
全CM強制ON信号がHの場合、カラムイネーブル信号COLENによらずNORゲート72の出力はLとなり、CM12に供給される電流は遮断されない。すなわち、全CM強制ON信号がHの場合、カラムイネーブル信号COLENは無効になり、CM12は強制的にONになる。一方、全CM強制ON信号がLで、かつ、カラムイネーブル信号COLENがLの場合、NORゲート72の出力はHとなる。すなわち、CM12においては、全CM強制ON信号がLの場合において、カラムイネーブル信号COLENがLのときに、CM12に供給される電流の一部または全部が遮断される。
CN13には、NORゲート73の出力端子が接続されている。NORゲート73の入力端子の一方には、カラムイネーブル信号COLENが入力され、入力端子の他方には、全てのCN13を強制的にONにする全CN強制ON信号が入力される。CN13は、NORゲート73の出力がHのときに、入力クロックの供給が停止され、OFFになる。
全CN強制ON信号がHの場合、カラムイネーブル信号COLENによらずNORゲート73の出力はLとなり、入力クロックの供給は停止されない。すなわち、全CN強制ON信号がHの場合、カラムイネーブル信号COLENは無効になり、CN13は強制的にONになる。一方、全CN強制ON信号がLで、かつ、カラムイネーブル信号COLENがLの場合、NORゲート73の出力はHとなる。すなわち、CN13においては、全CN強制ON信号がLの場合において、カラムイネーブル信号COLENがLのときに、入力クロックの供給が停止される。
以上のような構成により、各カラムのカラムAD部5においては、カラムイネーブル信号COLENによって、LM11,CM12,CN13それぞれの電力が制御される。
なお、カラムイネーブル信号COLENによって、各カラムのLM11,CM12,CN13の全構成ではなく、少なくともいずれかの構成の電力が制御されるようにしてもよい。
<1-5.適用例と変形例>
以下においては、上述した固体撮像装置1の適用例と応用例について説明する。
以下においては、上述した固体撮像装置1の適用例と応用例について説明する。
(適用例)
本実施の形態の固体撮像装置1においては、撮影モードに応じた読み出しモードによって、必要なカラムが動作し、必要のないカラムの動作が停止する。
本実施の形態の固体撮像装置1においては、撮影モードに応じた読み出しモードによって、必要なカラムが動作し、必要のないカラムの動作が停止する。
図21は、固体撮像装置1を監視カメラに適用したときの読み出しモードの例について説明する図である。
図21左側は、監視カメラが動き検出モードで動作しているときのカラム動作を示している。
動き検出モードでは、画素アレイ部3の画素2が、H方向およびV方向の画素ブロック単位で画素加算されて読み出される。すなわち、監視カメラは低解像度の撮影を行っている。
動き検出モードにおいて、1または複数の画素ブロックの領域で動きが検出された場合、その画素ブロックをROIとして、監視カメラの撮影モードがROI読み出しモードに遷移する。
図21右側は、監視カメラがROI読み出しモードで動作しているときのカラム動作を示している。
ROI読み出しモードでは、画素アレイ部3において動きが検出された画素ブロックについて設定された画素2が読み出される。すなわち監視カメラは、ROIの通常撮影を行う。
このように、本実施の形態の固体撮像装置1を、動き検出モードにおいて動きが検出された領域をROIとして撮影する監視カメラに適用することができる。
図22は、固体撮像装置1を監視カメラに適用したときの読み出しモードの他の例について説明する図である。
図22左側は、監視カメラが人物検出モードで動作しているときのカラム動作を示している。
人物検出モードでは、画素アレイ部3の画素2が、H方向の所定数カラム単位で画素加算されて読み出される。
人物検出モードにおいて、複数の人物の顔が検出された場合、顔が検出された複数の領域をROIとして、監視カメラの撮影モードが複数ROI読み出しモードに遷移する。
図22右側は、監視カメラが複数ROI読み出しモードで動作しているときのカラム動作を示している。
複数ROI読み出しモードでは、画素アレイ部3において顔が検出された領域について設定されたROIの画素2が読み出される。図22右側の例では、H方向ROI読み出しに加え、V方向においてROIが含まれない画素行が選択されないようになされている。なお、人物検出モードにおける検出対象は、顔に限らず、人物の体の全体または一部であればよく、例えば、人物の全身、手や足などの部位、目、鼻、口などの顔パーツであってもよい。
このように、本実施の形態の固体撮像装置1を、人物検出モードにおいて顔が検出された領域をROIとして撮影する監視カメラに適用することができる。
(変形例)
H方向加算読み出しモードやH方向間引き読み出しモードにおいて、読み出し対象となるカラムのカラムAD部5の負荷を抑えるために、フレーム単位で、読み出し対象とするカラムを切り替えるようにしてもよい。
H方向加算読み出しモードやH方向間引き読み出しモードにおいて、読み出し対象となるカラムのカラムAD部5の負荷を抑えるために、フレーム単位で、読み出し対象とするカラムを切り替えるようにしてもよい。
例えば、図23に示されるように、H方向加算読み出しモードにおいて、Nフレーム毎に、動作させるカラムAD部5を1カラムずつシフトさせる。
この動作は、図11を参照して説明した、パラメータCOL_SKIPを用いたH方向加算読み出しにおいて、パラメータCOL_START,COL_ENDをNフレーム毎に設定可能とすることによって実現される。
<1-6.本開示にかかる電子機器の構成>
本開示は、固体撮像装置への適用に限られるものではなく、電子機器にも適用可能である。ここで、電子機器とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機などの撮像機能を有する電子機器のことをいう。また、本開示は、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールに適用されてもよい。
本開示は、固体撮像装置への適用に限られるものではなく、電子機器にも適用可能である。ここで、電子機器とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機などの撮像機能を有する電子機器のことをいう。また、本開示は、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールに適用されてもよい。
ここで、図24を参照して、本開示を適用した電子機器の構成例について説明する。
図24に示される電子機器200は、光学レンズ201、シャッタ装置202、固体撮像装置203、駆動回路204、および信号処理回路205を備えている。図24においては、固体撮像装置203として、上述した本開示の固体撮像装置1を電子機器(デジタルスチルカメラ)に設けた場合の実施の形態を示す。
光学レンズ201は、被写体からの像光(入射光)を固体撮像装置203の撮像面上に結像させる。これにより、信号電荷が一定期間、固体撮像装置203内に蓄積される。シャッタ装置202は、固体撮像装置203に対する光照射期間および遮光期間を制御する。
駆動回路204は、シャッタ装置202および固体撮像装置203に、駆動信号を供給する。シャッタ装置202に供給される駆動信号は、シャッタ装置202のシャッタ動作を制御するための信号である。固体撮像装置203に供給される駆動信号は、固体撮像装置203の信号転送動作を制御するための信号である。固体撮像装置203は、駆動回路204から供給される駆動信号(タイミング信号)により信号転送を行う。信号処理回路205は、固体撮像装置203から出力された信号に対して各種の信号処理を行う。信号処理が行われた映像信号は、メモリなどの記憶媒体に記憶されたり、モニタに出力される。
本実施の形態の電子機器200においては、固体撮像装置203において、読み出しモードによらずに消費電力を低減することができるので、結果として、低消費電力の電子機器を提供することが可能となる。
<2.第2の実施の形態>
ところで、従来のAE(Auto Exposure)においては、露光時間を変更して複数フレームの画像を読み出すことで、最適な露光時間を検出していた。
ところで、従来のAE(Auto Exposure)においては、露光時間を変更して複数フレームの画像を読み出すことで、最適な露光時間を検出していた。
例えば、特開平10-155112号公報や特開2002-223386号公報には、露光量の異なる複数の画像を合成することによって、撮像ダイナミックレンジを拡大する技術が開示されている。
従来のAEでは、適正な露光に収束するまでに時間がかかる上、複数フレームの撮影が必要なため、消費電力が高くなってしまう。
以下においては、高速かつ低消費電力で、最適な露光での撮影を実現する構成について説明する。
<2-1.本開示に係る技術の概要>
本開示に係る技術は、画像1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で撮影を行うことで、最適な露光時間を算出する技術である。
本開示に係る技術は、画像1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で撮影を行うことで、最適な露光時間を算出する技術である。
図25は、本開示に係る技術の概要を説明する図である。
図25左側には、画像1フレーム内でのシャッタとリードのタイミングが示されており、図25右側には、図25左側に示されるタイミングで撮影された画像1フレームが模式的に示されている。
図25の例では、1フレームの画素領域を複数の行毎に分割した行ユニット領域毎に露光時間を変化させている。
具体的には、1フレームの画素領域がその上から下へと、行ユニット領域としてN個のIT(Integration Time)ユニット0乃至N-1に分割されており、ITユニット毎にシャッタタイミングがずらされている。
図25においては、基準となる基準露光時間はITbase、各ITユニットのシャッタ時間はIT_UNIT_LEN、ITユニット間の露光時間の差分(段階差分)はDITで示される。ここでは、基準露光時間ITbaseは、ITユニット0(画素領域最上部の行ユニット領域)の露光時間とされる。
この場合、ITユニットn(nは0乃至N-1)の露光時間IT(n)は、ITbase-DIT×nで表される。
すなわち、各ITユニットのシャッタタイミングは、図25左側に示されるように、画素領域においてITユニット0からITユニットN-1に向かうほど、リードタイミングに近くなるように(露光時間が短くなるように)ずれることになる。
これにより、図25右側に示されるように、ITユニット0が最も明るく、ITユニットN-1が最も暗い、ITユニット毎に明るさが異なる1フレームが得られる。
そして、本開示に係る技術においては、ITユニット毎の画素値に基づいて、その環境での最適な露光時間である最適露光時間が算出される。その後、算出された最適露光時間で、次フレーム以降の撮影が行われる。
以下においては、画像1フレーム内で、単位領域毎に異なる露光時間で撮影を行い、最適露光時間を算出することを、1フレームAEという。
<2-2.固体撮像装置の構成>
図26は、本開示の固体撮像装置の構成例を示すブロック図である。
図26は、本開示の固体撮像装置の構成例を示すブロック図である。
固体撮像装置1001は、ローリングシャッタ方式で撮像を行うCMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成される。
固体撮像装置1001は、撮像素子1002、画素駆動部1003、ADC(AD変換部)1004、入力処理部1005、画像処理部1006、および出力IF(Interface)1007を有する。
撮像素子1002は、複数の画素が2次元アレイ状に配列されて構成される。
画素駆動部1003は、撮像素子1002を構成する各画素を駆動することで撮影を行う。具体的には、画素駆動部1003は、画像1フレーム内で、画素領域(撮像素子1002の撮像に関わる全画素に対応する領域)を複数に分割した単位領域毎に画素を駆動したり、上述した最適露光時間で、次フレーム以降の画素を駆動する。
ADC1004は、撮像素子1002の画素列毎に配列されたAD変換回路から構成される。ADC1004は、1行分の画素から出力される画素信号(アナログ信号)に対して、カラム毎に、信号増幅やAD変換などの信号処理を行う。
入力処理部1005は、ADC1004から供給される画像信号(デジタル信号)を、順次、画像処理部1006に入力する。画像処理部1006は、入力処理部1005から入力される画像信号に対し、画像処理を行い、出力IF1007を介して出力する。画像処理部1006は、例えば、バッファリングだけ行う場合もあるし、黒レベル調整、列ばらつき補正、信号増幅、各種デジタル信号処理などを行う場合もある。
固体撮像装置1001は、評価値算出部1008と露光パラメータ算出部1009をさらに有する。
評価値算出部1008は、入力処理部1005から入力される画像信号に基づいて、1フレームAEに用いられる単位領域(ITユニット)毎の画素値から、各ITユニットの露光時間(IT)を評価するための評価値を算出する。
露光パラメータ算出部1009は、評価値算出部1008により算出されたITユニット毎の評価値に基づいて、最適露光時間を算出する。また、露光パラメータ算出部1009は、算出した最適露光時間に対応する、ADC1004におけるアナログ信号増幅率と、画像処理部1006におけるデジタル信号増幅率を算出する。算出された最適露光時間、アナログ信号増幅率、およびデジタル信号増幅率を含む露光パラメータは、画素駆動部1003、ADC1004、および画像処理部1006に供給される。
さらに、固体撮像装置1001は、制御部1010を有する。制御部1010は、例えばCPU(Central
Processing unit)により構成され、画素駆動部1003、ADC1004、入力処理部1005、画像処理部1006、出力IF1007、評価値算出部1008、および露光パラメータ算出部1009の各部を制御する。
Processing unit)により構成され、画素駆動部1003、ADC1004、入力処理部1005、画像処理部1006、出力IF1007、評価値算出部1008、および露光パラメータ算出部1009の各部を制御する。
例えば、制御部1010は、画素駆動部1003、評価値算出部1008、および露光パラメータ算出部1009を制御することで、1フレームAEを行うか、複数フレームを用いた従来のAEを行うか、または、通常撮影を行うかなどを決定する。
以下、画素駆動部1003、評価値算出部1008、および露光パラメータ算出部1009の各部の詳細な構成について説明する。
<2-3.画素駆動部の構成>
図27は、画素駆動部1003の構成例を示すブロック図である。
図27は、画素駆動部1003の構成例を示すブロック図である。
画素駆動部1003は、ステート制御部1021、シャッタ行アドレスカウンタ1022、リード行アドレスカウンタ1023、行アドレスデコーダ1024、行ドライバ1025、およびシャッタホールド1026を備えている。
ステート制御部1021は、シャッタ行アドレスカウンタ1022とリード行アドレスカウンタ1023の動作を制御することで、撮像素子1002における画素の駆動状態(シャッタ駆動・リード駆動)を制御する。
シャッタ行アドレスカウンタ1022は、ステート制御部1021の制御により、シャッタ駆動する画素行を、例えば上から下へと順次指定する。
リード行アドレスカウンタ1023は、ステート制御部1021の制御により、リード駆動する画素行を、例えば上から下へと順次指定する。
行アドレスデコーダ1024は、シャッタ行アドレスカウンタ1022による指定に基づいて、シャッタ駆動する画素行を選択する。また、行アドレスデコーダ1024は、リード行アドレスカウンタ1023による指定に基づいて、リード駆動する画素行を選択する。
行ドライバ1025は、行アドレスデコーダ1024により選択された画素行に駆動信号を供給することで、その画素行の画素を駆動する。
シャッタホールド1026は、制御部1010により1フレームAEを行うことが決定された場合、ステート制御部1021の制御の下、カウンタホールド信号をシャッタ行アドレスカウンタ1022に供給する。
図28に示されるように、カウンタホールド信号は、シャッタ駆動の際、ITユニット間の露光時間の段階差分DITの期間にH(High)となり、各ITユニットのシャッタ時間IT_UNIT_LENの期間にL(Low)となる。
シャッタ行アドレスカウンタ1022は、カウンタホールド信号がHになる期間、その動作を停止する。このようにして、画素駆動部1003は、1フレームAEを行う際に、ITユニット毎にシャッタタイミングをずらすことで、段階的に露光時間を短くすることができる。
<2-4.評価値算出部の構成>
図29は、評価値算出部1008の構成例を示すブロック図である。
図29は、評価値算出部1008の構成例を示すブロック図である。
評価値算出部1008は、行輝度平均値算出部1031とユニット輝度平均値算出部1032を備えている。
行輝度平均値算出部1031は、入力処理部1005から供給される、1フレーム内でITユニット毎に異なる露光時間で撮影を行うことで得られた画像信号に基づいて、画素行毎に画素の輝度値の平均値である行輝度平均値を算出する。算出された画素行毎の行輝度平均値は、ユニット輝度平均値算出部1032に供給される。
ユニット輝度平均値算出部1032は、画素行毎の行輝度平均値に基づいて、ITユニット毎に行輝度平均値の平均値であるユニット輝度平均値を算出する。算出されたITユニット毎の行輝度平均値は、ITユニット毎の露光時間の評価値として、露光パラメータ算出部1009に供給される。
なお、以下においては、ITユニット毎の露光時間の評価値を、OPD(Optical Detect)値といい、ITユニットnのOPD値を、OPD(n)と表す。
<2-5.露光パラメータ算出部の構成>
(構成例1)
図30は、露光パラメータ算出部1009の第1の構成例を示すブロック図である。
(構成例1)
図30は、露光パラメータ算出部1009の第1の構成例を示すブロック図である。
図30の露光パラメータ算出部1009は、OPD値合成部1041と決定部1042を備えている。
OPD値合成部1041は、ITユニット毎のOPD値のうち、あらかじめ設定された有効範囲内のOPD値を合成することで、フレーム全体の露光時間の評価値であるOPD合成値を算出する。
ここで、図31を参照して、OPD値合成部1041によるOPD値の合成について説明する。
図31には、各ITユニットの露光時間IT(n)に対するOPD値のプロット図が示されている。OPD値は、露光時間が短くなるほど小さくなる。
OPD値合成部1041は、あらかじめ設定された上限値と下限値の間を有効範囲とし、有効範囲内のOPD値を合成する。OPD値の最大値近傍では、OPD値が飽和しているため、これらのOPD値は有効範囲に含まれないようにする。
OPD値の合成には、HDR(High Dynamic Range)合成を適用した手法が用いられる。これにより、飽和の影響を含まない、高ダイナミックレンジのOPD合成値を算出することができる。
図30の説明に戻り、決定部1042は、OPD値合成部1041により算出されたOPD合成値を用いて、最適露光時間、アナログ信号増幅率、およびデジタル信号増幅率を決定し、露光パラメータとして出力する。
ここで、図32を参照して、露光パラメータの決定について説明する。
図32には、OPD合成値に対する露光ゲイン(総ゲイン)と、総ゲインを得るための(最適)露光時間、アナログ信号増幅率、およびデジタル信号増幅率が示されている。OPD合成値と総ゲインとの関係は、OPD合成値に対して適正な露光を実現するようにあらかじめ設定されたものである。
したがって、決定部1042は、図32に示される関係から、OPD値合成部1041により算出されたOPD合成値により、適正な露光を実現する最適露光時間、アナログ信号増幅率、およびデジタル信号増幅率を決定することができる。
以上の構成により、1フレームAEが行われるので、高速かつ低消費電力で、次フレーム以降、最適な露光での撮影を実現することが可能となる。
(構成例2)
図33は、露光パラメータ算出部1009の第2の構成例を示すブロック図である。
図33は、露光パラメータ算出部1009の第2の構成例を示すブロック図である。
図33の露光パラメータ算出部1009は、最適IT算出部1051と換算部1052を備えている。
最適IT算出部1051は、ITユニット毎のOPD値のうち、あらかじめ設定された目標値により近いOPD値に対応する露光時間IT(n)に基づいて、最適ITを算出する。
ここで、図34のフローチャートを参照して、最適IT算出部1051による最適IT算出処理について説明する。
ステップS1001において、IT番号n,IT上値,IT下値,ターゲットOPD上値、およびターゲットOPD下値が全て0に設定される。
ここでは、図35に示されるように、OPD値の目標値として、ターゲットOPD値が設定されている。ターゲットOPD上値は、ターゲットOPD値より大きいOPD値の中でターゲットOPD値に最も近いOPD値である。ターゲットOPD下値は、ターゲットOPD値より小さいOPD値の中でターゲットOPD値に最も近いOPD値である。IT上値は、ターゲットOPD上値に対応するITであり、IT下値は、ターゲットOPD下値に対応するITである。
ステップS1002において、OPD(n)(最初はOPD(0))がターゲットOPD値と等しいか否かが判定される。
OPD(n)がターゲットOPD値と等しいと判定された場合、ステップS1003に進み、ターゲットOPD値と等しいOPD(n)に対応するIT(n)が最適ITとなり、処理は終了する。
一方、OPD(n)がターゲットOPD値と等しくないと判定された場合、ステップS1004に進み、OPD(n)がターゲットOPD値より小さいか否かが判定される。
OPD(n)がターゲットOPD値より小さくないと判定された場合、ステップS1005に進み、n=N-1であるか否かが判定される。
n=N-1でないと判定された場合、ステップS1006に進み、IT(n)がIT上値に設定されるとともに、OPD(n)がターゲットOPD上値に設定される。
その後、ステップS1007において、nが1インクリメントされ、処理はステップS1002に戻り、以降の処理が繰り返される。
一方、ステップS1004において、OPD(n)がターゲットOPD値より小さいと判定されたか、ステップS1005において、n=N-1であると判定された場合、ステップS1008に進む。
ステップS1008において、IT(n)がIT下値に設定されるとともに、OPD(n)がターゲットOPD下値に設定される。
以上のようにして、ターゲットOPD値を間に挟むターゲットOPD上値とターゲットOPD下値が探索される。
その後、ステップS1009において、(IT上値-IT下値)/(ターゲットOPD上値-ターゲットOPD下値)×(ターゲットOPD値)が最適ITとなり、処理は終了する。
図33の説明に戻り、換算部1052は、最適IT算出部1051により算出された最適ITを、最適露光時間、アナログ信号増幅率、およびデジタル信号増幅率に換算し、露光パラメータとして出力する。具体的には、換算部1052は、最適ITを最適露光時間とするとともに、例えば図32に示される関係を用いて、最適露光時間に対応するアナログ信号増幅率とデジタル信号増幅率を求めることができる。
以上の構成により、1フレームAEが行われるので、高速かつ低消費電力で、次フレーム以降、最適な露光での撮影を実現することが可能となる。
<2-6.適用例>
上述した1フレームAEを行う固体撮像装置1001は、イベントドリブン型の監視カメラに適用することができる。
上述した1フレームAEを行う固体撮像装置1001は、イベントドリブン型の監視カメラに適用することができる。
以下においては、固体撮像装置1001の適用例について説明する。
(適用例1)
図36のフローチャートを参照して、固体撮像装置1001が、撮影モードとして、撮像範囲内で動きを検出する動き検出モードを備える監視カメラに適用された場合の動作について説明する。図36の処理は、固体撮像装置1001が待機モードにある状態で開始される。
図36のフローチャートを参照して、固体撮像装置1001が、撮影モードとして、撮像範囲内で動きを検出する動き検出モードを備える監視カメラに適用された場合の動作について説明する。図36の処理は、固体撮像装置1001が待機モードにある状態で開始される。
ステップS1011において、制御部1010は、撮像範囲内で動きが検出されたか否かを判定する。
動きが検出されたと判定されるまで、ステップS1011の処理は繰り返され、動きが検出されたと判定されると、ステップS1012に進む。
ステップS1012において、制御部1010は、画素駆動部1003、評価値算出部1008、および露光パラメータ算出部1009の各部を制御することで、1フレームAEを行う。
1フレームAEの後、ステップS1013において、制御部1010は、次フレーム以降、1フレームAEにより算出された最適露光時間で通常撮影を行うことで、イメージを読み出す。
ステップS1014において、制御部1010は、撮像範囲内で動きが検出されてから所定時間が経過したか否かを判定する。ステップS1014においては、撮像範囲内での動きが検出されなくなったか否かが判定されてもよい。
所定時間が経過していない、または、動きが検出されている間は、ステップS1013の処理は繰り返され、通常撮影が継続して行われる。
一方、所定時間が経過したか、または、動きが検出されなくなった場合、ステップS1015に進み、制御部1010は、固体撮像装置1001を待機モードに遷移させ、処理はステップS1011に戻る。
以上の処理によれば、待機モードにおいて動きが検出されたタイミングで1フレームAEが行われ、続いて通常撮影が行われるので、高速かつ低消費電力で、最適な露光での動体監視を行うことが可能となる。
(適用例2)
図37のフローチャートを参照して、固体撮像装置1001が、撮影モードとして、一定の時間間隔で連続撮影した複数枚の静止画像をつなぎあわせて1つの動画像を生成するタイムラプス撮影モードを備える監視カメラに適用された場合の動作について説明する。図37の処理は、固体撮像装置1001が待機モードにある状態で開始される。
図37のフローチャートを参照して、固体撮像装置1001が、撮影モードとして、一定の時間間隔で連続撮影した複数枚の静止画像をつなぎあわせて1つの動画像を生成するタイムラプス撮影モードを備える監視カメラに適用された場合の動作について説明する。図37の処理は、固体撮像装置1001が待機モードにある状態で開始される。
ステップS1021において、制御部1010は、一定時間が経過するまでのタイムカウントを開始する。
ステップS1022において、制御部1010は、一定時間が経過し、カウントが終了したか否かを判定する。
カウントが終了したと判定されるまで、ステップS1022の処理は繰り返され、カウントが終了したと判定されると、ステップS1023に進む。
ステップS1023において、制御部1010は、画素駆動部1003、評価値算出部1008、および露光パラメータ算出部1009の各部を制御することで、1フレームAEを行う。
1フレームAEの後、ステップS1024において、制御部1010は、次フレーム以降、1フレームAEにより算出された最適露光時間で通常撮影を行うことで、イメージを読み出す。ここでは、1フレーム分または数フレーム分のイメージが、静止画像として読み出される。
1フレーム分または数フレーム分のイメージが読み出されると、ステップS1025において、制御部1010は、固体撮像装置1001を待機モードに遷移させ、処理はステップS1021に戻る。
以上の処理によれば、一定の時間間隔で1フレームAEが行われ、続いて1フレーム分または数フレーム分の静止画像の撮影が行われるので、高速かつ低消費電力で、最適な露光でのタイムラプス撮影を行うことが可能となる。
(適用例3)
図38のフローチャートを参照して、固体撮像装置1001が、撮影モードとして、電気をつけるなどによる大きな照度変化に応じてAEを行う動作モードを備える監視カメラに適用された場合の動作について説明する。図38の処理は、固体撮像装置1001が通常撮影を行っている状態で開始される。
図38のフローチャートを参照して、固体撮像装置1001が、撮影モードとして、電気をつけるなどによる大きな照度変化に応じてAEを行う動作モードを備える監視カメラに適用された場合の動作について説明する。図38の処理は、固体撮像装置1001が通常撮影を行っている状態で開始される。
ステップS1031において、制御部1010は、照度変化が検出されたか否かを判定する。
照度変化が検出されたと判定されると、ステップS1032に進む。
ステップS1032において、制御部1010は、所定の閾値を超える照度変化であったか否かを判定する。
閾値を超える照度変化であったと判定されると、ステップS1033に進み、制御部1010は、画素駆動部1003、評価値算出部1008、および露光パラメータ算出部1009の各部を制御することで、1フレームAEを行う。
1フレームAEの後、ステップS1034において、制御部1010は、次フレーム以降、1フレームAEにより算出された最適露光時間で通常撮影を行うことで、イメージを読み出す。
一方、ステップS1032において、閾値を超える照度変化でなかったと判定されると、ステップS1035に進み、制御部1010は、画素駆動部1003を制御することで、複数フレームを用いた従来のAEを行う。
その後、ステップS1034において、制御部1010は、次フレーム以降、従来のAEにより求められた露光時間で通常撮影を行うことで、イメージを読み出す。
また、ステップS1031において、照度変化が検出されなかったと判定された場合、ステップS1034において、制御部1010は、それまでと同じ露光時間で通常撮影を行うことで、イメージを読み出す。
以上の処理によれば、大きな照度変化が検出されたタイミングで1フレームAEが行われ、続いて通常撮影が行われるので、照度変化が激しい環境においても、高速かつ低消費電力で、最適な露光での撮影を行うことが可能となる。
<2-7.変形例>
以下においては、上述した固体撮像装置1001の変形例について説明する。
以下においては、上述した固体撮像装置1001の変形例について説明する。
(スポットAE)
以上においては、1フレームAEの対象となる画素領域は、撮像素子1002の全画素に対応する領域であるものとして説明したが、その一部のスポット領域であってもよい。
以上においては、1フレームAEの対象となる画素領域は、撮像素子1002の全画素に対応する領域であるものとして説明したが、その一部のスポット領域であってもよい。
例えば、図39に示されるように、人物の顔が検出されることで設定されたROI(関心領域)1101について1フレームAEが行われるようにする。この場合、ROI1101の垂直方向(V方向)の画素行の画素のみが駆動され、ROI1101の水平方向(H方向)の画素列のみの読み出しが行われる。なお、ROI1101が設定される対象は、顔に限らず、人物の全身、手や足などの部位、目、鼻、口などの顔パーツであってもよい。
(撮像範囲の上下の照度差が大きい場合の対策)
上述した実施の形態においては、撮像範囲となる画素領域の上から下へ露光時間を短くすることで1フレームAEが行われる。しかしながら、撮像範囲の上と下とで照度差が大きい場合、適切に1フレームAEが行われないおそれがある。
上述した実施の形態においては、撮像範囲となる画素領域の上から下へ露光時間を短くすることで1フレームAEが行われる。しかしながら、撮像範囲の上と下とで照度差が大きい場合、適切に1フレームAEが行われないおそれがある。
そこで、図40に示されるように、各ITユニットにおいて2段階(長露光と短露光)の露光時間が設定されるようにする。
図40においては、ITユニット間の1段階目の露光時間の段階差分はDIT、各ITユニットにおける1段階目と2段階目の露光時間の差分(部分差分)はDIT2で示される。
この場合、ITユニットnの1段階目の露光時間IT(n)は、ITbase-DIT×nで表され、2段階目の露光時間IT2(n)は、ITbase-(DIT×n+DIT2)で表される。ただし、IT2(n)<0となる場合、IT2(n)は、IT2(n)+ITbaseで表されるものとする。
これにより、撮像範囲の上と下とで照度差が大きい場合であっても、適切に1フレームAEを行うことが可能となる。
(リードタイミングの制御)
上述した実施の形態においては、ITユニット毎にシャッタタイミングがずらされるものとしたが、ITユニット毎にリードタイミングがずらされるようにしてもよい。
上述した実施の形態においては、ITユニット毎にシャッタタイミングがずらされるものとしたが、ITユニット毎にリードタイミングがずらされるようにしてもよい。
この場合、図41に示されるように、シャッタホールド1026は、ステート制御部1021の制御の下、カウンタホールド信号をリード行アドレスカウンタ1023に供給する。
具体的には、図42に示されるように、カウンタホールド信号は、リード駆動の際、ITユニット間の露光時間の段階差分DITの期間にHとなり、各ITユニットのリード時間IT_UNIT_LENの期間にLとなる。
なお、図42の例では、ITユニットnの露光時間IT(n)は、ITbase+DIT×nで表される。
リード行アドレスカウンタ1023は、カウンタホールド信号がHになる期間、その動作を停止する。このようにして、画素駆動部1003は、1フレームAEを行う際に、ITユニット毎にリードタイミングをずらすことで、段階的に露光時間を長くすることができる。
(シャッタタイミングとリードタイミングの制御)
ITユニット毎に、シャッタタイミングとリードタイミングの両方がずらされるようにしてもよい。
ITユニット毎に、シャッタタイミングとリードタイミングの両方がずらされるようにしてもよい。
この場合、図43に示されるように、シャッタホールド1026は、ステート制御部1021の制御の下、シャッタカウンタホールド信号をシャッタ行アドレスカウンタ1022に供給するとともに、リードカウンタホールド信号をリード行アドレスカウンタ1023に供給する。
具体的には、図44に示されるように、シャッタカウンタホールド信号は、シャッタ駆動の際、ITユニット間の露光時間の段階差分DIT1の期間にHとなり、各ITユニットのシャッタ時間IT_UNIT_LEN1の期間にLとなる。また、リードカウンタホールド信号は、リード駆動の際、ITユニット間の露光時間の段階差分DIT2の期間にHとなり、各ITユニットのリード時間IT_UNIT_LEN2の期間にLとなる。
シャッタ行アドレスカウンタ1022は、シャッタカウンタホールド信号がHになる期間、その動作を停止する。リード行アドレスカウンタ1023は、リードカウンタホールド信号がHになる期間、その動作を停止する。特に、図44の例では、ITユニットのV方向の半分の領域(画素行)毎にシャッタタイミングとリードタイミングがずれている。このようにして、画素駆動部1003は、1フレームAEを行う際に、ITユニットの半分の領域毎に、段階的に露光時間を短くすることができる。
(H方向のゲイン制御)
上述した1フレームAEにおいては、ITユニット毎に露光時間を変化させることで、V方向に明るさが異なる1フレームが得られるようにしたが、H方向にも明るさが異なる1フレームが得られるようにすることができる。
上述した1フレームAEにおいては、ITユニット毎に露光時間を変化させることで、V方向に明るさが異なる1フレームが得られるようにしたが、H方向にも明るさが異なる1フレームが得られるようにすることができる。
この場合、図45に示されるように、カラム毎に設けられる増幅器1111それぞれのゲインを制御するゲイン制御部1112を設ける。
例えば、図46に示されるように、ゲイン制御部1112は、ITユニットをH方向に3ブロックに区分し、各ITユニットにおけるH方向ブロック毎にゲインを制御する。図46の例では、各ITユニットにおいて、左のH方向ブロックのゲインを基準に、中央のH方向ブロックのゲインが大きく、右のH方向ブロックのゲインがより大きくなっている。また、中央のH方向ブロックのゲインと、右のH方向ブロックのゲインは、1フレームの上から下へ、ITユニット毎に大きくなっている。
このように、1フレームAEにおいて、V方向に加え、H方向にも明るさが異なる1フレームを得ることができ、ゲインの幅を広げることができる。
(エリアADC方式のイメージセンサへの適用)
本実施の形態の固体撮像装置1001は、フレーム内のエリア単位でAD変換を行うエリアADC方式のイメージセンサとして構成されてもよい。
本実施の形態の固体撮像装置1001は、フレーム内のエリア単位でAD変換を行うエリアADC方式のイメージセンサとして構成されてもよい。
この場合、図47に示される画素駆動部1003において、シャッタエリアアドレスカウンタ1131は、ステート制御部1021の制御により、シャッタ駆動するエリアを順次指定する。
リードエリアアドレスカウンタ1132は、ステート制御部1021の制御により、リード駆動するエリアを順次指定する。
エリアアドレスデコーダ1133は、シャッタエリアアドレスカウンタ1131による指定に基づいて、シャッタ駆動するエリアを選択する。また、エリアアドレスデコーダ1133は、リードエリアアドレスカウンタ1132による指定に基づいて、リード駆動するエリアを選択する。
エリアドライバ1134は、エリアアドレスデコーダ1133により選択されたエリアに駆動信号を供給することで、そのエリアの画素を駆動する。
シャッタホールド1135は、ステート制御部1021の制御の下、カウンタホールド信号をシャッタエリアアドレスカウンタ1131に供給する。
この場合、エリア毎に露光時間を変化させることで、1フレームAEが行われる。
例えば、図48の例では、1フレームを、H方向4×V方向5の20のエリアに分割したエリア毎に露光時間を変化させている。具体的には、エリア番号1のエリアからエリア番号20のエリアまで、段階的に露光時間が短くなるように、シャッタタイミングが制御されている。
そして、図48の例では、エリア毎の画素値に基づいて評価値が算出され、エリア毎の評価値に基づいて最適露光時間が算出される。
このように、1フレームAEにおいて、V方向に加え、H方向にも露光時間を変化させることができる。
なお、図47の構成によれば、撮像範囲内に設定されたROIについて1フレームAEを行うようにすることができる。
例えば、図49の例では、1フレームを、H方向6×V方向8の48のエリアに分割したエリアのうち、エリア番号13乃至15,21乃至23,29乃至31の9エリアからなるROI1151が設定されている。
そして、図49の例では、ROI1151に含まれるエリア毎の画素値に基づいて評価値が算出され、エリア毎の評価値に基づいて最適露光時間が算出される。
このように、ADC方式のイメージセンサにおいて、ROIのみを対象とした1フレームAEを行うようにすることができる。
<2-8.本開示にかかる電子機器の構成>
本開示は、固体撮像装置への適用に限られるものではなく、電子機器にも適用可能である。ここで、電子機器とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機などの撮像機能を有する電子機器のことをいう。また、本開示は、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールに適用されてもよい。
本開示は、固体撮像装置への適用に限られるものではなく、電子機器にも適用可能である。ここで、電子機器とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機などの撮像機能を有する電子機器のことをいう。また、本開示は、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールに適用されてもよい。
ここで、図50を参照して、本開示を適用した電子機器の構成例について説明する。
図50に示される電子機器1200は、光学レンズ1201、シャッタ装置1202、固体撮像装置1203、駆動回路1204、および信号処理回路1205を備えている。図50においては、固体撮像装置1203として、上述した本開示の固体撮像装置1001を電子機器(デジタルスチルカメラ)に設けた場合の実施の形態を示す。
光学レンズ1201は、被写体からの像光(入射光)を固体撮像装置1203の撮像面上に結像させる。これにより、信号電荷が一定期間、固体撮像装置1203内に蓄積される。シャッタ装置1202は、固体撮像装置1203に対する光照射期間および遮光期間を制御する。
駆動回路1204は、シャッタ装置1202および固体撮像装置1203に、駆動信号を供給する。シャッタ装置1202に供給される駆動信号は、シャッタ装置1202のシャッタ動作を制御するための信号である。固体撮像装置1203に供給される駆動信号は、固体撮像装置1203の信号転送動作を制御するための信号である。固体撮像装置1203は、駆動回路1204から供給される駆動信号(タイミング信号)により信号転送を行う。信号処理回路1205は、固体撮像装置1203から出力された信号に対して各種の信号処理を行う。信号処理が行われた映像信号は、メモリなどの記憶媒体に記憶されたり、モニタに出力される。
本実施の形態の電子機器1200においては、固体撮像装置1203において、高速かつ低消費電力で、最適な露光での撮影を実現することができるので、結果として、低消費電力の電子機器を提供することが可能となる。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本開示は以下のような構成をとることができる。
(1)
画素アレイ部と、
前記画素アレイ部のカラム毎に配列されるカラムAD部と、
撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部と
を備える固体撮像装置。
(2)
前記カラムイネーブル制御部は、前記撮影モードによって設定された読み出し対象とする前記カラムに応じて、前記カラムAD部の動作を制御する
(1)に記載の固体撮像装置。
(3)
前記カラムイネーブル制御部は、前記撮影モードによって設定された関心領域の位置に応じて、前記カラムAD部の動作を制御する
(1)に記載の固体撮像装置。
(4)
前記関心領域は、動き検出モードにおいて動きが検出された領域である
(3)に記載の固体撮像装置。
(5)
前記関心領域は、人物検出モードにおいて人物の体の全体または一部が検出された領域である
(3)に記載の固体撮像装置。
(6)
前記カラムイネーブル制御部は、複数のパラメータに基づいて、前記カラムAD部を動作させるための動作信号の出力を制御する
(1)乃至(5)のいずれかに記載の固体撮像装置。
(7)
前記パラメータは、読み出し対象とする連続する前記カラムのうちの、一端の前記カラムのカラム番号と、他端の前記カラムのカラム番号を含む
(6)に記載の固体撮像装置。
(8)
前記パラメータは、周期的に読み出し対象とする1カラム同士の間で、読み出し対象としない連続する前記カラムのカラム数を含む
(6)または(7)に記載の固体撮像装置。
(9)
前記パラメータは、部分的に読み出し対象としない連続する前記カラムの一端のカラム番号とカラム数を含む
(6)乃至(8)のいずれかに記載の固体撮像装置。
(10)
前記パラメータは、フレーム単位で設定可能とされる
(6)乃至(9)のいずれかに記載の固体撮像装置。
(11)
前記カラムイネーブル制御部は、前記カラムAD部に前記動作信号を出力するレジスタを有する
(6)乃至(10)のいずれかに記載の固体撮像装置。
(12)
前記カラムイネーブル制御部は、前記カラムAD部に前記動作信号を出力するフリップフロップを含むシフトレジスタを有する
(6)乃至(10)のいずれかに記載の固体撮像装置。
(13)
前記カラムAD部は、負荷MOSトランジスタを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記負荷MOSトランジスタに供給される電流を遮断する
(1)乃至(12)のいずれかに記載の固体撮像装置。
(14)
前記カラムAD部は、コンパレータを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記コンパレータに供給される電流の一部または全部を遮断する
(1)乃至(12)のいずれかに記載の固体撮像装置。
(15)
前記カラムAD部は、カウンタを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記カウンタへの入力クロックの供給を停止する
(1)乃至(12)のいずれかに記載の固体撮像装置。
(16)
撮影モードに応じて、画素アレイ部のカラム毎に配列されるカラムAD部の動作をプログラマブルに制御する
固体撮像装置の制御方法。
(17)
画素アレイ部と、
前記画素アレイ部のカラム毎に配列されるカラムAD部と、
撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部とを有する固体撮像装置
を備える電子機器。
(18)
1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、
前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部と
を備え、
前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する
固体撮像装置。
(19)
前記画素駆動部は、撮影モードに応じたタイミングで、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(18)に記載の固体撮像装置。
(20)
前記画素駆動部は、撮像範囲内で動きが検出されたときに、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(19)に記載の固体撮像装置。
(21)
前記画素駆動部は、一定時間が経過する毎に、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(19)に記載の固体撮像装置。
(22)
前記画素駆動部は、所定の閾値を超える照度変化が検出されたときに、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(19)に記載の固体撮像装置。
(23)
前記画素駆動部は、1フレーム内で前記単位領域毎にシャッタタイミングをずらすことで、前記単位領域毎に異なる露光時間で前記画素を駆動する
(18)乃至(22)のいずれかに記載の固体撮像装置。
(24)
前記画素駆動部は、1フレーム内で前記単位領域毎にリードタイミングをずらすことで、前記単位領域毎に異なる露光時間で前記画素を駆動する
(18)乃至(22)のいずれかに記載の固体撮像装置。
(25)
前記算出部は、前記単位領域毎の輝度値の平均である輝度平均値に基づいて、前記最適露光時間を算出する
(18)乃至(24)のいずれかに記載の固体撮像装置。
(26)
前記算出部は、前記単位領域毎の前記輝度平均値のうち、あらかじめ設定された有効範囲内の前記輝度平均値から得られる評価値に基づいて、前記最適露光時間を算出する
(25)に記載の固体撮像装置。
(27)
前記算出部は、前記単位領域毎の前記輝度平均値のうち、あらかじめ設定された目標値により近い前記輝度平均値に対応する前記単位領域の前記露光時間に基づいて、前記最適露光時間を算出する
(25)に記載の固体撮像装置。
(28)
前記単位領域は、前記画素領域を複数の行毎に分割した行ユニット領域である
(18)乃至(27)のいずれかに記載の固体撮像装置。
(29)
前記単位領域は、エリアADC方式におけるエリアである
(18)乃至(27)のいずれかに記載の固体撮像装置。
(30)
前記画素領域は、撮像素子の全画素に対応する領域である
(18)乃至(29)のいずれかに記載の固体撮像装置。
(31)
前記画素領域は、関心領域である
(18)乃至(29)のいずれかに記載の固体撮像装置。
(32)
1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動し、
前記単位領域毎の画素値に基づいて、最適露光時間を算出し、
算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する
固体撮像装置の駆動方法。
(33)
1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、
前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部と
を有し、
前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する固体撮像装置
を備える電子機器。
(1)
画素アレイ部と、
前記画素アレイ部のカラム毎に配列されるカラムAD部と、
撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部と
を備える固体撮像装置。
(2)
前記カラムイネーブル制御部は、前記撮影モードによって設定された読み出し対象とする前記カラムに応じて、前記カラムAD部の動作を制御する
(1)に記載の固体撮像装置。
(3)
前記カラムイネーブル制御部は、前記撮影モードによって設定された関心領域の位置に応じて、前記カラムAD部の動作を制御する
(1)に記載の固体撮像装置。
(4)
前記関心領域は、動き検出モードにおいて動きが検出された領域である
(3)に記載の固体撮像装置。
(5)
前記関心領域は、人物検出モードにおいて人物の体の全体または一部が検出された領域である
(3)に記載の固体撮像装置。
(6)
前記カラムイネーブル制御部は、複数のパラメータに基づいて、前記カラムAD部を動作させるための動作信号の出力を制御する
(1)乃至(5)のいずれかに記載の固体撮像装置。
(7)
前記パラメータは、読み出し対象とする連続する前記カラムのうちの、一端の前記カラムのカラム番号と、他端の前記カラムのカラム番号を含む
(6)に記載の固体撮像装置。
(8)
前記パラメータは、周期的に読み出し対象とする1カラム同士の間で、読み出し対象としない連続する前記カラムのカラム数を含む
(6)または(7)に記載の固体撮像装置。
(9)
前記パラメータは、部分的に読み出し対象としない連続する前記カラムの一端のカラム番号とカラム数を含む
(6)乃至(8)のいずれかに記載の固体撮像装置。
(10)
前記パラメータは、フレーム単位で設定可能とされる
(6)乃至(9)のいずれかに記載の固体撮像装置。
(11)
前記カラムイネーブル制御部は、前記カラムAD部に前記動作信号を出力するレジスタを有する
(6)乃至(10)のいずれかに記載の固体撮像装置。
(12)
前記カラムイネーブル制御部は、前記カラムAD部に前記動作信号を出力するフリップフロップを含むシフトレジスタを有する
(6)乃至(10)のいずれかに記載の固体撮像装置。
(13)
前記カラムAD部は、負荷MOSトランジスタを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記負荷MOSトランジスタに供給される電流を遮断する
(1)乃至(12)のいずれかに記載の固体撮像装置。
(14)
前記カラムAD部は、コンパレータを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記コンパレータに供給される電流の一部または全部を遮断する
(1)乃至(12)のいずれかに記載の固体撮像装置。
(15)
前記カラムAD部は、カウンタを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記カウンタへの入力クロックの供給を停止する
(1)乃至(12)のいずれかに記載の固体撮像装置。
(16)
撮影モードに応じて、画素アレイ部のカラム毎に配列されるカラムAD部の動作をプログラマブルに制御する
固体撮像装置の制御方法。
(17)
画素アレイ部と、
前記画素アレイ部のカラム毎に配列されるカラムAD部と、
撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部とを有する固体撮像装置
を備える電子機器。
(18)
1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、
前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部と
を備え、
前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する
固体撮像装置。
(19)
前記画素駆動部は、撮影モードに応じたタイミングで、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(18)に記載の固体撮像装置。
(20)
前記画素駆動部は、撮像範囲内で動きが検出されたときに、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(19)に記載の固体撮像装置。
(21)
前記画素駆動部は、一定時間が経過する毎に、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(19)に記載の固体撮像装置。
(22)
前記画素駆動部は、所定の閾値を超える照度変化が検出されたときに、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
(19)に記載の固体撮像装置。
(23)
前記画素駆動部は、1フレーム内で前記単位領域毎にシャッタタイミングをずらすことで、前記単位領域毎に異なる露光時間で前記画素を駆動する
(18)乃至(22)のいずれかに記載の固体撮像装置。
(24)
前記画素駆動部は、1フレーム内で前記単位領域毎にリードタイミングをずらすことで、前記単位領域毎に異なる露光時間で前記画素を駆動する
(18)乃至(22)のいずれかに記載の固体撮像装置。
(25)
前記算出部は、前記単位領域毎の輝度値の平均である輝度平均値に基づいて、前記最適露光時間を算出する
(18)乃至(24)のいずれかに記載の固体撮像装置。
(26)
前記算出部は、前記単位領域毎の前記輝度平均値のうち、あらかじめ設定された有効範囲内の前記輝度平均値から得られる評価値に基づいて、前記最適露光時間を算出する
(25)に記載の固体撮像装置。
(27)
前記算出部は、前記単位領域毎の前記輝度平均値のうち、あらかじめ設定された目標値により近い前記輝度平均値に対応する前記単位領域の前記露光時間に基づいて、前記最適露光時間を算出する
(25)に記載の固体撮像装置。
(28)
前記単位領域は、前記画素領域を複数の行毎に分割した行ユニット領域である
(18)乃至(27)のいずれかに記載の固体撮像装置。
(29)
前記単位領域は、エリアADC方式におけるエリアである
(18)乃至(27)のいずれかに記載の固体撮像装置。
(30)
前記画素領域は、撮像素子の全画素に対応する領域である
(18)乃至(29)のいずれかに記載の固体撮像装置。
(31)
前記画素領域は、関心領域である
(18)乃至(29)のいずれかに記載の固体撮像装置。
(32)
1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動し、
前記単位領域毎の画素値に基づいて、最適露光時間を算出し、
算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する
固体撮像装置の駆動方法。
(33)
1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、
前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部と
を有し、
前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する固体撮像装置
を備える電子機器。
1 固体撮像装置, 2 画素, 3 画素アレイ部, 5 カラムAD部, 6 カラムイネーブル制御部, 11 負荷MOSトランジスタ, 12 コンパレータ, 13 カウンタ, 30 CPU, 31 コントローラ, 32 レジスタ, 40 CPU, 41 シフトコントローラ, 42 シフトレジスタ, 50 CPU, 51 スキップデコーダ, 52 比較器, 60 CPU, 61 スキップデコーダ, 62 比較器, 200 電子機器, 203 固体撮像装置, 1001 固体撮像装置, 1002 撮像素子, 1003 画素駆動部, 1004 ADC, 1006 画像処理部, 1008 評価値算出部, 1009 露光パラメータ算出部, 1010 制御部, 1200 電子機器, 1203 固体撮像装置
Claims (33)
- 画素アレイ部と、
前記画素アレイ部のカラム毎に配列されるカラムAD部と、
撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部と
を備える固体撮像装置。 - 前記カラムイネーブル制御部は、前記撮影モードによって設定された読み出し対象とする前記カラムに応じて、前記カラムAD部の動作を制御する
請求項1に記載の固体撮像装置。 - 前記カラムイネーブル制御部は、前記撮影モードによって設定された関心領域の位置に応じて、前記カラムAD部の動作を制御する
請求項1に記載の固体撮像装置。 - 前記関心領域は、動き検出モードにおいて動きが検出された領域である
請求項3に記載の固体撮像装置。 - 前記関心領域は、人物検出モードにおいて人物の体の全体または一部が検出された領域である
請求項3に記載の固体撮像装置。 - 前記カラムイネーブル制御部は、複数のパラメータに基づいて、前記カラムAD部を動作させるための動作信号の出力を制御する
請求項1に記載の固体撮像装置。 - 前記パラメータは、読み出し対象とする連続する前記カラムのうちの、一端の前記カラムのカラム番号と、他端の前記カラムのカラム番号を含む
請求項6に記載の固体撮像装置。 - 前記パラメータは、周期的に読み出し対象とする1カラム同士の間で、読み出し対象としない連続する前記カラムのカラム数を含む
請求項6に記載の固体撮像装置。 - 前記パラメータは、部分的に読み出し対象としない連続する前記カラムの一端のカラム番号とカラム数を含む
請求項6に記載の固体撮像装置。 - 前記パラメータは、フレーム単位で設定可能とされる
請求項6に記載の固体撮像装置。 - 前記カラムイネーブル制御部は、前記カラムAD部に前記動作信号を出力するレジスタを有する
請求項6に記載の固体撮像装置。 - 前記カラムイネーブル制御部は、前記カラムAD部に前記動作信号を出力するフリップフロップを含むシフトレジスタを有する
請求項11に記載の固体撮像装置。 - 前記カラムAD部は、負荷MOSトランジスタを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記負荷MOSトランジスタに供給される電流を遮断する
請求項1に記載の固体撮像装置。 - 前記カラムAD部は、コンパレータを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記コンパレータに供給される電流の一部または全部を遮断する
請求項1に記載の固体撮像装置。 - 前記カラムAD部は、カウンタを有し、
前記カラムイネーブル制御部は、動作させない前記カラムに対応する前記カラムAD部が有する前記カウンタへの入力クロックの供給を停止する
請求項1に記載の固体撮像装置。 - 撮影モードに応じて、画素アレイ部のカラム毎に配列されるカラムAD部の動作をプログラマブルに制御する
固体撮像装置の制御方法。 - 画素アレイ部と、
前記画素アレイ部のカラム毎に配列されるカラムAD部と、
撮影モードに応じて、前記カラムAD部の動作をプログラマブルに制御するカラムイネーブル制御部とを有する固体撮像装置
を備える電子機器。 - 1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、
前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部と
を備え、
前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する
固体撮像装置。 - 前記画素駆動部は、撮影モードに応じたタイミングで、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
請求項18に記載の固体撮像装置。 - 前記画素駆動部は、撮像範囲内で動きが検出されたときに、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
請求項19に記載の固体撮像装置。 - 前記画素駆動部は、一定時間が経過する毎に、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
請求項19に記載の固体撮像装置。 - 前記画素駆動部は、所定の閾値を超える照度変化が検出されたときに、前記1フレーム内で前記単位領域毎に異なる露光時間で前記画素を駆動する
請求項19に記載の固体撮像装置。 - 前記画素駆動部は、1フレーム内で前記単位領域毎にシャッタタイミングをずらすことで、前記単位領域毎に異なる露光時間で前記画素を駆動する
請求項18に記載の固体撮像装置。 - 前記画素駆動部は、1フレーム内で前記単位領域毎にリードタイミングをずらすことで、前記単位領域毎に異なる露光時間で前記画素を駆動する
請求項18に記載の固体撮像装置。 - 前記算出部は、前記単位領域毎の輝度値の平均である輝度平均値に基づいて、前記最適露光時間を算出する
請求項18に記載の固体撮像装置。 - 前記算出部は、前記単位領域毎の前記輝度平均値のうち、あらかじめ設定された有効範囲内の前記輝度平均値から得られる評価値に基づいて、前記最適露光時間を算出する
請求項25に記載の固体撮像装置。 - 前記算出部は、前記単位領域毎の前記輝度平均値のうち、あらかじめ設定された目標値により近い前記輝度平均値に対応する前記単位領域の前記露光時間に基づいて、前記最適露光時間を算出する
請求項25に記載の固体撮像装置。 - 前記単位領域は、前記画素領域を複数の行毎に分割した行ユニット領域である
請求項18に記載の固体撮像装置。 - 前記単位領域は、エリアADC方式におけるエリアである
請求項18に記載の固体撮像装置。 - 前記画素領域は、撮像素子の全画素に対応する領域である
請求項18に記載の固体撮像装置。 - 前記画素領域は、関心領域である
請求項18に記載の固体撮像装置。 - 1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動し、
前記単位領域毎の画素値に基づいて、最適露光時間を算出し、
算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する
固体撮像装置の駆動方法。 - 1フレーム内で、画素領域を複数に分割した単位領域毎に異なる露光時間で画素を駆動する画素駆動部と、
前記単位領域毎の画素値に基づいて、最適露光時間を算出する算出部と
を有し、
前記画素駆動部は、算出された前記最適露光時間で、次フレーム以降の前記画素を駆動する固体撮像装置
を備える電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880054731.0A CN111034180B (zh) | 2017-09-06 | 2018-09-06 | 固态成像设备、其控制方法和驱动方法以及电子装置 |
KR1020207005071A KR102544589B1 (ko) | 2017-09-06 | 2018-09-06 | 고체 촬상 장치 및 그 제어 방법과 구동 방법, 및 전자기기 |
EP18853816.9A EP3681145B1 (en) | 2017-09-06 | 2018-09-06 | Solid-state imaging device, control method and drive method therefor, and electronic equipment |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762554936P | 2017-09-06 | 2017-09-06 | |
US62/554,936 | 2017-09-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019049923A1 true WO2019049923A1 (ja) | 2019-03-14 |
Family
ID=65634654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/033007 WO2019049923A1 (ja) | 2017-09-06 | 2018-09-06 | 固体撮像装置およびその制御方法と駆動方法、並びに電子機器 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3681145B1 (ja) |
KR (1) | KR102544589B1 (ja) |
CN (1) | CN111034180B (ja) |
WO (1) | WO2019049923A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020255496A1 (ja) * | 2019-06-17 | 2020-12-24 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
WO2021010036A1 (ja) * | 2019-07-18 | 2021-01-21 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置および固体撮像素子の制御方法 |
WO2021019939A1 (ja) * | 2019-07-26 | 2021-02-04 | ソニーセミコンダクタソリューションズ株式会社 | 受光装置及び受光装置の制御方法、並びに、測距装置 |
CN113852731A (zh) * | 2020-06-25 | 2021-12-28 | 株式会社理光 | 固体摄像元件、读取装置、图像处理装置及控制方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10155112A (ja) | 1996-11-21 | 1998-06-09 | Olympus Optical Co Ltd | 撮像装置 |
JP2002223386A (ja) | 2001-01-25 | 2002-08-09 | Olympus Optical Co Ltd | 撮影装置 |
JP2007142738A (ja) | 2005-11-17 | 2007-06-07 | Sony Corp | 物理情報取得方法および物理情報取得装置 |
JP2010161651A (ja) * | 2009-01-08 | 2010-07-22 | Hitachi Ltd | 監視記録装置、監視システムおよび監視記録方法 |
JP2012165168A (ja) | 2011-02-07 | 2012-08-30 | Sony Corp | 半導体装置、物理情報取得装置、及び、信号読出し方法 |
JP2012175234A (ja) * | 2011-02-18 | 2012-09-10 | Sony Corp | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
JP2016184843A (ja) * | 2015-03-26 | 2016-10-20 | ソニー株式会社 | イメージセンサ、処理方法、及び、電子機器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006318364A (ja) * | 2005-05-16 | 2006-11-24 | Funai Electric Co Ltd | 画像処理装置 |
JP4442669B2 (ja) * | 2007-09-18 | 2010-03-31 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
JP2009089087A (ja) * | 2007-09-28 | 2009-04-23 | Sony Corp | 固体撮像装置及び撮像装置 |
US9936132B2 (en) * | 2012-10-26 | 2018-04-03 | The Regents Of The University Of Michigan | CMOS image sensors with feature extraction |
-
2018
- 2018-09-06 CN CN201880054731.0A patent/CN111034180B/zh active Active
- 2018-09-06 WO PCT/JP2018/033007 patent/WO2019049923A1/ja unknown
- 2018-09-06 EP EP18853816.9A patent/EP3681145B1/en active Active
- 2018-09-06 KR KR1020207005071A patent/KR102544589B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10155112A (ja) | 1996-11-21 | 1998-06-09 | Olympus Optical Co Ltd | 撮像装置 |
JP2002223386A (ja) | 2001-01-25 | 2002-08-09 | Olympus Optical Co Ltd | 撮影装置 |
JP2007142738A (ja) | 2005-11-17 | 2007-06-07 | Sony Corp | 物理情報取得方法および物理情報取得装置 |
JP2010161651A (ja) * | 2009-01-08 | 2010-07-22 | Hitachi Ltd | 監視記録装置、監視システムおよび監視記録方法 |
JP2012165168A (ja) | 2011-02-07 | 2012-08-30 | Sony Corp | 半導体装置、物理情報取得装置、及び、信号読出し方法 |
JP2012175234A (ja) * | 2011-02-18 | 2012-09-10 | Sony Corp | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
JP2016184843A (ja) * | 2015-03-26 | 2016-10-20 | ソニー株式会社 | イメージセンサ、処理方法、及び、電子機器 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020255496A1 (ja) * | 2019-06-17 | 2020-12-24 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
WO2021010036A1 (ja) * | 2019-07-18 | 2021-01-21 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置および固体撮像素子の制御方法 |
CN113875226A (zh) * | 2019-07-18 | 2021-12-31 | 索尼半导体解决方案公司 | 固态摄像元件、摄像装置和固态摄像元件的控制方法 |
JP7535515B2 (ja) | 2019-07-18 | 2024-08-16 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置および固体撮像素子の制御方法 |
WO2021019939A1 (ja) * | 2019-07-26 | 2021-02-04 | ソニーセミコンダクタソリューションズ株式会社 | 受光装置及び受光装置の制御方法、並びに、測距装置 |
EP4006578A4 (en) * | 2019-07-26 | 2022-09-21 | Sony Semiconductor Solutions Corporation | LIGHT RECEIVING DEVICE, METHOD FOR CONTROLLING A LIGHT RECEIVING DEVICE, AND DISTANCE MEASURING DEVICE |
JP7511562B2 (ja) | 2019-07-26 | 2024-07-05 | ソニーセミコンダクタソリューションズ株式会社 | 受光装置及び受光装置の制御方法、並びに、測距装置 |
CN113852731A (zh) * | 2020-06-25 | 2021-12-28 | 株式会社理光 | 固体摄像元件、读取装置、图像处理装置及控制方法 |
EP3930311A1 (en) * | 2020-06-25 | 2021-12-29 | Ricoh Company, Ltd. | Solid-state imaging element, reading device, image processing apparatus, and control method |
US11792539B2 (en) | 2020-06-25 | 2023-10-17 | Ricoh Company, Ltd. | Solid-state imaging element, reading device, image processing apparatus, and control method |
CN113852731B (zh) * | 2020-06-25 | 2024-06-14 | 株式会社理光 | 固体摄像元件、读取装置、图像处理装置及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111034180B (zh) | 2022-09-16 |
KR20200043393A (ko) | 2020-04-27 |
EP3681145B1 (en) | 2024-03-20 |
EP3681145A4 (en) | 2020-07-15 |
KR102544589B1 (ko) | 2023-06-15 |
EP3681145A1 (en) | 2020-07-15 |
CN111034180A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10136090B2 (en) | Threshold-monitoring, conditional-reset image sensor | |
WO2019049923A1 (ja) | 固体撮像装置およびその制御方法と駆動方法、並びに電子機器 | |
JP4193768B2 (ja) | データ処理方法並びに物理量分布検知の半導体装置および電子機器 | |
US7859447B2 (en) | Image processing method, semiconductor device for detecting physical quantity distribution, and electronic apparatus | |
EP2523452A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
JP6995806B2 (ja) | 撮像素子および撮像装置 | |
JP2008099158A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2010520707A (ja) | 画像センサのダイナミックレンジを向上及び制御する方法及び装置 | |
WO2010073584A1 (ja) | 固体撮像装置、デジタルカメラ及びad変換方法 | |
JP2013055529A (ja) | 固体撮像装置及びその駆動方法 | |
JP2008124842A (ja) | 固体撮像装置 | |
JP2007151069A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2009159271A (ja) | 固体撮像装置 | |
US8547452B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007124542A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP7339779B2 (ja) | 撮像装置 | |
JP2006033381A (ja) | 撮像装置及び制御方法 | |
JP6172472B2 (ja) | 固体撮像装置 | |
JP4232714B2 (ja) | 読出アドレス制御方法、物理情報取得装置、および半導体装置 | |
JP2005217955A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5428792B2 (ja) | 固体撮像素子およびその駆動方法、カメラシステム、プログラム | |
JP2021022799A (ja) | 撮像装置およびその制御方法 | |
Gao et al. | Dynamic range extension of CMOS image sensors using multi-integration technique with compact readout | |
JP2002344815A (ja) | 撮像装置 | |
JP2007306631A (ja) | 固体撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18853816 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018853816 Country of ref document: EP Effective date: 20200406 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |