WO2020070994A1 - イメージセンサ - Google Patents

イメージセンサ

Info

Publication number
WO2020070994A1
WO2020070994A1 PCT/JP2019/032573 JP2019032573W WO2020070994A1 WO 2020070994 A1 WO2020070994 A1 WO 2020070994A1 JP 2019032573 W JP2019032573 W JP 2019032573W WO 2020070994 A1 WO2020070994 A1 WO 2020070994A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image sensor
signal
selection unit
column
Prior art date
Application number
PCT/JP2019/032573
Other languages
English (en)
French (fr)
Inventor
昭 松澤
角　博文
Original Assignee
株式会社テックイデア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社テックイデア filed Critical 株式会社テックイデア
Priority to JP2020550012A priority Critical patent/JPWO2020070994A1/ja
Priority to US17/252,278 priority patent/US11758304B2/en
Priority to KR1020207034927A priority patent/KR102441628B1/ko
Publication of WO2020070994A1 publication Critical patent/WO2020070994A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present invention relates to an image sensor.
  • Image sensors are used in a large number of applications not only for smartphones but also for drive recorders, electronic mirrors, automatic driving, robots and endoscopes, and the applications are expected to continue to expand in the future.
  • image sensors have been improved in resolution and image quality to approach human eyes, but in the future, such as object recognition and moving object recognition, high-speed recognition and judgment that cannot be seen by human eyes will be required. Is considered to be
  • FIG. 29 is a block diagram showing a configuration of a CMOS (Complementary Metal Oxide Semiconductor) image sensor which is a typical image sensor of the related art.
  • CMOS Complementary Metal Oxide Semiconductor
  • the row selection circuit 102 selects pixels on a row-by-row basis, and the pixels (readout pixels) 101a selected by the row selection circuit 102 simultaneously output voltages according to the illuminance of light detected by each pixel.
  • the column readout circuit 103 converts a voltage output from a pixel into a digital value, and includes an analog / digital converter (hereinafter, referred to as an A / D converter). Then, the signals converted by the column readout circuit 103 are sequentially output through the transfer circuit 104.
  • the pulse generation circuit 105 receives a clock signal and generates a timing signal necessary for operation. The generated timing signal is input to the row selection circuit 102, the column read circuit 103, and the transfer circuit 104.
  • FIG. 30 is an explanatory diagram of the charge accumulation time control in the conventional CMOS image sensor 100
  • FIG. 31 is a diagram showing the read timing and the reset timing.
  • voltages are read out in order from the upper pixel in the figure. Further, at the timing when the read pixel 101a is read, the pixel (reset pixel) 101b two rows below the read pixel 101a is reset.
  • the conventional COMS image sensor resets at a timing slightly before reading, resets the accumulated charge, and starts charge accumulation again.
  • the accumulation time is short and the amount of signals is small, so that a good image quality can be obtained without saturation even for a high illuminance signal. It is necessary to alternately repeat the low illuminance frame without resetting and the high illuminance frame with resetting.
  • the performance of the conventional CMOS image sensor 100 is limited because the parameters of the pixels and the column readout circuit 103 are uniformly set. Specifically, in the conventional image sensor, since the charge storage time and the charge storage capacity are not optimized for each pixel, the stored charge is not optimized and a necessary dynamic range cannot be secured. There is a point.
  • Image sensors are required to accurately acquire sensing information with a large dynamic range.
  • the dynamic range in normal photographing is 60 to 80 dB, but an extremely high dynamic range of 120 to 150 dB is required in photographing at the exit of a tunnel during backlight or fine weather.
  • a typical one is to expand a dynamic range by imaging each frame at two different exposure times described in Patent Document 1 and combining the signals (low illuminance signal and high illuminance signal). It is a method of planning.
  • 32A and 32B are diagrams showing signals obtained by the method described in Patent Document 1, FIG. 32A is a signal for a low illuminance frame, and FIG. 32B is a signal for a high illuminance frame.
  • FIG. 33 is a diagram showing each frame configuration for low illuminance and high illuminance.
  • the period between the reset signals of the photodiodes is the signal charge accumulation time. Since the signal voltage obtained at each pixel is proportional to the product of the illuminance and the signal accumulation time, the dynamic range can be expanded by controlling the signal charge accumulation time. In the conventional image sensor, the control of the signal charge accumulation time is performed on a frame basis. As shown in FIG. 33, a low illuminance frame 110 having a long accumulation time and a high illuminance frame 111 having a short accumulation time are alternately output. Then, an appropriate image is obtained by combining these two frame signals.
  • FIG. 34 is a circuit diagram for expanding a dynamic range used in a conventional image sensor.
  • FD capacitance normal floating diffusion capacitance
  • a large-capacity capacitor 121 of several pF is also provided.
  • appropriate reading of a signal is required for selecting a capacitor. Therefore, a frame for low illuminance using the FD capacitor 122 and a frame for high illuminance using the large capacity capacitor 121 are simply used. Are output alternately.
  • FIG. 35 is a diagram showing a pixel configuration for expanding a dynamic range used in a conventional image sensor.
  • the pixel 130 illustrated in FIG. 35 includes a low-illuminance pixel 131 having a large area and a high-illuminance pixel 132 having a small area.
  • the capacity for converting the electric charge into the voltage as necessary is constituted by the small capacity and the large capacity, thereby enabling the output of the signal suitable for the low illuminance signal and the signal suitable for the high illuminance. .
  • Patent Document 2 discloses an image sensor capable of selectively performing an electronic shutter operation on an arbitrary-shaped area of a pixel area.
  • FIG. 36 is a diagram showing an outline of the image sensor described in Patent Document 2.
  • the image sensor 200 shown in FIG. 36 is provided with a charge transfer scanner 201 for taking out signals and an electronic shutter scanner 202 for resetting accumulated charges in the vertical direction.
  • a selection scanner 203 is provided.
  • a timing signal is input from the timing signal generation circuit 204 to the load transfer scanner 201 and the electronic shutter scanner 202. Then, the logical product of the signal output from the electronic shutter scanner 202 and the external input signal is obtained, and the pixel in the pixel area 205 is selected. Further, the horizontal direction pixel selection scanner 203 selects a pixel in the horizontal direction.
  • FIG. 37 is a diagram showing a unit pixel structure of the image sensor 200 shown in FIG.
  • the signal of HSEL (m-1) becomes “H”
  • the reset transistor Tr of the m-th pixel operates.
  • the voltage of floating diffusion node FD rises to the reset level.
  • the signal of HSS (m) becomes “H”
  • the signal of VSOUT (n) becomes “H” to turn on the transfer control transistor Ty
  • the reset level signal of the pixel (n, m) becomes The signal is output to the outside as a signal output and used as a reference signal for CDS (correlation double detection).
  • HSEL (m-1) becomes “L” and HSEL (m) becomes “H”.
  • VSEL (n) becomes “H” in this state, the transistor Txy is turned on, and the charge accumulated in the photodiode PD is discharged to the floating diffusion node FD through the transistor Tt.
  • a signal of the level of the pixel (n, m) buffered by the transistor Ta constituting the source follower is taken out as a signal output to the outside, and is used as a signal of DS (correlation double detection).
  • the logical product of the signal of the electronic shutter scanner 202 and the external input signal is obtained, and the signal becomes the signal VSEL (n).
  • VSEL (n) For a reset target, VSSEL (n) is "H” and VSOUT (n) is "L”.
  • HSEL (m) becomes “H”
  • the transistor Txy is turned on when VSEL (n) is “H”
  • the charge accumulated in the photodiode PD is transferred to the floating diffusion node FD through the transistor Tt. It is exhaled.
  • the method using the circuit shown in FIG. 34 has a problem that it becomes difficult to integrate a capacitor for a high illuminance signal as the pixel is reduced.
  • the processing circuit for the pixel signal such as the A / D converter is doubled, and the data output rate from the image sensor is increased. Is doubled, which is not preferable from the viewpoint of high speed and low power consumption. For this reason, when the frames for low illuminance and the frames for high illuminance using a large capacity are alternately output, there is a problem similar to the two methods described above. Further, the method of expanding the dynamic range by the area of the pixel shown in FIG. 35 is also difficult to apply as the pixel is reduced.
  • a method of selectively performing an electronic shutter operation on an arbitrary-shaped area of a pixel area involves a method in which a vertical pixel selection signal fluctuates at a high frequency, thereby reducing power consumption and power consumption. This is not preferable in terms of settling and noise.
  • the operating frequency of the vertical selection signal VSEL when not modulating with an external input signal is F fl ⁇ N V .
  • the maximum operating frequency of the vertical selection signal VSEL when modulated with an external input signal is F fl ⁇ N V ⁇ (N H / 2). Therefore, the maximum operating frequency of the vertical selection signal VSEL when modulated by the external input signal is (N H / 2) times higher.
  • each pixel is proportional to the product of the capacitance, the operating frequency, and the square of the voltage amplitude
  • thousands of transistors are connected to each vertical selection signal VSEL and swing with an amplitude of about 3 V.
  • the power is significantly increased, reaching several thousand times that when no modulation is performed with an external input signal.
  • the settling characteristics deteriorate, and the analog characteristics deteriorate due to parasitic capacitance, parasitic inductance, and the like. That is, the method of selectively performing an electronic shutter operation on an arbitrary shape region of a pixel region as in the image sensor described in Patent Document 2 causes a remarkable increase in operating frequency and power consumption, and also causes an increase in analog characteristics. And the image quality deteriorates. This problem becomes more serious as the resolution and frame rate are increased.
  • image sensors have been actively used for realizing automatic driving, improving the safety of automobiles, or for face recognition.
  • a high number of pixels and a high frame rate are required, but a high dynamic range is required because it is necessary to reliably recognize even backlight or a tunnel exit.
  • an object of the present invention is to provide an image sensor capable of obtaining a high dynamic range without lowering the frame rate.
  • the structure of the current CMOS image sensor is influenced by the configuration of the television screen, and is configured to regularly and unilaterally capture an image by sequentially scanning pixels, read out the image, and transfer the image.
  • control based on a read image is also performed, but control is performed uniformly for all pixels as in control of an average exposure time, and control for each pixel cannot be performed.
  • the present inventor has proposed that the CMOS image sensor selects pixels for each row and simultaneously outputs pixel signals and resets the pixel signals to the pixel readout circuits in each column in parallel. It has been found that if column information is given to each pixel when is selected, it is possible to control the accumulated charge for each pixel, and the present invention has been achieved. According to this configuration, it is possible to control the amount of stored charge by changing the charge storage time and the charge storage capacity for each pixel. Therefore, the amount of stored charge is made appropriate according to the luminance of each pixel, and a high dynamic range is obtained. be able to.
  • the present inventor has also found that the pixel readout circuit corresponding to each pixel can be controlled for each column. Specifically, by controlling the current consumption in the pixel readout circuit and the resolution of the A / D converter, the power consumption of the pixel readout circuit corresponding to a pixel that does not need to be read can be reduced. Furthermore, by setting the resolution of the A / D converter high when the pixel signal is small and low when the pixel signal is large, it is possible to reduce the power consumption while improving the image quality. Furthermore, since the data rate of pixels that do not need to be read is not transferred, the data rate can be effectively reduced, so that the operation speed of the image processing circuit can be increased and the power consumption including the data transfer circuit can be reduced. Will be possible.
  • the image sensor according to the present invention includes a pixel region in which a plurality of pixels each including a sensor element that detects a physical quantity existing in the natural world and converts the physical amount into an electric signal are two-dimensionally arranged in a row direction and a column direction; And a row selection unit that contributes to reading of an electric signal from the pixel and resetting of the stored charge, and reading out an electric signal of each pixel selected by the row selection unit in a column-parallel manner.
  • a pixel reading unit; and a column selecting unit that selects a pixel in an arbitrary column from the pixel rows selected by the row selecting unit and controls the amount of accumulated charge of the selected pixel.
  • the column selection unit resets, for example, the stored charges for the unselected pixels.
  • the pixel has a source connected to a row selection line connected to the row selection unit and used for resetting the stored charge, a gate connected to a column selection line connected to the column selection unit, A MOS transistor having a drain connected to the gate of a transfer transistor for transferring the charge stored in the diode to the capacitor may be provided, and resetting of the stored charge may be controlled by the MOS transistor.
  • the column selection unit can transfer the stored charge of the unselected pixel to the capacitor.
  • the pixel has a source connected to a row selection line connected to the row selection unit and used for transferring stored charges, a gate connected to a column selection line connected to the column selection unit, A MOS transistor having a drain connected to the gate of a transfer transistor that transfers the accumulated charge of the diode to the capacitor may be provided, and the transfer of the accumulated charge may be controlled by the MOS transistor.
  • the column selection unit may control the charge storage amount by changing the charge storage capacity of the selected pixel.
  • a first row selection unit and a second row selection unit are provided on a row direction side of the pixel region, and a first column selection unit and a second column selection unit are provided on a column direction side.
  • the first row selection unit and the second row selection unit select pixels from an end closer to each row selection unit to a center in the row direction among the pixels in the pixel area
  • the first column selection unit may be configured to select a pixel from an end closer to each column selection unit to a center in a column direction among pixels in the pixel region.
  • a shift register is provided in the column selection unit, and a pixel control signal input to the column selection unit is transferred in a row direction by the shift register and input to the column selection unit.
  • the shift register may be configured to simultaneously output a column selection signal in response to the read timing signal.
  • the column selection unit may stop the signal transfer by the shift register.
  • the image sensor of the present invention has a pixel control signal generation unit that generates the pixel control signal, and determines whether the previous output signal is equal to or greater than a threshold value or less than a threshold value in the pixel control signal generation unit.
  • the image control signal may be generated by writing to the memory in units and reading the determination information from the memory in synchronization with the timing of the next frame.
  • the image sensor of the present invention has a pixel control signal generation unit that generates the pixel control signal, and the pixel control signal generation unit determines whether the previous output signal is equal to or greater than a threshold or less than a threshold, and the determination is performed.
  • the image control signal can be generated by reading the corrected information from the memory in synchronization with the timing of the next frame.
  • Another image sensor includes a pixel region in which a plurality of pixels each including a sensor element that detects a physical quantity existing in the natural world and converts it into an electric signal are two-dimensionally arranged in a row direction and a column direction; Is selected in units of rows, and a row selection unit that contributes to reading of an electronic signal from the pixels and a readout circuit are provided for each pixel column, and an electric signal of each pixel selected by the row selection unit is provided.
  • a read control unit for reading the data in a column parallel manner and controlling the read circuit.
  • the operation of the readout circuit may be selectively stopped by the readout control unit.
  • the resolution of the analog-to-digital converter constituting the readout circuit can be controlled by the readout control unit.
  • data transfer from an analog / digital converter included in the readout circuit may be controlled by the readout control unit.
  • each pixel is individually controlled so that the accumulated charge of the pixel becomes an appropriate amount, the dynamic range can be greatly expanded without reducing the frame rate.
  • FIG. 2 is a block diagram illustrating a configuration of the image sensor according to the first embodiment of the present invention.
  • FIG. 2 is a circuit diagram illustrating a configuration example of a pixel 1 illustrated in FIG. 1.
  • FIG. 3 is a circuit diagram illustrating another configuration example of the pixel 1 illustrated in FIG. 1.
  • FIG. 2 is a circuit diagram illustrating a configuration example of a column selection unit 4 illustrated in FIG. 1.
  • FIG. 3 is a diagram illustrating a control method of a pixel having the circuit configuration illustrated in FIG. 2.
  • FIG. 4 is a diagram illustrating operation timing of each row in the image sensor according to the first embodiment of the present invention.
  • FIG. 2 is a diagram showing a timing chart of signals input to a column selection unit 4 shown in FIG. 1.
  • FIG. 7 is a diagram illustrating a method of controlling pixels when incident light has low illuminance.
  • FIG. 3 is a diagram illustrating switching of pixels in the image sensor according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a high illuminance region and a low illuminance region of the image sensor according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a reset area of the image sensor according to the first embodiment of the present invention.
  • 3A and 3B are diagrams illustrating a method of forming a pixel control signal, where A is a block diagram of a logic circuit, and B is a flowchart.
  • FIG. 3 is a diagram illustrating switching of pixels in the image sensor according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a high illuminance region and a low illuminance region of the image sensor according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a
  • FIG. 2 is a block diagram illustrating a configuration of an image processing circuit of the image sensor according to the first embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a control example in a case where a captured image includes a moving subject.
  • FIG. 14 is a diagram illustrating another control example when a moving image is included in a captured image.
  • 7A to 7E are conceptual diagrams showing a method of detecting a motion from a difference between control information written in a memory.
  • FIGS. 3A to 3D are conceptual diagrams illustrating a method of forming motion-compensated pixel control data.
  • FIG. 6 is a circuit diagram illustrating a configuration example of a pixel in an image sensor according to a first modification of the first embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a control method of a pixel having the circuit configuration illustrated in FIG. 18.
  • FIG. 9 is a block diagram illustrating a configuration of an image sensor according to a second modification of the first embodiment of the present invention.
  • FIG. 21 is a diagram illustrating a control method of the image sensor illustrated in FIG. 20.
  • FIG. 10 is a diagram illustrating a signal readout area in the image sensor according to the second embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a relationship between a signal voltage and a resolution of an A / D converter.
  • FIG. 3 is a diagram illustrating a relationship between a signal voltage and energy consumption of an A / D converter.
  • FIG. 9 is a circuit diagram illustrating a configuration of a pixel and a read control unit of an image sensor according to a second embodiment of the present invention.
  • FIG. 4 is a diagram illustrating selected pixels and their resolutions.
  • FIG. 9 is a circuit diagram illustrating a configuration of a read control unit 23 of the image sensor 20 according to the second embodiment of the present invention.
  • FIG. 11 is a circuit diagram illustrating another configuration of the readout control unit 23 of the image sensor 20 according to the second embodiment of the present invention.
  • FIG. 11 is a block diagram illustrating a configuration of a conventional CMOS image sensor.
  • FIG. 9 is a diagram illustrating a charge accumulation time control method in the conventional CMOS image sensor 100.
  • FIG. 9 is a diagram showing a read timing and a reset timing of the conventional CMOS image sensor 100.
  • FIG. 7 is a diagram showing signals acquired by the method described in Patent Document 1, where A is a signal of a low illuminance frame, and B is a signal of a high illuminance frame. It is a figure which shows each frame structure for low illuminance and high illuminance.
  • FIG. 9 is a circuit diagram for expanding a dynamic range used in a conventional image sensor.
  • FIG. 9 is a diagram showing a pixel configuration for expanding a dynamic range used in a conventional image sensor.
  • FIG. 9 is a diagram illustrating an outline of an image sensor described in Patent Document 2.
  • FIG. 11 is a diagram illustrating a unit pixel structure of an image sensor described in Patent Document 2.
  • FIG. 1 is a block diagram illustrating the configuration of the image sensor according to the present embodiment.
  • the image sensor 10 of the present embodiment includes a row selection unit 2, a pixel readout unit 3, and a column selection unit around a pixel region in which a plurality of pixels 1 are two-dimensionally arranged in a row direction and a column direction.
  • a unit 4 and a timing generation unit 5 are provided.
  • Each pixel 1 in the pixel region includes a sensor element that detects a physical quantity existing in the natural world and converts the physical quantity into an electric signal.
  • the physical quantity existing in the natural world refers to visible light, infrared light, ultraviolet light, X-ray, electromagnetic wave, electric field, magnetic field, temperature, pressure, and the like.
  • the configuration of the pixel 1 is not particularly limited.
  • a configuration using a PIN photodiode and a complete transfer technique can be applied.
  • 2 and 3 are circuit diagrams showing a configuration example of the pixel 1 of the image sensor 10 shown in FIG.
  • the pixel 1 is configured such that a transistor M1 and a control line CS provided for each column are added to a general pixel, and the charge of the PIN photodiode 11 is transferred to the FD capacitor. 12 may be configured to control the gate of the transistor M2 to be transferred to the T.12. Further, as shown in FIG.
  • the pixel 1 is provided with a row selection line SG for resetting the charge stored in the PIN photodiode 11 and the transistor M1, and controls the gate of the transistor M3 for resetting the charge stored in the PIN photodiode 11. It may be configured.
  • the row selection unit 2 is connected to a row selection line provided for each pixel row, and selects an arbitrary pixel in a pixel region in units of a row to contribute to reading of an electric signal from the pixel and resetting of accumulated charges. And a row selection circuit is provided for each row.
  • the configuration of each row selection circuit of the row selection unit 2 is not particularly limited, and can be the same configuration as a conventional image sensor.
  • the pixel readout unit 3 reads out the electric signals of the pixels selected by the row selection unit 2 in a column-parallel manner, and is provided with an analog-to-digital conversion circuit that converts a voltage output from the pixel 1a into a digital value. I have. The signals converted by the analog / digital conversion circuit of the pixel reading unit 3 are sequentially output to the outside.
  • FIG. 4 is a circuit diagram showing a configuration example of the column selection unit 4. As shown in FIG. 4, the column selection unit 4 is provided with a plurality of flip-flops (F / F) 31 constituting a shift register operating in synchronization with a clock signal for each pixel column. The (F / F) 31 is connected in series.
  • the pixel control signal is input to, for example, the leftmost flip-flop (F / F) 31 in the figure, and is sequentially transferred to the rightmost flip-flop (F / F) 31 in the figure in synchronization with the clock signal.
  • the column selection unit 4 is provided with a flip-flop (F / F) 32 serving as a register of each flip-flop (F / F) 31.
  • Each flip-flop (F / F) 32 is provided based on a read timing signal. 32, signals for controlling the pixel 1a are output all at once.
  • Timing signal generator 5 The timing signal generator 5 generates a timing signal necessary for operation based on a reference clock signal, and outputs various timing signals and clock signals to the row selector 2, the pixel readout unit 3, and the column selector 4. And is composed of a pulse generation circuit and the like.
  • the configuration of the pulse generation circuit of the timing signal generator 5 is not particularly limited, and may be the same as that of a conventional image sensor.
  • FIG. 5 is a diagram showing a control method when the pixel 1 has the circuit configuration shown in FIG.
  • the RST signal which is one of a plurality of signals supplied to the row selection line becomes High (hereinafter, referred to as “H”)
  • the node of the FD capacitor 12 is pulled up to VDD.
  • the RS signal which is one of the plurality of signals supplied to the row selection line also becomes “H”
  • a reset level signal is sent to the pixel readout circuit as a Sig signal.
  • CDS correlated double detection
  • the RST signal becomes Low (hereinafter, referred to as “L”)
  • the TX signal which is one of a plurality of signals supplied to the row selection line, becomes “H” and the PIN photodiode 11 is transferred to the FD capacitor 12.
  • the electric charge is converted into a voltage in the FD capacitor 12 and sent to the pixel reading unit 3 as a Sig signal.
  • the Sig signal output from the FD capacitor 12 is used as a signal for correlated double detection (CDS), the difference from the signal of the reset level is obtained, and the signal is converted into a digital signal by the analog / digital conversion circuit of the pixel reading unit 3.
  • the signals are converted and sequentially output to a signal output terminal.
  • the CS signal supplied to the column selection line is “H”, and the transistor M1 is turned on, which is one of a plurality of signals supplied to the row selection line.
  • the TX signal becomes “H”
  • the transfer of the charge of the PIN photodiode 11 to the FD capacitor 12 is not prevented.
  • the RST signal which is one of a plurality of signals supplied to the row selection line of the pixel row for which the charge reset is performed, becomes “H”.
  • the CS signal supplied to the column selection line of the pixel for which the charge reset is performed is set to “H”
  • the CS signal supplied to the column selection line of the pixel for which the charge reset is not performed is set to “L”.
  • the TX signal which is one of a plurality of signals supplied to the row selection line at a slightly delayed timing, is set to “H”.
  • the transistor M1 Since the TX signal is connected to the gate of the transistor M2 that transfers the charge of the PIN photodiode 11 via the transistor M1 controlled by the CS signal, the transistor M1 is turned on when the CS signal is "H". Then, the “H” voltage of the TX signal is applied to the gate of the transistor M2, and the transistor M2 is turned on. As a result, the charges stored in the PIN photodiode 11 are reset.
  • the transistor M1 is turned off, and the gate voltage of the transistor M2 remains at the voltage ("L") of the TX signal before the CS signal becomes “L”. The state is turned off, and the charge of the PIN photodiode 11 is not reset.
  • the transistor M1 by using the transistor M1, the accumulated charge is calculated based on the logical product of the TX signal, which is one of a plurality of signals supplied to the row selection line, and the CS signal supplied to the column selection line. The pixel to be reset is determined.
  • the TX signal becomes “L”, and the accumulation of the electric charge of the PIN photodiode 11 is started again by the incident light.
  • the RST signal becomes “L”
  • the CS signal becomes “H”.
  • This charge reset operation is performed in a state where the RS signal is "L”, and the CS signal is always "H” at the time of reading, so that the reading operation is not affected.
  • the image sensor 10 of the present embodiment can reset the stored charges only for the necessary pixels by the above-described operation.
  • the pixel 1 has the circuit configuration shown in FIG. 3.
  • SG which is one of a plurality of signals supplied to the row selection line is selected.
  • the signal becomes “H”
  • the CS signal is set to “L” at the timing before and after the pixel that is not reset, and the CS signal is set to “H” at the pixel to be reset.
  • charge is determined based on the logical product of the SG signal, which is one of a plurality of signals supplied to the row selection line, and the CS signal supplied to the column selection line.
  • the pixel to be reset is selected.
  • FIG. 6 is a diagram showing the operation timing of each row in the image sensor 10 of the present embodiment.
  • L1 to L8 shown in FIG. 6 are pixel row numbers, and the smaller the number is, the higher the pixel column in the figure is.
  • the reset and signal readout are sequentially performed from L1 to L8, and the charge accumulation time is controlled by the reset so that the charge reset operation does not affect the signal readout. It has become.
  • a clock signal is input to the timing signal generator 5, and a timing signal such as a read timing signal and a DS timing signal required for the operation is generated.
  • the timing signal and the clock signal generated by the timing signal generation unit 5 are input to the row selection unit 2, the pixel reading unit 3, and the column selection unit 4.
  • the pixel control signal is input to the column selection unit 4 together with the clock signal and the read timing signal. These signals are input to the column selection unit 4 at the timing shown in FIG. 7, for example.
  • a TX signal, an RS signal, and an RST signal for sequentially selecting pixels in each row are input to the row selection circuit of the row selection unit 2, and an arbitrary pixel is selected in units of rows based on the signals.
  • the pixel control signal is input to the flip-flop 31, which operates in synchronization with the clock signal, and is transferred to the right stage in the figure. Then, after the pixel control signal is distributed to the flip-flops 31 of all columns, the pixel control signal is simultaneously taken into the flip-flop 32 serving as a register of each column at the edge of the read timing signal, and becomes a CS signal supplied to the column selection line. Used for controlling the readout pixel 1a.
  • FIG. 8 is a diagram illustrating a method of controlling pixels when incident light has low illuminance.
  • the image sensor 10 of the present embodiment even if the TX signal for transferring the charge stored in the PIN photodiode 11 is “H”, the CS signal of the pixel control signal is changed to “L”. Accordingly, the charge storage time may be extended without transferring the charge stored in the PIN photodiode 11 to the capacitance. According to this control method, the charge accumulated in the PIN photodiode 11 can be increased, so that high image quality can be ensured even when the incident light has low illuminance.
  • FIG. 9 is a diagram illustrating switching of pixels in the image sensor 10 according to the present embodiment.
  • the image sensor 10 of the present embodiment for example, when the dynamic range of the low illuminance pixel is 80 dB, the charge accumulation time of the high illuminance pixel is reduced by 50 dB, and the charge accumulation time of the high illuminance pixel is reduced by about Reduce to 1/300.
  • the entire dynamic range is improved to 130 dB.
  • FIG. 10 is a diagram showing a high illuminance region and a low illuminance region
  • FIG. 11 is a diagram showing a reset region.
  • the central portion of the pixel region becomes a high illuminance region 1h outside the tunnel, and the periphery thereof becomes a low illuminance region 11 inside the tunnel.
  • a more appropriate image signal can be obtained by controlling the corresponding central pixel as the reset target pixel (reset pixel) 1r as shown in FIG.
  • FIG. 12 is a diagram showing a method of forming a pixel control signal
  • FIG. 12A is a block diagram of a logic circuit
  • FIG. 12B is a flowchart.
  • the output signal of the image sensor outputs “1” representing a reset region and “0” representing a non-reset region by a threshold processing circuit.
  • the pixel control signal first reads the output signal D (i, j) from the image sensor.
  • the pixel control signal C (i, j) is read from the pixel control frame memory.
  • C (i, j) is “0” or “1”. As a result of the evaluation, when C (i, j) is “0”, D (i, j) is left as it is, and when C (i, j) is “1”, D (i, j) is set. The value obtained by multiplying the gain G is defined as D (i, j). Next, whether D (i, j) is larger or smaller than threshold value VTH is evaluated. As a result of the evaluation, if D (i, j) is larger than the threshold value VTH, a new C (i, j) is set to "1". If D (i, j) is smaller than the threshold value VTH, a new C (i, j) is set.
  • C (i, j) is set to “0” and written to the pixel control frame memory.
  • This new D (i, j) is output to the image processing circuit. Further, the new C (i, j) becomes a pixel control signal, and is used for controlling the accumulated charge of each pixel of the image sensor.
  • FIG. 13 is a diagram showing the operation of the image processing circuit.
  • the setting of the control target area can be performed using the image processing circuit 6 having a frame memory as shown in FIG.
  • the image processing circuit 6 is provided, for example, outside the image sensor 10 and receives an output signal from the image sensor 10 to generate a pixel control signal.
  • This pixel control signal can be generated, for example, based on pixel information of an image or image group one frame or more earlier.
  • the image or image group for example, at least one of luminance information, a motion vector, and value information (whether or not worth reading) can be used.
  • the pixel control signal generated by the image processing circuit 6 is output to the image sensor 10.
  • FIG. 14 and FIG. 15 are diagrams illustrating control examples when a moving subject is included in a captured image.
  • the motion vector 52 is extracted by using the immediately preceding frame 51a and the immediately preceding frame 51b, and the like. Using this motion vector 52, it is predicted whether the pixel of the target frame 51 should be a high illuminance pixel or a low illuminance pixel. This allows more accurate control.
  • FIG. 15 shows a state in which the car is traveling toward the exit of the tunnel, and the area without hatching in the center is the area corresponding to the exit of the tunnel, which is the area to be a high illuminance pixel.
  • a pixel control signal is obtained from the light intensity analysis result and the motion vector 52 obtained using the target frame 53, the previous frame 53a, the previous frame 53b, and the like. decide.
  • the image sensor according to the present embodiment solves this problem by using the difference between the previous and next frame memories in which the control signal is stored.
  • FIGS. 16A to 16E are conceptual diagrams showing a method of detecting a motion from a difference between pixel control information written in a memory.
  • FIG. 16A shows a difference between the (n-1) th frame and the (n) th frame when the reset area moves in the X direction.
  • the right side is difference +1
  • the center is difference 0
  • the left side is difference -1.
  • the value of the motion can be determined from the range of the displacement in the X direction in the area of the difference +1 or the difference -1.
  • FIG. 16B shows a difference between the (n ⁇ 1) th frame and the (n) th frame when the reset area moves in the Y direction.
  • the upper side is difference +1
  • the center is difference 0
  • the lower side is difference -1.
  • the value of the motion can be determined from the range of the displacement in the Y direction in the region of the difference +1 or the difference -1.
  • FIG. 16C shows a difference between the (n-1) th frame and the (n) th frame when the reset area moves in an oblique direction.
  • the upper side and the right side have a difference of +1
  • the center has a difference of
  • the lower side and the left side have a difference of ⁇ 1.
  • the motion vector value can be determined from the range of the displacement in the X direction and the Y direction in the area of the difference +1 or the difference -1.
  • FIG. 16D shows the difference between the (n ⁇ 1) th frame and the (n) th frame when the reset area is extended. In this case, all the differences in the left, right, up and down, that is, in the peripheral portion in the figure are +1. Therefore, the vector value of the motion to be extended can be found from the range of the difference +1 in the X and Y directions.
  • FIG. 16E shows a difference between the (n-1) th frame and the (n) th frame when the reset area is contracted. In this case, all the differences in the left, right, up and down, that is, in the peripheral portion in the figure become ⁇ 1. Thus, the vector value of the contracting motion can be found from the range of the difference ⁇ 1 in the X and Y directions.
  • a motion vector can be obtained from the difference between the (n-1) th frame and the (n) th frame.
  • the amount of calculation is extremely small, and the motion vector of the reset area can be obtained at high speed and with low power.
  • 17A to 17D are conceptual diagrams illustrating a method of forming a motion-compensated pixel control signal.
  • the (n-1) pixel control frame memory one frame before the current frame (n) is left.
  • the pixel control data of the current frame (n) is created by using the method shown in FIG.
  • difference data between the data C (n) of the frame (n) and the data C (n-1) of the frame (n-1) is obtained, and the data C (n) of the difference frame is obtained.
  • -C (n-1) is created.
  • the present invention is not limited to this, and the low illuminance pixel and the high illuminance pixel shown in FIG. When used, either signal output may be selected according to the pixel control signal.
  • the image sensor of the present embodiment can set the charge accumulation time of each pixel to be long for low illuminance and short for high illuminance.
  • the dynamic range can be greatly expanded without inducing.
  • the above-described configuration of the present invention can be used for high dynamic range, high reliability, high speed, low power consumption, low noise, and multiple pixels of an image sensor, and is limited to a visible light image sensor. It is also effective for infrared sensors, terahertz sensors, magnetic sensors, pressure sensors, and the like.
  • FIG. 18 is a circuit diagram illustrating a configuration example of a pixel in an image sensor according to a first modification of the first embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a control method of the pixel having the circuit configuration illustrated in FIG. It is.
  • a large-capacity capacitor 13 having a capacity several tens of times that of the normal FD capacitor 12 is provided. It is configured to prevent voltage saturation at the time of high illuminance.
  • a transistor M1 is inserted between the reset signal RST and the gate of the MOST transistor M4 for selecting the capacitor 13, and the gate is connected to the pixel control signal CS.
  • a capacitor CH for holding the gate voltage for a certain period is connected to the gate of the transistor M4, and the held charge is discharged by the MOS transistor M5.
  • FIG. 20 is a block diagram showing a configuration of the image sensor of the present modification
  • FIG. 21 is a diagram showing a control method of the image sensor shown in FIG. Since the control line for performing row selection and the control line for performing column selection have large capacities, electric energy is consumed in accordance with the transition of the logic of the control line, and power consumption increases.
  • row selection units 2a and 2b are arranged on the left and right sides of the pixel region, and the respective row selection lines make the right side or the left side in the figure from the center of the pixel region. It is configured to handle the part.
  • the column selection units 4a and 4b for performing column selection are arranged above and below the pixel region, and each column selection line covers an upper portion or a lower portion of the pixel region from the center of the pixel region.
  • the pixel control signal that is serial data has about two control bits before the column control signal. Is preferred.
  • a control code indicating which column is selected in the left and right columns or all columns are not selected is generated.
  • a corresponding column selection signal is generated and the corresponding column is not selected.
  • power consumption can be reduced by stopping data transfer using the shift register.
  • FIG. 22 is a block diagram illustrating a configuration of the image sensor according to the present embodiment.
  • a conventional image sensor has a purpose of faithfully reproducing a captured image, and thus generates an image using signals of all pixels.
  • an image sensor for the purpose of object recognition or moving object recognition it is sufficient if only the image information of the part to be recognized is taken into the image processing circuit, and it is not necessary to take the image information of other parts.
  • An analog image signal is extracted from each pixel, converted to a digital signal by an A / D converter, and transferred to an image processing circuit, which requires a certain amount of power consumption. Therefore, object recognition is performed using a conventional image sensor. When performing moving object recognition, a lot of useless power is consumed. In recent years, when it is necessary to read only a signal in a moving pixel area, it is increasingly necessary to read only a signal in a pixel area that requires object recognition or moving object recognition.
  • a weak signal in a dark scene greatly deteriorates the image quality when the readout noise of the A / D converter is large, and therefore, a high resolution N is required for the A / D converter.
  • the power consumption of the A / D converter is proportional to 22N in circuit theory, carelessly performing the A / D converter with a high resolution causes a significant increase in power consumption. For this reason, it is required to optimize the resolution of the A / D converter according to the state of the pixel signal.
  • the pixel readout circuit of each column is controlled for each row, and only the pixel readout circuit corresponding to the pixel (readout pixel) 1a selected and read out is operated, and the pixels which are not selected are operated. Control is performed to reduce the power consumption of the corresponding pixel readout circuit as much as possible. This makes it possible to significantly reduce the power consumption of the entire image sensor.
  • FIG. 23 is a diagram showing the relationship between the signal voltage and the resolution of the A / D converter.
  • FIG. 23 shows the signal levels of the pixels of the CMOS image sensor, shot noise inevitably generated from the conversion of photons to electrons, and the required resolution of the A / D converter of the readout circuit.
  • the readout noise of the A / D converter becomes inconspicuous if it is lower than the shot noise. Therefore, in order not to deteriorate the image quality, the readout noise of the A / D converter is about half of the shot noise.
  • the resolution of the A / D converter may be set such that
  • FIG. 24 is a diagram showing the relationship between the signal voltage and the energy consumption of the A / D converter. As shown in FIG. 24, as the signal level decreases, the resolution of the A / D converter needs to be increased. However, the energy consumption of the A / D converter is proportional to 22N, where N is the resolution. It has been known.
  • the resolution of the A / D converter is 14 bits
  • the energy consumption is 256 times that of the resolution of 10 bits. From this, it can be seen that there is an optimal resolution for achieving both image quality and low power consumption for each pixel signal level.
  • the image quality and the power consumption can be controlled for each pixel and the corresponding pixel readout circuit.
  • FIG. 25 is a circuit diagram showing a configuration of a pixel and a pixel readout circuit of the image sensor 20 of the present embodiment.
  • a source follower transistor is provided inside the pixel 1, and a current flows through the source follower transistor with a sink current provided for each readout circuit.
  • the signal can be read.
  • the read voltage is input to one input of a comparator 43, and the other input of the comparator 43 receives a reference voltage whose voltage changes linearly with time.
  • a clock pulse having a frequency that is an integral multiple or a fraction of the frequency of the input clock signal is generated and input to the counter 44.
  • the counter 44 counts a clock. For example, when the input signal and the reference signal match, a stop signal is generated from the comparator 43 to stop the counter 44, and the count value at that time becomes the A / D conversion output value corresponding to the signal output voltage from the pixel. Is output as
  • FIG. 26 is a diagram showing selected pixels and their resolutions. As for the resolution of each selected pixel shown in FIG. 26, the resolution A is 10 bits, the resolution B is 12 bits, and the resolution C is 14 bits.
  • a clock input to the counter 44 shown in FIG. 25 may be selected by the clock selection circuit 42 from a group of clocks having various frequencies according to these resolutions.
  • ⁇ ⁇ When the resolution is low, a low frequency clock is selected, and when the resolution is high, a high frequency clock is selected.
  • a clock having a frequency of 1: 4: 16 is selected according to the resolutions A, B, and C. Since the power consumption of the counter 44 is proportional to the clock frequency, the lower the resolution, the more the power consumption can be reduced. However, since the noise with respect to the signal is lower as the resolution is higher, it is necessary to optimize the signal in consideration of both the demand for the image quality and the demand for the power consumption.
  • FIG. 27 is a circuit diagram showing a configuration of the read control unit 23 of the image sensor 20 according to the present embodiment.
  • the read circuit control signal is input to a flip-flop (F / F) 31 constituting a shift register synchronized with a clock signal, sequentially transferred to the right side, and simultaneously input to a flip-flop 32 in synchronization with a read timing signal.
  • a flip-flop (F / F) 31 constituting a shift register synchronized with a clock signal, sequentially transferred to the right side, and simultaneously input to a flip-flop 32 in synchronization with a read timing signal.
  • FIG. 28 is another circuit diagram illustrating the configuration of the read control unit 23 of the image sensor 20 according to the present embodiment.
  • the read control unit 23 inputs a data transfer control signal to a flip-flop (F / F) 31 constituting a shift register synchronized with a clock signal, and sequentially transfers the data to the right side in the figure. After that, they are simultaneously input to the flip-flop 32 in synchronization with the read timing signal.
  • data transfer from the A / D conversion circuit 33 is controlled by controlling the gate circuit 34.
  • the image sensor of the present embodiment controls the pixel readout circuits of each column for each row, operates only the pixel readout circuit corresponding to the pixel selected to be read out (readout pixel), and selects the pixel readout circuit.
  • the power consumption of the pixel readout circuit corresponding to the non-existing pixel is reduced as much as possible, it is possible to greatly reduce the power consumption of the entire image sensor.
  • the resolution of the A / D converter constituting the readout circuit is changed according to the signal intensity of the pixel, so that the image quality and the power consumption can be optimized. Further, in the image sensor according to the present embodiment, by controlling data transfer from the A / D converter, power consumption caused by data transfer can be reduced.
  • a COMS image sensor has been described as an example.
  • the present invention is not limited to this, and can be applied to a two-dimensional image sensor for other uses.
  • the image sensor includes an infrared sensor, a terahertz sensor, a magnetic sensor, and a pressure sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Physics & Mathematics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Power Engineering (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Glass Compositions (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

フレームレートを下げずに高いダイナミックレンジを得ることが可能なイメージセンサを提供する。　イメージセンサ１０を、自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域１と、画素領域１の任意の画素を行単位で選択し、画素からの電気信号の読出し及び蓄積電荷のリセットに寄与する行選択部２と、行選択部２により選択された各画素の電気信号を列並列に読み出す画素読出し部３と、行選択部３により選択された画素行の中から任意の列の画素を選択し、選択された画素の蓄積電荷量を制御する列選択部４を備える構成とする。

Description

イメージセンサ
　本発明は、イメージセンサに関する。
　イメージセンサは、スマートフォンのみならず、ドライブレコーダ、電子ミラー、自動運転、ロボット及び内視鏡など多くの用途に大量に使用されており、その用途は今後も拡大を続けることが予想される。また、イメージセンサは、これまでは人間の目に迫るべく解像度や画質を向上させてきたが、今後は物体認識や動体認識などのように、人間の目にはできない高速の認識や判断まで求められるものと考えられる。
　図２９は従来の代表的なイメージセンサであるＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサの構成を示すブロック図である。図２９に示すように、ＣＭＯＳイメージセンサ１００では、複数の画素１０１が行方向及び列方向に２次元配置されている。行選択回路１０２は行単位で画素を選択するものであり、行選択回路１０２により選択された画素（読み出し画素）１０１ａは、各画素で検出した光の照度に応じた電圧を一斉に出力する。
　列読出回路１０３は、画素から出力された電圧をデジタル値に変換するものであり、アナログ・デジタル変換器（以下、Ａ／Ｄ変換器という。）などで構成されている。そして、列読出回路１０３で変換された信号は、転送回路１０４を通じて順次出力される。パルス発生回路１０５は、クロック信号が入力され、動作に必要なタイミング信号を発生するものであり、発生したタイミング信号は行選択回路１０２、列読出回路１０３及び転送回路１０４に入力される。
　図３０は従来のＣＭＯＳイメージセンサ１００における電荷蓄積時間制御の説明図であり、図３１はその読み出しタイミングとリセットタイミングを示す図である。図３０に示すように、従来のＣＭＯＳイメージセンサ１００では、図中上方の画素から順に電圧を読み出す。また、読み出し画素１０１ａが読み出されるタイミングで、その２行下の画素（リセット画素）１０１ｂがリセットされる。
　図３１に示すように、従来のＣＯＭＳイメージセンサは、読み出しの少し手前のタイミングでリセットをかけることにより、いったん蓄積されていた電荷をリセットさせて再度電荷蓄積を始める。この方法では、蓄積時間が短く、信号量も少なくなるため、高照度の信号に対しても飽和することなく良好な画質が得られるが、フレーム内で同一の電荷蓄積時間しか実現できないため、通常はリセットをかけない低照度用フレームとリセットをかける高照度用フレームを交互に繰り返す必要がある。
　このように従来のＣＭＯＳイメージセンサ１００は、画素や列読出回路１０３のパラメータが一律に設定されているため、性能に限界がある。具体的には、従来のイメージセンサでは、電荷蓄積時間や電荷蓄積容量を画素毎に最適化していないため、蓄積電荷が最適化されておらず、必要なダイナミックレンジを確保することができないという問題点がある。
　イメージセンサは、ダイナミックレンジが大きいセンシング情報を、的確に取得することが求められる。例えばフォトダイオードの場合、通常撮影でのダイナミックレンジは６０～８０ｄＢであるが、逆光時や晴天時のトンネルの出口などの撮影では１２０～１５０ｄＢと極めて高いダイナミックレンジが要求される。
　このような過酷な状況での撮像に対処するため、従来、様々な方法が提案されている（特許文献１，２及び非特許文献１，２参照）。その中でも、代表的なものは、特許文献１に記載されている２種類の異なる露光時間で各フレームを撮像し、その信号（低照度信号・高照度信号）を合成することでダイナミックレンジの拡大を図る方法である。図３２Ａ，Ｂは特許文献１に記載の方法で取得される信号を示す図であり、図３２Ａは低照度用フレームの信号、図３２Ｂは高照度用フレームの信号である。また、図３３は低照度用及び高照度用の各フレーム構成を示す図である。
　図３２Ａ，Ｂに示すように、フォトダイオードのリセット信号とリセット信号の間の期間が信号電荷の蓄積時間である。各画素で得られる信号電圧は照度と信号蓄積時間の積に比例するので、信号電荷蓄積時間を制御することによりダイナミックレンジの拡大を図ることができる。従来のイメージセンサでは、信号電荷蓄積時間の制御はフレーム単位で行われており、図３３に示すように蓄積時間の長い低照度用フレーム１１０と蓄積時間の短い高照度用フレーム１１１を交互に出力し、これら２つのフレーム信号を合成することで適切な画像を得ている。
　また、ダイナミックレンジを拡大するための他の方法も提案されている。図３４は従来のイメージセンサで用いられているダイナミックレンジ拡大のための回路図である。図３４に示す回路では、光により発生したフォトダイオード１２０の蓄積電荷を電圧に変換する容量として、通常の数ｆＦのフローティングデヒュージョン容量（ＦＤ容量）１２２に加え、高照度信号用に数１００ｆＦ～数ｐＦの大容量の容量１２１も設けている。この回路では、容量選択のために信号の適切な読み出しが必要となるため、簡便には、ＦＤ容量１２２を用いた低照度用のフレームと、大容量の容量１２１を用いた高照度用のフレームを交互に出力する。
　図３５は従来のイメージセンサで用いられているダイナミックレンジ拡大のための画素構成を示す図である。図３５に示す画素１３０は、面積が大きい低照度用画素１３１と、面積が小さい高照度用画素１３２を備えている。この画素１３０では、必要に応じて電荷を電圧に変換する容量も小さな容量と大きな容量で構成することで、低照度信号に適した信号と高照度用に適した信号の出力を可能にしている。
　更に、特許文献２には、画素領域の任意形状の領域に対して選択的に電子シャッタ動作を実行可能なイメージセンサが開示されている。図３６は特許文献２に記載のイメージセンサの概要を示す図である。図３６に示すイメージセンサ２００は、垂直方向に、信号の取り出しを行う電荷転送用スキャナ２０１と、蓄積電荷のリセットを行う電子シャッタ用スキャナ２０２とが設けられており、水平方向には水平方向画素選択スキャナ２０３が配置されている。
　このイメージセンサ２００では、タイミング信号発生回路２０４から、荷転送用スキャナ２０１と電子シャッタ用スキャナ２０２に、タイミング信号が入力される。そして、電子シャッタ用スキャナ２０２から出力された信号と外部入力信号との論理積が取られて、画素領域２０５の画素が選択される。また、水平方向画素選択スキャナ２０３によって、水平方向に画素が選択される。
　図３７は図３６に示すイメージセンサ２００の単位画素構造を示す図である。図３７に示す画素２１０では、信号読み出し時は、先ず、ｍ番目の画素の信号を読み出す前にＨＳＥＬ（ｍ－１）の信号が“Ｈ”になり、ｍ番目の画素のリセットトランジスタＴｒが動作し、フローティングデヒュージョンノードＦＤの電圧がリセットレベルまで上昇する。次に、ＨＳＳ（ｍ）の信号が“Ｈ”になると共に、ＶＳＯＵＴ（ｎ）の信号が“Ｈ”になり、転送制御トランジスタＴｙをオンにし、画素（ｎ，ｍ）のリセットレベルの信号が信号出力として外部に取り出されて、ＣＤＳ（相関２重検出）の基準信号として用いられる。
　次に、ＨＳＥＬ（ｍ－１）が“Ｌ”、ＨＳＥＬ（ｍ）が“Ｈ”となる。この状態でＶＳＥＬ（ｎ）が”Ｈ”になると、トランジスタＴｘｙがオンとなり、トランジスタＴｔを通じて、フォトダイオードＰＤに蓄積されていた電荷がフローティングデヒュージョンノードＦＤに吐き出される。そして、ソースフォロワを構成するトランジスタＴａでバッファされた画素（ｎ，ｍ）のレベルの信号が信号出力として外部に取り出され、ＤＳ（相関２重検出）の信号として用いられる。
　一方、電子シャッタのための電荷のリセット時は、電子シャッタ用スキャナ２０２の信号と外部入力信号との論理積が取られ、信号ＶＳＥＬ（ｎ）となる。リセット対象の場合、ＶＳＥＬ（ｎ）は”Ｈ”になっており、ＶＳＯＵＴ（ｎ）は”Ｌ”になっている。そして、ＨＳＥＬ（ｍ）が”Ｈ”になると、ＶＳＥＬ（ｎ）が”Ｈ”のときにトランジスタＴｘｙがオンとなり、トランジスタＴｔを通じて、フォトダイオードＰＤに蓄積されていた電荷がフローティングデヒュージョンノードＦＤに吐き出される。
　このとき、それまで蓄積されていた電荷に対応した電圧がＳＩＧ（ｎ）に現れるが、ＶＳＯＵＴ（ｎ）は”Ｌ”なので、この電圧が出力信号に現れることはない。また、次の水平選択動作ではＨＳＥＬ（ｍ）は”Ｌ”になるので、ＶＳＥＬ（ｎ）の論理状態にかかわらずトランジスタＴｘｙはオフになり、フォトダイオードＰＤは光量に応じた電荷蓄積を開始する。イメージセンサ２００は、以上の動作を基本として、ＶＳＥＬの信号を水平方向画素選択スキャン信号に同期して、同一の速度で外部入力信号に変調をかけると、画素領域２０５の任意形状の領域に対して選択的に電子シャッタ動作を実行できる。
特開２００３－２５００９４号公報 特開２００３－１４３４８５号公報
S. Sugawa, et al.、"A 100 dB dynamic range CMOS image sensor using a lateral overflow integration capacitor"、ISSCC (IEEE International Solid-State Circuits Conference) Digest of Technical Papers、ＩＥＥＥ、２００５年２月、pp.352-353 K. Nishimura, et al.、"An Over 120dB Simultaneous-Capture Wide-Dynamic-Range 1.6e- Ultra-Low-Reset-Noise Organic Photoconductive-Film CMOS Image Sensor"、 ISSCC Digest of Technical Papers、ＩＥＥＥ、２０１６年２月、pp.110-111
　しかしながら、前述した露出時間が異なる信号を合成する方法は、実効的なフレームレートが半分になるため、高速撮像には適用できず、また、低照度用フレームの信号は蓄積時間が半分になるため、画像の信号対雑音比（Ｓ／Ｎ比）が低下するという課題がある。
　この課題を解決し、実効的なフレームレートを従来と同一にするには、２倍のデータレートで信号を処理して伝送すればよいが、そのためには画素数やフレームレートを増やす必要があり、現実的ではない。例えば、８Ｋ対応のイメージセンサの場合、フレーム数を６０フレーム／秒、Ａ／Ｄ変換器の分解能を１２ｂｉｔとすると、出力信号のデータレートは約２４Ｇｂｉｔ／秒になるため、これ以上出力信号のデータレートを上げることは困難である。
　また、図３４に示す回路を用いる方法は、前述した課題の他に、画素の縮小に伴い高照度信号用の容量の集積が困難になるという課題がある。更に、図３５に示す画素構成を用いる方法は、画素からの信号が２組になるため、Ａ／Ｄ変換器などの画素信号の処理回路が２倍になる他、イメージセンサからのデータ出力レートが２倍になるため、高速化及び低消費電力化の観点から好ましくない。このため、低照度用のフレームと大容量を用いた高照度用のフレームを交互に出力する場合は、先に述べた２つの方法と同様の課題がある。更に、図３５に示す画素の面積でダイナミックレンジを拡大する方法も、画素の縮小に伴い適用が難しくなっている。
　一方、特許文献２に記載のイメージセンサのように、画素領域の任意形状の領域に対して選択的に電子シャッタ動作を実行する方法は、垂直画素選択信号が高い周波数で変動し、消費電力及びセットリングやノイズなどの観点で好ましくない。例えば、画素を水平方向にＮＨ個、垂直方向にＮＶ個、フレーム数をＦｆｌとすると、外部入力信号で変調をかけないときの垂直選択信号ＶＳＥＬの動作周波数は、Ｆｆｌ×ＮＶとなる。一方、外部入力信号で変調をかけたときの垂直選択信号ＶＳＥＬの最大動作周波数は、Ｆｆｌ×ＮＶ×（ＮＨ／２）となる。従って、外部入力信号で変調をかけたときの垂直選択信号ＶＳＥＬ最大動作周波数は、（ＮＨ／２）倍高くなる。
　ここで、フレーム数Ｆｆｌを毎秒６０フレームとした場合、フルハイビジョン（ＮＨ＝２０００、ＮＶ＝１０００）、４Ｋカメラ（ＮＨ＝４０００、ＮＶ＝２０００）、８Ｋカメラ（ＮＨ＝８０００、ＮＶ＝４０００）の垂直選択信号ＶＳＥＬの動作周波数は、外部入力信号で変調をかけないときは、それぞれ６０ｋＨｚ、１２０ｋＨｚ、２４０ｋＨｚであるが、外部入力信号で変調をかけたときは、それぞれ６０ＭＨｚ、２４０ＭＨｚ、９６０ＭＨｚとなる。
　各画素の消費電力は、容量、動作周波数、電圧振幅の２乗の積に比例するが、それぞれの垂直選択信号ＶＳＥＬには数千のトランジスタが接続され、３Ｖ程度の振幅でスイングさせるため、消費電力が著しく増大し、外部入力信号で変調をかけない場合の数千倍に達する。更に、この方法では、セットリング特性の悪化や寄生容量、寄生インダクタンスなどによるアナログ特性の劣化が生じる。即ち、特許文献２に記載のイメージセンサのように画素領域の任意形状の領域に対して選択的に電子シャッタ動作を実行する方法には、動作周波数と消費電力の著しい増大を招くと共に、アナログ特性を劣化させ、画質の劣化を招くという問題がある。この問題は、解像度やフレームレートを向上させると、より深刻になる。
　近年、自動運転の実現や自動車の安全性を高めるため、或いは顔認識のために、イメージセンサの利用が盛んになっている。これらの用途では、高画素数及び高フレームレートが求められる一方で、逆光やトンネルの出口などにおいても確実に認識することが必要なため、高いダイナミックレンジが要求される。
　そこで、本発明は、フレームレートを下げずに高いダイナミックレンジを得ることが可能なイメージセンサを提供することを目的とする。
　本発明者は、前述した課題を解決するために鋭意検討を行った結果、以下に示す知見を得た。現在のＣＭＯＳイメージセンサの構造は、テレビ画面の構成の影響を受けており、画素の順次スキャンにより、規則的かつ一方的に画像を撮像し、読み出して転送する構造となっている。従来のイメージセンサでは、読みだされた画像による制御も行われているが、平均露光時間の制御のように全画素一律に行われ、画素毎の制御はできていない。
　そこで、本発明者は、ＣＭＯＳイメージセンサは行毎に画素を選択して各列の画素読出回路に対して並列的に一斉に画素信号の出力及び画素信号のリセットを行うが、行毎に画素を選択したときに各画素に列情報を与えれば画素毎の蓄積電荷の制御が可能になることを見出し、本発明に至った。この構成によれば、画素毎に電荷蓄積時間や電荷蓄積容量を変化させることで蓄積電荷量の制御が可能となるため、各画素の輝度に応じて蓄積電荷を適量にし、高いダイナミックレンジを得ることができる。
　また、本発明者は、各画素に対応する画素読出回路についても、列毎に制御が可能であることを見いだした。具体的には、画素読出回路における消費電流やＡ／Ｄ変換器の分解能を制御することで、読み出し不要な画素に対応する画素読出回路の消費電力を低減することができる。更に、Ａ／Ｄ変換器の分解能を、画素信号が小さい場合は高く、画素信号が大きい場合は低くすることにより、画質を向上させながら消費電力を低減させることができる。更にまた、読み出し不要の画素のデータを転送しないようにすることで、データレートを実効的に低減できるため、画像処理回路の演算速度を速めると共にデータ転送回路を含めた消費電力を低減することが可能になる。
　即ち、本発明に係るイメージセンサは、自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、前記画素領域の任意の画素を行単位で選択し、前記画素からの電気信号の読出し及び蓄積電荷のリセットに寄与する行選択部と、前記行選択部により選択された各画素の電気信号を列並列に読み出す画素読出し部と、前記行選択部により選択された画素行の中から任意の列の画素を選択し、選択された画素の蓄積電荷量を制御する列選択部とを有する。
　前記列選択部は、例えば、選択しなかった画素に対して蓄積電荷のリセットを行う。
　その場合、前記画素は、前記行選択部に接続され蓄積電荷のリセットに用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷のリセットを制御してもよい。
　又は、前記列選択部は、選択しなかった画素の蓄積電荷を容量に転送することもできる。
　その場合、前記画素は、前記行選択部に接続され蓄積電荷の転送に用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷の転送を制御してもよい。
　又は、前記列選択部は、選択した画素の電荷蓄積容量を変更することで電荷蓄積量を制御してもよい。
　本発明のイメージセンサは、前記画素領域を挟んで行方向側に第１行選択部及び第２行選択部が、列方向側に第１列選択部及び第２列選択部がそれぞれ設けられており、前記第１行選択部及び前記第２行選択部は、前記画素領域の画素のうち各行選択部に近い側の端部から行方向中央までの画素を選択し、前記第１列選択部及び第２列選択部は、前記画素領域の画素のうち各列選択部に近い側の端部から列方向中央までの画素を選択する構成とすることもできる。
　本発明のイメージセンサは、前記列選択部にはシフトレジスタが設けられており、前記列選択部に入力された画素制御信号は前記シフトレジスタによって行方向に転送され、前記列選択部に入力された読み込みタイミング信号によって前記シフトレジスタから一斉に列選択信号が出力される構成としてもよい。
　その場合、前記列選択部は、全ての列が選択されないことを示す制御コードを有する画素制御信号が入力された場合、前記シフトレジスタによる信号の転送を停止してもよい。
　本発明のイメージセンサは、前記画素制御信号を生成する画素制御信号生成部を有し、該画素制御信号生成部において先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、次のフレームのタイミングに同期して前記判定情報を前記メモリから読出すことにより前記画像制御信号を生成してもよい。
　又は、本発明のイメージセンサは、前記画素制御信号を生成する画素制御信号生成部を有し、該画素制御信号生成部では、先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、前記メモリに書き込まれた連続する２以上のフレームの情報の差分から被写体の動きを予測し、この予測された動きに基づいて補正した情報を前記メモリに書き込み、次のフレームのタイミングに同期して前記補正した情報を前記メモリから読出すことにより前記画像制御信号を生成することもできる。
　本発明に係る他のイメージセンサは、自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、前記画素領域の任意の画素を行単位で選択し、前記画素から電子信号の読出しに寄与する行選択部と、画素列毎に読出回路が設けられ、前記行選択部により選択された各画素の電気信号を列並列に読み出すと共に、前記読出回路を制御する読出し制御部とを有する。
　この他のイメージセンサでは、前記読出し制御部により前記読出回路の動作を選択的に停止させてもよい。
　又は、前記読出し制御部により前記読出回路を構成するアナログ・デジタル変換器の分解能を制御することもできる。
　又は、前記読出し制御部により前記読出回路を構成するアナログ・デジタル変換器からのデータ転送を制御してもよい。
　本発明によれば、画素の蓄積電荷が適量になるよう各画素を個別に制御しているため、フレームレートの減少を招くことなくダイナミックレンジを大幅に拡大することができる。
本発明の第１の実施形態のイメージセンサの構成を示すブロック図である。 図１に示す画素１の構成例を示す回路図である。 図１に示す画素１の他の構成例を示す回路図である。 図１に示す列選択部４の構成例を示す回路図である。 図２に示す回路構成を有する画素の制御方法を示す図である。 本発明の第１の実施形態のイメージセンサにおける各行の動作タイミングを示す図である。 図１に示す列選択部４に入力される各信号のタイミングチャートを示す図である。 入射光が低照度の場合の画素の制御方法を示す図である。 本発明の第１の実施形態のイメージセンサにおける画素の切り替えを示す図である。 本発明の第１の実施形態のイメージセンサの高照度領域及び低照度領域を示す図である。 本発明の第１の実施形態のイメージセンサのリセット領域を示す図である。 Ａ，Ｂは画素制御信号を形成する方法を示す図であり、Ａは論理回路ブロック図、Ｂはフローチャートである。 本発明の第１の実施形態のイメージセンサの画像処理回路の構成を示すブロック図である。 撮像画像に動きのある被写体が含まれている場合の制御例を示す図である。 撮像画像に動きのある被写体が含まれている場合の他の制御例を示す図である。 Ａ～Ｅはメモリに書きこまれた制御情報の差分から動きを検出する方法を示す概念図である。 Ａ～Ｄは動き補償された画素制御データの形成方法を示す概念図である。 本発明の第１の実施形態の第１変形例のイメージセンサにおける画素の構成例を示す回路図である。 図１８に示す回路構成を有する画素の制御方法を示す図である。 本発明の第１の実施形態の第２変形例のイメージセンサの構成を示すブロック図である。 図２０に示すイメージセンサの制御方法を示す図である。 本発明の第２の実施形態のイメージセンサにおける信号読出し領域を示す図である。 信号電圧とＡ／Ｄ変換器の分解能との関係を示す図である。 信号電圧とＡ／Ｄ変換器の消費エネルギーとの関係を示す図である。 本発明の第２の実施形態のイメージセンサの画素と読出し制御部の構成を示す回路図である。 選択された画素とその分解能を示す図である。 本発明の第２の実施形態のイメージセンサ２０の読出し制御部２３の構成を示す回路図である。 本発明の第２の実施形態のイメージセンサ２０の読出し制御部２３の他の構成を示す回路図である。 従来のＣＭＯＳイメージセンサの構成を示すブロック図である。 従来のＣＭＯＳイメージセンサ１００における電荷蓄積時間制御方法を示す図である。 従来のＣＭＯＳイメージセンサ１００の読み出しタイミングとリセットタイミングを示す図である。 特許文献１に記載の方法で取得される信号を示す図であり、Ａは低照度用フレームの信号、Ｂは高照度用フレームの信号である。 低照度用及び高照度用の各フレーム構成を示す図である。 従来のイメージセンサで用いられているダイナミックレンジ拡大のための回路図である。 従来のイメージセンサで用いられているダイナミックレンジ拡大のための画素構成を示す図である。 特許文献２に記載のイメージセンサの概要を示す図である。 特許文献２に記載のイメージセンサの単位画素構造を示す図である。
　以下、本発明を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
（第１の実施形態）
　先ず、本発明の第１の実施形態に係るイメージセンサについて説明する。図１は本実施形態のイメージセンサの構成を示すブロック図である。図１に示すように、本実施形態のイメージセンサ１０は、複数の画素１が行方向及び列方向に２次元配置された画素領域の周囲に、行選択部２、画素読出し部３、列選択部４及びタイミング発生部５などが設けられている。
［画素１］
　画素領域の各画素１は、それぞれ自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える。ここで、自然界に存在する物理量とは、可視光、赤外光、紫外線、Ｘ線、電磁波、電界、磁界、温度、圧力などをいう。
　画素１の構成は特に限定されるものではないが、例えば可視光を検出するＣＭＯＳセンサの場合、ＰＩＮフォトダイオードと完全転送技術を用いた構成を適用することができる。図２，３は図１に示すイメージセンサ１０の画素１の構成例を示す回路図である。具体的には、図２に示すように、画素１は、一般的な画素に対して、トランジスタＭ１と、列ごとに設けられた制御線ＣＳを追加し、ＰＩＮフォトダイオード１１の電荷をＦＤ容量１２に転送するトランジスタＭ２のゲートを制御する構成とすることができる。また、図３に示すように、画素１に、ＰＩＮフォトダイオード１１の蓄積電荷をリセットする行選択線ＳＧとトランジスタＭ１を設け、ＰＩＮフォトダイオード１１の蓄積電荷をリセットするトランジスタＭ３のゲートを制御する構成にしてもよい。
［行選択部２］
　行選択部２は、画素行毎に設けられた行選択線に接続され、画素領域の任意の画素を行単位で選択して、画素からの電気信号の読出しや蓄積電荷のリセットに寄与するものであり、行ごとに行選択回路が設けられている。行選択部２の各行選択回路の構成は、特に限定されるものではなく、従来のイメージセンサと同様の構成とすることができる。
［画素読出し部３］
　画素読出し部３は、行選択部２により選択された各画素の電気信号を列並列に読み出すものであり、画素１ａから出力された電圧をデジタル値に変換するアナログ・デジタル変換回路が設けられている。画素読出し部３のアナログ・デジタル変換回路で変換された信号は、順次外部に出力される。
［列選択部４］
　列選択部４は、画素列毎に設けられた列選択線に接続され、外部から入力される画素制御信号に基づき行選択部２により選択された画素行の中から読出画素１ａを選択し、選択された画素１ａの蓄積電荷量を個別に制御するものである。図４は列選択部４の構成例を示す回路図である。図４に示すように、列選択部４には、画素列毎にクロック信号に同期して動作するシフトレジスタを構成する複数のフリップフロップ（Ｆ／Ｆ）３１が設けられており、各フリップフロップ（Ｆ／Ｆ）３１は直列に接続されている。
　そして、画素制御信号は、例えば図中左端のフリップフロップ（Ｆ／Ｆ）３１に入力され、クロック信号に同期し、順次図中右側のフリップフロップ（Ｆ／Ｆ）３１に転送される。更に、列選択部４には、各フリップフロップ（Ｆ／Ｆ）３１のレジスタとなるフリップフロップ（Ｆ／Ｆ）３２が設けられており、読込タイミング信号に基づいて各フリップフロップ（Ｆ／Ｆ）３２から画素１ａを制御するための信号が一斉に出力される、
［タイミング信号発生部５］
　タイミング信号発生部５は、基準となるクロック信号に基づいて動作に必要なタイミング信号を生成し、各種タイミング信号及びクロック信号を行選択部２、画素読み出し部３及び列選択部４に出力するものであり、パルス発生回路などで構成されている。タイミング信号発生部５のパルス発生回路の構成は、特に限定されるものではなく、従来のイメージセンサと同様の構成とすることができる。
［動作］
　次に、図１に示すイメージセンサ１０の動作について、各画素の電荷蓄積時間を個別に制御する場合を例に説明する。図５は画素１が図２に示す回路構成を有する場合の制御方法を示す図である。画素１の読み出し動作では、行選択線に供給される複数の信号のうちの１つであるＲＳＴ信号がＨｉｇｈ（以下、”Ｈ”という。）になり、ＦＤ容量１２のノードをＶＤＤまで引き上げる。このとき、図５に示すように、行選択線に供給される複数の信号のうちの１つであるＲＳ信号も”Ｈ”になり、Ｓｉｇ信号として画素読出回路にリセットレベルの信号が送られ、相関二重検出（ＣＤＳ）用の信号として使用される。
　次に、ＲＳＴ信号がＬｏｗ（以下、”Ｌ”という。）になり、しばらくすると行選択線に供給される複数の信号のうちの１つであるＴＸ信号が”Ｈ”になり、ＰＩＮフォトダイオード１１の電荷がＦＤ容量１２に転送される。電荷は、ＦＤ容量１２において電圧に変換されＳｉｇ信号として画素読出し部３に送られる。ＦＤ容量１２から出力されたＳｉｇ信号は、相関二重検出（ＣＤＳ）用の信号として使用され、リセットレベルの信号との差分が取られ、画素読出し部３のアナログ・デジタル変換回路でデジタル信号に変換され、信号出力端に順次出力される。
　上述した動作においては、列選択線に供給されるＣＳ信号は”Ｈ”になっており、トランジスタＭ１はオン状態になるため、行選択線に供給される複数の信号のうちの１つであるＴＸ信号が”Ｈ”になることでＰＩＮフォトダイオード１１の電荷のＦＤ容量１２への転送を妨げないようになっている。
　一方、電荷蓄積時間を短縮するために行う電荷リセット動作では、先ず電荷リセットを行う画素行の行選択線に供給される複数の信号のうちの１つであるＲＳＴ信号が”Ｈ”になる。同時に、電荷リセットを行う画素の列選択線に供給されるＣＳ信号を”Ｈ”にし、電荷リセットを行わない画素の列選択線に供給されるＣＳ信号を”Ｌ”にする。この状態で、やや遅れたタイミングで行選択線に供給される複数の信号のうちの１つであるＴＸ信号を”Ｈ”にする。
　ＴＸ信号は、ＣＳ信号により制御されたトランジスタＭ１を介して、ＰＩＮフォトダイオード１１の電荷を転送するトランジスタＭ２のゲートに接続されているので、ＣＳ信号が”Ｈ”のときはトランジスタＭ１がオン状態となり、ＴＸ信号の”Ｈ”の電圧がトランジスタＭ２のゲートに印加され、トランジスタＭ２がオンになる。これにより、ＰＩＮフォトダイオード１１に蓄積された電荷がリセットされる。
　一方、ＣＳ信号が”Ｌ”のときはトランジスタＭ１がオフ状態となり、トランジスタＭ２のゲート電圧はＣＳ信号が”Ｌ”となる前のＴＸ信号の電圧（”Ｌ”）のままなので、トランジスタＭ２はオフ状態となり、ＰＩＮフォトダイオード１１の電荷はリセットされない。上述した動作においては、トランジスタＭ１を用いることにより行選択線に供給される複数の信号のうちの１つであるＴＸ信号と、列選択線に供給されるＣＳ信号の論理積に基づき蓄積電荷をリセットする画素を決定している。
　次に、ＴＸ信号が”Ｌ”になり、再度入射光によりＰＩＮフォトダイオード１１の電荷の蓄積が開始される。しばらくするとＲＳＴ信号が”Ｌ”になり、ＣＳ信号が”Ｈ”になる。この電荷リセット動作はＲＳ信号が”Ｌ”になった状態で行われ、読み出し時にはＣＳ信号は常時”Ｈ”になっているので、読出し動作に影響を与えることはない。本実施形態のイメージセンサ１０は、前述した動作により、必要な画素に対してのみ蓄積電荷のリセットを行うことができる。
　なお、画素１が図３に示す回路構成を有する場合も同様であり、ＰＩＮフォトダイオード１１の蓄積電荷をリセットするタイミングで、行選択線に供給される複数の信号のうちの１つであるＳＧ信号が”Ｈ”になるが、リセットを行わない画素に対してはその前後のタイミングでＣＳ信号を”Ｌ”にし、リセットを行う画素に対してはＣＳ信号を”Ｈ”にし続ければよい。上述した動作においては、トランジスタＭ１を用いることで、行選択線に供給される複数の信号のうちの１つであるＳＧ信号と、列選択線に供給されるＣＳ信号の論理積に基づいて電荷リセットを行う画素を選択している。
　図６は本実施形態のイメージセンサ１０における各行の動作タイミングを示す図である。なお、図６に示すＬ１～Ｌ８は画素行の番号であり、数字が小さいものほど図中上方の画素列を示す。図６に示すように、本実施形態のイメージセンサでは、Ｌ１からＬ８まで順次リセットと信号読出し、リセットによる電荷蓄積時間の制御が行われ、電荷のリセット動作が信号の読出しに影響を与えないようになっている。
　また、本実施形態のイメージセンサ１０では、タイミング信号発生部５にクロック信号が入力され、動作に必要な読込みタイミング信号及びＤＳタイミング信号などのタイミング信号を生成する。タイミング信号発生部５で生成したタイミング信号やクロック信号は、行選択部２、画素読出し部３及び列選択部４に入力される。
　列選択部４には、クロック信号及び読込みタイミング信号と共に、画素制御信号が入力される。これらの信号は、例えば図７に示すタイミングで列選択部４に入力される。一方、行選択部２の行選択回路には、各行の画素を順次選択するＴＸ信号、ＲＳ信号、ＲＳＴ信号が入力され、この信号に基づき任意の画素が行単位で選択される。
　図４に示すように、画素制御信号はクロック信号に同期して動作するフリップフロップ３１に入力され、図中右側の段に転送される。そして、画素制御信号は、全列のフリップフロップ３１に行き渡った後、読込みタイミング信号のエッジで一斉に各列のレジスタとなるフリップフロップ３２に取り込まれて列選択線に供給されるＣＳ信号となり、読出画素１ａの制御に用いられる。
〔入射光が低照度の場合の画素制御〕
　以上の説明では、入射光が高照度の場合の画素の制御方法について述べたが、本実施形態のイメージセンサは、入射光が低照度の場合にも適用することができる。以下、入射光が低照度の場合の画素制御方法について説明する。図８は入射光が低照度の場合の画素の制御方法を示す図である。入射光が低照度の場合は、蓄積される電子数が少ないため、電荷蓄積時間を長く取らないと、信号に対するノイズの比率であるＳ／Ｎ比が低くなり、画質が劣化する。
　一方、動きの少ない画像であれば、蓄積時間を長く取ることにより画質を向上させることができる。そこで、図８に示すように、本実施形態のイメージセンサ１０では、ＰＩＮフォトダイオード１１の蓄積電荷の転送を行うＴＸ信号が”Ｈ”であっても、画素制御信号のＣＳ信号を”Ｌ”にすることで、ＰＩＮフォトダイオード１１の蓄積電荷の容量への転送を行わず、電荷蓄積時間を延ばしてもよい。この制御方法によれば、ＰＩＮフォトダイオード１１の蓄積電荷を増大させることができるため、入射光が低照度であっても高い画質を確保することができる。
　また、画素制御信号は、主として低照度画素と高照度画素を切り替える役割を担う。図９は本実施形態のイメージセンサ１０における画素の切り替えを示す図である。図９に示すように、本実施形態のイメージセンサ１０では、例えば、低照度画素のダイナミックレンジが８０ｄＢの場合は、高照度画素の電荷蓄積時間を５０ｄＢ下げ、高照度画素の電荷蓄積時間を約１／３００に短縮する。このように、低照度画素への入射光が７０ｄＢ以上のときは、高照度画素に切り替えるように画素制御信号で読出画素１ａを制御すると、全体のダイナミックレンジは１３０ｄＢに向上する。
　図１０は高照度領域及び低照度領域を示す図であり、図１１はリセット領域を示す図である。例えばトンネル内部から出口を撮影すると、図１０に示すように、画素領域の中心部はトンネル外部の高照度領域１ｈとなり、その周囲はトンネル内部の低照度領域１ｌとなる。このような場合は、図１１に示すように、対応する中心の画素をリセット対象の画素（リセット画素）１ｒとして制御することで、より適切な画像信号を得ることができる。
　図１２は画素制御信号を形成する方法を示す図であり、図１２Ａは論理回路ブロック図であり、図１２Ｂはフローチャートである。図１２Ａに示すように、イメージセンサの出力信号はしきい値処理回路によりリセット領域を表す“１”と、非リセット領域を表す“０”を出力する。図１２Ｂに示すように、画素制御信号は初めにイメージセンサから出力信号Ｄ（ｉ，ｊ）を読み出す。次に、画素制御用フレームメモリから画素制御信号Ｃ（ｉ，ｊ）を読み出す。
　そして、Ｃ（ｉ，ｊ）が“０”か“１”かについて評価する。評価の結果、Ｃ（ｉ，ｊ）が“０”の場合はＤ（ｉ，ｊ）をそのままとし、Ｃ（ｉ，ｊ）が“１”の場合はＤ（ｉ，ｊ）に設定された利得Ｇを掛けたものをＤ（ｉ，ｊ）とする。次に、このＤ（ｉ，ｊ）がしきい値ＶＴＨよりも大きいか小さいかを評価する。評価の結果、Ｄ（ｉ，ｊ）がしきい値ＶＴＨよりも大きければ新たなＣ（ｉ，ｊ）を“１”とし，Ｄ（ｉ，ｊ）がしきい値ＶＴＨよりも小さければ新たなＣ（ｉ，ｊ）を“０”にして画素制御用フレームメモリに書き込む。この新たなＤ（ｉ，ｊ）は、画像処理回路に出力される。また、新たなＣ（ｉ，ｊ）は、画素制御信号となり、イメージセンサの各画素の蓄積電荷制御に用いられる。
　図１３は画像処理回路の動作を示す図である。制御対象領域の設定は、図１３に示すようなフレームメモリを有する画像処理回路６を用いて行うことができる。画像処理回路６は、例えばイメージセンサ１０の外部に設けられ、イメージセンサ１０からの出力信号が入力され、画素制御信号を作り出す。この画素制御信号は、例えば１フレーム以上前の画像又は画像群の画素情報に基づき生成することができる。その際、画像又は画像群としては、例えば輝度情報、動きベクトル及び価値情報（読みだす価値があるかどうか）のうち少なくとも１種を用いることができる。そして、画像処理回路６で生成された画素制御信号は、イメージセンサ１０に出力される。
　各画素の制御においては、予測が必要な場合も想定される。図１４及び図１５は撮像画像に動きのある被写体が含まれている場合の制御例を示す図である。図１４に示すように、対象フレーム５１においてリセット対象の画素として制御する被写体が動いている場合は、１つ前のフレーム５１ａ及び２つ前のフレーム５１ｂなどを用いて動きベクトル５２を抽出し、この動きベクトル５２を用いて対象フレーム５１の画素を高照度画素にすべきか低照度画素にすべきかを予測する。これにより、より正確な制御が可能になる。
　図１５は車がトンネルの出口に向かって進んでいる状態を示しており、中心部のハッチングを付していない領域がトンネルの出口にあたる部分であり、高照度画素にすべき領域である。対象フレーム５３の各画素を制御するためには、中心部のハッチングを付していない領域の経時変化を検出し、予測することで、より正確な制御が可能になる。具体的には、画像制御信号生成部において、対象フレーム５３、１つ前のフレーム５３ａ及び２つ前のフレーム５３ｂなどを用いて得た光強度の分析結果や動きベクトル５２から、画素制御信号を決定する。
　従来、画像処理における動きベクトルの検出は、フレーム間において座標をずらしながら差分の２乗和が最小になる座標のベクトルを探索により求められているため、演算量が多くなり、動作速度の低下や消費電力の増大を招くという課題がある。そこで、本実施形態のイメージセンサでは、制御信号が格納されている前後するフレームメモリ間の差分を用いることによりこの課題を解決している。
　図１６Ａ～Ｅはメモリに書きこまれた画素制御情報の差分から動きを検出する方法を示す概念図である。図１６Ａは、リセット領域がＸ方向に動いた時の（ｎ－１）番目のフレームと（ｎ）番目のフレームの差分を示している。図中右側が差分＋１、中央が差分０、左側が差分－１となる。そこで、差分＋１又は差分－１の領域のＸ方向のずれの範囲から動きの値が分かる。
　図１６Ｂは、リセット領域がＹ方向に動いた時の（ｎ－１）番目のフレームと（ｎ）番目のフレームの差分を示している。図中上側が差分＋１、中央が差分０，下側が差分－１となる。そこで、差分＋１又は差分－１の領域のＹ方向のずれの範囲から動きの値が分かる。図１６Ｃは、リセット領域が斜め方向に動いた時の（ｎ－１）番目のフレームと（ｎ）番目のフレームの差分を示している。図中上側と右側が差分＋１、中心が差分０、下側と左側が差分－１となる。そこで、差分＋１又は差分－１の領域のＸ方向及びＹ方向のずれの範囲から動きのベクトル値が分かる。
　図１６Ｄは、リセット領域が拡張しているときの（ｎ－１）番目のフレームと（ｎ）番目のフレームの差分を示している。この場合、図中左右上下、即ち周辺部の全ての差分が＋１になる。そこで、差分＋１のＸ方向及びＹ方向のずれの範囲から拡張する動きのベクトル値が分かる。図１６Ｅは、リセット領域が収縮しているときの（ｎ－１）番目のフレームと（ｎ）番目のフレームの差分を示している。この場合、図中左右上下、即ち周辺部の全ての差分が－１になる。そこで、差分－１のＸ方向及びＹ方向のずれの範囲から収縮する動きのベクトル値が分かる。
　これにより、（ｎ－１）番目のフレームと（ｎ）番目のフレームの差分から動きベクトルを求めることができる。この方法は、フレーム間の差分を取り、ずれの範囲を求めるだけなので、演算量が極めて少なく、高速かつ低電力でリセット領域の動きベクトルを求めることができる。
　前述した方法で求められた動きベクトルを用いることにより、次のフレームのリセット領域の予測精度を向上させることが可能である。図１７Ａ～Ｄは動き補償された画素制御信号の形成方法を示す概念図である。動きベクトルを用いる場合は、現行フレーム（ｎ）に対して１フレーム前の（ｎ－１）の画素制御フレームメモリを残しておく。そして、先ず、図１２に示す方法を用いて現行フレーム（ｎ）の画素制御データを作成する。このとき、図１７Ａ～Ｄに示すように、フレーム（ｎ）のデータＣ（ｎ）とフレーム（ｎ－１）のデータＣ（ｎ－１）の差分データを求めて差分フレームのデータＣ（ｎ）－Ｃ（ｎ－１）を作成する。
　次に、現行フレーム（ｎ）のデータに対して差分フレームのデータＣ（ｎ）－Ｃ（ｎ－１）を用いて、動き補償された次のフレームの画素制御データを作成する。この例では、リセット領域７ｒは右に動いているので、現行フレームのデータＣ（ｎ）に対して差分フレームの動き分だけ右側にリセット領域を追加し、左側のリセット領域を削除すればよい。
　なお、本実施形態においては、蓄積電荷量を制御してダイナミックレンジを拡大する方法について説明したが、本発明はこれに限定されるものではなく、図３５に示す低照度画素と高照度画素を用いる場合は、画素制御信号によってどちらかの信号出力を選択すればよい。
　以上詳述したように、本実施形態のイメージセンサは、各画素の電荷蓄積時間を低照度の場合は長く、高照度の場合は短くなるように設定できるため、フレームレートの減少や解像度の減少を招くことなくダイナミックレンジを大幅に拡大することができる。
　なお、前述した本発明の構成は、イメージセンサの高ダイナミックレンジ化、高信頼化、高速化、低消費電力化、低ノイズ化、多画素化に利用可能であり，可視光のイメージセンサに限らず、赤外線センサ、テラヘルツセンサ、磁気センサ、圧力センサなどに有効である。
（第１の実施形態の第１変形例）
　前述した第１の実施形態では、電荷蓄積時間を変えることで蓄積電荷量を制御してダイナミックレンジを拡大する方法について説明したが、本発明はこれに限定されるものではなく、電荷蓄積容量を変えることにより蓄積電荷量を制御してもよい。図１８は本発明の第１の実施形態の第１変形例に係るイメージセンサにおける画素の構成例を示す回路図であり、図１９は図１８に示す回路構成を有する画素の制御方法を示す図である。
　図１８に示すように、本変形例に係るイメージセンサの画素は、通常のＦＤ容量１２に加えて、その数十倍の容量を有する大容量の容量１３が設けられており、この容量１３を用いて高照度の際の電圧の飽和を防ぐ構成となっている。図１８に示す画素では、リセット信号ＲＳＴと容量１３を選択するＭＯＳＴトランジスタＭ４のゲート間にトランジスタＭ１が挿入され、そのゲートは画素制御信号ＣＳに接続されている。また、トランジスタＭ４のゲートにはゲート電圧を一定期間保持する容量ＣＨが接続されており、保持電荷はＭＯＳトランジスタＭ５により放電されるようになっている。
　次に、図１８に示す回路構成を有する画素の制御方法について説明する。本変形例のイメージセンサでは、図１９に示すように、リセット信号ＲＳＴが“Ｈ”のリセット時に容量１２又は容量１３を選択するが、例えば低照度の場合は容量１２を選択し、高照度の場合は容量１３を選択する。即ち、リセット信号ＲＳＴが“Ｈ”の状態のときに、画素制御信号ＣＳは“Ｈ”又は“Ｌ”を選択する。
　画素制御信号ＣＳを“Ｌ”にするとトランジスタＭ１はオフ状態になり、ＴＸ信号が“Ｈ”の信号の読出し期間において、ＭＯＳトランジスタＭ４のその前の状態のゲート電圧が保持される。そして、読出しが終了したら、電荷放電信号ＲＳＴＧを“Ｈ”にしてトランジスタＭ５をオン状態にし、容量ＣＨを放電してＭＯＳトランジスタＭ４をオフ状態にする。その後電荷放電信号ＲＳＴＧを“Ｌ”にして次の動作に備える。
　本変形例のイメージセンサのように、電荷蓄積容量を変えることで蓄積電荷量を制御した場合でも、フレームレートの減少や解像度の減少を招くことなくダイナミックレンジを大幅に拡大することができる。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
（第１の実施形態の第２変形例）
　次に、本発明の第１の実施形態の第２変形例に係るイメージセンサについて説明する。図２０は本変形例のイメージセンサの構成を示すブロック図であり、図２１は図２０に示すイメージセンサの制御方法を示す図である。行選択を行う制御線及び列選択を行う制御線は容量が大きいため、制御線の論理の遷移に伴い電気エネルギーを消費し、消費電力が増加する。
　そこで、本変形例のイメージセンサでは、図２０に示すように、画素領域の左右に行選択部２ａ，２ｂを配置し、それぞれの行選択線により画素領域の中央よりも図中右側部分又は左側部分を受け持つ構成となっている。一方、列選択を行う列選択部４ａ，４ｂは、画素領域の上下に配置し、それぞれの列選択線により画素領域の中央よりも図中上側部分又は下側部分を受け持つ構成になっている。これにより、制御対象の画素領域が４分割されるため、このような構成を採らない場合に比べて、この部分の消費電力を１／４程度まで低減することが可能になる。
　前述した構成を有効に利用するため、本変形例のイメージセンサでは、図２１に示すように、シリアルデータである画素制御信号が、列の制御信号の前に２ビット程度の制御ビットを有することが好ましい。これにより、左右の列においてどの列が選択されるか、或いは全ての列が選択されないかの制御コードを有し、その情報が入力されたら、それに対応する列選択信号を発生させると共に、選択されない場合はシフトレジスタを用いたデータ転送を停止させることにより消費電力を低減させることができる。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
（第２の実施形態）
　次に、本発明の第２の実施形態に係るイメージセンサについて説明する。図２２は本実施形態のイメージセンサの構成を示すブロック図である。従来のイメージセンサは、撮像画像を忠実に再生することが目的であったため、全画素の信号を用いて画像を生成していた。一方、物体認識や動体認識を目的としたイメージセンサの場合、認識対象部分の画像情報のみ画像処理回路に取り込めば十分であり、その他の部分の画像情報を取り込む必要は無い。
　各画素からアナログ画像信号を取り出し、Ａ／Ｄ変換器でデジタル信号に変換し、このデジタル信号を画像処理回路に転送するには一定の電力消費が伴うため、従来のイメージセンサを用いて物体認識や動体認識を行うと、多くの無駄な電力を消費することとなる。そして、近年、動きのある画素領域の信号のみ読み出す必要がある場合、物体認識や動体認識が必要な画素領域の信号のみ読み出す必要がある場合が増えている。
　また、暗いシーンの微弱な信号は、Ａ／Ｄ変換器の読出しノイズが大きいと画質が大幅に劣化するため、Ａ／Ｄ変換器には高い分解能Ｎが求められる。しかしながら、回路理論上Ａ／Ｄ変換器の消費電力は２２Ｎに比例するため、不用意に高い分解能でＡ／Ｄ変換器を行うことは消費電力の著しい増大を招く。このため、画素信号の状態に応じてＡ／Ｄ変換器の分解能を最適化することが求められる。
　そこで、本実施形態のイメージセンサ２０では、行ごとに各列の画素読出回路を制御し、読出し選択された画素（読出画素）１ａに対応する画素読出回路だけ動作させ、選択されていない画素に対応する画素読出回路の消費電力をできるだけ低減させるように制御する。これにより、イメージセンサ全体の消費電力を大幅に低減することが可能となる。
　画素の信号レベルに応じてＡ／Ｄ変換器の分解能を最適化することも重要である。図２３は信号電圧とＡ／Ｄ変換器の分解能との関係を示す図である。図２３はＣＭＯＳイメージセンサの画素の信号レベルと、光子から電子の変換に伴い必然的に発生するショットノイズ、読出回路のＡ／Ｄ変換器の必要分解能を示している。図２３に示すように、Ａ／Ｄ変換器の読み出しノイズは、ショットノイズを下回れば目立たなくなるので、画質を損なわないようにするには、Ａ／Ｄ変換器の読み出しノイズがショットノイズの半分程度になるようにＡ／Ｄ変換器の分解能を設定すればよい。
　また、信号レベルが高いところではＡ／Ｄ変換器は１０ｂｉｔ程度の分解能が必要であり、信号レベルが低いところでは１４ｂｉｔ程度の分解能が必要である。どの信号レベルにおいても高画質を得るためには、１４ｂｉｔ程度の分解能を用いる方が良いように思われるが、その場合、消費電力が著しく増大する。図２４は信号電圧とＡ／Ｄ変換器の消費エネルギーとの関係を示す図である。図２４に示すように、信号レベルが低くなるに従い、Ａ／Ｄ変換器の分解能を上げる必要があるが、Ａ／Ｄ変換器の消費エネルギーは、その分解能をＮとすると２２Ｎに比例することが知られている。
　従って、Ａ／Ｄ変換器の分解能が１４ｂｉｔの場合は、分解能が１０ｂｉｔに対して２５６倍のエネルギー消費が伴う。このことから、画素の信号レベルごとに画質と低消費電力を両立するために最適な分解能があることが分かる。一方、本実施形態のイメージセンサでは、画素及び対応する画素読出回路ごとに画質と消費電力を制御することが可能である。
　図２５は本実施形態のイメージセンサ２０の画素と画素読出回路の構成を示す回路図である。図２５に示すように、本実施形態のイメージセンサ２０は、画素１の内部にソースフォロアトランジスタが設けられており、読出回路ごとに備えられたシンク電流でソースフォロアトランジスタに電流を流すことにより、信号の読出しが可能になる。この読出し電圧は、比較器４３の一方の入力に入力され、比較器４３の他方の入力は時間と共に直線的に電圧が変化する参照電圧が入力されている。
　また、クロック発生回路４１では、入力クロック信号の周波数の整数倍又は整数分の１の周波数のクロックパルスが生成され、カウンタ４４に入力される。カウンタ４４は、クロックをカウントする。例えば、入力信号と参照信号が一致したときは、比較器４３からストップ信号が発生し、カウンタ４４を停止させ、そのときのカウント値が画素からの信号出力電圧に対応したＡ／Ｄ変換出力値として出力される。
　上述した回路において、図２２に示す読出し選択された画素（読出画素）１ａに対応する読出回路のみを動作させ、読出し選択されない画素に対応する読出回路の動作を停止すれば大幅な電力削減が期待できる。例えば図２５に示す画素読出回路の場合は、ソースフォロアを動作させるためのシンク電流、比較器４３のバイアス電流を遮断し、カウンタ４４に入力されるクロックを停止させれば、画素読出回路の電力消費はほぼゼロになる。
　画素の信号強度に応じて読出回路を構成するＡ／Ｄ変換器の分解能を変化させることは、画質と消費電力を最適化するために有効である。図２６は選択された画素とその分解能を示す図である。図２６に示す選択された各画素の分解能は、分解能Ａが１０ｂｉｔ、分解能Ｂを１２ｂｉｔ、分解能Ｃを１４ｂｉｔとする。これらの分解能に応じて図２５に示すカウンタ４４に入力するクロックを、様々な周波数からなるクロック群の中からクロック選択回路４２で選択すればよい。
　分解能が低いときは、低い周波数のクロックが選択され、分解能が高いときは高い周波数のクロックが選ばれる。分解能Ａ，Ｂ，Ｃに応じて、１：４：１６の周波数のクロックが選ばれる。カウンタ４４の消費電力は、クロック周波数に比例するので、分解能が低いほど消費電力削減を図ることができる。ただし、信号に対するノイズは、分解能が高いほど低いので、画質の要求と消費電力の要求の両方を勘案して最適化を図る必要がある。
　図２７は本実施形態のイメージセンサ２０の読出し制御部２３の構成を示す回路図である。読出回路制御信号は、クロック信号に同期したシフトレジスタを構成するフリップフロップ（Ｆ／Ｆ）３１に入力され、順次右側に転送されて、読込タイミング信号に同期して一斉にフリップフロップ３２に入力され、読出回路を構成するＡ／Ｄ変換回路３３を制御するようになっている。
　更に、本実施形態のイメージセンサ２０は、Ａ／Ｄ変換器からのデータ転送を制御することによってデータ転送によって生じる消費電力を低減することができる。図２８は本実施形態のイメージセンサ２０の読出し制御部２３の構成を示す他の回路図である。読出し制御部２３が図２８に示す構成のイメージセンサ２０では、データ転送制御信号は、クロック信号に同期したシフトレジスタを構成するフリップフロップ（Ｆ／Ｆ）３１に入力され、図中右側に順次転送された後、読込タイミング信号に同期して一斉にフリップフロップ３２に入力される。このイメージセンサ２０では、ゲート回路３４を制御することで、Ａ／Ｄ変換回路３３からのデータ転送を制御するようになっている。
　以上詳述したように、本実施形態のイメージセンサは、行毎に各列の画素読出回路を制御し、読出し選択された画素（読出画素）に対応する画素読出回路だけ動作させ、選択されていない画素に対応する画素読出回路の消費電力をできるだけ低減させるように制御することで、イメージセンサ全体の消費電力を大幅に低減させることが可能である。更に、本実施形態のイメージセンサは、画素の信号強度に応じて読出回路を構成するＡ／Ｄ変換器の分解能を変化させているため、画質と消費電力を最適化することができる。更に本実施形態のイメージセンサでは、Ａ／Ｄ変換器からのデータ転送を制御することにより、データ転送によって生じる消費電力を低減することができる。
　なお、本実施形態における上記以外の構成及び効果は、前述した第１の実施形態と同様である。また、以上の説明においてはＣＯＭＳイメージセンサを例に説明したが、本発明はこれに限定されるものではなく、他の用途の二次元イメージセンサに対しても適用可能である。更に、イメージセンサは、赤外線センサ、テラヘルツセンサ、磁気センサ、圧力センサを含む。
　１、１０１、１３０、２１０　画素
　１ａ、１０１ａ　読出画素
　１ｈ　高照度領域
　１ｌ　低照度領域
　１ｒ、１０１ｂ　リセット画素
　２、２ａ、２ｂ　行選択部
　３　画素読出し部
　４、４ａ、４ｂ　列選択部
　５　タイミング信号発生部
　６　画像処理回路
　７ｒ　リセット領域
　１０、２０、１００、２００　イメージセンサ
　１１、１２０　フォトダイオード
　１２、１３、１２１、１２２　容量
　２３　読出し制御部
　３１、３２　フリップフロップ
　３３　アナログ・デジタル変換回路
　３４　ゲート回路
　４１　クロック発生回路
　４２　クロック選択回路
　４３　比較器
　４４　カウンタ
　５１、５３　対象フレーム
　５１ａ、５３ａ　１つ前のフレーム
　５１ｂ、５３ｂ　２つ前のフレーム
　５２　動きベクトル
　１０２　行選択回路
　１０３　列読出回路
　１０４、２０４　タイミング信号発生回路
　１０５　転送回路
　１１０　低照度用フレーム
　１１１　高照度用フレーム
　１３１　低照度用画素
　１３２　高照度用画素
　２０１　電荷転送用スキャナ
　２０２　電子シャッタ用スキャナ
　２０３　水平方向画素選択スキャナ
　２０５　画素領域
　Ｍ１～Ｍ５　トランジスタ

Claims (15)

  1. 　自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、
    　前記画素領域の任意の画素を行単位で選択し、前記画素からの電気信号の読出し及び蓄積電荷のリセットに寄与する行選択部と、
    　前記行選択部により選択された各画素の電気信号を列並列に読み出す画素読出し部と、
    　前記行選択部により選択された画素行の中から任意の列の画素を選択し、選択された画素の蓄積電荷量を制御する列選択部と
    を有するイメージセンサ。
  2. 　前記列選択部は、選択しなかった画素に対して蓄積電荷のリセットを行う請求項１に記載のイメージセンサ。
  3. 　前記画素は、前記行選択部に接続され蓄積電荷のリセットに用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷のリセットを制御する請求項２に記載のイメージセンサ。
  4. 　前記列選択部は、選択しなかった画素の蓄積電荷を容量に転送する請求項１に記載のイメージセンサ。
  5. 　前記画素は、前記行選択部に接続され蓄積電荷の転送に用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷の転送を制御する請求項４に記載のイメージセンサ。
  6. 　前記列選択部は、選択した画素の電荷蓄積容量を変更することで電荷蓄積量を制御する請求項１に記載のイメージセンサ。
  7. 　前記画素領域を挟んで行方向側に第１行選択部及び第２行選択部が、列方向側に第１列選択部及び第２列選択部がそれぞれ設けられており、
    　前記第１行選択部及び前記第２行選択部は、前記画素領域の画素のうち各行選択部に近い側の端部から行方向中央までの画素を選択し、
    　前記第１列選択部及び第２列選択部は、前記画素領域の画素のうち各列選択部に近い側の端部から列方向中央までの画素を選択する請求項１に記載のイメージセンサ。
  8. 　前記列選択部にはシフトレジスタが設けられており、前記列選択部に入力された画素制御信号は前記シフトレジスタによって行方向に転送され、前記列選択部に入力された読み込みタイミング信号によって前記シフトレジスタから一斉に列選択信号が出力される請求項１に記載のイメージセンサ。
  9. 　前記列選択部は、全ての列が選択されないことを示す制御コードを有する画素制御信号が入力された場合は、前記シフトレジスタによる信号の転送を停止する請求項８に記載のイメージセンサ。
  10. 　前記画素制御信号を生成する画素制御信号生成部を有し、
    　該画素制御信号生成部では、先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、次のフレームのタイミングに同期して前記判定情報を前記メモリから読出すことにより前記画像制御信号を生成する請求項８に記載のイメージセンサ。
  11. 　前記画素制御信号を生成する画素制御信号生成部を有し、
    　該画素制御信号生成部では、先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、前記メモリに書き込まれた連続する２以上のフレームの情報の差分から被写体の動きを予測し、この予測された動きに基づいて補正した情報を前記メモリに書き込み、次のフレームのタイミングに同期して前記補正した情報を前記メモリから読出すことにより前記画像制御信号を生成する請求項８に記載のイメージセンサ。
  12. 　自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、
    　前記画素領域の任意の画素を行単位で選択し、前記画素からの電子信号の読出しに寄与する行選択部と、
    　画素列毎に読出回路が設けられ、前記行選択部により選択された各画素の電気信号を列並列に読み出すと共に、前記読出回路を制御する読出し制御部と、
    を有するイメージセンサ。
  13. 　前記読出し制御部は、前記読出回路の動作を選択的に停止させる請求項１２に記載のイメージセンサ。
  14. 　前記読出し制御部は、前記読出回路を構成するアナログ・デジタル変換器の分解能を制御する請求項１２に記載のイメージセンサ。
  15. 　前記読出し制御部は、前記読出回路を構成するアナログ・デジタル変換器からのデータ転送を制御する請求項１２に記載のイメージセンサ。
PCT/JP2019/032573 2018-10-01 2019-08-21 イメージセンサ WO2020070994A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020550012A JPWO2020070994A1 (ja) 2018-10-01 2019-08-21 イメージセンサ
US17/252,278 US11758304B2 (en) 2018-10-01 2019-08-21 Image sensor
KR1020207034927A KR102441628B1 (ko) 2018-10-01 2019-08-21 이미지 센서

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018186486 2018-10-01
JP2018-186486 2018-10-01

Publications (1)

Publication Number Publication Date
WO2020070994A1 true WO2020070994A1 (ja) 2020-04-09

Family

ID=70055729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032573 WO2020070994A1 (ja) 2018-10-01 2019-08-21 イメージセンサ

Country Status (4)

Country Link
US (1) US11758304B2 (ja)
JP (1) JPWO2020070994A1 (ja)
KR (1) KR102441628B1 (ja)
WO (1) WO2020070994A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295231A (ja) * 2005-04-05 2006-10-26 Hamamatsu Photonics Kk 固体撮像装置
JP2012151551A (ja) * 2011-01-17 2012-08-09 Hamamatsu Photonics Kk 固体撮像装置
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
WO2014065055A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014220644A (ja) * 2013-05-08 2014-11-20 コニカミノルタ株式会社 固体撮像装置
JP2015119385A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 撮像装置および撮像システム
JP2017200135A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 撮像装置及び放射線撮像システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4019409B2 (ja) 2001-11-02 2007-12-12 ソニー株式会社 固体撮像素子
JP4154157B2 (ja) 2002-02-25 2008-09-24 株式会社東芝 撮像装置
JP4058459B1 (ja) 2007-03-02 2008-03-12 キヤノン株式会社 撮像装置及び撮像システム
JP7082503B2 (ja) * 2018-03-08 2022-06-08 浜松ホトニクス株式会社 光検出装置及び光検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295231A (ja) * 2005-04-05 2006-10-26 Hamamatsu Photonics Kk 固体撮像装置
JP2012151551A (ja) * 2011-01-17 2012-08-09 Hamamatsu Photonics Kk 固体撮像装置
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
WO2014065055A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014220644A (ja) * 2013-05-08 2014-11-20 コニカミノルタ株式会社 固体撮像装置
JP2015119385A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 撮像装置および撮像システム
JP2017200135A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 撮像装置及び放射線撮像システム

Also Published As

Publication number Publication date
JPWO2020070994A1 (ja) 2021-09-02
US11758304B2 (en) 2023-09-12
US20210266486A1 (en) 2021-08-26
KR20210003918A (ko) 2021-01-12
KR102441628B1 (ko) 2022-09-08

Similar Documents

Publication Publication Date Title
US10771718B2 (en) Imaging device and imaging system
CN110753192B (zh) 一种集成电路图像传感器
US9762840B2 (en) Imaging device and method of driving the same
US8089522B2 (en) Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US8553124B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
US9986172B2 (en) Semiconductor device including control signal generating circuit
JP5149687B2 (ja) 撮像センサ、撮像システム、及び撮像センサの制御方法
US20060181625A1 (en) CMOS image sensor with wide dynamic range
JP5212022B2 (ja) 固体撮像装置、撮像装置、画素駆動電圧適正化装置、画素駆動電圧適正化方法
US20140339397A1 (en) Imaging device and method for driving the same
US10038863B2 (en) Image sensing device
US10735676B2 (en) Solid-state imaging device, method for driving solid-state imaging device and electronic apparatus for extending a dynamic range
US20180084187A1 (en) Image sensor and imaging device including the same
JP7339779B2 (ja) 撮像装置
JP6574653B2 (ja) 撮像装置及び撮像システム
US9386242B2 (en) Imaging device and method having a control circuit to shift charges of the photodiode of each pixel simultaneously to a first storage node or a second storage node for capturing a moving object without distortion and achieving a wide dynamic range
KR20140107212A (ko) 고체 촬상 소자 및 그 구동 방법, 카메라 시스템
WO2020070994A1 (ja) イメージセンサ
JP2014053838A (ja) 固体撮像装置
US10623642B2 (en) Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP2012244379A (ja) 固体撮像装置
JP6967173B1 (ja) 撮像素子及び撮像装置
JP5428792B2 (ja) 固体撮像素子およびその駆動方法、カメラシステム、プログラム
JP2021022799A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869300

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207034927

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020550012

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869300

Country of ref document: EP

Kind code of ref document: A1