WO2017006781A1 - 固体撮像素子および駆動方法、並びに電子機器 - Google Patents

固体撮像素子および駆動方法、並びに電子機器 Download PDF

Info

Publication number
WO2017006781A1
WO2017006781A1 PCT/JP2016/068755 JP2016068755W WO2017006781A1 WO 2017006781 A1 WO2017006781 A1 WO 2017006781A1 JP 2016068755 W JP2016068755 W JP 2016068755W WO 2017006781 A1 WO2017006781 A1 WO 2017006781A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
photoelectric conversion
conversion unit
exposure
pixel
Prior art date
Application number
PCT/JP2016/068755
Other languages
English (en)
French (fr)
Inventor
功 広田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201680038300.6A priority Critical patent/CN107710742B/zh
Priority to JP2017527175A priority patent/JP6808623B2/ja
Priority to US15/740,556 priority patent/US10291867B2/en
Publication of WO2017006781A1 publication Critical patent/WO2017006781A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/622Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by controlling anti-blooming drains
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • the present technology relates to a solid-state imaging device, a driving method, and an electronic device, and more particularly, to a solid-state imaging device, a driving method, and an electronic device that can sufficiently expand a dynamic range and obtain a higher quality image. .
  • HDR High Dynamic Range
  • the dynamic range when expanding the dynamic range using only light receiving elements with different sensitivities, if the distance between the light receiving elements is short, the color mixture between the light receiving elements increases, so a sufficient sensitivity ratio between the light receiving elements is structurally achieved. It was difficult to get. As a result, the dynamic range cannot be expanded sufficiently.
  • the synthesis ratio at the time of HDR synthesis is determined by the pixel structure, so the degree of freedom is low.
  • motion blur may occur if the exposure time is long, and the resolution of the moving subject may be reduced.
  • the exposure time is controlled to expand the dynamic range
  • a pulsed light source such as an LED (Light Emitting Diode) road sign
  • LED Light Emitting Diode
  • the present technology has been made in view of such circumstances, and is intended to sufficiently expand the dynamic range and obtain a higher quality image.
  • a solid-state imaging device includes a pixel array unit in which a plurality of unit pixels are arranged, and a driving unit that controls the operation of the unit pixels, and the unit pixel includes a plurality of photoelectric conversion units.
  • a transfer gate for transferring the charge obtained by the photoelectric conversion in the photoelectric conversion unit for each of the photoelectric conversion units, to one or a plurality of the photoelectric conversion units of the plurality of the photoelectric conversion units;
  • a charge accumulation unit that accumulates charges transferred from the photoelectric conversion unit via the transfer gate and an anti-blooming gate unit that resets the photoelectric conversion unit are connected.
  • the driving unit includes an exposure operation for performing exposure of the photoelectric conversion unit after resetting the photoelectric conversion unit in one frame period, and a charge obtained by the exposure. Burst driving can be performed by repeating the transfer operation for transferring to the charge storage section a plurality of times.
  • the driving unit can perform the burst driving while changing an exposure time during the exposure operation.
  • the driving unit does not perform the burst driving so that the gravity center position of the plurality of exposures by the burst driving substantially coincides with the gravity center position of the exposure of the photoelectric conversion unit that does not perform the burst driving.
  • the exposure of the photoelectric conversion unit can be controlled.
  • the drive unit can control the exposure of the photoelectric conversion unit so that the exposure of the photoelectric conversion unit is synchronized with the light emission of a predetermined pulse light source.
  • the driving unit can control the distance measurement by the optical time-of-flight measurement method by controlling the exposure of the photoelectric conversion unit based on the light emission timing of a predetermined pulse light source.
  • an object at a shorter distance is detected by the photoelectric conversion unit having a lower sensitivity, and an object at a longer distance is detected by the photoelectric conversion unit having a higher sensitivity.
  • the exposure of the photoelectric conversion unit can be controlled.
  • a driving method includes a pixel array unit in which a plurality of unit pixels are arranged, and a driving unit that controls the operation of the unit pixels, and the unit pixel includes a plurality of photoelectric conversion units.
  • a transfer gate that transfers, for each of the photoelectric conversion units, a charge obtained by photoelectric conversion in the photoelectric conversion unit, to one or a plurality of the photoelectric conversion units of the plurality of photoelectric conversion units;
  • a method for driving a solid-state imaging device in which a charge accumulation unit that accumulates charges transferred from the photoelectric conversion unit via the transfer gate and an anti-blooming gate unit that resets the photoelectric conversion unit are connected, An exposure operation in which the drive unit performs exposure of the photoelectric conversion unit after resetting the photoelectric conversion unit in one frame period for the one or more photoelectric conversion units, and the exposure.
  • the obtained charge includes performing a burst drive repeated several times and a transfer operation for transferring the charge accumulation unit.
  • the solid-state imaging device includes a pixel array unit in which a plurality of unit pixels are arranged, and a driving unit that controls the operation of the unit pixel.
  • a photoelectric conversion unit is included, and the charge obtained by photoelectric conversion in the photoelectric conversion unit is transferred to one or a plurality of the photoelectric conversion units of the plurality of photoelectric conversion units for each of the photoelectric conversion units.
  • a transfer gate, a charge accumulation unit that accumulates charges transferred from the photoelectric conversion unit via the transfer gate, and an anti-blooming gate unit that resets the photoelectric conversion unit are connected.
  • the electronic device according to the second aspect of the present technology can have the same configuration as the solid-state imaging device according to the first aspect of the present technology.
  • ⁇ First Embodiment> ⁇ Configuration example of solid-state image sensor>
  • a charge accumulation unit is provided in the photoelectric conversion unit via a transfer gate and reset to the photoelectric conversion unit for one or more photoelectric conversion units.
  • a gate anti-blooming gate
  • burst driving the dynamic range can be sufficiently expanded and a higher quality image can be obtained.
  • the present technology can be applied to, for example, an in-vehicle camera.
  • FIG. 1 is a diagram illustrating a configuration example of a solid-state imaging device to which the present technology is applied.
  • the solid-state imaging device 11 shown in FIG. 1 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the solid-state imaging device 11 has a configuration including a pixel array unit 21 formed on a semiconductor substrate (chip) (not shown) and a peripheral circuit unit integrated on the same semiconductor substrate as the pixel array unit 21.
  • the peripheral circuit unit includes, for example, a vertical drive unit 22, a column processing unit 23, a horizontal drive unit 24, and a system control unit 25.
  • the solid-state imaging device 11 further includes a signal processing unit 28 and a data storage unit 29.
  • the signal processing unit 28 and the data storage unit 29 may be mounted on the same substrate as the solid-state imaging device 11 or may be arranged on a different substrate from the solid-state imaging device 11.
  • each processing of the signal processing unit 28 and the data storage unit 29 may be processing by an external signal processing unit provided on a substrate different from the solid-state imaging device 11, for example, a DSP (Digital Signal Processor) circuit or software. .
  • a DSP Digital Signal Processor
  • the pixel array unit 21 generates charges according to the amount of received light, and unit pixels (hereinafter sometimes simply referred to as pixels) having a photoelectric conversion unit that accumulates them in the row direction and the column direction, that is, in a matrix form.
  • the configuration is two-dimensionally arranged.
  • the row direction refers to the arrangement direction of the pixels in the pixel row (that is, the horizontal direction)
  • the column direction refers to the arrangement direction of the pixels in the pixel column (that is, the vertical direction). That is, the row direction is the horizontal direction in the figure, and the column direction is the vertical direction in the figure.
  • a pixel drive line 26 is wired along the row direction for each pixel row, and one or two vertical signal lines 27 are arranged along the column direction for each pixel column. Are wired.
  • the pixel drive line 26 transmits a drive signal for driving when reading a signal from the pixel.
  • the pixel drive line 26 is shown as one wiring, but is not limited to one.
  • One end of the pixel drive line 26 is connected to an output end corresponding to each row of the vertical drive unit 22.
  • the vertical drive unit 22 is configured by a shift register, an address decoder, and the like, and drives each pixel of the pixel array unit 21 at the same time or in units of rows. That is, the vertical drive unit 22 constitutes a drive unit that controls the operation of each pixel of the pixel array unit 21 together with the system control unit 25 that controls the vertical drive unit 22.
  • the vertical drive unit 22 is not shown in the figure for its specific configuration, but generally has a configuration having two scanning systems, a reading scanning system and a sweeping scanning system.
  • a signal output from each unit pixel of the pixel row selectively scanned by the vertical drive unit 22 is input to the column processing unit 23 through the vertical signal line 27 for each pixel column.
  • the column processing unit 23 performs predetermined signal processing on signals output from the pixels of the selected row through the vertical signal line 27 for each pixel column of the pixel array unit 21 and temporarily outputs the pixel signals after the signal processing. Hold on.
  • the column processing unit 23 performs noise removal processing, sampling processing such as DDS (Double Data Sampling) and CDS (Correlated Double Sampling), AD (Analog Digital) conversion processing, and the like as signal processing.
  • sampling processing such as DDS (Double Data Sampling) and CDS (Correlated Double Sampling), AD (Analog Digital) conversion processing, and the like as signal processing.
  • the horizontal driving unit 24 includes a shift register, an address decoder, and the like, and sequentially selects unit circuits corresponding to the pixel columns of the column processing unit 23. By the selective scanning by the horizontal driving unit 24, pixel signals subjected to signal processing for each unit circuit in the column processing unit 23 are sequentially output.
  • the system control unit 25 includes a timing generator that generates various timing signals, and the vertical driving unit 22, the column processing unit 23, the horizontal driving unit 24, and the like based on the various timings generated by the timing generator. The drive control is performed.
  • the signal processing unit 28 has at least an arithmetic processing function, and performs various signal processing such as arithmetic processing on the pixel signal output from the column processing unit 23.
  • the data storage unit 29 temporarily stores data necessary for the signal processing in the signal processing unit 28.
  • the unit pixel provided in the pixel array unit 21 is configured as shown in FIG. 2, for example.
  • FIG. 2 the same reference numerals are given to the portions corresponding to those in FIG. 1, and the description thereof will be omitted as appropriate.
  • the pixel 51 which is a unit pixel, includes a first photoelectric conversion unit 61, a first transfer gate unit 62, an FD unit 63, a second photoelectric conversion unit 64, an anti-blooming gate unit 65, a second transfer gate unit 66, and a charge storage unit 67. , A third transfer gate portion 68, a fourth transfer gate portion 69, a reset gate portion 70, an amplification transistor 71, and a selection transistor 72.
  • a plurality of drive lines as the pixel drive lines 26 are wired to the pixels 51 for each pixel row. Then, the first transfer gate unit 62, the anti-blooming gate unit 65, the second transfer gate unit 66, the third transfer gate unit 68, the fourth transfer gate unit 69, and the reset via the plurality of drive lines from the vertical drive unit 22.
  • a drive signal TGL, a drive signal ABG, a drive signal TGS, a drive signal FDG, a drive signal FCG, a drive signal RST, and a drive signal SEL are supplied to the gate unit 70 and the selection transistor 72, respectively.
  • These drive signals are pulse signals in which a high level (for example, power supply voltage VDD) is in an active state and a low level (for example, a negative potential) is inactive. That is, when each drive signal of the drive signal TGL to the drive signal SEL is set to a high level, the supply destination transistor is turned on, that is, turned on, and when each drive signal is set to a low level, the supply destination transistor The transistor is turned off, that is, turned off.
  • a high level for example, power supply voltage VDD
  • VDD power supply voltage
  • the first photoelectric conversion unit 61 is made of, for example, a PN junction photodiode.
  • the first photoelectric conversion unit 61 receives incident light, performs photoelectric conversion, and accumulates electric charges obtained as a result.
  • the first transfer gate unit 62 is provided between the first photoelectric conversion unit 61 and the FD unit 63, and a drive signal TGL is supplied to the gate electrode of the first transfer gate unit 62.
  • the drive signal TGL becomes high level, the first transfer gate unit 62 is turned on, and the electric charge accumulated in the first photoelectric conversion unit 61 is transferred to the FD unit 63 via the first transfer gate unit 62.
  • the FD unit 63 is a floating diffusion region called a floating diffusion, and accumulates transferred charges.
  • the second photoelectric conversion unit 64 is composed of, for example, a PN junction photodiode, receives incident light, performs photoelectric conversion, and accumulates the electric charge obtained as a result.
  • the first photoelectric conversion unit 61 has a larger light receiving surface area and higher sensitivity
  • the second photoelectric conversion unit 64 has a light receiving surface area. Is narrow and has low sensitivity.
  • the anti-blooming gate unit 65 is connected between the second photoelectric conversion unit 64 and the power supply VDD.
  • the drive signal ABG supplied to the gate electrode of the anti-blooming gate portion 65 is at a high level, the anti-blooming gate portion 65 is turned on, and the charge accumulated in the second photoelectric conversion portion 64 is changed to the anti-blooming gate portion. It is discharged through 65. That is, the potential of the second photoelectric conversion unit 64 is reset to the level of the power supply voltage (hereinafter also referred to as the power supply voltage VDD).
  • the second transfer gate unit 66 is connected between the second photoelectric conversion unit 64 and the charge storage unit 67, and a drive signal TGS is supplied to the gate electrode of the second transfer gate unit 66.
  • the drive signal TGS is set to a high level, the second transfer gate unit 66 is turned on, and the charges accumulated in the second photoelectric conversion unit 64 are transferred to the charge accumulation unit 67 via the second transfer gate unit 66. Transferred.
  • the lower part of the gate electrode of the second transfer gate portion 66 has a slightly deep potential, and the charge that exceeds the saturation charge amount of the second photoelectric conversion portion 64 and overflows from the second photoelectric conversion portion 64 is stored in the charge storage portion. An overflow path to be transferred to 67 is formed.
  • the charge storage unit 67 is formed of a capacitor, for example, and is connected between the fourth transfer gate unit 69 and the second transfer gate unit 66.
  • the counter electrode of the charge storage section 67 is connected to a power supply VDD that supplies a power supply voltage VDD.
  • the charge storage unit 67 stores the charge transferred from the second photoelectric conversion unit 64.
  • the charge storage unit 67 is connected to the power supply VDD.
  • the charge storage unit 67 is a capacitor, it may be connected to the ground GND instead of the power supply VDD.
  • the third transfer gate unit 68 is connected between the fourth transfer gate unit 69 and the reset gate unit 70 and the FD unit 63, and a drive signal FDG is supplied to the gate electrode of the third transfer gate unit 68. Is done.
  • the drive signal FDG is at a high level
  • the third transfer gate unit 68 is turned on, the node 81 between the fourth transfer gate unit 69, the reset gate unit 70, and the third transfer gate unit 68, and the FD unit.
  • 63 is electrically connected. That is, the potentials of the node 81 and the FD unit 63 are coupled.
  • the fourth transfer gate unit 69 is connected between the charge storage unit 67 and the node 81, and a drive signal FCG is supplied to the gate electrode of the fourth transfer gate unit 69.
  • a drive signal FCG is supplied to the gate electrode of the fourth transfer gate unit 69.
  • the fourth transfer gate unit 69 is turned on, and the charge storage unit 67 and the node 81 are electrically connected. That is, the potential of the charge storage unit 67 and the node 81 are coupled.
  • the reset gate unit 70 is connected between the power supply VDD and the node 81, and a drive signal RST is supplied to the gate electrode of the reset gate unit 70.
  • the drive signal RST is at a high level, the reset gate unit 70 is turned on and the potential of the node 81 is reset to the level of the power supply voltage VDD.
  • the amplification transistor 71 has a gate electrode connected to the FD unit 63 and a drain connected to the power supply VDD, and a read circuit that reads a signal corresponding to the electric charge held in the FD unit 63, that is, an input unit of a so-called source follower circuit It becomes. That is, the amplification transistor 71 forms a source follower circuit with a constant current source 82 connected to one end of the vertical signal line 27 when the source is connected to the vertical signal line 27 via the selection transistor 72.
  • the selection transistor 72 is connected between the source of the amplification transistor 71 and the vertical signal line 27, and the drive signal SEL is supplied to the gate electrode of the selection transistor 72.
  • the drive signal SEL is at a high level, the selection transistor 72 is turned on and the pixel 51 is selected.
  • the pixel signal output from the amplification transistor 71 is output to the vertical signal line 27 via the selection transistor 72.
  • each drive signal is in an active state, that is, a high level, and each drive signal is also referred to as ON.
  • Each drive signal is in an inactive state, that is, a low level, and each drive signal is turned off. Also say.
  • a charge storage unit 67 is connected to a second photoelectric conversion unit 64 provided in each pixel 51 of the pixel array unit 21 via a second transfer gate unit 66.
  • an anti-blooming gate unit 65 is connected to the second photoelectric conversion unit 64.
  • the second photoelectric conversion unit 64 can be burst-driven by the drive control by the vertical drive unit 22. That is, in the period of one frame, the exposure operation of performing the exposure of the second photoelectric conversion unit 64 after resetting the second photoelectric conversion unit 64, and then transferring the charge obtained by the exposure to the charge storage unit 67.
  • the transfer operation to be accumulated can be repeatedly performed at an arbitrary timing and an arbitrary number of times.
  • one frame period is a period during which the solid-state imaging device 11 acquires a captured image for one frame when the captured image is captured.
  • the total exposure time in the second photoelectric conversion unit 64 within one frame period can be arbitrarily changed.
  • the sensitivity ratio of the 1st photoelectric conversion part 61 and the 2nd photoelectric conversion part 64 is fully ensured, and the dynamic range of a picked-up image can fully be expanded.
  • the sensitivity ratio between the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64 that is, the combination ratio of pixel signals can be arbitrarily changed by such burst driving, so that the degree of freedom in HDR synthesis is improved. Can be made.
  • the total exposure time in the second photoelectric conversion unit 64 in one frame period can be arbitrarily changed, or the exposure time in the predetermined period with respect to the total exposure time in the second photoelectric conversion unit 64 in one frame period.
  • the exposure timing in the second photoelectric conversion unit 64 in one frame period is synchronized with the light emission timing of the pulse light source, or the exposure timing in the second photoelectric conversion unit 64 is shifted and divided into multiple times in one frame period.
  • a pulsed light source can be captured.
  • the occurrence of flicker can be suppressed.
  • the solid-state imaging device 11 is mounted on an in-vehicle camera that captures, for example, the front of a vehicle and detects white lines, road traffic lights, LED road signs, oncoming vehicles, and the like from the obtained captured image.
  • a road traffic signal using an LED as a light source will be described.
  • a period T11 and a period T12 indicate a one-frame period of a captured image captured by the solid-state imaging element 11.
  • the period T11 and the period T12 are sections of 1/60 seconds.
  • the broken line L11 and the broken line L12 indicate the light emission timing of the road traffic light in eastern Japan and the light emission timing of the road traffic light in the western Japan.
  • the period in which each of the polygonal line L11 and the polygonal line L12 protrudes upward indicates the period in which the road traffic light emits light.
  • the broken line L13 and the broken line L14 indicate the exposure timing of the first photoelectric conversion unit 61 and the exposure timing of the second photoelectric conversion unit 64, respectively.
  • the period in which each of the polygonal line L13 and the polygonal line L14 protrudes upward indicates the exposure period.
  • the broken line L15 and the broken line L16 indicate the drive signal TGS and the drive signal ABG.
  • a state in which each drive signal protrudes upward indicates a state in which the drive signal is on, that is, an active state.
  • the road traffic light of the LED light source is 120 Hz AC driving in western Japan and 100 Hz AC driving in eastern Japan.
  • a general 60 fps camera performs high-speed shutter exposure once within one frame period. For this reason, when the exposure timing of the camera coincides with the timing of non-light emission of the road traffic light, the light emission (lighting) of the road traffic light is not captured by the camera, that is, the light emission of the road traffic light is not captured in the captured image. turn into.
  • the solid-state imaging device 11 performs burst driving of the second photoelectric conversion unit 64, and receives light (exposure) at a frequency and phase different from the frame readout cycle of the captured image, thereby causing LED pulse emission of the road traffic light.
  • the occurrence of flicker due to can be suppressed.
  • the road traffic light that is the subject of the light emitting light source has high luminance, a necessary and sufficient effect can be obtained even by performing burst driving only on the second photoelectric conversion unit 64 having lower sensitivity.
  • the drive signal ABG is switched from on to off, and the exposure of the second photoelectric conversion unit 64 is started at the timing when the reset of the second photoelectric conversion unit 64 is released.
  • the exposure period ends when the drive signal TGS is turned on and the charge accumulated in the second photoelectric conversion unit 64 is transferred to the charge accumulation unit 67 by exposure.
  • the total exposure time For example, in the period T11 that is a period of one frame, exposure and non-exposure of the second photoelectric conversion unit 64 are alternately repeated, and the total length of the exposure period within one frame period (hereinafter referred to as total exposure time).
  • the total length of the non-exposure period (hereinafter referred to as the total non-exposure time) is the same length.
  • the HDR exposure ratio sensitivity ratio
  • the HDR exposure ratio is doubled by setting the total exposure time of the second photoelectric conversion unit 64 in one frame period to half the time of one frame period.
  • the length of the non-exposure period of the second photoelectric conversion unit 64 is equal to the length of the exposure period following the non-exposure period. Further, the length of each exposure period of the second photoelectric conversion unit 64 is different. That is, the vertical drive unit 22 appropriately drives the pixel 51 while changing the exposure time of the second photoelectric conversion unit 64, thereby realizing the non-linear burst drive of the second photoelectric conversion unit 64.
  • the burst drive of the second photoelectric conversion unit 64 is synchronized with the pulse emission timing of a road signal device in East Japan, that is, the pulse emission light source of 100 Hz, and the second photoelectric conversion unit 64 is synchronized with the light emission timing of the road signal device in East Japan.
  • the conversion unit 64 is exposed.
  • the hatched portion indicates a period that is not the exposure period of the second photoelectric conversion unit 64, and the part that is not shaded overlaps the exposure period of the second photoelectric conversion unit 64. Indicates the period.
  • the second photoelectric conversion unit 64 receives a sufficient amount of light emitted by the road traffic signal during each light emission period of the road traffic signal by the non-linear burst drive of the second photoelectric conversion unit 64. can do. Thereby, the light from pulse light sources, such as a road signal apparatus, can be caught more reliably, and generation
  • the length and phase (time) of each exposure period are controlled by nonlinear burst driving of the second photoelectric conversion unit 64, and the center of gravity position of exposure of the second photoelectric conversion unit 64 within one frame period is set to an arbitrary phase ( Time).
  • the peak portion of the sine wave drawn together with the polygonal line L14 is the gravity center position of the exposure of the second photoelectric conversion unit 64, and the gravity center position of the exposure of the second photoelectric conversion unit 64
  • it turns out that it is the position within the light emission period of the road traffic light of eastern Japan.
  • the exposure of the second photoelectric conversion unit 64 is a high-speed shutter exposure synchronized with the light emission timing of the road traffic light in eastern Japan. Further, the exposure time of the second photoelectric conversion unit 64 in one frame period is half the time of one frame period.
  • the pixel signal obtained by the exposure of the second photoelectric conversion unit 64 is included.
  • the traffic signal will not be blurred in the captured image. Generation of motion blur and flicker can be suppressed by such burst driving of the second photoelectric conversion unit 64.
  • the length of the period composed of the non-exposure period and the exposure period following the non-exposure period may be set to change randomly. Alternatively, it may be changed in accordance with the light emission timing of the desired pulse light source. In particular, the exposure can be performed more efficiently by controlling the exposure in the second photoelectric conversion unit 64 in synchronization with the light emission timing of the pulsed light source.
  • the total exposure time of the second photoelectric conversion unit 64 within one frame period and the timing at which each exposure is performed can be set for each frame.
  • the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64 will be described.
  • the sensitivity ratio can be arbitrarily set. Thereby, not only can the dynamic range of the captured image be sufficiently expanded, but also the HDR synthesis ratio can be set freely.
  • the first photoelectric conversion unit 61 performs exposure at the same time as the exposure of the second photoelectric conversion unit 64, the position of the center of gravity of the exposure period of the second photoelectric conversion unit 64 in one frame period, and the first photoelectric conversion unit If the deviation from the center of gravity of the exposure period 61 is large, a composite artifact occurs.
  • the vertical drive unit 22 shifts the exposure period of the first photoelectric conversion unit 61 to an arbitrary phase, for example, as indicated by an arrow A11, and the position of the center of gravity of the exposure period of the first photoelectric conversion unit 61 and the second photoelectric conversion unit.
  • the position of the center of gravity of the exposure period of the conversion unit 64 is made to coincide.
  • the exposure period of the first photoelectric conversion unit 61 is also shorter than one frame period, and the occurrence of motion blur can be suppressed.
  • the entire period of one frame period may be set as the exposure period.
  • the second photoelectric conversion unit 64 is exposed all at once, and the first photoelectric conversion unit 61 is sequentially exposed for each pixel row arranged in the column direction.
  • the exposure timing of the first photoelectric conversion unit 61 is set to the second photoelectric conversion unit in a method of receiving light just before the 1/60 second pixel signal readout cycle. It is impossible to synchronize with the 64 exposure timing or the light emission timing of the pulsed light source.
  • FIG. 4 consider a case where the exposure period of the first photoelectric conversion unit 61 is shifted in the time direction by phase shift, and exposure of each frame of the captured image and readout of the pixel signal are performed.
  • the same reference numerals are given to the portions corresponding to those in FIG. 3, and description thereof will be omitted as appropriate.
  • a polygonal line L21 indicates a predetermined odd-numbered frame exposure, that is, charge accumulation and pixel signal readout.
  • the portion where the polygonal line L21 is inclined downward in the drawing represents a state in which the pixel row from which the pixel signal is read is shifted in the column direction.
  • a polygonal line L22 indicates a state of exposure of an even frame following the odd frame indicated by the polygonal line L21 and readout of a pixel signal. Note that the portion where the polygonal line L22 is inclined downward in the drawing represents a state in which the pixel row from which the pixel signal is read is shifted in the column direction.
  • readout of pixel signals in an odd frame indicated by a broken line L21 is started at time t11, and pixel rows of the pixel array unit 21 are sequentially selected in the column direction to form the selected pixel rows. Pixel signals are read out from the pixels to be processed. Then, readout of pixel signals from all pixels in the odd frame is completed at time t13, which is the end time of one frame period.
  • the period from time t11 to time t12 is a period during which exposure is performed, and during this period, the first photoelectric conversion unit 61 and the second photoelectric conversion unit 61 are performed at a predetermined time.
  • the conversion unit 64 is exposed.
  • each pixel even if the signal output periods overlap.
  • the pixel signal can be read out from.
  • two vertical signal lines 27 are provided for the pixel columns arranged in the column direction in the pixel array unit 21, and each pixel 51 constituting the pixel column is included in the two vertical signal lines 27. It is connected to any vertical signal line 27.
  • AD converters that perform AD conversion processing are provided for the two vertical signal lines 27, respectively.
  • the pixel signal from the pixel 51 can be read using one vertical signal line 27, and for the even frame, the pixel signal from the pixel 51 can be read using the other vertical signal line 27.
  • the driving described with reference to FIG. 3 can be realized.
  • the phase of the exposure period of the first photoelectric conversion unit 61 can be shifted for each frame. it can.
  • the centroid position in the time direction of the exposure period of the second photoelectric conversion unit 64 that performs burst driving and the centroid position in the time direction of the exposure period of the first photoelectric conversion unit 61 can be substantially matched.
  • an external memory for delay is provided so that synchronization signal processing between the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64 can be performed, and the external memory is provided in the external memory. You may make it hold
  • the configuration in which the pixel signal is read may be configured to be able to operate at twice the normal speed. That is, if the column processing unit 23 is provided with a double speed AD converter so that the phase of the exposure period of the first photoelectric conversion unit 61 can be shifted to half of one frame period, the signal is output in odd frames and even frames. Pixel signals can be read without causing overlap in output periods.
  • the pixel signal readout path portion when the pixel signal readout path portion cannot be a DOL structure, it may be a frame sequential.
  • the first photoelectric conversion unit 61 is exposed for one frame for the entire period, and the second photoelectric conversion unit 64 is subjected to the above-described nonlinear burst driving. Thereby, the occurrence of flicker can be suppressed in the captured image of the first frame.
  • the first photoelectric conversion unit 61 performs high-speed shutter exposure in the latter half of one frame period, that is, immediately before the pixel signal is read, and the second photoelectric conversion unit 64 performs the first photoelectric conversion unit. Exposure is performed in accordance with the exposure period at 61.
  • the exposure of the second photoelectric conversion unit 64 may or may not be a burst drive. As a result, it is possible to suppress the occurrence of synthetic artifacts and motion blur in the second frame.
  • each drive signal shows a state in which the state of the upper protrusion is turned on in the drawing.
  • the vertical drive unit 22 turns on the drive signal FDG to turn on the third transfer gate unit 68, thereby electrically connecting the FD unit 63 and the node 81.
  • the vertical drive unit 22 turns on the reset gate unit 70 by turning on the drive signal RST. As a result, the FD unit 63 and the node 81 are reset.
  • the vertical drive unit 22 turns on the drive signal FCG and the drive signal ABG.
  • the fourth transfer gate unit 69 is turned on, and the charge storage unit 67, the node 81, and the FD unit 63 are electrically connected, and these regions are reset.
  • the anti-blooming gate unit 65 is turned on and the second photoelectric conversion unit 64 is reset.
  • the vertical drive unit 22 turns off the fourth transfer gate unit 69 by turning off the drive signal FCG.
  • the charge storage unit 67 and the node 81 are electrically disconnected, and the reset of the charge storage unit 67 is released.
  • the vertical drive unit 22 turns off the drive signal ABG, thereby turning off the anti-blooming gate unit 65 and releasing the reset of the second photoelectric conversion unit 64. Thereby, the exposure in the 2nd photoelectric conversion part 64 is started. Thereafter, the vertical driving unit 22 performs nonlinear burst driving of the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns on the second transfer gate unit 66 by turning on the drive signal TGS.
  • the charge obtained by the photoelectric conversion in the second photoelectric conversion unit 64 is transferred from the second photoelectric conversion unit 64 to the charge storage unit 67 via the second transfer gate unit 66 and stored.
  • the vertical drive unit 22 turns off the drive signal TGS to turn off the second transfer gate unit 66 to finish the charge transfer, and the exposure in the second photoelectric conversion unit 64 is finished.
  • the vertical drive unit 22 turns on the drive signal ABG to turn on the anti-blooming gate unit 65 and resets the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns off the anti-blooming gate unit 65 by turning off the drive signal ABG, and releases the reset of the second photoelectric conversion unit 64. Thereby, the exposure of the second photoelectric conversion unit 64 is started again.
  • the vertical drive unit 22 turns on the second transfer gate unit 66 by turning on the drive signal TGS to transfer the charge of the second photoelectric conversion unit 64 to the charge storage unit 67, and at time t31, the vertical drive unit TGS is turned on.
  • the drive unit 22 turns off the second transfer gate unit 66 by turning off the drive signal TGS, and ends the charge transfer.
  • the vertical drive unit 22 turns on the drive signal ABG to turn on the anti-blooming gate unit 65 to reset the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns off the drive signal ABG.
  • the anti-blooming gate unit 65 is turned off, and the reset of the second photoelectric conversion unit 64 is released.
  • the vertical drive unit 22 turns on the drive signal TGL and turns on the first transfer gate unit 62 to reset the first photoelectric conversion unit 61.
  • the vertical drive unit 22 sends the drive signal TGL. Is turned off to turn off the first transfer gate unit 62, thereby releasing the reset of the first photoelectric conversion unit 61. Thereby, the exposure in the 1st photoelectric conversion part 61 is started.
  • the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST, and releases the reset of the FD unit 63 and the node 81.
  • the vertical drive unit 22 turns off the drive signal FDG to turn off the third transfer gate unit 68, thereby electrically disconnecting the FD unit 63 and the node 81.
  • the vertical drive unit 22 turns on the drive signal TGS to turn on the second transfer gate unit 66 to transfer the charge of the second photoelectric conversion unit 64 to the charge storage unit 67, and at time t39, the vertical drive unit TGS is turned on.
  • the drive unit 22 turns off the second transfer gate unit 66 by turning off the drive signal TGS, and ends the charge transfer.
  • the vertical drive unit 22 turns on the drive signal ABG to turn on the anti-blooming gate unit 65 to reset the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns off the drive signal ABG.
  • the anti-blooming gate unit 65 is turned off, and the reset of the second photoelectric conversion unit 64 is released.
  • the vertical drive unit 22 turns on the drive signal TGL to turn on the first transfer gate unit 62. Thereby, the electric charge obtained by the photoelectric conversion in the first photoelectric conversion unit 61 is transferred from the first photoelectric conversion unit 61 to the FD unit 63 via the first transfer gate unit 62 and stored. Further, at time t43, the vertical drive unit 22 turns off the drive signal TGL and turns off the first transfer gate unit 62, thereby terminating the transfer of charges from the first photoelectric conversion unit 61. Thereby, the exposure in the 1st photoelectric conversion part 61 is complete
  • the vertical drive unit 22 suppresses the occurrence of synthesis artifacts and motion blur by making the time centroid position of the exposure period of the first photoelectric conversion unit 61 substantially coincide with the time centroid position of the exposure period of the second photoelectric conversion unit 64. be able to.
  • the vertical drive unit 22 turns on the drive signal TGS to turn on the second transfer gate unit 66 to transfer the charge of the second photoelectric conversion unit 64 to the charge storage unit 67, and at time t45.
  • the vertical drive unit 22 turns off the second transfer gate unit 66 by turning off the drive signal TGS, and ends the charge transfer. Thereafter, the non-linear burst driving of the second photoelectric conversion unit 64 is appropriately performed until the reading of the pixel signal is started.
  • the solid-state imaging device 11 performs the non-linear burst driving of the second photoelectric conversion unit 64 to perform the exposure in the second photoelectric conversion unit 64, and the exposure of the first photoelectric conversion unit 61 in an arbitrary phase. I do.
  • the dynamic range of the captured image can be sufficiently expanded, and the occurrence of flicker, motion blur, and synthesis artifacts can be suppressed, and a higher quality captured image can be obtained.
  • broken lines L41 to L47 indicate the drive signal RST, drive signal TGL, drive signal TGS, drive signal FDG, drive signal FCG, drive signal ABG, and drive signal SEL.
  • each drive signal shows a state in which the state of the upper protrusion is turned on in the drawing.
  • the drive signal ABG is turned on and the anti-blooming gate unit 65 is turned on, that is, the second photoelectric conversion unit 64 is reset.
  • the vertical drive unit 22 turns on the reset gate unit 70 by turning on the drive signal RST. Further, at time t51, the vertical drive unit 22 turns on the drive signal SEL to turn on the selection transistor 72, thereby bringing the pixel 51 into a selected state.
  • the charge transferred from the first photoelectric conversion unit 61 during the exposure operation is stored in the FD unit 63. Therefore, a signal corresponding to the amount of charge accumulated in the FD unit 63, that is, the amount of charge obtained by exposure in the first photoelectric conversion unit 61 is transmitted from the amplification transistor 71 to the selection transistor 72 and the vertical signal line 27.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the first photoelectric conversion unit 61.
  • the vertical drive unit 22 turns on the drive signal FDG to turn on the third transfer gate unit 68, thereby electrically connecting the FD unit 63 and the node 81. Thereby, the FD unit 63 and the node 81 are reset.
  • the vertical drive unit 22 turns off the drive signal FDG to turn off the third transfer gate unit 68, thereby electrically disconnecting the FD unit 63 and the node 81.
  • a signal corresponding to the amount of charge accumulated in the FD unit 63 is transmitted from the amplification transistor 71 via the selection transistor 72 and the vertical signal line 27 to the column processing unit 23. Is output.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the first photoelectric conversion unit 61.
  • a pixel signal obtained by exposure in the first photoelectric conversion unit 61 is generated from the reset level and signal level of the first photoelectric conversion unit 61 obtained as described above.
  • the pixel signal is read in a state where the third transfer gate unit 68 is turned on, that is, in a state where the FD unit 63 and the node 81 are connected. May be.
  • the conversion efficiency of electric charges into electric signals that is, the sensitivity of the first photoelectric conversion unit 61 can be adjusted.
  • the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST and releases the reset of the node 81.
  • the vertical drive unit 22 turns on the third transfer gate unit 68 and the fourth transfer gate unit 69 by turning on the drive signal FDG and the drive signal FCG.
  • the charge storage unit 67, the node 81, and the FD unit 63 are electrically connected.
  • the charge transferred from the second photoelectric conversion unit 64 during the exposure operation is stored in the charge storage unit 67, when the charge storage unit 67, the node 81, and the FD unit 63 are electrically connected, The charge obtained by the exposure in the second photoelectric conversion unit 64 is accumulated in the charge accumulation unit 67, the node 81, and the FD unit 63.
  • a signal corresponding to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63 is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27. Is done.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns on the reset gate unit 70 by turning on the drive signal RST.
  • the charge storage unit 67, the node 81, and the FD unit 63 are reset.
  • the vertical drive unit 22 turns off the drive signal RST to turn off the reset gate unit 70, thereby releasing the reset of the charge storage unit 67, the node 81, and the FD unit 63.
  • a signal corresponding to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63 is The signal is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the second photoelectric conversion unit 64.
  • a pixel signal obtained by exposure in the second photoelectric conversion unit 64 is generated from the reset level and signal level of the second photoelectric conversion unit 64 obtained in the above.
  • the pixel signal for the first photoelectric conversion unit 61 and the pixel signal for the second photoelectric conversion unit 64 obtained in this way are HDR-combined in the subsequent signal processing unit 28 and the like, and the dynamic range is expanded.
  • the pixel signal of the pixels of the captured image for one frame is obtained.
  • the vertical drive unit 22 turns on the reset signal 70 by turning on the drive signal RST, and turns on the drive signal TGL and the drive signal TGS to turn on the first transfer gate unit 62 and the second transfer gate.
  • the part 66 is turned on. Accordingly, the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64, the charge storage unit 67, the node 81, and the FD unit 63 are reset.
  • the vertical drive unit 22 turns off the first transfer gate unit 62 and the second transfer gate unit 66 by turning off the drive signal TGL and the drive signal TGS. Further, at time t60, the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST. Thereby, the reset of each part of the pixel 51 is cancelled.
  • the vertical drive unit 22 turns off the drive signal FCG, thereby turning off the fourth transfer gate unit 69.
  • the vertical drive unit 22 turns off the drive signal FDG, thereby The transfer gate unit 68 is turned off.
  • the charge storage unit 67, the node 81, and the FD unit 63 are electrically disconnected.
  • the vertical drive unit 22 turns off the selection transistor 72 by turning off the drive signal SEL to release the selection state of the pixel 51.
  • the solid-state imaging device 11 sequentially reads pixel signals obtained by the exposure of the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64.
  • the dynamic range of the captured image can be sufficiently expanded, and the occurrence of flicker, motion blur, and synthesis artifacts can be suppressed, and a higher quality captured image can be obtained.
  • the configuration of the unit pixel is not limited to the example shown in FIG.
  • the pixel 51 that is a unit pixel may be provided with three or more photoelectric conversion units, and the nonlinear burst driving described above can be performed on a part or all of the photoelectric conversion units. Also good.
  • an anti-blooming gate unit may be connected to the photoelectric conversion unit, and a charge storage unit may be connected to the photoelectric conversion unit via a transfer gate unit.
  • the configuration of the pixel 51 may be, for example, the configuration shown in FIG. In FIG. 7, portions corresponding to those in FIG. 2 are denoted with the same reference numerals, and description thereof will be omitted as appropriate.
  • the configuration of the pixel 51 illustrated in FIG. 7 is different from the configuration of the pixel 51 illustrated in FIG. 2 in that the third transfer gate unit 68 is not provided, and is the same as the configuration of the pixel 51 illustrated in FIG. It has become.
  • the reset gate unit 70 and the fourth transfer gate unit 69 are connected to the FD unit 63. Therefore, for example, when the reset gate unit 70 is turned on, the FD unit 63 is reset, and when the fourth transfer gate unit 69 is turned on, charges accumulated in the charge accumulation unit 67 are transferred to the FD unit 63. Become.
  • the configuration of the pixel 51 may be, for example, the configuration shown in FIG. In FIG. 8, portions corresponding to those in FIG. 7 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the configuration of the pixel 51 illustrated in FIG. 8 is different from the configuration of the pixel 51 illustrated in FIG. 7 in that the connection destination of the counter electrode of the charge storage unit 67 is the ground. In other respects, the configuration of the pixel illustrated in FIG. The configuration is the same as 51.
  • the configuration of the pixel 51 may be, for example, the configuration shown in FIG. In FIG. 9, parts corresponding to those in FIG. 7 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the configuration of the pixel 51 illustrated in FIG. 9 is different from the configuration of the pixel 51 illustrated in FIG. 7 in that the counter electrode of the charge storage unit 67 and the reset gate unit 70 are connected to the variable power supply VCB instead of the power supply VDD. In other respects, the configuration is the same as that of the pixel 51 shown in FIG.
  • the power supply voltage VCB of the variable power supply VCB is set to a high level voltage VH or a low level voltage VL, for example.
  • the voltage VH is set to the same level as the power supply voltage VDD, and the voltage VL is set to the ground level.
  • the vehicle is provided with a headlamp for night-time front recognition, and the subject can be recognized by illuminating the subject in front of the vehicle with the headlamp.
  • the high beam for recognizing a subject at a long distance in front of the vehicle is dazzling to the people in the oncoming vehicle and other people in front, so it is not desirable to leave it on for a long time. . Therefore, as a method for preventing the headlight high beam from becoming dazzling, flash control for emitting the high beam for a moment can be considered.
  • a broken line L51 indicates the flash high beam emission timing, and a state of protrusion above the flash high beam indicates a state in which the flash high beam is emitted.
  • a broken line L52 and a broken line L53 indicate the exposure timing of the first photoelectric conversion unit 61 and the exposure timing of the second photoelectric conversion unit 64, respectively.
  • the period in which each of the polygonal line L52 and the polygonal line L53 protrudes upward indicates the exposure period.
  • the portion where the polygonal line L52 gradually rises in the drawing shows a state in which charges are accumulated in the first photoelectric conversion unit 61.
  • a broken line L54 to a broken line L60 indicate a drive signal RST, a drive signal TGL, a drive signal TGS, a drive signal FDG, a drive signal FCG, a drive signal ABG, and a drive signal SEL.
  • each drive signal shows a state in which the state of the upper protrusion is turned on in the drawing.
  • a curve L61 and a curve L62 indicate the potential of the vertical signal line 27 at the time of reading a pixel signal.
  • a period of 1/60 seconds which is a period of one frame of a normal captured image, is divided into a period T31 and a period T32, and these periods T31 and T32 are sections of 1/120 seconds. ing. That is, in this example, the frame rate of the captured image is set to twice the normal rate, exposure synchronized with the flash high beam is performed in the period T31, and normal captured image is captured in the period T32. .
  • a split high beam or low beam that illuminates only a part of a region with a high beam is emitted in order at an appropriate timing, and a flash high beam is 1 in a normal period of one frame consisting of a period T31 and a period T32. It is an example of emitting light only once.
  • the vertical drive unit 22 turns on the drive signal RST, the drive signal TGL, and the drive signal FDG, so that the reset gate unit 70, the first transfer gate unit 62, The third transfer gate unit 68 is turned on. Thereby, the 1st photoelectric conversion part 61, FD part 63, and node 81 are electrically connected, and those 1st photoelectric conversion part 61, FD part 63, and node 81 are reset.
  • the vertical drive unit 22 turns off the drive signal TGL to cancel the reset of the first photoelectric conversion unit 61 and start the exposure in the first photoelectric conversion unit 61.
  • the vertical drive unit 22 turns off the drive signal FDG to turn off the third transfer gate unit 68 to electrically disconnect the FD unit 63 and the node 81.
  • the vertical drive unit 22 turns on the first transfer gate unit 62 by turning on the drive signal TGL, and is obtained by photoelectric conversion in the first photoelectric conversion unit 61.
  • the charged charges are transferred to the FD unit 63 and accumulated.
  • the vertical drive unit 22 turns off the first transfer gate unit 62 by turning off the drive signal TGL, and ends the transfer of the charge obtained by the photoelectric conversion in the first photoelectric conversion unit 61 to the FD unit 63. Thereby, the exposure in the 1st photoelectric conversion part 61 is complete
  • the vertical drive unit 22 turns off the drive signal RST, thereby turning off the reset gate unit 70 and releasing the reset of the node 81.
  • the vertical drive unit 22 sequentially selects each pixel row, and all pixels 51 The pixel signal is read out from.
  • the vertical drive unit 22 turns on the selection transistor 72 by turning on the drive signal SEL to be supplied to the selected pixel row, so that the pixel 51 in the pixel row is selected. Further, the vertical drive unit 22 turns on the drive signal RST to turn on the reset gate unit 70, and the node 81 is reset.
  • the potential of the vertical signal line 27 changes according to the amount of charge accumulated in the FD unit 63 as shown by a curve L61.
  • a signal corresponding to the amount of charge obtained by exposure in the first photoelectric conversion unit 61 is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the first photoelectric conversion unit 61.
  • the vertical drive unit 22 turns on the third transfer gate unit 68 by turning on the drive signal FDG to electrically connect the FD unit 63 and the node 81.
  • the FD unit 63 and the node 81 are reset.
  • the vertical drive unit 22 turns off the third transfer gate unit 68 by turning off the drive signal FDG, and electrically disconnects the FD unit 63 and the node 81. Thereby, the reset of the FD unit 63 is released. As a result, the potential of the vertical signal line 27 changes according to the amount of charge accumulated in the FD unit 63 as shown by the curve L61.
  • a signal corresponding to the amount of charge accumulated in the FD unit 63 is sent from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27. Is output.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the first photoelectric conversion unit 61.
  • a pixel signal obtained by exposure in the first photoelectric conversion unit 61 is generated from the reset level and the signal level of the first photoelectric conversion unit 61 obtained as described above. As a result, a photographed image for recognizing a subject far away in front of the vehicle using the flash high beam as an illumination light source is obtained.
  • the vertical drive unit 22 When the pixel signal is read, at time t88, the vertical drive unit 22 turns off the drive signal RST to turn off the reset gate unit 70 and release the reset of the node 81.
  • the vertical drive unit 22 turns off the selection transistor 72 by turning off the drive signal SEL as necessary, and releases the selection state of the pixel 51.
  • the vertical drive unit 22 turns on the drive signal RST, the drive signal TGL, the drive signal TGS, the drive signal FDG, and the drive signal FCG. Accordingly, the reset gate unit 70, the first transfer gate unit 62, the second transfer gate unit 66, the third transfer gate unit 68, and the fourth transfer gate unit 69 are turned on, and the first photoelectric conversion unit 61 and the FD unit are turned on. 63, the node 81, the charge storage unit 67, and the second photoelectric conversion unit 64 are electrically connected. Then, the first photoelectric conversion unit 61, the FD unit 63, the node 81, the charge storage unit 67, and the second photoelectric conversion unit 64 are reset.
  • the vertical drive unit 22 turns off the drive signal TGL and the drive signal TGS to turn off the first transfer gate unit 62 and the second transfer gate unit 66, and the first photoelectric conversion unit 61 up to the next frame and
  • the exposure at the second photoelectric conversion unit 64 is started.
  • the exposure started here is exposure for shooting a normal shot image.
  • the above-described phase shift control that is, the reset operation of the first photoelectric conversion unit 61 at an arbitrary timing is performed so that the exposure is started at a desired timing. Also good.
  • the vertical drive unit 22 turns off the drive signal RST to turn off the reset gate unit 70, thereby releasing the reset of the FD unit 63, the node 81, and the charge storage unit 67.
  • the vertical drive unit 22 turns off the drive signal FCG to turn off the fourth transfer gate unit 69, thereby electrically disconnecting the node 81 and the charge storage unit 67.
  • the vertical drive unit 22 turns off the third transfer gate unit 68 by turning off the drive signal FDG, and electrically disconnects the node 81 and the FD unit 63.
  • time t85 to time t93 are performed in order for each pixel row selected.
  • the vertical drive unit 22 performs the nonlinear burst drive of the second photoelectric conversion unit 64 described above while appropriately turning on and off the drive signal TGS and the drive signal ABG.
  • the vertical drive unit 22 turns on the drive signal RST and the drive signal FDG to turn on the reset gate unit 70 and the third transfer gate unit 68, and turns on the drive signal TGS to perform the second transfer.
  • the gate unit 66 is turned on.
  • the node 81 and the FD unit 63 are electrically connected, the node 81 and the FD unit 63 are reset, and the charge obtained by the photoelectric conversion in the second photoelectric conversion unit 64 is transferred to the second transfer.
  • the charge is transferred from the second photoelectric conversion unit 64 to the charge storage unit 67 through the gate unit 66 and stored therein.
  • the vertical drive unit 22 turns off the second transfer gate unit 66 by turning off the drive signal TGS, and ends the transfer of charges from the second photoelectric conversion unit 64. That is, the exposure ends.
  • the first photoelectric conversion unit 61 is appropriately reset, so that the exposure start time at the first photoelectric conversion unit 61 is arbitrarily set. You may make it adjust to time.
  • the vertical drive unit 22 turns off the drive signal RST to turn off the reset gate unit 70, releases the reset of the node 81 and the FD unit 63, and turns on the drive signal ABG to turn on the anti-blooming gate unit. 65 is turned on, and the second photoelectric conversion unit 64 is reset.
  • the vertical drive unit 22 turns off the drive signal FDG, thereby turning off the third transfer gate unit 68 and electrically disconnecting the node 81 and the FD unit 63. Thereafter, the vertical drive unit 22 turns off the drive signal ABG at an appropriate timing to turn off the anti-blooming gate unit 65 and starts exposure at the second photoelectric conversion unit 64.
  • the vertical drive unit 22 performs non-linear burst driving of the second photoelectric conversion unit 64 by performing non-linear repetition of driving from time t94 to time t97.
  • FIG. 10 shows an example in which the total exposure time and the total non-exposure time of the second photoelectric conversion unit 64 have the same length.
  • the vertical drive unit 22 turns on the selection signal 72 by turning on the drive signal SEL, so that the pixel 51 is selected. .
  • the vertical drive unit 22 turns on the second transfer gate unit 66 by turning on the drive signal TGS, and turns on the drive signal FDG and the drive signal FCG, thereby turning on the third transfer gate unit 68 and the fourth transfer signal.
  • the transfer gate unit 69 is turned on.
  • the charge storage unit 67, the node 81, and the FD unit 63 are electrically connected, and the charge obtained by photoelectric conversion in the second photoelectric conversion unit 64 passes through the second transfer gate unit 66. Then, the charge is transferred to and accumulated in the charge storage unit 67, the node 81, and the FD unit 63.
  • the vertical drive unit 22 turns off the drive signal TGS to turn off the second transfer gate unit 66, and ends the transfer of charges from the second photoelectric conversion unit 64. Thereby, the exposure in the 2nd photoelectric conversion part 64 is complete
  • the charge obtained by the exposure in the second photoelectric conversion unit 64 is accumulated in the charge accumulation unit 67, the node 81, and the FD unit 63, as shown by a curve L62.
  • the potential of the vertical signal line 27 changes according to the amount of accumulated charge.
  • a signal corresponding to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63 is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27. Is done.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns on the drive signal RST to turn on the reset gate unit 70, and resets the charge storage unit 67, the node 81, and the FD unit 63.
  • the potential of the vertical signal line 27 changes according to the amount of charge accumulated in the charge accumulation unit 67, the node 81, and the FD unit 63 at the time of reset.
  • the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST, and releases the reset of the charge storage unit 67, the node 81, and the FD unit 63.
  • a signal corresponding to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63 is The signal is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the second photoelectric conversion unit 64.
  • a pixel signal obtained by exposure in the second photoelectric conversion unit 64 is generated from the reset level and signal level of the second photoelectric conversion unit 64 obtained in the above.
  • the vertical drive unit 22 turns off the fourth transfer gate unit 69 by turning off the drive signal FCG, and at time t104, the vertical drive unit 22 turns off the drive signal FDG to turn off the third transfer gate.
  • the part 68 is turned off.
  • the charge storage unit 67, the node 81, and the FD unit 63 are electrically disconnected, and according to the amount of charge stored in the FD unit 63 in a reset state, as shown by a curve L62.
  • the potential of the vertical signal line 27 changes.
  • a signal corresponding to the amount of charge accumulated in the FD unit 63 is transmitted from the amplification transistor 71 via the selection transistor 72 and the vertical signal line 27 to the column processing unit 23. Is output.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the first photoelectric conversion unit 61.
  • the vertical drive unit 22 turns on the drive signal TGL to turn on the first transfer gate unit 62. Thereby, the electric charge obtained by the photoelectric conversion in the first photoelectric conversion unit 61 is transferred from the first photoelectric conversion unit 61 to the FD unit 63 via the first transfer gate unit 62 and stored. Further, at time t106, the vertical drive unit 22 turns off the drive signal TGL and turns off the first transfer gate unit 62, thereby ending the transfer of charges from the first photoelectric conversion unit 61. Thereby, the exposure in the 1st photoelectric conversion part 61 is complete
  • the charge transferred from the first photoelectric conversion unit 61 is accumulated in the FD unit 63, and the charge accumulated in the FD unit 63 as shown by a curve L62.
  • the potential of the vertical signal line 27 changes according to the amount of.
  • a signal corresponding to the amount of charge accumulated in the FD unit 63, that is, the amount of charge obtained by exposure in the first photoelectric conversion unit 61 is transmitted from the amplification transistor 71 to the selection transistor 72 and the vertical signal line 27.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the first photoelectric conversion unit 61.
  • a pixel signal obtained by exposure in the first photoelectric conversion unit 61 is generated from the reset level and signal level of the first photoelectric conversion unit 61 obtained in the above. Then, the pixel signal for the first photoelectric conversion unit 61 and the pixel signal for the second photoelectric conversion unit 64 obtained in this manner are HDR-synthesized, and the pixel signal of the pixel of the captured image whose dynamic range is expanded. It is said.
  • the vertical drive unit 22 turns on the drive signal RST, the drive signal TGL, the drive signal TGS, the drive signal FCG, and the drive signal FDG, thereby resetting the reset gate unit 70, the first transfer gate unit 62, and the second transfer.
  • the gate unit 66, the fourth transfer gate unit 69, and the third transfer gate unit 68 are turned on.
  • the first photoelectric conversion unit 61, the FD unit 63, the node 81, the charge storage unit 67, and the second photoelectric conversion unit 64 are electrically connected, and the first photoelectric conversion unit 61, the FD unit 63, the node 81, the charge storage unit 67, and the second photoelectric conversion unit 64 are reset.
  • the vertical drive unit 22 turns off the first transfer gate unit 62 and the second transfer gate unit 66 by turning off the drive signal TGL and the drive signal TGS. Further, at time t109, the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST, and releases the reset of the FD unit 63, the node 81, and the charge storage unit 67.
  • the vertical drive unit 22 turns off the drive signal FCG to turn off the fourth transfer gate unit 69, thereby electrically separating the charge storage unit 67 and the node 81. Further, at time t111, the vertical drive unit 22 turns off the drive signal FDG to turn off the third transfer gate unit 68, electrically disconnects the FD unit 63 and the node 81, and turns off the drive signal SEL. The selection transistor 72 is turned off, and the selected state of the pixel 51 is released.
  • the anti-blooming gate unit 65 is connected to the second photoelectric conversion unit 64 among the two photoelectric conversion units provided in the pixel 51, and the non-linear burst is performed. It was possible to drive. On the other hand, the anti-blooming gate unit is not connected to the first photoelectric conversion unit 61, and the burst driving cannot be performed.
  • the anti-blooming gate unit is connected to the first photoelectric conversion unit 61, it is possible to provide a higher value-added solid-state imaging device 11, that is, a high value-added vehicle-mounted camera.
  • each unit pixel provided in the pixel array unit 21 is configured, for example, as shown in FIG. In FIG. 11, parts corresponding to those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • a pixel 111 which is a unit pixel shown in FIG. 11 includes a first photoelectric conversion unit 61, a first transfer gate unit 62, an FD unit 63, a second photoelectric conversion unit 64, an anti-blooming gate unit 65, a second transfer gate unit 66, The charge storage unit 67, the third transfer gate unit 68, the fourth transfer gate unit 69, the reset gate unit 70, the amplification transistor 71, the selection transistor 72, and the anti-blooming gate unit 121 are included.
  • the configuration of the pixel 111 is different from the configuration of the pixel 51 in FIG. 2 in that the anti-blooming gate unit 121 is connected to the first photoelectric conversion unit 61, and the configuration is the same as that of the pixel 51 in other points. .
  • each photoelectric conversion unit in the pixel 111 is connected to a region for accumulating charges via a transfer gate unit, and an anti-blooming gate unit is also connected to each photoelectric conversion unit.
  • This configuration is capable of non-linear burst driving.
  • the anti-blooming gate unit 121 is connected between the first photoelectric conversion unit 61 and the power supply VDD, and a drive signal AGL is supplied to the gate electrode of the anti-blooming gate unit 121 from the vertical drive unit 22.
  • the drive signal AGL is turned on, the anti-blooming gate unit 121 is turned on, and the charge accumulated in the first photoelectric conversion unit 61 is discharged through the anti-blooming gate unit 121. That is, the potential of the first photoelectric conversion unit 61 is reset to the level of the power supply voltage VDD.
  • the structure in which the charge accumulation region is connected to the photoelectric conversion unit via the transfer gate unit and the anti-blooming gate unit is further connected to the photoelectric conversion unit measures the distance to the object by the time-of-flight measurement method. It is a configuration that can realize the function of a ToF (Time of Flight) distance measuring sensor. Therefore, the solid-state imaging device 11 provided with such a pixel 111 can also function as a ToF distance sensor.
  • ToF Time of Flight
  • the pixel 111 is provided with a photoelectric conversion unit having different sensitivities, such as a first photoelectric conversion unit 61 having a higher sensitivity and a second photoelectric conversion unit 64 having a lower sensitivity. And a long-distance object with low luminance can be detected efficiently.
  • ToF distance sensors for personal computers and games have been generally sold, and these ToF distance sensors measure distances by a method called the Continuous-Wave method.
  • the photoelectric conversion unit is repeatedly reset and the charge is transferred from the photoelectric conversion unit to the charge storage unit at a frequency according to the light flight time of the target distance. Is done. Then, distance measurement calculation is performed to obtain a distance to the object from a signal corresponding to the charge accumulated in one frame period.
  • two-dimensional methods include 2D scanning with 1 dot light source and 1 sensor, 1D scanning with 1 line light source and 1 line sensor, and non-scanning method with 2D flash light source and 2D sensor. Sensors that measure the distance by this method have been commercialized.
  • the in-vehicle headlight has been realized as a laser. Therefore, if the light reception timing of the solid-state image sensor 11 is synchronized with the flash pulse drive of the 2D laser which is the in-vehicle headlight, distance measurement using the solid-state image sensor 11 becomes possible.
  • the solid-state image sensor 11 when the solid-state image sensor 11 is caused to function also as a ToF distance sensor, the solid-state image sensor 11 may be driven as shown in FIG. 12, for example.
  • a head ride of a vehicle equipped with a vehicle-mounted sensor on which the solid-state imaging device 11 is mounted that is, a flash high beam, is used as a light source (pulse light source) during ToF distance measurement.
  • a polygonal line L71 indicates the flash high beam emission timing, and a state of protrusion on the upper side indicates a state where the flash high beam is emitted.
  • each drive signal shows a state in which the state of the upper protrusion is turned on in the drawing.
  • curves L80 to L83 indicate the potentials of the vertical signal lines 27 when reading pixel signals. Also, in FIG. 12, the portion indicated by the arrow Q11 is enlarged and displayed as the portion indicated by the arrow Q12.
  • distance measurement is performed by a combination method using a PPM (Pulse Phase Modulation) method in which a change in phase is replaced with a change in signal level, as in the Continuous Wave method.
  • PPM Pulse Phase Modulation
  • the PPM method requires drive detection that is at least 180 degrees out of phase, but the short-distance phase is calculated by utilizing the fact that the reflected light is large in the short-distance phase, and the reflected light is small in the long-distance phase.
  • the drive control is such that the second photoelectric conversion unit 64 receives the long-distance phase and the first photoelectric conversion unit 61 receives the long-distance phase.
  • the sensitivity difference between the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64 can be corrected because it is known in advance for HDR synthesis.
  • a frame sequential method is used so that a difference between a signal frame and a background noise frame can be obtained.
  • the acquisition of the normal captured image and ToF distance measurement can be achieved at a speed of 3 to 4 times the normal frame rate. Is possible.
  • the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64 Each may have a 2-tap structure in which another set of charge storage portions via transfer gate portions is added. As a result, it is possible to suppress a decrease in the frame rate and to reduce a difference error at the time of a moving subject.
  • Such a 2tap structure is a common structure in ToF distance sensors.
  • the normal 1/60 second period is divided into three or four frames, and ToF distance measurement and normal captured image acquisition are performed.
  • a frame obtained by dividing a normal frame period of 1/60 seconds is also referred to as a divided frame.
  • each of the period T41 and the period T42 indicates a period of a divided frame, and the period of these divided frames is, for example, 1/180 seconds or 1/240 seconds.
  • the vertical drive unit 22 controls the exposure in the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64 based on the emission timing of a fresh high beam that is a pulsed light source.
  • the distance measurement by the optical time-of-flight measurement method is controlled.
  • the vertical drive unit 22 drives the drive signal RST, drive signal TGL, drive signal TGS, drive signal FDG, drive signal FCG, drive signal AGL, and drive signal ABG.
  • the reset gate unit 70, the first transfer gate unit 62, the second transfer gate unit 66, the third transfer gate unit 68, the fourth transfer gate unit 69, the anti-blooming gate unit 121, and the anti-blooming gate unit 65 are turned on. To do.
  • the first photoelectric conversion unit 61, the FD unit 63, the node 81, the charge storage unit 67, and the second photoelectric conversion unit 64 are electrically connected, and the first photoelectric conversion unit 61, the FD unit 63, The node 81, the charge storage unit 67, and the second photoelectric conversion unit 64 are reset.
  • the vertical drive unit 22 turns off the first transfer gate unit 62 and the second transfer gate unit 66 by turning off the drive signal TGL and the drive signal TGS. Accordingly, the first photoelectric conversion unit 61 and the FD unit 63 are electrically disconnected, and the second photoelectric conversion unit 64 and the charge storage unit 67 are electrically disconnected.
  • the vertical drive unit 22 turns off the drive signal FCG to turn off the fourth transfer gate unit 69, thereby electrically separating the charge storage unit 67 from the node 81.
  • the vertical drive unit 22 turns off the drive signal ABG to turn off the anti-blooming gate unit 65 and cancels the reset of the second photoelectric conversion unit 64. Thereby, the exposure in the 2nd photoelectric conversion part 64 is started.
  • the vertical drive unit 22 turns off the third transfer gate unit 68 by turning off the drive signal FDG, and electrically disconnects the FD unit 63 and the node 81.
  • the vertical drive unit 22 turns on the second transfer gate unit 66 by turning on the drive signal TGS.
  • the second photoelectric conversion unit 64 and the charge storage unit 67 are electrically connected, and the charge obtained by the photoelectric conversion in the second photoelectric conversion unit 64 is converted into the second photoelectric conversion via the second transfer gate unit 66.
  • the data is transferred from the unit 64 to the charge storage unit 67 and stored therein.
  • the vertical drive unit 22 turns off the second transfer gate unit 66 by turning off the drive signal TGS, and ends the transfer of charges from the second photoelectric conversion unit 64. Let That is, the exposure at the second photoelectric conversion unit 64 ends.
  • the vertical drive unit 22 turns off the drive signal AGL to turn off the anti-blooming gate unit 121 and cancels the reset of the first photoelectric conversion unit 61. Thereby, the exposure in the 1st photoelectric conversion part 61 is started.
  • the time when the exposure start time at the first photoelectric conversion unit 61 is later than the exposure start time at the second photoelectric conversion unit 64 is to measure the distance to the object at a short distance by the second photoelectric conversion unit 64. This is because it is assumed that the first photoelectric conversion unit 61 measures the distance to the object at a long distance.
  • the vertical drive unit 22 turns on the first transfer gate unit 62 by turning on the drive signal TGL. Accordingly, the first photoelectric conversion unit 61 and the FD unit 63 are electrically connected, and the charge obtained by the photoelectric conversion in the first photoelectric conversion unit 61 is transferred to the first photoelectric conversion unit via the first transfer gate unit 62. 61 is transferred to the FD unit 63 and accumulated.
  • the vertical drive unit 22 turns off the first transfer gate unit 62 by turning off the drive signal TGL, and ends the transfer of charges from the first photoelectric conversion unit 61. That is, the exposure at the first photoelectric conversion unit 61 ends.
  • the vertical driving unit 22 turns off the driving signal RST to turn off the reset gate unit 70, releases the reset of the node 81, and turns on the driving signal ABG to turn off the anti-blooming gate unit 65.
  • the second photoelectric conversion unit 64 is reset by turning it on.
  • the vertical driving unit 22 turns on the driving signal AGL to turn on the anti-blooming gate unit 121 and resets the first photoelectric conversion unit 61.
  • the flash high beam for ToF distance measurement and the reflected light from the flash high beam object are received. These operations are performed simultaneously on all the pixels 111.
  • the second photoelectric conversion unit 64 and the first photoelectric conversion unit 61 are set in a reset state after the exposure is finished, the second photoelectric conversion unit 64 and the first photoelectric conversion unit 61. This is to prevent the electric charge obtained by photoelectric conversion in spilling out to the charge storage unit 67 and the FD unit 63.
  • the exposure period of the second photoelectric conversion unit 64 is the period T51 from time t144 to time t146.
  • the exposure period of the first photoelectric conversion unit 61 is a period T52 from time t146 to time t148.
  • the flash high beam emission time is 167 nsec.
  • the flash high beam advances by about 50 m during 167 nsec.
  • the lengths of the period T51 and the period T52 are both 167 nsec.
  • the object reflected between 0 m and 25 m is reflected from the vehicle on which the solid-state image sensor 11, that is, the vehicle-mounted sensor having the solid-state image sensor 11 is mounted. Then, the flash high beam light returned can be received.
  • the flash high beam light reflected and returned from the object between 25 m and 50 m is received from the solid-state imaging device 11. Can do.
  • a pixel signal obtained by exposure in the first photoelectric conversion unit 61 (hereinafter also referred to as a large signal) and a pixel signal obtained by exposure in the second photoelectric conversion unit 64. (Hereinafter, also referred to as a small signal) is compared after correcting the sensitivity ratio, and the distance from the solid-state imaging device 11 to the object can be calculated.
  • the flash high beam is reflected by the object located 12.5 m from the solid-state imaging device 11 and returned, the reflected light is received at the timing indicated by the arrow W13.
  • the flash high beam is reflected and returned by the object located 25 m from the solid-state imaging device 11, the reflected light is received at the timing indicated by the arrow W14, and the flash high beam at this time is received.
  • the flash high beam is reflected and returned by the object located 50 m from the solid-state imaging device 11
  • the reflected light is received at the timing indicated by the arrow W16, and the flash high beam at this time is received.
  • the distance to the object when the distance to the object is between 0m and 50m, the distribution of the small signal of the flash high beam and the signal value of the large signal changes linearly (analogously). By comparing, the distance to the object can be calculated.
  • the vertical drive unit 22 selects each pixel row as a pixel row for sequentially reading out pixel signals.
  • the pixel signal is read from each pixel 111.
  • the vertical drive unit 22 turns on the reset gate unit 70 by turning on the drive signal RST. Further, at time t150, the vertical drive unit 22 turns on the drive signal SEL to turn on the selection transistor 72, thereby bringing the pixel 111 into a selected state.
  • the charge transferred from the first photoelectric conversion unit 61 during the exposure operation is stored in the FD unit 63. Therefore, a signal corresponding to the amount of charge accumulated in the FD unit 63, that is, the amount of charge obtained by exposure in the first photoelectric conversion unit 61 is transmitted from the amplification transistor 71 to the selection transistor 72 and the vertical signal line 27. To the column processing unit 23. As a result, the potential of the vertical signal line 27 changes according to the amount of charge accumulated in the FD unit 63 as shown by the curve L80.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the first photoelectric conversion unit 61.
  • the vertical drive unit 22 turns on the drive signal FDG to turn on the third transfer gate unit 68, thereby electrically connecting the FD unit 63 and the node 81. Thereby, the FD unit 63 and the node 81 are reset.
  • the vertical drive unit 22 turns off the third transfer gate unit 68 by turning off the drive signal FDG, and electrically disconnects the FD unit 63 and the node 81.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the first photoelectric conversion unit 61.
  • a pixel signal obtained by exposure in the first photoelectric conversion unit 61 is generated from the reset level and signal level of the first photoelectric conversion unit 61 obtained in the above.
  • the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST, and releases the reset of the node 81.
  • the vertical drive unit 22 turns off the drive signal AGL to turn off the anti-blooming gate unit 121 and cancels the reset of the first photoelectric conversion unit 61.
  • the vertical drive unit 22 turns on the third transfer gate unit 68 and the fourth transfer gate unit 69 by turning on the drive signal FDG and the drive signal FCG.
  • the charge storage unit 67, the node 81, and the FD unit 63 are electrically connected.
  • the charge transferred from the second photoelectric conversion unit 64 during the exposure operation is stored in the charge storage unit 67, when the charge storage unit 67, the node 81, and the FD unit 63 are electrically connected, The charge obtained by the exposure in the second photoelectric conversion unit 64 is accumulated in the charge accumulation unit 67, the node 81, and the FD unit 63.
  • a signal corresponding to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63 is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27. Is done.
  • the potential of the vertical signal line 27 changes according to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the signal level of the pixel signal obtained by the exposure in the second photoelectric conversion unit 64.
  • the vertical drive unit 22 turns on the reset gate unit 70 by turning on the drive signal RST.
  • the charge storage unit 67, the node 81, and the FD unit 63 are reset.
  • the vertical drive unit 22 turns off the drive signal RST to turn off the reset gate unit 70, thereby releasing the reset of the charge storage unit 67, the node 81, and the FD unit 63.
  • a signal corresponding to the amount of charge stored in the charge storage unit 67, the node 81, and the FD unit 63 is The signal is output from the amplification transistor 71 to the column processing unit 23 via the selection transistor 72 and the vertical signal line 27.
  • the potential of the vertical signal line 27 changes according to the amount of charge accumulated in the reset charge accumulation unit 67, node 81, and FD unit 63.
  • the column processing unit 23 reads the signal output from the amplification transistor 71 as described above as the reset level of the pixel signal obtained by the second photoelectric conversion unit 64.
  • a pixel signal obtained by exposure in the second photoelectric conversion unit 64 is generated from the reset level and the signal level of the second photoelectric conversion unit 64.
  • the pixel signal (large signal) about the 1st photoelectric conversion part 61 obtained in this way and the pixel signal (small signal) about the 2nd photoelectric conversion part 64 are the 1st photoelectric conversion part 61 and the 1st. Correction is performed based on the sensitivity ratio with the two photoelectric conversion unit 64.
  • the vertical drive unit 22 turns on the reset signal 70 by turning on the drive signal RST, and turns on the drive signal TGL and the drive signal TGS to turn on the first transfer gate unit 62 and the second transfer gate.
  • the part 66 is turned on. Accordingly, the first photoelectric conversion unit 61 and the second photoelectric conversion unit 64, the charge storage unit 67, the node 81, and the FD unit 63 are reset.
  • the vertical drive unit 22 turns off the first transfer gate unit 62 and the second transfer gate unit 66 by turning off the drive signal TGL and the drive signal TGS. Further, at time t159, the vertical drive unit 22 turns off the reset gate unit 70 by turning off the drive signal RST. Thereby, the reset of each part of the pixel 111 is cancelled.
  • the vertical drive unit 22 turns off the drive signal FCG, thereby turning off the fourth transfer gate unit 69.
  • the vertical drive unit 22 turns off the drive signal FDG, thereby The transfer gate unit 68 is turned off.
  • the charge storage unit 67, the node 81, and the FD unit 63 are electrically disconnected.
  • the vertical drive unit 22 turns off the selection transistor 72 by turning off the drive signal SEL and releases the selection state of the pixel 111.
  • the solid-state imaging device 11 performs the same operation as the period T41 in the subsequent period T42 to obtain a large signal and a small signal.
  • the flash high beam does not emit light (non-light emission) in the period T42
  • the large signal and the small signal obtained in the period T42 are signals including only background light components and noise components other than the flash high beam.
  • the signal processing unit 28 calculates a large signal including only the flash high beam component by subtracting the large signal obtained in the period T42 from the large signal obtained in the period T41. Similarly, the signal processing unit 28 subtracts the small signal obtained in the period T42 from the small signal obtained in the period T41, thereby calculating a small signal including only the flash high beam component.
  • the distance to the object can be calculated with higher accuracy and more certainty.
  • the first photoelectric conversion unit 61 having higher sensitivity is used to detect an object at a long distance
  • the second photoelectric conversion unit 64 having lower sensitivity is used to detect an object at a short distance.
  • the distance measurement range can be made wider.
  • the first photoelectric conversion unit 61 with higher sensitivity for detection of an object at a long distance the ranging performance up to the object at a long distance can be improved.
  • the shutter speed is extremely increased by controlling the sensitivity difference between the two photoelectric conversion units and controlling the exposure time in the photoelectric conversion units. And the smoothness of the moving subject can be expressed.
  • the ToF distance measurement described above can also be realized by performing frame sequential processing using one photoelectric conversion unit and a region for accumulating charges connected to the photoelectric conversion unit. Therefore, distance measurement may be performed using only one of the photoelectric conversion units.
  • the first photoelectric conversion unit 61 when performing ToF distance measurement sequentially, light emission and exposure are performed to detect an object between 0 m and 25 m using the first photoelectric conversion unit 61, and then the first photoelectric conversion unit 61 is used. For example, light emission and exposure may be performed to detect an object between 25 m and 50 m. In this case, whether to use the first photoelectric conversion unit 61 with higher sensitivity or the second photoelectric conversion unit 64 with a wider dynamic range is selected according to the surrounding environment, that is, ambient light or the like. That's fine.
  • a normal photographed image is photographed by the driving described with reference to FIGS. 5 and 6, or a photographed image synchronized with the flash high beam by the driving described with reference to FIG. You can shoot.
  • the normal captured image when normal captured images are captured after the period T41 and the period T42, which are the first and second divided frames when the normal one frame period is divided, the normal captured image does not affect the distance measurement. In order to achieve this, it is preferable to perform a four-frame sequential operation for capturing between the third divided frame and the fourth divided frame.
  • the operation after the start of nonlinear burst driving of the second photoelectric conversion unit 64 in the period T31 shown in FIG. In other words, the operation from time t94 to time t111 may be performed.
  • one solid-state imaging includes normal captured image acquisition, acquisition of a captured image for recognizing a distant subject in front of the vehicle using a flash high beam as an illumination light source, and ToF distance measurement. It can be realized by the element 11. Thereby, a cheaper and highly functional in-vehicle sensor can be realized.
  • imaging device> Furthermore, this technology is applicable to all electronic devices that use a solid-state image sensor for the photoelectric conversion unit, such as in-vehicle sensors, imaging devices such as surveillance cameras, digital still cameras and video cameras, and portable terminal devices having an imaging function Is possible.
  • FIG. 13 is a diagram illustrating a configuration example of an imaging apparatus as an electronic apparatus to which the present technology is applied.
  • the 13 includes an optical unit 911 including a lens group, a solid-state imaging device (imaging device) 912, and a DSP circuit 913 that is a camera signal processing circuit.
  • the imaging device 901 also includes a frame memory 914, a recording unit 915, an operation unit 916, and a power supply unit 917.
  • the DSP circuit 913, the frame memory 914, the recording unit 915, the operation unit 916, and the power supply unit 917 are connected to each other via a bus line 918.
  • the optical unit 911 takes in incident light (image light) from a subject and forms an image on the imaging surface of the solid-state imaging device 912.
  • the solid-state imaging device 912 converts the amount of incident light imaged on the imaging surface by the optical unit 911 into an electrical signal in units of pixels and outputs the electrical signal.
  • the solid-state image sensor 912 corresponds to the solid-state image sensor 11 shown in FIG.
  • the recording unit 915 records a moving image or a still image captured by the solid-state imaging device 912 on a recording medium such as a video tape or a DVD (Digital Versatile Disk).
  • a recording medium such as a video tape or a DVD (Digital Versatile Disk).
  • the operation unit 916 issues operation commands for various functions of the imaging device 901 under the operation of the user.
  • the power supply unit 917 appropriately supplies various power sources serving as operation power sources for the DSP circuit 913, the frame memory 914, the recording unit 915, and the operation unit 916 to these supply targets.
  • the present invention is applied to a solid-state imaging device in which pixels that detect signals according to the amount of visible light are arranged in a matrix has been described as an example.
  • the present technology is not limited to application of such a solid-state image sensor, and can be applied to all solid-state image sensors.
  • FIG. 14 is a diagram illustrating a usage example in which the above-described solid-state imaging device (image sensor) is used.
  • the solid-state imaging device described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the present technology can be configured as follows.
  • a pixel array unit in which a plurality of unit pixels are arranged;
  • a drive unit for controlling the operation of the unit pixel,
  • the unit pixel has a plurality of photoelectric conversion units, One or a plurality of the photoelectric conversion units of the plurality of the photoelectric conversion units, for each photoelectric conversion unit,
  • a transfer gate for transferring charges obtained by photoelectric conversion in the photoelectric conversion unit;
  • a charge accumulating unit for accumulating charges transferred from the photoelectric conversion unit via the transfer gate;
  • a solid-state imaging device connected to an anti-blooming gate unit that resets the photoelectric conversion unit.
  • the drive unit is configured to perform an exposure operation for performing exposure of the photoelectric conversion unit after resetting the photoelectric conversion unit in one frame period for the one or a plurality of the photoelectric conversion units, and charge obtained by the exposure
  • the driving unit performs the burst driving without performing the burst driving so that the gravity center position of the plurality of exposures performed by the burst driving substantially coincides with the exposure gravity center position of the photoelectric conversion unit that does not perform the burst driving.
  • the solid-state imaging device according to (2) or (3), which controls exposure of the conversion unit.
  • the driving unit controls distance measurement by a time-of-flight measurement method by controlling exposure of the photoelectric conversion unit based on a light emission timing of a predetermined pulse light source.
  • the drive unit detects an object at a shorter distance by the photoelectric conversion unit with lower sensitivity, and detects an object at a longer distance by the photoelectric conversion unit with higher sensitivity.
  • a solid-state imaging device comprising: a drive unit that controls the operation of the unit pixel;
  • the unit pixel has a plurality of photoelectric conversion units, One or a plurality of the photoelectric conversion units of the plurality of the photoelectric conversion units, for each photoelectric conversion unit, A transfer gate for transferring charges obtained by photoelectric conversion in the photoelectric conversion unit;
  • a charge accumulating unit for accumulating charges transferred from the photoelectric conversion unit via the transfer gate;
  • 11 solid-state imaging device 21 pixel array unit, 22 vertical drive unit, 23 column processing unit, 51 pixel, 61 first photoelectric conversion unit, 62 first transfer gate unit, 63 FD unit, 64 second photoelectric conversion unit, 65 anti Blooming gate section, 66 second transfer gate section, 67 charge storage section, 68 third transfer gate section, 111 pixels, 121 anti-blooming gate section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本技術は、十分にダイナミックレンジを拡大し、かつより高品質な画像を得ることができるようにする固体撮像素子および駆動方法、並びに電子機器に関する。 単位画素には、第1光電変換部と第2光電変換部とが設けられている。また、第2光電変換部には、第2転送ゲート部を介して電荷蓄積部が接続されており、第2光電変換部における光電変換により得られた電荷が、第2転送ゲート部を介して電荷蓄積部に転送される。また、第2光電変換部にはアンチブルーミングゲート部が接続されており、第2光電変換部をリセットすることができる。したがって、単位画素では、1フレーム期間において、第2光電変換部の露光動作と、第2光電変換部で得られた電荷を転送する転送動作とを複数回繰り返すバースト駆動が可能となっている。本技術は車載カメラに適用することができる。

Description

固体撮像素子および駆動方法、並びに電子機器
 本技術は固体撮像素子および駆動方法、並びに電子機器に関し、特に、十分にダイナミックレンジを拡大し、かつより高品質な画像を得ることができるようにした固体撮像素子および駆動方法、並びに電子機器に関する。
 従来、画像を撮影するにあたり、画像のダイナミックレンジを拡大するHDR(High Dynamic Range)合成と呼ばれる技術が知られている。
 そのような技術として、例えば感度が異なる受光素子を設け、それらの受光素子のそれぞれで撮影して得られた複数の画像を合成することによりダイナミックレンジを拡大する技術が提案されている(例えば、特許文献1および特許文献2参照)。
 また、長時間露光により得られた画像と、短時間露光により得られた画像とを合成することでダイナミックレンジを拡大する技術や、受光素子に付加容量を設けて蓄積可能な電荷量を増やすことによりダイナミックレンジを拡大する技術も提案されている。
 さらには、感度が異なる受光素子を設けるだけでなく、それらの受光素子の感度差だけでは不足する感度比を、受光素子の露光時間を制御することで補うものもある。
特許第3071891号公報 特開2006-253876号公報
 しかしながら上述した技術では、十分にダイナミックレンジを拡大し、かつ高品質な画像を得ることが困難であった。
 例えば感度の異なる受光素子のみを用いてダイナミックレンジを拡大する場合、それらの受光素子間の距離が短いと、受光素子間で混色が多くなるので、構造的に受光素子間で十分な感度比を得ることが困難であった。そうすると、十分にダイナミックレンジを拡大することができなくなってしまう。しかも、感度の異なる受光素子のみを用いる場合や、受光素子に付加容量を設ける場合には、画素構造によりHDR合成時の合成比が決まってしまうため、自由度が低かった。
 また、感度の異なる受光素子を用いる場合、露光時間が長くなるとモーションブラーが発生し、動被写体の解像度が低下してしまうこともある。
 さらに、露光時間を制御してダイナミックレンジを拡大する場合、例えばLED(Light Emitting Diode)道路標識などのパルス発光光源を被写体とするときには、フリッカ現象が発生し、十分な品質の画像を得ることができなくなってしまう。
 本技術は、このような状況に鑑みてなされたものであり、十分にダイナミックレンジを拡大し、かつより高品質な画像を得ることができるようにするものである。
 本技術の第1の側面の固体撮像素子は、複数の単位画素が配置されている画素アレイ部と、前記単位画素の動作を制御する駆動部とを備え、前記単位画素は複数の光電変換部を有し、前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、前記光電変換部をリセットするアンチブルーミングゲート部とが接続されている。
 前記駆動部には、前記1または複数の前記光電変換部について、1フレーム期間において前記光電変換部をリセットしてから前記光電変換部の露光を行う露光動作と、前記露光により得られた電荷を前記電荷蓄積部に転送する転送動作とを複数回繰り返すバースト駆動を行わせることができる。
 前記駆動部には、前記露光動作時の露光時間を変化させながら前記バースト駆動を行わせることができる。
 前記駆動部には、前記バースト駆動による複数回の前記露光の重心位置と、前記バースト駆動を行わない前記光電変換部の露光の重心位置とが略一致するように、前記バースト駆動を行わない前記光電変換部の露光を制御させることができる。
 前記駆動部には、前記光電変換部の露光が所定のパルス光源の発光に同期するように、前記光電変換部の露光を制御させることができる。
 前記駆動部には、所定のパルス光源の発光タイミングに基づいて前記光電変換部の露光を制御することで、光飛行時間計測法による測距を制御させることができる。
 前記駆動部には、より感度の低い前記光電変換部によって、より近距離にある対象物が検出され、より感度の高い前記光電変換部によって、より遠距離にある対象物が検出されるように、前記光電変換部の露光を制御させることができる。
 本技術の第1の側面の駆動方法は、複数の単位画素が配置されている画素アレイ部と、前記単位画素の動作を制御する駆動部とを備え、前記単位画素は複数の光電変換部を有し、前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、前記光電変換部をリセットするアンチブルーミングゲート部とが接続されている固体撮像素子の駆動方法であって、前記駆動部が、前記1または複数の前記光電変換部について、1フレーム期間において前記光電変換部をリセットしてから前記光電変換部の露光を行う露光動作と、前記露光により得られた電荷を前記電荷蓄積部に転送する転送動作とを複数回繰り返すバースト駆動を行うステップを含む。
 本技術の第1の側面においては、固体撮像素子に、複数の単位画素が配置されている画素アレイ部と、前記単位画素の動作を制御する駆動部とが設けられ、前記単位画素は複数の光電変換部を有し、前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、前記光電変換部をリセットするアンチブルーミングゲート部とが接続されている。
 本技術の第2の側面の電子機器は、本技術の第1の側面の固体撮像素子と同様の構成とすることができる。
 本技術の第1の側面および第2の側面によれば、十分にダイナミックレンジを拡大し、かつより高品質な画像を得ることができる。
固体撮像素子の構成例を示す図である。 画素の構成例を示す図である。 画素の露光制御について説明する図である。 画素の露光制御について説明する図である。 露光時の駆動について説明するタイミングチャートである。 画素信号の読み出し時の駆動について説明するタイミングチャートである。 画素の他の構成例を示す図である。 画素の他の構成例を示す図である。 画素の他の構成例を示す図である。 画素の駆動について説明するタイミングチャートである。 画素の他の構成例を示す図である。 画素の駆動について説明するタイミングチャートである。 撮像装置の構成例を示す図である。 固体撮像素子を使用する使用例を示す図である。
 以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈固体撮像素子の構成例〉
 本技術は、複数の光電変換部を利用してHDR合成を行う場合に、1または複数の光電変換部について、光電変換部に転送ゲートを介して電荷蓄積部を設けるとともに、光電変換部にリセットゲート(アンチブルーミングゲート)を設けてバースト駆動を行うことで、十分にダイナミックレンジを拡大し、かつより高品質な画像を得ることができるようにするものである。本技術は、例えば車載カメラなどに適用することができる。
 図1は、本技術を適用した固体撮像素子の構成例を示す図である。
 図1に示す固体撮像素子11は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
 固体撮像素子11は、図示せぬ半導体基板(チップ)上に形成された画素アレイ部21と、画素アレイ部21と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば垂直駆動部22、カラム処理部23、水平駆動部24、およびシステム制御部25から構成されている。
 固体撮像素子11は更に、信号処理部28およびデータ格納部29を備えている。信号処理部28およびデータ格納部29については、固体撮像素子11と同じ基板上に搭載してもよいし、固体撮像素子11とは別の基板上に配置するようにしてもよい。
 また、信号処理部28およびデータ格納部29の各処理については、固体撮像素子11とは別の基板に設けられる外部信号処理部、例えば、DSP(Digital Signal Processor)回路やソフトウェアによる処理でも構わない。
 画素アレイ部21は、受光した光量に応じた電荷を生成し、かつ蓄積する光電変換部を有する単位画素(以下、単に画素と記述する場合もある)が行方向および列方向に、すなわち行列状に2次元配置された構成となっている。
 ここで、行方向とは画素行の画素の配列方向(すなわち、水平方向)をいい、列方向とは画素列の画素の配列方向(すなわち、垂直方向)をいう。つまり、行方向は図中、横方向であり、列方向は図中、縦方向である。
 画素アレイ部21において、行列状の画素配列に対して、画素行ごとに画素駆動線26が行方向に沿って配線され、画素列ごとに1つまたは2つの垂直信号線27が列方向に沿って配線されている。画素駆動線26は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。なお、図1では、画素駆動線26について1本の配線として示しているが、1本に限られるものではない。画素駆動線26の一端は、垂直駆動部22の各行に対応した出力端に接続されている。
 垂直駆動部22は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部21の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部22は、垂直駆動部22を制御するシステム制御部25とともに、画素アレイ部21の各画素の動作を制御する駆動部を構成している。この垂直駆動部22はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の2つの走査系を有する構成となっている。
 垂直駆動部22によって選択走査された画素行の各単位画素から出力される信号は、画素列ごとに垂直信号線27を通してカラム処理部23に入力される。カラム処理部23は、画素アレイ部21の画素列ごとに、選択行の各画素から垂直信号線27を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
 具体的には、カラム処理部23は、信号処理としてノイズ除去処理、DDS(Double Data Sampling)やCDS(Correlated Double Sampling)等のサンプリング処理、AD(Analog Digital)変換処理などを行う。
 水平駆動部24は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部23の画素列に対応する単位回路を順番に選択する。この水平駆動部24による選択走査により、カラム処理部23において単位回路ごとに信号処理された画素信号が順番に出力される。
 システム制御部25は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、そのタイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部22、カラム処理部23、および水平駆動部24などの駆動制御を行う。
 信号処理部28は、少なくとも演算処理機能を有し、カラム処理部23から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部29は、信号処理部28での信号処理に当たって、その処理に必要なデータを一時的に格納する。
〈画素の構成例〉
 次に、画素アレイ部21に設けられた単位画素の構成について説明する。画素アレイ部21に設けられた単位画素は、例えば図2に示すように構成される。なお、図2において、図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 単位画素である画素51は、第1光電変換部61、第1転送ゲート部62、FD部63、第2光電変換部64、アンチブルーミングゲート部65、第2転送ゲート部66、電荷蓄積部67、第3転送ゲート部68、第4転送ゲート部69、リセットゲート部70、増幅トランジスタ71、および選択トランジスタ72を有している。
 また、画素51に対して、画素駆動線26として例えば複数の駆動線が画素行毎に配線される。そして、垂直駆動部22から複数の駆動線を介して、第1転送ゲート部62、アンチブルーミングゲート部65、第2転送ゲート部66、第3転送ゲート部68、第4転送ゲート部69、リセットゲート部70、および選択トランジスタ72のそれぞれに、駆動信号TGL、駆動信号ABG、駆動信号TGS、駆動信号FDG、駆動信号FCG、駆動信号RST、および駆動信号SELのそれぞれが供給される。
 これらの駆動信号は、高レベル(例えば、電源電圧VDD)の状態がアクティブ状態となり、低レベルの状態(例えば、負電位)が非アクティブ状態となるパルス信号である。すなわち、駆動信号TGL乃至駆動信号SELの各駆動信号が高レベルとされると、その供給先のトランジスタは導通状態、つまりオン状態となり、各駆動信号が低レベルとされると、その供給先のトランジスタは非導通状態、つまりオフ状態となる。
 第1光電変換部61は、例えばPN接合のフォトダイオードからなる。第1光電変換部61は、入射した光を受光して光電変換し、その結果得られた電荷を蓄積する。
 第1転送ゲート部62は、第1光電変換部61とFD部63との間に設けられており、第1転送ゲート部62のゲート電極には駆動信号TGLが供給される。この駆動信号TGLが高レベルとなると、第1転送ゲート部62がオンされて、第1光電変換部61に蓄積されている電荷が、第1転送ゲート部62を介してFD部63に転送される。
 FD部63は、フローティングディフージョンと呼ばれる浮遊拡散領域であり、転送されてきた電荷を蓄積する。
 第2光電変換部64は、第1光電変換部61と同様に、例えばPN接合のフォトダイオードからなり、入射した光を受光して光電変換し、その結果得られた電荷を蓄積する。
 第1光電変換部61と第2光電変換部64を比較すると、第1光電変換部61の方が受光面の面積が広く、感度が高く、第2光電変換部64の方が受光面の面積が狭く、感度が低い。
 アンチブルーミングゲート部65は、第2光電変換部64と電源VDDとの間に接続されている。アンチブルーミングゲート部65のゲート電極に供給される駆動信号ABGが高レベルとされると、アンチブルーミングゲート部65がオンされて、第2光電変換部64に蓄積されている電荷がアンチブルーミングゲート部65を介して排出される。すなわち、第2光電変換部64の電位が電源の電圧(以下、電源電圧VDDとも称する)のレベルにリセットされる。
 第2転送ゲート部66は、第2光電変換部64と電荷蓄積部67との間に接続されており、第2転送ゲート部66のゲート電極には駆動信号TGSが供給される。駆動信号TGSが高レベルとされると、第2転送ゲート部66がオンされて、第2光電変換部64に蓄積されている電荷が、第2転送ゲート部66を介して電荷蓄積部67に転送される。
 また、第2転送ゲート部66のゲート電極の下部は、ポテンシャルが若干深くなっており、第2光電変換部64の飽和電荷量を超え、第2光電変換部64から溢れた電荷を電荷蓄積部67に転送するオーバーフローパスが形成されている。
 電荷蓄積部67は、例えばキャパシタからなり、第4転送ゲート部69と第2転送ゲート部66との間に接続されている。また、電荷蓄積部67の対向電極は電源電圧VDDを供給する電源VDDに接続されている。電荷蓄積部67は、第2光電変換部64から転送される電荷を蓄積する。
 なお、ここでは電荷蓄積部67が電源VDDに接続される例について説明するが、電荷蓄積部67はキャパシタであるため、電源VDDではなくグランドGNDに接続されるようにしてもよい。
 第3転送ゲート部68は、第4転送ゲート部69およびリセットゲート部70と、FD部63との間に接続されており、第3転送ゲート部68のゲート電極には、駆動信号FDGが供給される。駆動信号FDGが高レベルとされると、第3転送ゲート部68がオンされて、第4転送ゲート部69、リセットゲート部70、および第3転送ゲート部68の間のノード81と、FD部63とが電気的に接続される。すなわち、ノード81とFD部63とのポテンシャルが結合する。
 第4転送ゲート部69は、電荷蓄積部67とノード81との間に接続されており、第4転送ゲート部69のゲート電極には駆動信号FCGが供給される。駆動信号FCGが高レベルとされると第4転送ゲート部69がオンされて、電荷蓄積部67とノード81とが電気的に接続される。すなわち、電荷蓄積部67とノード81のポテンシャルが結合する。
 リセットゲート部70は、電源VDDとノード81との間に接続されており、リセットゲート部70のゲート電極には駆動信号RSTが供給される。駆動信号RSTが高レベルとされるとリセットゲート部70がオンされてノード81の電位が、電源電圧VDDのレベルにリセットされる。
 増幅トランジスタ71は、ゲート電極がFD部63に接続され、ドレインが電源VDDに接続されており、FD部63に保持されている電荷に対応する信号を読み出す読出し回路、所謂ソースフォロワ回路の入力部となる。すなわち、増幅トランジスタ71は、ソースが選択トランジスタ72を介して垂直信号線27に接続されることにより、その垂直信号線27の一端に接続される定電流源82とソースフォロワ回路を構成する。
 選択トランジスタ72は、増幅トランジスタ71のソースと垂直信号線27との間に接続されており、選択トランジスタ72のゲート電極には駆動信号SELが供給される。駆動信号SELが高レベルとされると、選択トランジスタ72がオンされて画素51が選択状態となる。これにより、増幅トランジスタ71から出力される画素信号が、選択トランジスタ72を介して、垂直信号線27に出力される。
 なお、以下、各駆動信号がアクティブ状態、つまり高レベルとなることを、各駆動信号がオンするともいい、各駆動信号が非アクティブ状態、つまり低レベルとなることを、各駆動信号がオフするともいう。
〈第2光電変換部のバースト駆動について〉
 ところで、固体撮像素子11では、第1光電変換部61と第2光電変換部64とで露光が行われ、それらの各光電変換部の露光で得られた画素信号がHDR合成されて最終的な撮影画像の画素の画素信号とされる。
 固体撮像素子11では、画素アレイ部21の各画素51内に設けられた第2光電変換部64に対して、第2転送ゲート部66を介して電荷蓄積部67が接続されている。また、第2光電変換部64にはアンチブルーミングゲート部65が接続されている。
 そのため、固体撮像素子11では、垂直駆動部22による駆動制御によって、第2光電変換部64のバースト駆動が可能となる。すなわち、1フレームの期間において、第2光電変換部64をリセットしてから第2光電変換部64の露光を行う露光動作と、その後、露光で得られた電荷を電荷蓄積部67に転送して蓄積させる転送動作とを、任意のタイミングでかつ任意の回数だけ繰り返し行うことができる。ここで、1フレーム期間とは、固体撮像素子11が撮影画像の撮影を行なうときの1フレーム分の撮影画像を取得する期間である。
 このようにすることで、1フレーム期間内の第2光電変換部64での露光の合計時間を任意に変更することができる。これにより、第1光電変換部61と第2光電変換部64の感度比を十分に確保し、撮影画像のダイナミックレンジを十分に拡大することができる。しかも、このようなバースト駆動により、第1光電変換部61と第2光電変換部64の感度比、つまり画素信号の合成比を任意に変更することができるため、HDR合成時の自由度を向上させることができる。
 また、1フレーム期間内の第2光電変換部64での露光の合計時間を任意に変更したり、1フレーム期間における第2光電変換部64での全露光時間に対する、所定期間内における露光時間の割合を高くしたりすることで、被写体のぼけを抑制することができる。すなわち、モーションブラーの発生を抑制することができる。
 さらに、1フレーム期間内の第2光電変換部64での露光タイミングをパルス光源の発光タイミングに同期させたり、第2光電変換部64での露光タイミングをずらしながら1フレーム期間で複数回に分けて露光を行ったりすることで、パルス光源を捉えることができる。その結果、フリッカの発生を抑制することができる。
 このように第2光電変換部64をバースト駆動することで、モーションブラーやフリッカの発生を抑制し、より高品質な撮影画像を得ることができる。
 次に、第2光電変換部64のバースト駆動について、より具体的に説明する。
 以下では、例として、例えば車両の前方を撮影し、得られた撮影画像から白線や道路信号機、LED道路標識、対向車両などを検出する車載カメラに固体撮像素子11が搭載される場合について説明する。特に、パルス光源を捉える例として、LEDを光源とする道路信号機について説明する。
 近年、LEDを光源とする道路信号機が増加してきており、その駆動は商用AC電源の全波整流によるパルス発光が一般的であり、例えば図3に示すように、西日本においては60×2=120Hzの交流駆動となり、東日本においては50×2=100Hzの交流駆動となる。
 なお、図3において横軸は時間を示している。また、期間T11および期間T12は、固体撮像素子11により撮影される撮影画像の1フレームの期間を示している。この例では、撮影画像のフレームレートは60Hzとなっているため、期間T11および期間T12は1/60秒の区間となっている。
 さらに図3において、折れ線L11および折れ線L12は、東日本での道路信号機の発光タイミング、および西日本での道路信号機の発光タイミングを示している。特に、折れ線L11および折れ線L12のそれぞれが上に突となっている期間は、道路信号機が発光している期間を示している。
 また、折れ線L13および折れ線L14は、第1光電変換部61の露光タイミング、および第2光電変換部64での露光タイミングを示している。特に、折れ線L13および折れ線L14のそれぞれが上に突となっている期間が露光期間を示している。
 さらに折れ線L15および折れ線L16は、駆動信号TGSおよび駆動信号ABGを示している。ここで、各駆動信号が上に突となっている状態が駆動信号がオンとなっている状態、つまりアクティブ状態を示している。
 図3では、折れ線L11および折れ線L12に示されるように、LED光源の道路信号機は西日本では120Hzの交流駆動となり、東日本では100Hzの交流駆動となっている。
 この場合、一般的な60fpsのカメラでは、1フレーム期間内に1度の高速シャッタ露光が行われる。そのため、カメラの露光タイミングが、道路信号機の無発光のタイミングと一致したときには、道路信号機の発光(点灯)がカメラにより撮影されない、つまり撮影された撮影画像では道路信号機の発光が写っていない状態となってしまう。
 これに対して、固体撮像素子11では、第2光電変換部64のバースト駆動を行い、撮影画像のフレーム読み出し周期とは異なる周波数および位相で受光(露光)を行うことで道路信号機のLEDパルス発光によるフリッカの発生を抑制することができる。
 なお、発光光源被写体である道路信号機は高輝度であるので、より感度の低い第2光電変換部64のみバースト駆動を行うだけでも必要十分な効果を得ることができる。
 具体的には、図3に示す例では駆動信号ABGがオンからオフへと切り替わって、第2光電変換部64のリセットが解除されたタイミングで第2光電変換部64の露光が開始される。そして、駆動信号TGSがオンとなって、露光により第2光電変換部64に蓄積された電荷が電荷蓄積部67に転送された時点で露光期間が終了する。
 例えば1フレーム分の期間である期間T11では、第2光電変換部64の露光と非露光が交互に繰り返され、1フレーム期間内における露光期間の合計の長さ(以下、合計露光時間と称する)と、非露光期間の合計の長さ(以下、合計非露光時間と称する)とが同じ長さとなっている。この例では、1フレーム期間内における第2光電変換部64の合計露光時間を1フレーム期間の半分の時間とすることで、HDR合成比(感度比)が2倍に拡大されている。
 また、この例では第2光電変換部64の非露光期間と、その非露光期間に続く露光期間の長さが等しくなっている。さらに、第2光電変換部64の各露光期間の長さは異なる長さとなっている。すなわち、垂直駆動部22は、適宜、第2光電変換部64の露光時間を変化させながら画素51を駆動することで、第2光電変換部64の非線形なバースト駆動を実現する。
 特に、ここでは第2光電変換部64のバースト駆動が、東日本の道路信号機のパルス発光タイミング、すなわち100Hzのパルス発光光源に同期しており、東日本の道路信号機の発光タイミングに合わせて、第2光電変換部64の露光が行われている。
 そのため、東日本の道路信号機の各発光タイミングにおいて、道路信号機の発光時間の略半分の時間が第2光電変換部64の露光期間と重なっており、道路信号機の各発光タイミングでの露光時間が十分に確保されている。同様に西日本の道路信号機の各発光タイミングにおいても、道路信号機の発光時間の略半分の時間が第2光電変換部64の露光期間と重なっている。
 なお、折れ線L11および折れ線L12において、斜線部分は第2光電変換部64の露光期間ではない期間を示しており、斜線の施されていない部分は第2光電変換部64の露光期間と重なっている期間を示している。
 折れ線L11および折れ線L12から分かるように、第2光電変換部64の非線形なバースト駆動によって、道路信号機の各発光期間において道路信号機により発せられた十分な量の光を第2光電変換部64で受光することができる。これにより、より確実に道路信号機等のパルス発光光源からの光を捉えることができ、フリッカの発生を抑制することができる。
 また、第2光電変換部64の非線形なバースト駆動により各露光期間の長さや位相(時刻)を制御して、1フレーム期間内における第2光電変換部64の露光の重心位置を任意の位相(時刻)に調整することができる。この例では、例えば期間T11において、折れ線L14とともに描かれている正弦波の山の部分が第2光電変換部64の露光の重心位置となっており、第2光電変換部64の露光の重心位置が、東日本の道路信号機の発光期間内の位置となっていることが分かる。
 そのため、第2光電変換部64の露光は、東日本の道路信号機の発光タイミングに同期した高速シャッタ露光となっている。また、1フレーム期間における第2光電変換部64の露光時間は、1フレーム期間の半分の時間となっている。
 したがって、仮に固体撮像素子11から見て、被写体である道路信号機が動いていたとしても、つまり道路信号機が動被写体となったとしても、第2光電変換部64の露光により得られる画素信号からなる撮影画像において、道路信号機がぼけてしまうことはない。このような第2光電変換部64のバースト駆動により、モーションブラーやフリッカの発生を抑制することができる。
 なお、第2光電変換部64を非線形にバースト駆動させる場合、非露光期間と、その非露光期間に続く露光期間とからなる期間の長さは、ランダムに変化するように設定してもよいし、所望のパルス発光光源の発光タイミングに合わせて変化させるようにしてもよい。特に、パルス発光光源の発光タイミングに同期させて第2光電変換部64での露光を制御すれば、より効率的に露光を行うことができる。
 また、1フレーム期間内における第2光電変換部64の合計露光時間や各露光が行われるタイミングは、フレームごとに設定することが可能である。
 さらに、第2光電変換部64のバースト駆動で、1フレーム期間における第2光電変換部64の合計露光時間を所望の長さに設定すれば、第1光電変換部61と第2光電変換部64の感度比を任意に設定することができる。これにより、撮影画像のダイナミックレンジを十分に拡大することができるだけでなく、HDR合成比も自由に設定することができる。
 また、第2光電変換部64の露光を行うと同時に、第1光電変換部61でも露光を行う場合、1フレーム期間における第2光電変換部64の露光期間の重心位置と、第1光電変換部61の露光期間の重心位置とのずれが大きいと、合成アーチファクトが発生する。
 そこで、垂直駆動部22は、例えば矢印A11に示すように第1光電変換部61の露光期間を任意の位相にシフトさせて、第1光電変換部61の露光期間の重心位置と、第2光電変換部64の露光期間の重心位置とを一致させるようにする。これにより、合成アーチファクトの発生を抑制し、より高品質な撮影画像を得ることができるようになる。
 また、この例では、第1光電変換部61の露光期間も1フレーム期間よりも短い期間となっており、モーションブラーの発生を抑制することができる。なお、第1光電変換部61については、特に動被写体解像度が十分に確保できる、つまりモーションブラーが十分に小さい場合には、1フレーム期間の全期間を露光期間としてもよい。
 固体撮像素子11では、例えば第2光電変換部64については、全画素で一斉に露光が行われ、第1光電変換部61については列方向に並ぶ画素行ごとに順番に露光が行われる。
 例えば、第1光電変換部61のシャッタ制御を行うときには、1/60秒の画素信号の読み出しサイクル直前に受光するような方式では、第1光電変換部61の露光タイミングを、第2光電変換部64の露光タイミングやパルス発光光源の発光タイミングに同期させることができない。
 そこで、撮影画像の奇数フレームと偶数フレームで、画素信号の読出し位相を変えることができるようにすることが有効である。
 例えば図4に示すように、位相シフトにより第1光電変換部61の露光期間を時間方向にずらして、撮影画像の各フレームの露光と画素信号の読み出しを行う場合について考える。なお、図4において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図4では折れ線L21は所定の奇数フレームの露光、つまり電荷の蓄積と、画素信号の読み出しの様子を示している。なお、折れ線L21が図中、下方向に傾いている部分は、画素信号が読み出される画素行が列方向にシフトしていく様子を表している。
 同様に、折れ線L22は、折れ線L21に示される奇数フレームに続く偶数フレームの露光と、画素信号の読み出しの様子を示している。なお、折れ線L22が図中、下方向に傾いている部分は、画素信号が読み出される画素行が列方向にシフトしていく様子を表している。
 この例では、時刻t11に折れ線L21に示される奇数フレームでの画素信号の読み出しが開始され、画素アレイ部21の画素行が列方向に順番に選択されて、それらの選択された画素行を構成する画素から画素信号が読み出されていく。そして、1フレーム期間の終了の時刻である時刻t13に奇数フレームの全画素からの画素信号の読み出しが完了する。
 これに対して、折れ線L22に示される偶数フレームでは、時刻t11から時刻t12までの期間は露光を行う期間となっており、この期間において、所定の時刻に第1光電変換部61や第2光電変換部64の露光が行われる。
 そして、時刻t12において偶数フレームの露光が終了すると、その後、折れ線L22に示される偶数フレームでの画素信号の読み出しが開始され、画素アレイ部21の画素行が列方向に順番に選択されて、それらの選択された画素行を構成する画素から画素信号が読み出されていく。
 しかし、このような駆動を行う場合、時刻t12から時刻t13まで期間T21では、折れ線L21に示される奇数フレームの画素信号の読み出しだけでなく、折れ線L22に示される偶数フレームでの画素信号の読み出しも行われることになる。すなわち、時間方向に連続する奇数フレームと偶数フレームとで、画素信号を読み出す信号出力期間がオーバーラップしている。
 そのため、例えば画素アレイ部21に設けられた列方向に並ぶ画素が同じ垂直信号線27に接続されていると、奇数フレームにおける画素からの画素信号の読み出しが完了する前に、偶数フレームにおける画素からの画素信号の読み出しが開始されてしまう。したがって、時間的に前後するフレームの信号出力期間がオーバーラップしても正しく画素信号を読み出すことができるように何らかの工夫が必要となる。
 そこで、例えば画素51の増幅トランジスタ71および選択トランジスタ72後から、カラム処理部23のAD変換器までの経路をDOL(Double Output Line)構造とすれば、信号出力期間がオーバーラップしても各画素から画素信号を読み出すことができるようになる。
 具体的には、画素アレイ部21に列方向に並ぶ画素列に対して、2つの垂直信号線27が設けられるようにし、その画素列を構成する各画素51が2つの垂直信号線27うちの何れかの垂直信号線27に接続されるようにする。また、カラム処理部23では、2つの垂直信号線27のそれぞれに対して、AD変換処理を行うAD変換器のそれぞれが設けられる。
 これにより、例えば奇数フレームについては、一方の垂直信号線27を用いて画素51からの画素信号を読み出し、偶数フレームについては、他方の垂直信号線27を用いて画素51からの画素信号を読み出せば、図3を参照して説明した駆動を実現するこができる。
 このようにアンチブルーミングゲート部が接続されていない第1光電変換部61については、DOL出力回路を設けることで、フレームごとに第1光電変換部61の露光期間の位相をシフト(ずらす)ことができる。その結果、バースト駆動を行う第2光電変換部64の露光期間の時間方向の重心位置と、第1光電変換部61の露光期間の時間方向の重心位置とを略一致させることができる。
 また、信号出力期間がオーバーラップしても、第1光電変換部61と、第2光電変換部64との同期信号処理を行うことができるように遅延用の外部メモリを設け、その外部メモリに画素信号を一時的に保持しておくようにしてもよい。
 その他、画素信号を読み出す構成を通常の2倍の速度で動作できる構成とするようにしてもよい。すなわち、カラム処理部23に2倍速のAD変換器を設け、第1光電変換部61の露光期間の位相を1フレーム期間の半分までずらすことができるようにすれば、奇数フレームと偶数フレームで信号出力期間のオーバーラップを生じさせることなく画素信号を読み出すことができる。
 さらに、画素信号の読み出し経路部分をDOL構造とすることができない場合には、フレームシーケンシャルとするようにしてもよい。
 すなわち、例えば撮影画像の1フレーム目では、第1光電変換部61については1フレームの全期間露光が行われ、第2光電変換部64については上述した非線形なバースト駆動が行われる。これにより、1フレーム目の撮影画像ではフリッカの発生を抑制することができる。
 これに対して、2フレーム目では、第1光電変換部61については1フレーム期間の後半、つまり画素信号の読み出し直前に高速シャッタ露光を行い、第2光電変換部64については第1光電変換部61での露光期間に合わせて露光を行う。第2光電変換部64の露光はバースト駆動であってもそうでなくてもよい。これにより、2フレーム目では合成アーチファクトの発生やモーションブラーの発生を抑制することができる。
 このような駆動を交互に行えば、フリッカの発生が抑制された撮影画像と、合成アーチファクトおよびモーションブラーの発生が抑制された撮影画像とを得ることができる。
〈固体撮像素子の動作について〉
 次に、固体撮像素子11の動作について説明する。
 まず、図5のタイミングチャートを参照して、画素51の露光動作について説明する。なお、図5において折れ線L31乃至折れ線L37は、駆動信号SEL、駆動信号FDG、駆動信号RST、駆動信号TGS、駆動信号ABG、駆動信号FCG、および駆動信号TGLを示している。また、各駆動信号は図中、上に突の状態がオンとされた状態を示している。
 時刻t21において、垂直駆動部22は駆動信号FDGをオンすることで第3転送ゲート部68をオンさせ、FD部63とノード81とを電気的に接続させる。そして、時刻t22において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせる。これにより、FD部63とノード81がリセットされる。
 時刻t23において、垂直駆動部22は駆動信号FCGおよび駆動信号ABGをオンする。これにより、第4転送ゲート部69がオンして電荷蓄積部67、ノード81、およびFD部63が電気的に接続された状態となり、それらの領域がリセットされる。また、アンチブルーミングゲート部65がオンし、第2光電変換部64がリセットされる。
 時刻t24において、垂直駆動部22は駆動信号FCGをオフすることで第4転送ゲート部69をオフさせる。これにより、電荷蓄積部67とノード81が電気的に切り離された状態となり、電荷蓄積部67のリセットが解除される。
 続いて時刻t25において、垂直駆動部22は駆動信号ABGをオフすることでアンチブルーミングゲート部65をオフさせ、第2光電変換部64のリセットを解除する。これにより、第2光電変換部64での露光が開始される。その後、垂直駆動部22は第2光電変換部64の非線形なバースト駆動を行う。
 すなわち、時刻t26において、垂直駆動部22は駆動信号TGSをオンすることで第2転送ゲート部66をオンさせる。これにより、第2光電変換部64における光電変換により得られた電荷が、第2光電変換部64から第2転送ゲート部66を介して電荷蓄積部67へと転送され、蓄積される。また、時刻t27において、垂直駆動部22は駆動信号TGSをオフすることで第2転送ゲート部66をオフさせて電荷の転送を終了させ、第2光電変換部64での露光を終了させる。
 時刻t28において、垂直駆動部22は駆動信号ABGをオンすることでアンチブルーミングゲート部65をオンさせ、第2光電変換部64をリセットする。時刻t29において、垂直駆動部22は駆動信号ABGをオフすることでアンチブルーミングゲート部65をオフさせ、第2光電変換部64のリセットを解除する。これにより、再度、第2光電変換部64の露光が開始される。
 時刻t30において、垂直駆動部22は駆動信号TGSをオンすることで第2転送ゲート部66をオンさせて、第2光電変換部64の電荷を電荷蓄積部67に転送させ、時刻t31において、垂直駆動部22は駆動信号TGSをオフすることで第2転送ゲート部66をオフさせ、電荷の転送を終了させる。
 時刻t32において、垂直駆動部22は駆動信号ABGをオンすることでアンチブルーミングゲート部65をオンさせて第2光電変換部64をリセットさせ、時刻t33において、垂直駆動部22は駆動信号ABGをオフすることでアンチブルーミングゲート部65をオフさせ、第2光電変換部64のリセットを解除する。
 時刻t34において、垂直駆動部22は駆動信号TGLをオンして第1転送ゲート部62をオンさせることで、第1光電変換部61をリセットさせ、時刻t35において、垂直駆動部22は駆動信号TGLをオフして第1転送ゲート部62をオフさせることで、第1光電変換部61のリセットを解除する。これにより、第1光電変換部61での露光が開始される。
 時刻t36において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、FD部63とノード81のリセットを解除する。そして、時刻t37において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63とノード81とを電気的に切り離す。
 時刻t38において、垂直駆動部22は駆動信号TGSをオンすることで第2転送ゲート部66をオンさせて、第2光電変換部64の電荷を電荷蓄積部67に転送させ、時刻t39において、垂直駆動部22は駆動信号TGSをオフすることで第2転送ゲート部66をオフさせ、電荷の転送を終了させる。
 時刻t40において、垂直駆動部22は駆動信号ABGをオンすることでアンチブルーミングゲート部65をオンさせて第2光電変換部64をリセットさせ、時刻t41において、垂直駆動部22は駆動信号ABGをオフすることでアンチブルーミングゲート部65をオフさせ、第2光電変換部64のリセットを解除する。
 時刻t42において、垂直駆動部22は駆動信号TGLをオンして第1転送ゲート部62をオンさせる。これにより、第1光電変換部61における光電変換により得られた電荷が、第1転送ゲート部62を介して第1光電変換部61からFD部63へと転送され、蓄積される。さらに、時刻t43において、垂直駆動部22は駆動信号TGLをオフして第1転送ゲート部62をオフさせることで、第1光電変換部61からの電荷の転送を終了させる。これにより、第1光電変換部61での露光が終了する。
 垂直駆動部22は第1光電変換部61の露光期間の時間重心位置を、第2光電変換部64の露光期間の時間重心位置と略一致させることで、合成アーチファクトやモーションブラーの発生を抑制することができる。
 また、時刻t44において、垂直駆動部22は駆動信号TGSをオンすることで第2転送ゲート部66をオンさせて、第2光電変換部64の電荷を電荷蓄積部67に転送させ、時刻t45において、垂直駆動部22は駆動信号TGSをオフすることで第2転送ゲート部66をオフさせ、電荷の転送を終了させる。以降においても画素信号の読み出しが開始されるまで、第2光電変換部64の非線形なバースト駆動が適宜、行われる。
 以上のようにして固体撮像素子11は、第2光電変換部64の非線形なバースト駆動を行って第2光電変換部64での露光を行いつつ、任意の位相で第1光電変換部61の露光を行う。これにより、撮影画像のダイナミックレンジを十分に拡大し、かつフリッカや、モーションブラー、合成アーチファクトの発生を抑制し、より高品質な撮影画像を得ることができる。
 続いて、図6のタイミングチャートを参照して、画素51の画素信号の読み出し時の動作について説明する。この処理は、例えば画素アレイ部21の画素行ごとに、図5の処理が行われてから所定の走査順で行われる。
 なお、図6において折れ線L41乃至折れ線L47は、駆動信号RST、駆動信号TGL、駆動信号TGS、駆動信号FDG、駆動信号FCG、駆動信号ABG、および駆動信号SELを示している。また、各駆動信号は図中、上に突の状態がオンとされた状態を示している。
 画素信号の読み出し動作が行われるときには、駆動信号ABGがオンされてアンチブルーミングゲート部65がオンされた状態、つまり第2光電変換部64がリセットされた状態となっている。
 時刻t51において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせる。また、時刻t51において、垂直駆動部22は駆動信号SELをオンすることで選択トランジスタ72をオンさせ、画素51を選択状態とする。
 このとき露光動作時に第1光電変換部61から転送された電荷がFD部63に蓄積された状態となっている。そのため、FD部63に蓄積されている電荷の量、すなわち第1光電変換部61での露光で得られた電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61での露光により得られた画素信号の信号レベルとして読み取る。
 時刻t52において、垂直駆動部22は駆動信号FDGをオンすることで第3転送ゲート部68をオンさせ、FD部63とノード81とを電気的に接続させる。これにより、FD部63とノード81とがリセットされる。
 時刻t53において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63とノード81とを電気的に切り離す。
 この場合、FD部63がリセットされている状態で、FD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61で得られる画素信号のリセットレベルとして読み取る。カラム処理部23では、以上において得られた第1光電変換部61についてのリセットレベルと信号レベルとから、第1光電変換部61での露光により得られた画素信号が生成される。
 なお、第1光電変換部61で得られる画素信号の読み出し時に、第3転送ゲート部68をオンさせた状態、つまりFD部63とノード81が接続された状態で画素信号の読み出しを行うようにしてもよい。この場合、電荷の電気信号への変換効率、すなわち第1光電変換部61の感度を調整することができる。但し、そのような場合には、信号レベルの読み出し時には、リセットゲート部70をオフさせておく必要がある。
 時刻t54において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、ノード81のリセットを解除する。
 時刻t55において、垂直駆動部22は駆動信号FDGおよび駆動信号FCGをオンすることで、第3転送ゲート部68および第4転送ゲート部69をオンさせる。これにより、電荷蓄積部67、ノード81、およびFD部63が電気的に接続された状態となる。
 電荷蓄積部67には、露光動作時に第2光電変換部64から転送された電荷が蓄積されているから、電荷蓄積部67、ノード81、およびFD部63が電気的に接続されると、それらの電荷蓄積部67、ノード81、およびFD部63に、第2光電変換部64での露光により得られた電荷が蓄積された状態となる。
 すると、電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第2光電変換部64での露光により得られた画素信号の信号レベルとして読み取る。
 時刻t56において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせる。これにより、電荷蓄積部67、ノード81、およびFD部63がリセットされる。そして、時刻t57において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、電荷蓄積部67、ノード81、およびFD部63のリセットを解除する。
 この場合、電荷蓄積部67、ノード81、およびFD部63がリセットされた状態で、それらの電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第2光電変換部64で得られる画素信号のリセットレベルとして読み取る。
 カラム処理部23では、以上において得られた第2光電変換部64についてのリセットレベルと信号レベルとから、第2光電変換部64での露光により得られた画素信号が生成される。
 そして、このようにして得られた第1光電変換部61についての画素信号と、第2光電変換部64についての画素信号とが、後段の信号処理部28等においてHDR合成され、ダイナミックレンジが拡大された1フレーム分の撮影画像の画素の画素信号とされる。
 時刻t58において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせるとともに、駆動信号TGLおよび駆動信号TGSをオンすることで、第1転送ゲート部62および第2転送ゲート部66をオンさせる。これにより、第1光電変換部61および第2光電変換部64と、電荷蓄積部67、ノード81、およびFD部63とがリセットされる。
 その後、時刻t59において、垂直駆動部22は駆動信号TGLおよび駆動信号TGSをオフすることで、第1転送ゲート部62および第2転送ゲート部66をオフさせる。さらに時刻t60において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせる。これにより、画素51の各部のリセットが解除される。
 そして、時刻t61において、垂直駆動部22は駆動信号FCGをオフすることで、第4転送ゲート部69をオフさせ、時刻t62において、垂直駆動部22は駆動信号FDGをオフすることで、第3転送ゲート部68をオフさせる。これにより、電荷蓄積部67、ノード81、およびFD部63が電気的に切り離された状態となる。
 また、時刻t62では、垂直駆動部22は駆動信号SELをオフすることで選択トランジスタ72をオフさせ、画素51の選択状態を解除する。
 以上のようにして固体撮像素子11は、第1光電変換部61および第2光電変換部64のそれぞれの露光により得られた画素信号を順番に読み出す。これにより、撮影画像のダイナミックレンジを十分に拡大し、かつフリッカや、モーションブラー、合成アーチファクトの発生を抑制して、より高品質な撮影画像を得ることができる。
〈第1の実施の形態の変形例1〉
〈画素の構成例〉
 なお、以上においては画素アレイ部21に設けられる単位画素が図2に示した構成とされる場合について説明した。しかし、単位画素の構成は図2に示した例に限られるものではない。例えば単位画素である画素51に、3以上の光電変換部が設けられるようにしてもよく、それらの光電変換部の一部または全部について、上述した非線形なバースト駆動を行うことができるようにしてもよい。非線形なバースト駆動を行うには、光電変換部にアンチブルーミングゲート部が接続されるとともに、さらにその光電変換部に転送ゲート部を介して電荷蓄積部が接続されていればよい。
 また、画素51の構成は、例えば図7に示す構成とすることも可能である。なお、図7において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図7に示す画素51の構成は、第3転送ゲート部68が設けられていない点で図2に示した画素51の構成と異なり、その他の点では図2に示した画素51と同じ構成となっている。
 したがって、図7に示す画素51では、リセットゲート部70および第4転送ゲート部69は、FD部63に接続されている。そのため、例えばリセットゲート部70がオンされるとFD部63がリセットされ、第4転送ゲート部69がオンされると電荷蓄積部67に蓄積されている電荷がFD部63に転送されることになる。
〈第1の実施の形態の変形例2〉
〈画素の構成例〉
 また、画素51の構成は、例えば図8に示す構成とすることも可能である。なお、図8において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図8に示す画素51の構成は、電荷蓄積部67の対向電極の接続先がグランドとなっている点で図7に示した画素51の構成と異なり、その他の点では図7に示した画素51と同じ構成となっている。
〈第1の実施の形態の変形例3〉
〈画素の構成例〉
 さらに、画素51の構成は、例えば図9に示す構成とすることも可能である。なお、図9において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図9に示す画素51の構成は、電荷蓄積部67の対向電極およびリセットゲート部70が、電源VDDの代わりに可変電源VCBに接続されている点で図7に示した画素51の構成と異なり、その他の点では図7に示した画素51と同じ構成となっている。
 可変電源VCBの電源電圧VCBは、例えば、高レベルの電圧VHまたは低レベルの電圧VLに設定される。例えば、電圧VHは電源電圧VDDと同様のレベルに設定され、電圧VLはグランドレベルに設定される。
〈第2の実施の形態〉
〈画素の構成例〉
 ところで、車両には夜間の前方認識のために前照灯が設けられており、前照灯により車両前方にある被写体を照明することで、その被写体を認識することができる。しかし、車両前方の遠距離にある被写体を認識するためのハイビームは、対向車に乗車している人や、前方にいる他の人の目に眩しいため、長時間点灯させておくことは望ましくない。そこで、前照灯ハイビームを眩しくならないようにする方法として、一瞬だけハイビームを発光させるフラッシュ制御が考えられる。
 一般的に車両で車載カメラにより前方認識を行うときには、暗時には感度の高い光電変換部による受光が有効となる。ところが、フラッシュ制御を行ってハイビームを瞬間的に発光(点灯)させる場合、瞬間的な発光を従来の1/60蓄積のカメラ、すなわち1フレーム分の露光時間が1/60秒であるカメラで捉えても、ハイビームの発光時間に対して露光時間が長過ぎるため、ハイビームが他の環境光に埋もれて見えなくなってしまう。すなわち、撮影で得られた撮影画像では、ハイビームにより照明された遠距離に位置する被写体を認識することが困難となってしまう。
 このように、車両の前方にいる人にハイビームを眩しく感じさせないようにすることと、ハイビームにより照明された遠距離に位置する被写体を確実に認識することとを両立させることは困難であった。
 そこで、本技術では、図1に示した固体撮像素子11において、フラッシュ制御により瞬間的に発光されるハイビーム(以下、フラッシュハイビームとも称する)に同期させて露光を行うようにし、その結果得られた信号を最大限増幅処理することで、撮影画像において遠方の被写体を認識できるようにした。
 そのような場合、例えば図2に示した画素51において、第1転送ゲート部62を介して第1光電変換部61に接続されているFD部63を、露光により得られた電荷を蓄積する信号蓄積部として利用すればよい。また、FD部63の容量を小さくし、FD部63における電荷の電気信号への変換効率を高くしておけば、車両前方の遠距離にある被写体まで効率的に認識(検出)することができる。
〈固体撮像素子の動作について〉
 次に、図10のタイミングチャートを参照して、ハイビームの発光に同期させて露光を行う場合における固体撮像素子11の動作について説明する。
 なお、図10において、折れ線L51はフラッシュハイビームの発光タイミングを示しており、上に突の状態が、フラッシュハイビームが発光した状態を示している。また、折れ線L52および折れ線L53は、第1光電変換部61の露光タイミング、および第2光電変換部64での露光タイミングを示している。特に、折れ線L52および折れ線L53のそれぞれが上に突となっている期間が露光期間を示している。また、折れ線L52が徐々に図中、上方向に上がっていく部分は第1光電変換部61に電荷が蓄積されていく様子を示している。
 折れ線L54乃至折れ線L60は、駆動信号RST、駆動信号TGL、駆動信号TGS、駆動信号FDG、駆動信号FCG、駆動信号ABG、および駆動信号SELを示している。また、各駆動信号は図中、上に突の状態がオンとされた状態を示している。さらに、曲線L61および曲線L62は、画素信号読み出し時の垂直信号線27の電位を示している。
 図10では、通常の撮影画像の1フレーム分の期間である1/60秒の期間が期間T31および期間T32に分割されており、それらの期間T31および期間T32は1/120秒の区間となっている。すなわち、ここでは撮影画像のフレームレートが通常の2倍とされており、期間T31においてフラッシュハイビームに同期させた露光が行われ、期間T32に通常の撮影画像の撮影が行われる例となっている。
 この例では、一部の領域のみをハイビームで照明するスプリットハイビームやロービームが適切なタイミングで順番に発光される状態で、期間T31および期間T32からなる通常の1フレーム分の期間においてフラッシュハイビームが1度だけ発光する例となっている。
 まず、フラッシュハイビームの発光直前のタイミングである時刻t81において、垂直駆動部22は駆動信号RST、駆動信号TGL、および駆動信号FDGをオンすることで、リセットゲート部70、第1転送ゲート部62、および第3転送ゲート部68をオンさせる。これにより、第1光電変換部61、FD部63、およびノード81が電気的に接続され、それらの第1光電変換部61、FD部63、およびノード81がリセットされる。
 その後、垂直駆動部22は駆動信号TGLをオフすることで、第1光電変換部61のリセットを解除し、第1光電変換部61での露光を開始させる。
 そして、フラッシュハイビームの発光タイミングである時刻t82において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63とノード81を電気的に切り離す。
 また、フラッシュハイビームの発光終了のタイミングである時刻t83において、垂直駆動部22は駆動信号TGLをオンすることで第1転送ゲート部62をオンさせ、第1光電変換部61における光電変換で得られた電荷をFD部63へと転送させ、蓄積させる。
 その後、垂直駆動部22は駆動信号TGLをオフすることで第1転送ゲート部62をオフさせ、第1光電変換部61における光電変換で得られた電荷のFD部63への転送を終了させる。これにより、第1光電変換部61での露光が終了する。なお、ここでの第1光電変換部61の露光は、全画素51で一斉に行われる。
 このようにパルス発光光源であるフラッシュハイビームの発光期間に同期させたタイミングおよび露光時間で、より感度の高い第1光電変換部61での露光を行うことで、車両前方の遠距離にある被写体をより確実に認識することができるようになる。
 時刻t84において、垂直駆動部22は駆動信号RSTをオフすることで、リセットゲート部70をオフさせ、ノード81のリセットを解除する。
 このようにして第1光電変換部61での露光により得られた電荷がFD部63に転送されて蓄積されると、垂直駆動部22は各画素行を順番に選択していき、全画素51から画素信号の読み出しを行っていく。
 すなわち、時刻t85において、垂直駆動部22は、選択した画素行に供給する駆動信号SELをオンすることで選択トランジスタ72をオンさせ、その画素行の画素51を選択状態とする。また、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせ、ノード81をリセット状態とする。
 このようにして画素51を選択状態とすると、曲線L61に示すようにFD部63に蓄積された電荷の量に応じて垂直信号線27の電位が変化する。
 すなわち第1光電変換部61での露光で得られた電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61での露光により得られた画素信号の信号レベルとして読み取る。
 時刻t86において、垂直駆動部22は駆動信号FDGをオンすることで第3転送ゲート部68をオンさせ、FD部63およびノード81を電気的に接続させる。これにより、FD部63およびノード81がリセットされる。
 時刻t87において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63およびノード81を電気的に切り離す。これにより、FD部63のリセットが解除される。これにより、曲線L61に示すようにFD部63に蓄積された電荷の量に応じて垂直信号線27の電位が変化する。
 この場合、FD部63がリセットされた状態で、FD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61で得られる画素信号のリセットレベルとして読み取る。
 そして、カラム処理部23では、以上において得られた第1光電変換部61についてのリセットレベルと信号レベルとから、第1光電変換部61での露光により得られた画素信号が生成される。これにより、フラッシュハイビームを照明光源とした、車両前方の遠方にある被写体を認識するための撮影画像が得られたことになる。
 画素信号の読み出しが行われると、時刻t88において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、ノード81のリセットを解除する。また、垂直駆動部22は必要に応じて駆動信号SELをオフすることで選択トランジスタ72をオフさせ、画素51の選択状態を解除する。
 さらに、時刻t89において、垂直駆動部22は駆動信号RST、駆動信号TGL、駆動信号TGS、駆動信号FDG、および駆動信号FCGをオンする。これにより、リセットゲート部70、第1転送ゲート部62、第2転送ゲート部66、第3転送ゲート部68、および第4転送ゲート部69がオンして、第1光電変換部61、FD部63、ノード81、電荷蓄積部67、および第2光電変換部64が電気的に接続される。そして、これらの第1光電変換部61、FD部63、ノード81、電荷蓄積部67、および第2光電変換部64がリセットされる。
 時刻t90において、垂直駆動部22は駆動信号TGLおよび駆動信号TGSをオフすることで、第1転送ゲート部62および第2転送ゲート部66をオフさせ、次フレームまでの第1光電変換部61および第2光電変換部64での露光を開始させる。ここで開始される露光は、通常の撮影画像の撮影のための露光となる。
 なお、第1光電変換部61の露光については、上述した位相シフト制御、つまり任意のタイミングでの第1光電変換部61のリセット動作を行って、所望のタイミングで露光が開始されるようにしてもよい。
 時刻t91において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせて、FD部63、ノード81、および電荷蓄積部67のリセットを解除する。そして、時刻t92において、垂直駆動部22は駆動信号FCGをオフすることで第4転送ゲート部69をオフさせ、ノード81と電荷蓄積部67を電気的に切り離す。
 さらに、時刻t93において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、ノード81とFD部63を電気的に切り離す。
 以上の時刻t85から時刻t93までの動作が選択状態とされた画素行ごとに順番に行われる。
 その後、垂直駆動部22は、適宜、駆動信号TGSおよび駆動信号ABGをオン、オフしながら、上述した第2光電変換部64の非線形なバースト駆動を行う。
 例えば時刻t94において垂直駆動部22は、駆動信号RSTおよび駆動信号FDGをオンすることで、リセットゲート部70および第3転送ゲート部68をオンさせるとともに、駆動信号TGSをオンすることで第2転送ゲート部66をオンさせる。
 これにより、ノード81とFD部63が電気的に接続されて、それらのノード81とFD部63がリセットされるとともに、第2光電変換部64における光電変換により得られた電荷が、第2転送ゲート部66を介して第2光電変換部64から電荷蓄積部67に転送されて蓄積される。
 時刻t95において垂直駆動部22は、駆動信号TGSをオフすることで第2転送ゲート部66をオフさせ、第2光電変換部64からの電荷の転送を終了させる。つまり露光が終了する。また、時刻t94および時刻t95では、駆動信号TGLの点線部分で示されるように、適宜、第1光電変換部61をリセットすることで、第1光電変換部61での露光の開始時刻を任意の時刻に調整するようにしてもよい。
 時刻t96において垂直駆動部22は、駆動信号RSTをオフすることで、リセットゲート部70オフさせ、ノード81とFD部63のリセットを解除するとともに、駆動信号ABGをオンすることでアンチブルーミングゲート部65をオンさせ、第2光電変換部64をリセットする。
 時刻t97において垂直駆動部22は、駆動信号FDGをオフすることで、第3転送ゲート部68をオフさせ、ノード81とFD部63を電気的に切り離す。その後、垂直駆動部22は、適切なタイミングで駆動信号ABGをオフすることでアンチブルーミングゲート部65をオフさせ、第2光電変換部64での露光を開始させる。
 垂直駆動部22は、時刻t94乃至時刻t97の駆動を非線形に繰り返し行うことで、第2光電変換部64の非線形なバースト駆動を行う。図10では、第2光電変換部64の合計露光時間と合計非露光時間とが同じ長さとなる例が示されている。
 また、画素51が含まれる画素行からの画素信号読み出しのタイミングとなると、時刻t98において、垂直駆動部22は駆動信号SELをオンすることで選択トランジスタ72をオンさせ、画素51を選択状態とする。
 時刻t99において、垂直駆動部22は駆動信号TGSをオンすることで第2転送ゲート部66をオンさせるとともに、駆動信号FDGおよび駆動信号FCGをオンすることで、第3転送ゲート部68および第4転送ゲート部69をオンさせる。
 これにより、電荷蓄積部67、ノード81、およびFD部63が電気的に接続された状態となるとともに、第2光電変換部64における光電変換で得られた電荷が、第2転送ゲート部66を介して電荷蓄積部67、ノード81、およびFD部63へと転送され、蓄積される。
 また、時刻t100において、垂直駆動部22は駆動信号TGSをオフすることで第2転送ゲート部66をオフさせ、第2光電変換部64からの電荷の転送を終了させる。これにより、第2光電変換部64での露光が終了する。
 このような動作が行われると、電荷蓄積部67、ノード81、およびFD部63に、第2光電変換部64での露光により得られた電荷が蓄積された状態となり、曲線L62に示すように蓄積された電荷の量に応じて垂直信号線27の電位が変化する。
 すると、電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第2光電変換部64での露光により得られた画素信号の信号レベルとして読み取る。
 時刻t101において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせ、電荷蓄積部67、ノード81、およびFD部63をリセットする。これにより、曲線L62に示すように、リセット時に電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 時刻t102において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、電荷蓄積部67、ノード81、およびFD部63のリセットを解除する。
 この場合、電荷蓄積部67、ノード81、およびFD部63がリセットされた状態で、それらの電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。
 カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第2光電変換部64で得られる画素信号のリセットレベルとして読み取る。カラム処理部23では、以上において得られた第2光電変換部64についてのリセットレベルと信号レベルとから、第2光電変換部64での露光により得られた画素信号が生成される。
 時刻t103において、垂直駆動部22は駆動信号FCGをオフすることで、第4転送ゲート部69をオフさせ、時刻t104において、垂直駆動部22は駆動信号FDGをオフすることで、第3転送ゲート部68をオフさせる。これにより、電荷蓄積部67、ノード81、およびFD部63が電気的に切り離された状態となり、曲線L62に示すように、リセットされた状態でFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 この場合、FD部63がリセットされている状態で、FD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61で得られる画素信号のリセットレベルとして読み取る。
 時刻t105において、垂直駆動部22は駆動信号TGLをオンして第1転送ゲート部62をオンさせる。これにより、第1光電変換部61における光電変換により得られた電荷が、第1転送ゲート部62を介して第1光電変換部61からFD部63へと転送され、蓄積される。さらに、時刻t106において、垂直駆動部22は駆動信号TGLをオフして第1転送ゲート部62をオフさせることで、第1光電変換部61からの電荷の転送を終了させる。これにより、第1光電変換部61での露光が終了する。
 なお、ここでは第1光電変換部61で得られる画素信号の読み出し直前まで第1光電変換部61の露光を行う例について説明した。しかし、画素信号の読み出し開始よりも前に第1光電変換部61の露光を終了させる場合には、上述した図6を参照して説明した駆動を行うようにすればよい。
 第1光電変換部61での露光が終了すると、第1光電変換部61から転送された電荷がFD部63に蓄積された状態となり、曲線L62に示すようにFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 そのため、FD部63に蓄積されている電荷の量、すなわち第1光電変換部61での露光で得られた電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61での露光により得られた画素信号の信号レベルとして読み取る。
 カラム処理部23では、以上において得られた第1光電変換部61についてのリセットレベルと信号レベルとから、第1光電変換部61での露光により得られた画素信号が生成される。そして、このようにして得られた第1光電変換部61についての画素信号と、第2光電変換部64についての画素信号とがHDR合成され、ダイナミックレンジが拡大された撮影画像の画素の画素信号とされる。
 時刻t107において、垂直駆動部22は駆動信号RST、駆動信号TGL、駆動信号TGS、駆動信号FCG、および駆動信号FDGをオンすることで、リセットゲート部70、第1転送ゲート部62、第2転送ゲート部66、第4転送ゲート部69、および第3転送ゲート部68をオンさせる。
 これにより、第1光電変換部61、FD部63、ノード81、電荷蓄積部67、および第2光電変換部64が電気的に接続され、それらの第1光電変換部61、FD部63、ノード81、電荷蓄積部67、および第2光電変換部64がリセットされる。
 時刻t108において、垂直駆動部22は駆動信号TGLおよび駆動信号TGSをオフすることで、第1転送ゲート部62および第2転送ゲート部66をオフさせる。また、時刻t109において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、FD部63、ノード81、および電荷蓄積部67のリセットを解除する。
 時刻t110において、垂直駆動部22は駆動信号FCGをオフすることで第4転送ゲート部69をオフさせ、電荷蓄積部67とノード81を電気的に切り離す。さらに時刻t111において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63とノード81とを電気的に切り離すとともに、駆動信号SELをオフすることで選択トランジスタ72をオフさせ、画素51の選択状態を解除する。
 以上において説明したシャッタ駆動を行うことで、通常の1フレーム分の期間である1/60秒間の間に、フラッシュハイビームを照明光源とした、車両前方の遠方にある被写体を認識するための撮影画像と、通常の撮影画像とを同時に取得することができる。
〈第3の実施の形態〉
〈画素の構成例〉
 ところで、図2に示した画素51の構成では、画素51内に設けられた2つの光電変換部のうち、第2光電変換部64にはアンチブルーミングゲート部65が接続されており、非線形なバースト駆動が可能とされていた。これに対して、第1光電変換部61にはアンチブルーミングゲート部が接続されておらず、バースト駆動ができない構成となっていた。
 しかし、第1光電変換部61にもアンチブルーミングゲート部を接続する構成とすれば、さらに高付加価値な固体撮像素子11、すなわち高付加価値な車載カメラを提供することができる。
 そのような場合、画素アレイ部21に設けられる各単位画素は、例えば図11に示すように構成される。なお、図11において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図11に示す単位画素である画素111は、第1光電変換部61、第1転送ゲート部62、FD部63、第2光電変換部64、アンチブルーミングゲート部65、第2転送ゲート部66、電荷蓄積部67、第3転送ゲート部68、第4転送ゲート部69、リセットゲート部70、増幅トランジスタ71、選択トランジスタ72、およびアンチブルーミングゲート部121を有している。
 画素111の構成は、第1光電変換部61に対してアンチブルーミングゲート部121が接続されている点で図2の画素51の構成と異なり、その他の点では画素51と同じ構成となっている。
 すなわち、画素111では、画素111内の各光電変換部に、転送ゲート部を介して電荷を蓄積する領域が接続され、かつ各光電変換部にアンチブルーミングゲート部も接続されて、それらの光電変換部の非線形なバースト駆動が可能な構成となっている。
 アンチブルーミングゲート部121は、第1光電変換部61と電源VDDとの間に接続されており、アンチブルーミングゲート部121のゲート電極には垂直駆動部22から駆動信号AGLが供給される。この駆動信号AGLがオンとなると、アンチブルーミングゲート部121がオンされて、第1光電変換部61に蓄積されている電荷がアンチブルーミングゲート部121を介して排出される。すなわち、第1光電変換部61の電位が電源電圧VDDのレベルにリセットされる。
 このように光電変換部に対して、転送ゲート部を介して電荷の蓄積領域を接続するとともに、さらにアンチブルーミングゲート部を接続した構成は、光飛行時間計測法により対象物までの距離を測定するToF(Time of Flight)測距センサの機能を実現可能な構成である。したがって、このような画素111が設けられた固体撮像素子11を、ToF測距センサとしても機能させることが可能である。
 特に画素111には、より感度の高い第1光電変換部61と、より感度の低い第2光電変換部64といった感度の異なる光電変換部が設けられているため、輝度の高い近距離の対象物と輝度の低い遠距離の対象物とを効率的に検出することができる。
 ここで、ToF測距センサについて説明する。
 近年、パーソナルコンピュータ用やゲーム用などのToF測距センサが一般販売されるようになったが、それらのToF測距センサは、Continuous Wave方式と呼ばれる方式で測距が行われるものである。
 Continuous Wave方式では、例えば1フレーム期間である1/60秒内で、対象距離の光飛行時間に応じた周波数で、繰り返し光電変換部のリセット、および光電変換部から電荷蓄積部への電荷の転送が行われる。そして、1フレーム期間で累積的に蓄積された電荷に対応する信号から、対象物までの距離を求める測距演算が行われる。
 しかし、Continuous Wave方式では、外来光やノイズも1フレーム期間、蓄積されてしまうため、日中の屋外や太陽光下での環境光ノイズの影響が大きく、確実に対象物までの距離を測定することができない場合があった。
 近年、車載用のToF測距センサとしては、太陽光を受光できないほどの短い時間に発光から受光までの動作を行うone pulse方式のものが主流となっている。
 例えばこれを2次元化する方法として、1dot光源および1センサで2Dスキャンする方法や、1ライン光源および1ラインセンサで1Dスキャンする方法、2Dフラッシュ光源および2Dセンサでの非スキャン方法があり、それらの方法で測距を行うセンサが商品化されている。
〈固体撮像素子の動作について〉
 一方で、車載ヘッドライトのレーザ化も実現されている。そこで、固体撮像素子11での受光タイミングを、この車載ヘッドライトである2Dレーザのフラッシュパルス駆動と同期させれば、固体撮像素子11を用いた測距が可能となる。
 このように固体撮像素子11をToF測距センサとしても機能させる場合、例えば図12に示すように固体撮像素子11を駆動させればよい。ここでは、固体撮像素子11が搭載された車載センサが装備された車両のヘッドライド、すなわちフラッシュハイビームがToF測距時の光源(パルス発光光源)として使用されるものとする。
 なお、図12において、折れ線L71はフラッシュハイビームの発光タイミングを示しており、上に突の状態が、フラッシュハイビームが発光した状態を示している。
 また、折れ線L72乃至折れ線L79は、駆動信号RST、駆動信号TGL、駆動信号TGS、駆動信号FDG、駆動信号FCG、駆動信号AGL、駆動信号ABG、および駆動信号SELを示している。また、各駆動信号は図中、上に突の状態がオンとされた状態を示している。さらに、曲線L80乃至曲線L83は、画素信号読み出し時の垂直信号線27の電位を示している。また、図12において矢印Q11により示される部分を拡大表示したものが矢印Q12に示す部分となっている。
 固体撮像素子11において、ToF測距を行うと同時に通常の撮影画像も取得できるようにする場合、one pulse方式で用いられるような、時間を直接読み取るTime to Digital Converterを利用することはできない。
 そこで、固体撮像素子11では、Continuous Wave方式と同じように、位相の変化を信号レベルの変化に置き換えるPPM(Pulse Phase Modulation)方式を用いるコンビネーション方式により測距が行われる。
 PPM方式では、最低180度位相がずれた駆動検出が必要であるが、近距離の進相は反射光も大きく、遠距離の遅相は反射光が小さいことを利用して、近距離位相を第2光電変換部64で受け、遠距離位相を第1光電変換部61で受けるような駆動制御とされる。
 なお、第1光電変換部61と第2光電変換部64の感度差は、HDR合成のために事前に分かっているので補正可能である。また背景光やノイズの除去には、フレームシーケンシャル方式が用いられて、信号フレームと背景ノイズフレームの差分を取れるようにされている。さらに、フレームシーケンシャル方式で通常の撮影画像を取得するフレームも加えると、通常のフレームレートに対して3倍から4倍速とすれば、通常の撮影画像の取得とToF測距とを両立することが可能である。
 フレームシーケンシャル方式によるフレームレートの低下が問題となる場合や、動被写体において信号フレームと背景ノイズフレームの差分の時間差が問題となる場合には、第1光電変換部61と第2光電変換部64のそれぞれに、転送ゲート部を介した電荷蓄積部をさらにもう1セット追加した2tap構造としてもよい。これにより、フレームレート低下を抑制したり、動被写体時の差分誤差を低減させることができる。このような2tap構造は、ToF測距センサでは一般的な構造である。
 続いて、固体撮像素子11のより具体的な駆動について説明する。
 この例では、通常の1フレーム分の期間である1/60秒が3つまたは4つのフレームに分割されて、ToF測距と、通常の撮影画像の取得とが行われる。以下では、1/60秒である通常の1フレーム期間を分割して得られたフレームを分割フレームとも称することとする。
 図12では、期間T41と期間T42のそれぞれが分割フレームの期間を示しており、それらの分割フレームの期間は、例えば1/180秒や1/240秒などとされる。
 まず、最初の分割フレームである期間T41では、垂直駆動部22はパルス発光光源であるフレッシュハイビームの発光タイミングに基づいて、第1光電変換部61および第2光電変換部64での露光を制御することで、光飛行時間計測法による測距を制御する。
 具体的には、フラッシュハイビーム発光直前のタイミングである時刻t141において、垂直駆動部22は駆動信号RST、駆動信号TGL、駆動信号TGS、駆動信号FDG、駆動信号FCG、駆動信号AGL、および駆動信号ABGをオンする。これにより、リセットゲート部70、第1転送ゲート部62、第2転送ゲート部66、第3転送ゲート部68、第4転送ゲート部69、アンチブルーミングゲート部121、およびアンチブルーミングゲート部65がオンする。
 その結果、第1光電変換部61、FD部63、ノード81、電荷蓄積部67、および第2光電変換部64が電気的に接続されて、それらの第1光電変換部61、FD部63、ノード81、電荷蓄積部67、および第2光電変換部64がリセットされる。
 時刻t142において、垂直駆動部22は駆動信号TGLおよび駆動信号TGSをオフすることで、第1転送ゲート部62および第2転送ゲート部66をオフさせる。これにより、第1光電変換部61とFD部63が電気的に切り離されるとともに、第2光電変換部64と電荷蓄積部67が電気的に切り離される。
 時刻t143において、垂直駆動部22は駆動信号FCGをオフすることで第4転送ゲート部69をオフさせ、電荷蓄積部67とノード81を電気的に切り離す。
 そして、フラッシュハイビームの発光タイミングである時刻t144において、垂直駆動部22は駆動信号ABGをオフすることでアンチブルーミングゲート部65をオフさせ、第2光電変換部64のリセットを解除する。これにより、第2光電変換部64での露光が開始される。
 また、時刻t144では、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63とノード81を電気的に切り離す。
 時刻t145において、垂直駆動部22は駆動信号TGSをオンすることで第2転送ゲート部66をオンさせる。これにより、第2光電変換部64と電荷蓄積部67が電気的に接続され、第2光電変換部64における光電変換により得られた電荷が、第2転送ゲート部66を介して第2光電変換部64から電荷蓄積部67に転送されて蓄積される。
 また、フラッシュハイビームの発光終了タイミングである時刻t146において垂直駆動部22は、駆動信号TGSをオフすることで第2転送ゲート部66をオフさせ、第2光電変換部64からの電荷の転送を終了させる。すなわち、第2光電変換部64での露光が終了する。
 同時に、時刻t146において、垂直駆動部22は駆動信号AGLをオフすることでアンチブルーミングゲート部121をオフさせ、第1光電変換部61のリセットを解除する。これにより、第1光電変換部61での露光が開始される。
 第2光電変換部64での露光開始に対して、第1光電変換部61での露光開始の時刻が遅いのは、第2光電変換部64により近距離にある対象物までの距離を測定するのに対して、第1光電変換部61により遠距離にある対象物までの距離を測定することを想定しているからである。
 時刻t147において、垂直駆動部22は駆動信号TGLをオンすることで第1転送ゲート部62をオンさせる。これにより、第1光電変換部61とFD部63が電気的に接続され、第1光電変換部61における光電変換により得られた電荷が、第1転送ゲート部62を介して第1光電変換部61からFD部63に転送されて蓄積される。
 時刻t148において、垂直駆動部22は駆動信号TGLをオフすることで第1転送ゲート部62をオフさせ、第1光電変換部61からの電荷の転送を終了させる。すなわち、第1光電変換部61での露光が終了する。
 同時に、時刻t148において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、ノード81のリセットを解除するとともに、駆動信号ABGをオンすることでアンチブルーミングゲート部65をオンさせ、第2光電変換部64をリセットする。
 さらに、時刻t149において、垂直駆動部22は駆動信号AGLをオンすることでアンチブルーミングゲート部121をオンさせ、第1光電変換部61をリセットする。以上の動作により、ToF測距のためのフラッシュハイビームの発光と、そのフラッシュハイビームの対象物での反射光の受光が行われる。これらの動作は、全ての画素111で同時に行われる。
 ここで、時刻t148および時刻t149において、第2光電変換部64および第1光電変換部61をリセット状態とするのは、露光終了後に、それらの第2光電変換部64および第1光電変換部61における光電変換により得られた電荷が電荷蓄積部67やFD部63へと溢れ出てしまうことを防止するためである。
 また、上述したように第2光電変換部64の露光期間は、時刻t144から時刻t146までの期間T51である。これに対して、第1光電変換部61の露光期間は、時刻t146から時刻t148までの期間T52である。
 ここで、例えばフラッシュハイビームの発光期間である時刻t144から時刻t146までの期間の長さ、すなわちフラッシュハイビームの発光時間が167nsecであるとする。この場合、光速c=299792458m/sとすると、167nsecの間にフラッシュハイビームは約50mだけ進むことになる。また、期間T51および期間T52の長さはともに167nsecであるとする。
 この場合、期間T51を露光期間とする第2光電変換部64では、固体撮像素子11、すなわち固体撮像素子11を有する車載センサが搭載された車両から、0m乃至25mの間にある対象物で反射して戻ってきたフラッシュハイビームの光を受光することができる。
 これに対して、期間T52を露光期間とする第1光電変換部61では、固体撮像素子11から、25m乃至50mの間にある対象物で反射して戻ってきたフラッシュハイビームの光を受光することができる。
 そのため、例えば信号処理部28等において、第1光電変換部61での露光で得られた画素信号(以下、大信号とも称する)と、第2光電変換部64での露光で得られた画素信号(以下、小信号とも称する)とを感度比を補正してから比較することで、固体撮像素子11から対象物までの距離を算出することができる。
 すなわち、例えば折れ線L71における矢印W11に示すタイミングでパルス発光されたフラッシュハイビームが、固体撮像素子11からの距離が0mである対象物で反射して戻ってくると、その反射光は矢印W12により示されるタイミングで受光されることになる。この場合、発光されたフラッシュハイビームの光量を1としたときの小信号と大信号に含まれるフラッシュハイビーム成分の量、つまりフラッシュハイビーム成分の小信号と大信号の信号値への配分は小信号:大信号=1:0となる。
 また、フラッシュハイビームが、固体撮像素子11から12.5mの位置にある対象物で反射して戻ってくると、その反射光は矢印W13により示されるタイミングで受光されることになり、このときのフラッシュハイビームの配分は、小信号:大信号=0.5:0.5となる。
 さらにフラッシュハイビームが、固体撮像素子11から25mの位置にある対象物で反射して戻ってくると、その反射光は矢印W14により示されるタイミングで受光されることになり、このときのフラッシュハイビームの配分は、小信号:大信号=0:1となる。
 同様にフラッシュハイビームが、固体撮像素子11から37.5mの位置にある対象物で反射して戻ってくると、その反射光は矢印W15により示されるタイミングで受光されることになり、このときのフラッシュハイビームの配分は、小信号:大信号=0:0.5となる。
 さらにフラッシュハイビームが、固体撮像素子11から50mの位置にある対象物で反射して戻ってくると、その反射光は矢印W16により示されるタイミングで受光されることになり、このときのフラッシュハイビームの配分は、小信号:大信号=0:0となる。
 このように対象物までの距離が0mから50mまでの間では、フラッシュハイビームの小信号と大信号の信号値への配分が線形に(アナログ的に)変化するため、小信号と大信号とを比較することで、対象物までの距離を算出することができる。
 以上のようにしてフラッシュハイビームに対する第1光電変換部61および第2光電変換部64での露光が終了すると、垂直駆動部22は各画素行を順番に画素信号の読み出しを行う画素行として選択していき、各画素111から画素信号を読み出していく。
 すなわち、時刻t150において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせる。また、時刻t150において、垂直駆動部22は駆動信号SELをオンすることで選択トランジスタ72をオンさせ、画素111を選択状態とする。
 このとき露光動作時に第1光電変換部61から転送された電荷がFD部63に蓄積された状態となっている。そのため、FD部63に蓄積されている電荷の量、すなわち第1光電変換部61での露光で得られた電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。これにより、曲線L80に示すようにFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61での露光により得られた画素信号の信号レベルとして読み取る。
 時刻t151において、垂直駆動部22は駆動信号FDGをオンすることで第3転送ゲート部68をオンさせ、FD部63とノード81とを電気的に接続させる。これにより、FD部63とノード81とがリセットされる。
 時刻t152において、垂直駆動部22は駆動信号FDGをオフすることで第3転送ゲート部68をオフさせ、FD部63とノード81とを電気的に切り離す。
 この場合、FD部63がリセットされている状態で、FD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。これにより、曲線L80に示すように、リセットされたFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第1光電変換部61で得られる画素信号のリセットレベルとして読み取る。
 カラム処理部23では、以上において得られた第1光電変換部61についてのリセットレベルと信号レベルとから、第1光電変換部61での露光により得られた画素信号が生成される。
 時刻t153において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、ノード81のリセットを解除する。また、時刻t153において、垂直駆動部22は駆動信号AGLをオフすることでアンチブルーミングゲート部121をオフさせ、第1光電変換部61のリセットを解除する。
 時刻t154において、垂直駆動部22は駆動信号FDGおよび駆動信号FCGをオンすることで、第3転送ゲート部68および第4転送ゲート部69をオンさせる。これにより、電荷蓄積部67、ノード81、およびFD部63が電気的に接続された状態となる。
 電荷蓄積部67には、露光動作時に第2光電変換部64から転送された電荷が蓄積されているから、電荷蓄積部67、ノード81、およびFD部63が電気的に接続されると、それらの電荷蓄積部67、ノード81、およびFD部63に、第2光電変換部64での露光により得られた電荷が蓄積された状態となる。
 すると、電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。これにより、曲線L81に示すように、電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第2光電変換部64での露光により得られた画素信号の信号レベルとして読み取る。
 時刻t155において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせる。これにより、電荷蓄積部67、ノード81、およびFD部63がリセットされる。そして、時刻t156において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせ、電荷蓄積部67、ノード81、およびFD部63のリセットを解除する。
 この場合、電荷蓄積部67、ノード81、およびFD部63がリセットされた状態で、それらの電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じた信号が、増幅トランジスタ71から選択トランジスタ72および垂直信号線27を介してカラム処理部23へと出力される。これにより、曲線L81に示すように、リセットされた電荷蓄積部67、ノード81、およびFD部63に蓄積されている電荷の量に応じて垂直信号線27の電位が変化する。
 カラム処理部23は、このようにして増幅トランジスタ71から出力された信号を、第2光電変換部64で得られる画素信号のリセットレベルとして読み取る。
 カラム処理部23では、第2光電変換部64についてのリセットレベルと信号レベルとから、第2光電変換部64での露光により得られた画素信号が生成される。
 そして、このようにして得られた第1光電変換部61についての画素信号(大信号)と、第2光電変換部64についての画素信号(小信号)とが、第1光電変換部61と第2光電変換部64との感度比に基づいて補正される。
 時刻t157において、垂直駆動部22は駆動信号RSTをオンすることでリセットゲート部70をオンさせるとともに、駆動信号TGLおよび駆動信号TGSをオンすることで、第1転送ゲート部62および第2転送ゲート部66をオンさせる。これにより、第1光電変換部61および第2光電変換部64と、電荷蓄積部67、ノード81、およびFD部63とがリセットされる。
 その後、時刻t158において、垂直駆動部22は駆動信号TGLおよび駆動信号TGSをオフすることで、第1転送ゲート部62および第2転送ゲート部66をオフさせる。さらに時刻t159において、垂直駆動部22は駆動信号RSTをオフすることでリセットゲート部70をオフさせる。これにより、画素111の各部のリセットが解除される。
 そして、時刻t160において、垂直駆動部22は駆動信号FCGをオフすることで、第4転送ゲート部69をオフさせ、時刻t161において、垂直駆動部22は駆動信号FDGをオフすることで、第3転送ゲート部68をオフさせる。これにより、電荷蓄積部67、ノード81、およびFD部63が電気的に切り離された状態となる。
 また、時刻t161では、垂直駆動部22は駆動信号SELをオフすることで選択トランジスタ72をオフさせ、画素111の選択状態を解除する。
 以上のように、期間T41においてフラッシュハイビーム発光時の大信号と小信号が得られると、固体撮像素子11は、続く期間T42においては期間T41と同じ動作を行い、大信号と小信号を得る。
 但し、期間T42ではフラッシュハイビームは発光しない(非発光)ので、期間T42で得られる大信号と小信号は、フラッシュハイビーム以外の背景光の成分とノイズ成分のみが含まれた信号となる。
 そこで、信号処理部28は、期間T41で得られた大信号から、期間T42で得られた大信号を減算することで、フラッシュハイビーム成分のみが含まれる大信号を算出する。同様に、信号処理部28は、期間T41で得られた小信号から、期間T42で得られた小信号を減算することで、フラッシュハイビーム成分のみが含まれる小信号を算出する。
 このようにして得られたフラッシュハイビーム成分のみが含まれる大信号と小信号を比較すれば、より高精度に、かつより確実に対象物までの距離を算出することができる。
 しかも、固体撮像素子11では、より感度の高い第1光電変換部61を遠距離にある対象物を検出するのに用い、より感度の低い第2光電変換部64を近距離にある対象物を検出するのに用いることで、より測距範囲を広くすることができる。また、より感度の高い第1光電変換部61を遠距離にある対象物の検出に用いることで、遠距離にある対象物までの測距性能を向上させることができる。
 さらに、固体撮像素子11では、通常の撮影画像を得るときに2つの光電変換部の感度差と、それらの光電変換部での露光時間の制御とにより、シャッタ速度を極端に速くすることを回避することができ、動被写体の滑らかさを表現することができる。
 なお、ここでは第1光電変換部61と第2光電変換部64での露光を同時に行って測距を行うようにする例について説明した。しかし、以上において説明したToF測距は、1つの光電変換部と、その光電変換部に接続された電荷を蓄積する領域を用いてフレームシーケンシャルに処理を行うことでも実現可能である。そこで、何れか一方の光電変換部のみを用いて測距を行うようにしてもよい。
 例えばフレームシーケンシャルにToF測距を行う場合、第1光電変換部61を利用して0m乃至25mまでの間にある対象物を検出するための発光および露光を行い、続いて第1光電変換部61利用して25m乃至50mまでの間にある対象物を検出するための発光および露光を行うなどとすればよい。なお、この場合、より感度の高い第1光電変換部61を用いるか、またはよりダイナミックレンジの広い第2光電変換部64を用いるかは、周囲の環境等、つまり環境光等に応じて選択すればよい。
 さらに期間T42に続く分割フレームでは、図5や図6を参照して説明した駆動により通常の撮影画像の撮影を行ったり、図10を参照して説明した駆動によりフラッシュハイビームに同期した撮影画像の撮影を行ったりすることができる。
 例えば通常の1フレーム期間を分割したときの1番目および2番目の分割フレームである期間T41および期間T42以降に通常の撮影画像を取り込む場合、通常の撮影画像は、測距への影響がないようにするには、3番目の分割フレームから4番目の分割フレームの間で取り込む4フレームシーケンシャル動作とするのがよい。
 しかし、2番目の分割フレームの各画素行からの画素信号の読み出し後から、電荷の蓄積、すなわち露光を開始することで、3フレームシーケンシャル動作に短縮することもできる。つまり、3番目の分割フレームまでで撮影画像を得ることができる。
 そのような場合には、撮影画像の撮影制御として、2番目の分割フレームでの画素信号の読み出し後、図10に示した期間T31における第2光電変換部64の非線形なバースト駆動開始以降の動作、すなわち、時刻t94乃至時刻t111の動作を行うようにすればよい。
 以上において説明した駆動により、通常の撮影画像の取得と、フラッシュハイビームを照明光源とした、車両前方の遠方にある被写体を認識するための撮影画像の取得と、ToF測距とを1つの固体撮像素子11により実現することができる。これにより、より安価で高機能な車載センサを実現することができる。
〈撮像装置の構成例〉
 さらに、本技術は、車載センサや、監視カメラ、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置など、光電変換部に固体撮像素子を用いる電子機器全般に対して適用可能である。
 図13は、本技術を適用した電子機器としての、撮像装置の構成例を示す図である。
 図13の撮像装置901は、レンズ群などからなる光学部911、固体撮像素子(撮像デバイス)912、およびカメラ信号処理回路であるDSP回路913を備える。また、撮像装置901は、フレームメモリ914、記録部915、操作部916、および電源部917も備える。DSP回路913、フレームメモリ914、記録部915、操作部916および電源部917は、バスライン918を介して相互に接続されている。
 光学部911は、被写体からの入射光(像光)を取り込んで固体撮像素子912の撮像面上に結像する。固体撮像素子912は、光学部911によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子912は、図1に示した固体撮像素子11に対応する。
 記録部915は、固体撮像素子912で撮影された動画像または静止画像を、ビデオテープやDVD(Digital Versatile Disk)等の記録媒体に記録する。
 操作部916は、ユーザによる操作の下に、撮像装置901が持つ様々な機能について操作指令を発する。電源部917は、DSP回路913、フレームメモリ914、記録部915および操作部916の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
 なお、上述した実施形態においては、可視光の光量に応じた信号を検知する画素が行列状に配置されてなる固体撮像素子に適用した場合を例に挙げて説明した。しかしながら、本技術はそのような固体撮像素子の適用に限られるものではなく、固体撮像素子全般に対して適用可能である。
〈固体撮像素子の使用例〉
 図14は、上述の固体撮像素子(イメージセンサ)を使用する使用例を示す図である。
 上述した固体撮像素子は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
 ・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
 ・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
 ・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
 ・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
 ・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
 ・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
 ・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
 ・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 さらに、本技術は、以下の構成とすることも可能である。
(1)
 複数の単位画素が配置されている画素アレイ部と、
 前記単位画素の動作を制御する駆動部と
 を備え、
 前記単位画素は複数の光電変換部を有し、
 前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、
  前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、
  前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、
  前記光電変換部をリセットするアンチブルーミングゲート部と
 が接続されている
 固体撮像素子。
(2)
 前記駆動部は、前記1または複数の前記光電変換部について、1フレーム期間において前記光電変換部をリセットしてから前記光電変換部の露光を行う露光動作と、前記露光により得られた電荷を前記電荷蓄積部に転送する転送動作とを複数回繰り返すバースト駆動を行う
 (1)に記載の固体撮像素子。
(3)
 前記駆動部は、前記露光動作時の露光時間を変化させながら前記バースト駆動を行う
 (2)に記載の固体撮像素子。
(4)
 前記駆動部は、前記バースト駆動による複数回の前記露光の重心位置と、前記バースト駆動を行わない前記光電変換部の露光の重心位置とが略一致するように、前記バースト駆動を行わない前記光電変換部の露光を制御する
 (2)または(3)に記載の固体撮像素子。
(5)
 前記駆動部は、前記光電変換部の露光が所定のパルス光源の発光に同期するように、前記光電変換部の露光を制御する
 (1)乃至(4)の何れか一項に記載の固体撮像素子。
(6)
 前記駆動部は、所定のパルス光源の発光タイミングに基づいて前記光電変換部の露光を制御することで、光飛行時間計測法による測距を制御する
 (1)に記載の固体撮像素子。
(7)
 前記駆動部は、より感度の低い前記光電変換部によって、より近距離にある対象物が検出され、より感度の高い前記光電変換部によって、より遠距離にある対象物が検出されるように、前記光電変換部の露光を制御する
 (6)に記載の固体撮像素子。
(8)
 複数の単位画素が配置されている画素アレイ部と、
 前記単位画素の動作を制御する駆動部と
 を備え、
 前記単位画素は複数の光電変換部を有し、
 前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、
  前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、
  前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、
  前記光電変換部をリセットするアンチブルーミングゲート部と
 が接続されている固体撮像素子の駆動方法であって、
 前記駆動部が、前記1または複数の前記光電変換部について、1フレーム期間において前記光電変換部をリセットしてから前記光電変換部の露光を行う露光動作と、前記露光により得られた電荷を前記電荷蓄積部に転送する転送動作とを複数回繰り返すバースト駆動を行う
 ステップを含む駆動方法。
(9)
 複数の単位画素が配置されている画素アレイ部と、
 前記単位画素の動作を制御する駆動部と
 を備える固体撮像素子を有し、
 前記単位画素は複数の光電変換部を有し、
 前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、
  前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、
  前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、
  前記光電変換部をリセットするアンチブルーミングゲート部と
 が接続されている
 電子機器。
 11 固体撮像素子, 21 画素アレイ部, 22 垂直駆動部, 23 カラム処理部, 51 画素, 61 第1光電変換部, 62 第1転送ゲート部, 63 FD部, 64 第2光電変換部, 65 アンチブルーミングゲート部, 66 第2転送ゲート部, 67 電荷蓄積部, 68 第3転送ゲート部, 111 画素, 121 アンチブルーミングゲート部

Claims (9)

  1.  複数の単位画素が配置されている画素アレイ部と、
     前記単位画素の動作を制御する駆動部と
     を備え、
     前記単位画素は複数の光電変換部を有し、
     前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、
      前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、
      前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、
      前記光電変換部をリセットするアンチブルーミングゲート部と
     が接続されている
     固体撮像素子。
  2.  前記駆動部は、前記1または複数の前記光電変換部について、1フレーム期間において前記光電変換部をリセットしてから前記光電変換部の露光を行う露光動作と、前記露光により得られた電荷を前記電荷蓄積部に転送する転送動作とを複数回繰り返すバースト駆動を行う
     請求項1に記載の固体撮像素子。
  3.  前記駆動部は、前記露光動作時の露光時間を変化させながら前記バースト駆動を行う
     請求項2に記載の固体撮像素子。
  4.  前記駆動部は、前記バースト駆動による複数回の前記露光の重心位置と、前記バースト駆動を行わない前記光電変換部の露光の重心位置とが略一致するように、前記バースト駆動を行わない前記光電変換部の露光を制御する
     請求項2に記載の固体撮像素子。
  5.  前記駆動部は、前記光電変換部の露光が所定のパルス光源の発光に同期するように、前記光電変換部の露光を制御する
     請求項1に記載の固体撮像素子。
  6.  前記駆動部は、所定のパルス光源の発光タイミングに基づいて前記光電変換部の露光を制御することで、光飛行時間計測法による測距を制御する
     請求項1に記載の固体撮像素子。
  7.  前記駆動部は、より感度の低い前記光電変換部によって、より近距離にある対象物が検出され、より感度の高い前記光電変換部によって、より遠距離にある対象物が検出されるように、前記光電変換部の露光を制御する
     請求項6に記載の固体撮像素子。
  8.  複数の単位画素が配置されている画素アレイ部と、
     前記単位画素の動作を制御する駆動部と
     を備え、
     前記単位画素は複数の光電変換部を有し、
     前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、
      前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、
      前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、
      前記光電変換部をリセットするアンチブルーミングゲート部と
     が接続されている固体撮像素子の駆動方法であって、
     前記駆動部が、前記1または複数の前記光電変換部について、1フレーム期間において前記光電変換部をリセットしてから前記光電変換部の露光を行う露光動作と、前記露光により得られた電荷を前記電荷蓄積部に転送する転送動作とを複数回繰り返すバースト駆動を行う
     ステップを含む駆動方法。
  9.  複数の単位画素が配置されている画素アレイ部と、
     前記単位画素の動作を制御する駆動部と
     を備える固体撮像素子を有し、
     前記単位画素は複数の光電変換部を有し、
     前記複数の前記光電変換部のうちの1または複数の前記光電変換部には、前記光電変換部ごとに、
      前記光電変換部における光電変換により得られた電荷を転送する転送ゲートと、
      前記転送ゲートを介して前記光電変換部から転送された電荷を蓄積する電荷蓄積部と、
      前記光電変換部をリセットするアンチブルーミングゲート部と
     が接続されている
     電子機器。
PCT/JP2016/068755 2015-07-08 2016-06-24 固体撮像素子および駆動方法、並びに電子機器 WO2017006781A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680038300.6A CN107710742B (zh) 2015-07-08 2016-06-24 固态成像元件、驱动方法和电子设备
JP2017527175A JP6808623B2 (ja) 2015-07-08 2016-06-24 固体撮像素子および駆動方法、並びに電子機器
US15/740,556 US10291867B2 (en) 2015-07-08 2016-06-24 Solid-state imaging element and driving method and electronic equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015136842 2015-07-08
JP2015-136842 2015-07-08

Publications (1)

Publication Number Publication Date
WO2017006781A1 true WO2017006781A1 (ja) 2017-01-12

Family

ID=57685617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068755 WO2017006781A1 (ja) 2015-07-08 2016-06-24 固体撮像素子および駆動方法、並びに電子機器

Country Status (4)

Country Link
US (1) US10291867B2 (ja)
JP (1) JP6808623B2 (ja)
CN (1) CN107710742B (ja)
WO (1) WO2017006781A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3562146A1 (en) * 2018-04-26 2019-10-30 Canon Kabushiki Kaisha Imaging apparatus and imaging system
WO2023189600A1 (ja) * 2022-03-29 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像システム
DE102019100461B4 (de) 2018-01-11 2024-01-25 pmdtechnologies ag Lichtlaufzeitpixel

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967501B2 (en) 2014-10-08 2018-05-08 Panasonic Intellectual Property Management Co., Ltd. Imaging device
JP6782431B2 (ja) * 2016-01-22 2020-11-11 パナソニックIpマネジメント株式会社 撮像装置
CN107026961B (zh) 2016-01-29 2021-02-12 松下知识产权经营株式会社 摄像装置
JP2017163010A (ja) * 2016-03-10 2017-09-14 ソニー株式会社 撮像装置、電子機器
JP2018138139A (ja) * 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、及び医療用観察システム
WO2019021439A1 (ja) * 2017-07-27 2019-01-31 マクセル株式会社 撮像素子、撮像装置、および距離画像の取得方法
CN108282626B (zh) * 2018-03-01 2021-04-23 思特威(上海)电子科技股份有限公司 Tof图像传感器像素结构及tof成像系统
CN108259790B (zh) * 2018-04-02 2020-10-30 锐芯微电子股份有限公司 图像传感器像素电路及其工作方法
CN110418085B (zh) * 2018-04-28 2021-09-17 思特威(上海)电子科技股份有限公司 Tof像素电路及测距系统
CN112789514A (zh) * 2018-10-31 2021-05-11 索尼半导体解决方案公司 电子设备、方法及计算机程序
US11362121B2 (en) * 2020-01-28 2022-06-14 Omnivision Technologies, Inc. Light attenuation layer fabrication method and structure for image sensor
KR20220120049A (ko) * 2021-02-22 2022-08-30 삼성전자주식회사 이미지 센서
KR20220169822A (ko) * 2021-06-21 2022-12-28 삼성전자주식회사 픽셀, 및 이를 포함하는 이미지 센서

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195734A (ja) * 2011-03-16 2012-10-11 Sony Corp 固体撮像装置、撮像装置、電子機器、及び、固体撮像装置の駆動方法
WO2014133843A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Exposure control for image sensors
JP2015518692A (ja) * 2012-04-18 2015-07-02 ブライトウェイ ビジョン リミテッド 読み出し毎の複数のゲーテッド画素

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3071891B2 (ja) 1991-08-30 2000-07-31 富士写真フイルム株式会社 固体電子撮像装置
US7332786B2 (en) * 2003-11-26 2008-02-19 Micron Technology, Inc. Anti-blooming storage pixel
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
US8026966B2 (en) * 2006-08-29 2011-09-27 Micron Technology, Inc. Method, apparatus and system providing a storage gate pixel with high dynamic range
EP2748675B1 (en) * 2011-07-29 2018-05-23 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method
US9324759B2 (en) * 2013-12-19 2016-04-26 Omnivision Technologies, Inc. Image sensor pixel for high dynamic range image sensor
US9826214B2 (en) * 2014-09-08 2017-11-21 Microsoft Technology Licensing, Llc. Variable resolution pixel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195734A (ja) * 2011-03-16 2012-10-11 Sony Corp 固体撮像装置、撮像装置、電子機器、及び、固体撮像装置の駆動方法
JP2015518692A (ja) * 2012-04-18 2015-07-02 ブライトウェイ ビジョン リミテッド 読み出し毎の複数のゲーテッド画素
WO2014133843A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Exposure control for image sensors

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019100461B4 (de) 2018-01-11 2024-01-25 pmdtechnologies ag Lichtlaufzeitpixel
DE102019100460B4 (de) 2018-01-11 2024-01-25 pmdtechnologies ag Lichtlaufzeitpixel und Verfahren zum Betreiben eines solchen
DE102019100462B4 (de) 2018-01-11 2024-01-25 pmdtechnologies ag Lichtlaufzeitpixel
EP3562146A1 (en) * 2018-04-26 2019-10-30 Canon Kabushiki Kaisha Imaging apparatus and imaging system
US11063076B2 (en) 2018-04-26 2021-07-13 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and mobile object having pixels with different saturation charge quantities
WO2023189600A1 (ja) * 2022-03-29 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像システム

Also Published As

Publication number Publication date
US10291867B2 (en) 2019-05-14
JPWO2017006781A1 (ja) 2018-04-19
US20180191973A1 (en) 2018-07-05
CN107710742B (zh) 2020-10-27
JP6808623B2 (ja) 2021-01-06
CN107710742A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
JP6808623B2 (ja) 固体撮像素子および駆動方法、並びに電子機器
KR102552755B1 (ko) 고체 촬상 장치 및 전자 기기
CN107409179B (zh) 固态成像装置、固态成像装置的驱动方法和电子设备
WO2017169216A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
CN108886049B (zh) 成像装置、驱动方法和电子设备
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP2015198361A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2019171853A1 (ja) 撮像装置及び撮像装置の信号処理方法、並びに、電子機器
US11095816B2 (en) Image pickup element, image pickup method, and electronic device for image stabilization
WO2018030137A1 (ja) 撮像装置、電子機器
EP3310036B1 (en) Image pickup system
JPWO2018021053A1 (ja) 撮像素子
WO2019131346A1 (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
TW201740549A (zh) 固體攝像裝置、固體攝像裝置之驅動方法、及電子機器
JP6701710B2 (ja) 撮像素子および撮像装置
CN112970115A (zh) 固态摄像装置和电子设备
JP2018191230A (ja) 撮像素子及びその駆動方法、並びに、電子機器
JP2020096259A (ja) 光電変換装置および撮像システム
JP2019022173A (ja) 固体撮像素子およびその制御方法、並びに電子機器
WO2023136169A1 (ja) 固体撮像装置及び電子機器
WO2022091755A1 (ja) 撮像装置及び電子機器
JP2022050517A (ja) 撮像素子
JP2022168343A (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821250

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017527175

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821250

Country of ref document: EP

Kind code of ref document: A1