WO2019131346A1 - 撮像装置、撮像システム、および撮像装置の駆動方法 - Google Patents

撮像装置、撮像システム、および撮像装置の駆動方法 Download PDF

Info

Publication number
WO2019131346A1
WO2019131346A1 PCT/JP2018/046632 JP2018046632W WO2019131346A1 WO 2019131346 A1 WO2019131346 A1 WO 2019131346A1 JP 2018046632 W JP2018046632 W JP 2018046632W WO 2019131346 A1 WO2019131346 A1 WO 2019131346A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
exposure period
image
unit
pixel
Prior art date
Application number
PCT/JP2018/046632
Other languages
English (en)
French (fr)
Inventor
信司 山中
寿士 高堂
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP18897584.1A priority Critical patent/EP3734964A4/en
Priority to CN201880083723.9A priority patent/CN111512627B/zh
Publication of WO2019131346A1 publication Critical patent/WO2019131346A1/ja
Priority to US16/902,563 priority patent/US11284023B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present invention relates to an imaging device, an imaging system, and a method of driving an imaging device.
  • Patent Document 1 describes an imaging device that suppresses flicker in accordance with a blinking cycle of a light source.
  • Patent Document 1 In wide dynamic range imaging and the like, it is necessary to read out two types of images captured in exposure periods of different lengths.
  • the imaging device described in Patent Document 1 can only suppress flicker in an image having an equal exposure period, and can not suppress flicker in a plurality of images having different exposure periods.
  • the present invention has been made in view of the above problems, and has an object to suppress flicker in a plurality of images having different exposure periods.
  • An image pickup apparatus includes a plurality of pixels each having a photoelectric conversion unit for storing a charge corresponding to incident light from a subject, a first exposure in a first exposure period, and the first exposure.
  • the control unit performs the first exposure in a first cycle when the detection result indicates that the subject is not blinking, and the second exposure is performed.
  • the control is performed in a second cycle, and the control unit performs the first exposure in a cycle different from the first cycle when the result of the detection indicates that the subject is blinking.
  • a driving method of an imaging device is a driving method of an imaging device including a plurality of pixels each having a photoelectric conversion unit that accumulates a charge according to incident light from a subject, Driving the pixels such that the photoelectric conversion unit alternately performs charge accumulation during the exposure period of the first exposure period and charge accumulation during the second exposure period different from the first exposure period,
  • the first exposure period or the first exposure period is based on a comparison of a first pixel signal based on the charge accumulated in the exposure period and a second pixel signal based on the charge accumulated in the second exposure period.
  • the start timing of one of the two exposure periods is changed.
  • each of the plurality of pixels has a photoelectric conversion unit that accumulates a charge according to the incident light from the subject.
  • the drive unit drives the pixels such that the photoelectric conversion unit alternately performs charge accumulation in the first exposure period and charge accumulation in the second exposure period whose length is different from that of the first exposure period.
  • the detection unit detects blinking of the subject based on a first pixel signal based on the charge accumulated in the first exposure period and a second pixel signal based on the charge accumulated in the second exposure period.
  • the control unit performs the first exposure in the first cycle and performs the second exposure in the second cycle when the detection result indicates that the subject is not blinking.
  • control unit when the detection result indicates that the subject is blinking, the control unit performs the first exposure at a cycle different from the first cycle. Furthermore, the control unit may change the start timing of either the first exposure period or the second exposure period when the detection unit detects blinking of the subject.
  • the present embodiment by changing the start timing of either the first exposure period or the second exposure period, unevenness of incident light in each of the first exposure period or the second exposure period can be obtained. It becomes possible to avoid. This makes it possible to avoid flicker in the first pixel signal based on the first exposure period and the second pixel signal based on the second exposure period.
  • FIG. 1 is a block diagram of an imaging apparatus according to the present embodiment.
  • the imaging apparatus includes an imaging element 1, a detection unit 20, a control unit 21, and a signal processing unit 22.
  • the imaging device 1 is, for example, a solid-state imaging device such as a complementary metal oxide semiconductor (CMOS) image sensor.
  • CMOS complementary metal oxide semiconductor
  • a subject image from an optical system (not shown) is formed on the imaging device 1 and an image signal corresponding to the subject image is output.
  • the detection unit 20 includes an image analysis unit 201 and a blink detection unit 202.
  • the image analysis unit 201 detects a subject in two image signals having different exposure periods. For example, the image analysis unit 201 compares a long-second image signal and a short-second image signal, and detects an object located at the same place (coordinates).
  • the blink detection unit 202 detects flicker of the subject detected by the image analysis unit 201.
  • the control unit 21 includes an exposure control unit 211 and a synchronization signal generation circuit 212.
  • the exposure control unit 211 determines the length of the exposure period and the start timing of the exposure based on the detection result by the blink detection unit 202.
  • the synchronization signal generation circuit 212 includes a clock circuit and a gate circuit, and generates a vertical synchronization signal and a horizontal synchronization signal.
  • the signal processing unit 22 is configured by a digital circuit such as a DSP (Digital Signal Processor), and includes an image combining circuit (image combining unit) 221, an image processing circuit 222, and a frame memory 223.
  • the image synthesis circuit 221 synthesizes two images of different lengths of exposure period to generate a high dynamic range (HDR: High Dynamic Range) image.
  • the image processing circuit 222 performs processing such as color carrier removal, noise removal, aperture correction, gamma correction, color interpolation, data compression and the like on the image signal output from the imaging device 1 and outputs as a moving image bit stream.
  • the frame memory 223 can hold images of a plurality of frames, and can hold two images having different exposure periods. Further, the signal processing unit 22 executes various processes on the image held in the frame memory 223. Note that the signal processing unit 22 does not necessarily have to be included in the imaging device, and may be provided in a device other than the imaging device.
  • FIG. 2 is a block diagram of an imaging device in the present embodiment.
  • the imaging device 1 includes a pixel unit 100, a vertical scanning circuit (drive unit) 101, a column amplification circuit 102, a horizontal scanning circuit 103, an output circuit 104, and a control circuit 105.
  • the pixel unit 100 includes a plurality of pixels 10 arranged in a matrix of XY. In the present specification, the row direction indicates the horizontal direction in the drawings, and the column direction indicates the vertical direction in the drawings.
  • a microlens and a color filter may be disposed on the pixel 10.
  • the color filters are, for example, red, blue and green primary color filters, and are provided in each pixel 10 according to the Bayer arrangement. Some pixels 10 are shielded as OB pixels (optical black pixels).
  • a distance measurement row in which focus detection pixels for outputting a pixel signal for focus detection are arranged, and a plurality of imaging rows in which imaging pixels for outputting a pixel signal for generating an image are arranged May be provided.
  • the vertical scanning circuit 101 is composed of a shift register, a gate circuit, a buffer circuit and the like, and outputs a control signal to the pixels 10 based on vertical synchronization signals, horizontal synchronization signals, clock signals and the like to drive the pixels 10 row by row.
  • the column signal line 110 is provided for each column of the pixels 10, and the pixels 10 in the same column output pixel signals to the common column signal line 110.
  • the column amplification circuit 102 amplifies the pixel signal output to the column signal line 110 and performs correlated double sampling processing based on the signal at the time of resetting the pixel 10 and the signal at the time of photoelectric conversion.
  • the horizontal scanning circuit 103 supplies a switch connected to the amplifier of the column amplification circuit 102 and a control signal for controlling the switch on or off.
  • the output circuit 104 includes a buffer amplifier, a differential amplifier, and the like, and outputs the pixel signal from the column amplification circuit 102 to a signal processing unit outside the imaging device. Note that an AD conversion unit may be provided in the imaging element to output a digital image signal.
  • the control circuit 105 generates various control signals and drive signals based on a clock signal, a synchronization signal and the like, and controls the vertical scanning circuit 101, the column amplification circuit 102, and the horizontal scanning circuit 103.
  • FIG. 3 shows an equivalent circuit of the pixel 10 in the present embodiment.
  • Each pixel 10 includes a photoelectric conversion unit PD, a floating diffusion unit FD, a transfer transistor M1, an amplification transistor M3, a selection transistor M4, and a reset transistor M5.
  • the photoelectric conversion unit PD photoelectrically converts incident light and accumulates a charge by photoelectric conversion.
  • the transfer transistor M1 is turned on to transfer the charge of the photoelectric conversion unit PD to the floating diffusion unit FD.
  • the power supply voltage VDD is applied to the drain of the amplification transistor M3, and the source is connected to the column signal line 110 via the selection transistor M4.
  • the amplification transistor M3 constitutes a source follower, and outputs a signal based on the voltage of the floating diffusion portion FD to the column signal line 110 via the selection transistor M4.
  • a constant current source 16 is connected to the column signal line 110.
  • the power supply voltage VDD is applied to the drain of the reset transistor M5, and the reset transistor M5 is turned on to reset the voltage of the floating diffusion portion FD.
  • a common control signal is supplied from the vertical scanning circuit 101 to the pixels 10 in the same row. That is, the control signals TX (m), SEL (m), and RES (m) are respectively supplied to the transfer transistor M1, the selection transistor M4, and the reset transistor M5 of the m-th row of pixels 10. These transistors are on when the control signal is high and off when the control signal is low. By controlling the control signal of each row to be on or off at the same time, control of the exposure period in the plurality of pixels 10 can be performed simultaneously.
  • a plurality of pixels 10 may share one amplification transistor M3.
  • FIG. 4 is a diagram for explaining wide dynamic range image synthesis.
  • the horizontal axis indicates the brightness of the subject incident on the pixel 10, and the vertical axis indicates the level of the pixel signal output from the pixel 10.
  • the characteristic of the level of the pixel signal with respect to the incident light intensity of the pixel signal 40a and the pixel signal 40b is shown.
  • the pixel signal 40a is generated based on the charge of a long charge accumulation time compared to the pixel signal 40b.
  • the charge accumulation time (first exposure period) of the pixel signal 40a is referred to as a long second exposure or long second exposure period
  • the charge accumulation time (second exposure period) of the pixel signal 40b is short seconds or It is called a short second exposure period.
  • the long-second exposure may be, for example, about 200 times the length of the short-second exposure, but can be appropriately changed according to the imaging device.
  • the pixel signal 40a and the pixel signal 40b are not saturated (region 401). In this case, an image having a high signal-to-noise ratio can be obtained by using the pixel signal 40a.
  • the pixel signal 40b is not saturated, but the long second exposure pixel signal 40a is saturated (area 402).
  • the image synthesis circuit 221 amplifies the pixel signal 40b in the region 402 by digital signal processing, and replaces the saturated pixel signal 40a with the amplified pixel signal 40b. Thereby, a wide dynamic range image exceeding the saturation level of the pixel signal 40a can be generated.
  • FIG. 5 is a diagram for explaining a problem when capturing a wide dynamic range image, and shows operations of exposure and readout when the light source is captured, and a readout image.
  • the light source is a traffic signal using LEDs, and the right LED of the three LEDs is on. The LED appears to be lit by an afterimage to human eyes, but blinks at several hundred Hz.
  • the pixel 10 starts long-time exposure (A). Since the long second exposure (A) includes the lighting period of the light source, charges corresponding to the incident light are accumulated in the pixel 10. When the light source is very bright, the charge in the pixel 10 is saturated.
  • the pixel signal in the long second exposure (A) is read from the pixel 10, and the pixel 10 starts the short second exposure (B). Since the short second exposure (B) includes only the turn-off period of the light source, the charge accumulated in the pixel 10 is reduced. Thereafter, the pixel signal in the short second exposure (B) is read from the pixel 10. Although only the exposure timing of the m-th row is illustrated in FIG. 5, the exposure of each row is driven with a predetermined time lag, and the pixel signals are read out in order of each row. Thus, the long second exposure image 50A and the short second exposure image 50B are read out.
  • the long-second exposure image 50A and the short-second exposure image 50B black indicates off and white indicates on.
  • the long-second exposure image 50A although the lit light source is included as the subject 50a, the signal of the subject 50a is saturated, and the color information is lost.
  • the short second exposure image 50B the subject 50b of the light source is turned off.
  • the wide dynamic range image 50C the saturated object 50a of the long second exposure image 50A is replaced with the object 50b of the short exposure image 50B.
  • the subject 50c in the wide dynamic range image 50C is also turned off, and the flicker can not be sufficiently suppressed.
  • a driving method of an imaging device for solving the above-mentioned problems will be described.
  • FIG. 6 is a view for explaining a driving method of the imaging apparatus in the present embodiment, and shows a light source, a vertical synchronization signal VD, an exposure timing, a reading timing, a blinking status, an exposure image, and a wide dynamic range image.
  • the light source is a traffic signal using LEDs as in the above-described example, and is repeatedly lit and blinked at a predetermined light source cycle.
  • the exposure timing for one row (the m-th row) is shown, but the exposure timings for each row are driven with a predetermined time offset from each other.
  • the synchronization signal generation circuit 212 outputs the vertical synchronization signal VD, terminates the long second exposure (A), and starts the short second exposure (B).
  • the vertical scanning circuit 101 sets the control signal TX to high level, and turns on the transfer transistor M1.
  • the charge accumulated in the photoelectric conversion unit PD is transferred to the floating diffusion unit FD, and the potential of the floating diffusion unit FD is lowered according to the charge.
  • the amplification transistor M 3 outputs a pixel signal corresponding to the potential of the floating diffusion portion FD to the column amplification circuit 102 via the column signal line 110.
  • the column amplification circuit 102 amplifies the pixel signal, and sequentially outputs pixel signals for one row in the long second exposure (A) in accordance with the control signal from the horizontal scanning circuit 103. As described above, the exposure and readout of the pixels 10 are driven with a predetermined time shift for each row. In the pixel 10, the control signal TX becomes low level, and short-time exposure (B) starts. At time t3 to t4, since the light source is turned off, the charge stored in the photoelectric conversion unit PD is small.
  • the vertical scanning circuit 101 sets the control signal TX to high level, and turns on the transfer transistor M1. Thereby, the charges accumulated in the photoelectric conversion unit PD in the short second exposure (B) are transferred to the floating diffusion part FD, and the pixel signal in the short second exposure (B) is read out from the pixel 10.
  • the pixel signals of the short second exposure (B) are sequentially read out row by row.
  • the transfer transistor M1 is turned off, and the photoelectric conversion unit PD stores charge.
  • the charge in the photoelectric conversion unit PD can be saturated as in the previous long second exposure (A).
  • the synchronization signal generation circuit 212 outputs the vertical synchronization signal VD to start short exposure (B).
  • pixel signals in long second exposure (A) are sequentially read out.
  • the transfer transistor M1 is turned on, and the pixel signals in the short second exposure (B) are sequentially read out.
  • the charges accumulated in the photoelectric conversion unit PD in the short second exposure (B) are transferred to the floating diffusion portion FD, and the pixel signal in the short second exposure (B) is read from the pixel 10.
  • the signal processing unit 22 converts the pixel signal read by the above processing into digital data, and stores the digital data in the frame memory 223.
  • the image analysis unit 201 compares the long second exposure image 51A with the short second exposure image 51B, and detects the subjects 51a and 51b at the same position.
  • the blinking detection unit 202 determines whether the pixel values of the subjects 51a and 51b are proportional to the exposure period.
  • the blinking detection unit 202 determines that the objects 51a and 51b are blinking.
  • the blinking detection unit 202 When the blinking detection unit 202 detects blinking in two consecutive frames, the blinking detection unit 202 changes the status from “lighting” to “flashing” (time t7).
  • the exposure control unit 211 receives the status of “flashing”, and changes the start timing of the next short second exposure (B).
  • Time t8 is the start time of the short second exposure (B) before the change.
  • the exposure control unit 211 changes the start of the short second exposure (B) from time t8 to time t9. That is, the start timing of the short second exposure (B) is delayed by ⁇ t than the start time in the previous frame, and the frame period L1 (time t5 to t9) is longer than the previous frame period L (time t3 to t5) by ⁇ t. Become.
  • the exposure control unit 211 sets the cycle of the short-second exposure (also referred to as an interval between start timings of a plurality of short-second exposures) to "lighting". Change from the predetermined cycle in the state.
  • the short second exposure (B) starts, and the pixel signal by the long second exposure (A1) is read out. Since the phase of the short second exposure (B) is delayed, the period in which the light source is turned on is included in the period of the short second exposure (B). At time t10, the pixel signal in the short second exposure (B) is read out. At time t11, the exposure control unit 211 changes the status from "flashing" to "lighting". At time t12, the short second exposure (B) starts in accordance with the normal frame period. That is, the frame period becomes L again. Also in the short second exposure (B) after time t12, a period during which the light source is turned on is included.
  • the short second exposure (B) includes a period during which the light source is turned on, and the subject 52b of the short second exposed image 52B is turned on.
  • the image synthesis circuit 221 amplifies the pixel value of the subject 52b in proportion to the length of the exposure period, and replaces the subject 52a saturated in the long-second exposure image 52A with the amplified subject 52b.
  • the subject 52c is not turned off. Therefore, it is possible to generate the wide dynamic range image 52C while suppressing the flicker.
  • FIG. 7A, FIG. 7B, and FIG. 7C are the figures for demonstrating the blink detection method in this embodiment.
  • FIG. 7A shows the exposure timing, the row readout timing, and the exposure image when the light source is on.
  • the light source is turned on in the first and second frames, and light from the light source is incident on the photoelectric conversion unit PD in any of the long second exposure (A) and the short second exposure (B).
  • the pixel values of the long-second exposure images 71A and 72A and the short-second exposure images 71B and 72B are values proportional to the length of the exposure period. However, when the pixel values of the long second exposure images 71A and 72A are saturated, the pixel values are not necessarily proportional to the length of the exposure period.
  • the respective pixel values of the long second exposure images 71A, 72A match, and the respective pixel values of the short second exposure images 71B, 72B also match. That is, when the light source is on, the pixel values in the first frame and the second frame match.
  • FIG. 7B shows the exposure timing, the row readout timing, and the exposure image when the light source is pulse-lit.
  • a single pulse light is incident on the photoelectric conversion unit PD only in the long second exposure (A) of the first frame. Therefore, only the long second exposure image 73A is turned on, and the long second exposure image 74A and the short second exposure images 73B and 74B are turned off.
  • the pixel values of the long second exposure image 73A and the short second exposure image 73B are not proportional to the length of the exposure period. Also, the pixel values of the long second exposure images 73A and 74A in different frames do not match.
  • FIG. 7C shows the exposure timing, the row reading timing, and the exposure image when the light source blinks.
  • the light source is turned on in the long second exposure (A) of the first and second frames, and turned off in the short second exposure (B) of the first and second frames.
  • the long second exposure images 75A and 76A are turned on, and the short second exposure images 75B and 76B are turned off. Since the light source blinks, the pixel values of the long second exposure image 75A and the short second exposure image 75B are not proportional to the length of the exposure period. Further, the pixel values of the long second exposure images 75A and 76A match, and the pixel values of the short second exposure images 75B and 76B also match.
  • FIG. 8 is a flowchart showing the blink detection method in the present embodiment.
  • step S801 when the blink detection unit 202 starts operation, the initial value of the status is set to "ON".
  • the status represents the detection result by the blink detection unit 202, and can take values of "lighting” and "flashing". In other words, the detection result of "lighting” indicates that the blinking of the subject is not detected.
  • the blink detection unit 202 sets the initial value of the blink FLAG to “0” (step S802).
  • the blinking FLAG indicates whether or not blinking has been detected in two consecutive frames.
  • the imaging device 1 captures a long-second exposure image according to the synchronization signal from the synchronization signal generation circuit 212, and outputs the image to the signal processing unit 22 (step S804).
  • the image processing circuit 222 performs image processing such as gain processing and correlated double sampling according to the length of the exposure period in the long second exposure image, and stores the long second exposure image in the frame memory 223 (step S805).
  • the imaging device 1 picks up a short exposure image (step S806), and the image processing circuit 222 stores the short exposure image after image processing in the frame memory 223 (step S807).
  • the image analysis unit 201 determines whether there is a signal corresponding to the same position of the long second exposure image or the short second exposure image stored in the frame memory 205 (step S810).
  • the two pixel values at the same position of the long second exposure image and the short second exposure image are proportional to the length of the exposure period.
  • the correlation between the pixel values of the long second exposure image and the short second exposure image is high, and a signal corresponding to the same position is present (YES in step S810).
  • the blink detection unit 202 sets the status to “ON” (step S812), and sets the blink FLAG to “0” (step S813).
  • the values of status and blinking FLAG remain as initial values. If the status is “light on”, the exposure control unit 211 continues reading out the long second exposure image and the short second exposure image without changing the start timing of the frame.
  • the blinking detection unit 202 repeats the processing of steps S804 to S810.
  • the blinking detection unit 202 determines that there is no signal corresponding to the same position of the long-second exposure image or the short-second exposure image (NO in step S810). In this case, the single pulse lighting (FIG. 7B) and the blinking (FIG. 7C) can not be distinguished, and the blinking detection unit 202 executes the processing of step S820 and subsequent steps. In step S820, the blink detection unit 202 determines whether the blink FLAG is “1”. Here, since the blinking FLAG is “0” (NO in step S820), the blinking detection unit 202 sets the blinking FLAG to “1” (step S821), and returns to the process of step S804 in the second frame.
  • the blink detection unit 202 determines again whether there is a signal corresponding to the same position of the long second exposure image or the short second exposure image (step S810). As shown in FIG. 7B, when the light source is turned on in a single pulse, each light source of the long-second exposure image and the short-second exposure image is turned off in the second frame. Accordingly, the blinking detection unit 202 determines that there is a signal corresponding to the same position of the long-second exposure image and the short-second exposure image (YES in step S810), and sets the status to "ON" (step S812). The FLAG is reset to "0" (step S813). Thereafter, the blink detection unit 202 repeats the processing of steps S801 to S810.
  • the blink detection unit 202 determines that there is no signal corresponding to the same position of the long-second exposure image or the short-second exposure image (NO in step S810), and further determines whether the blink FLAG is "1". (Step S820). Since the blinking FLAG is set to “1” in the first frame, the determination result in step S820 is YES, and the blinking detection unit 202 sets the status to “flashing” (step S825). In response to the setting of the status to "flashing", the exposure control unit 211 executes the phase change process of the frame (step S830). After this, the blink detection unit 202 repeats the processing after step S804.
  • the blink detection unit 202 changes the status from “light” to “flash”. Thereby, it is possible to determine the lighting of the light source, the short pulse lighting, and the blinking.
  • FIG. 9 is a flowchart of phase change processing according to this embodiment, and shows details of the phase change processing (step S 830) in FIG.
  • the exposure control unit 211 executes the phase change process of the frame in response to the “flashing” status (step S901). That is, the exposure control unit 211 changes the phase of the vertical synchronization signal VD and shifts the start timing of the short exposure by ⁇ t. Thereafter, the image pickup device 1 picks up a long second exposure image in accordance with the synchronization signal from the synchronization signal generation circuit 212 (step S902), and the image processing circuit 222 obtains a gain according to the length of the exposure period in the long second exposure image. Image processing such as processing and correlated double sampling is performed (step S903). Similarly, the imaging device 1 picks up a short exposure image (step S904), and the image processing circuit 222 stores the short exposure image after image processing in the frame memory 223 (step S905).
  • the image analysis unit 201 determines whether or not there is an incoming light from the light source in the short-second exposure image stored in the frame memory 223 (step S906). If the image analysis unit 201 determines that the light source does not receive light in the short-second exposure image (NO in step S906), the exposure control unit 211 adjusts the phase change amount ⁇ t (step S907). The exposure control unit 211 further delays the start timing of the short-second exposure by the phase change amount adjusted in step S 907 (step S 901). The exposure control unit 211 repeats the processes of steps S901 to S907 until it is determined that the light source receives light in the short-second exposure image (YES in step S906).
  • the exposure control unit 211 ends the phase change process (step S908). Further, the exposure control unit 211 changes the status from "flashing" to "lighting” (step S910), and returns the process to the flowchart of FIG.
  • the exposure control unit 211 shifts the start timing of the short exposure until the short exposure image is incident. In this way, it is possible to prevent the nonuniformity of the incident light in each of the long second exposure image and the short second exposure image, and to suppress flicker. Further, in the wide dynamic range image synthesized from the long second exposure image and the short second exposure image, it is possible to avoid the deterioration of the image quality such as turning off of the light source.
  • FIG. 10A and 10B schematically show the effects of the present embodiment.
  • FIG. 10A shows the exposure timing, the exposure image, and the wide dynamic range image before the phase change.
  • the subject 80a of the long second exposure image 80A is on, but the subject 80b of the short exposure image 80B is off. Therefore, when the wide dynamic range image 80C is synthesized from the long second exposure image 80A and the short second exposure image 80B, the light source subject 80c is extinguished.
  • FIG. 10B shows the exposure timing, the exposure image, and the wide dynamic range image after the phase change. By changing the start timing of the short second exposure (B), the light source enters the short second exposure image 90B, and the subject 90b is turned on.
  • the subject 90b is at the saturation level.
  • the imaging device of the present embodiment delays the start timing of the short-second exposure when detecting the blinking of the subject, the start timing may be advanced. Furthermore, the order of the long second exposure and the short second exposure in one frame is not necessarily limited to the above example.
  • the imaging apparatus in the first embodiment also changes the length of one frame when changing the phase of short-second exposure.
  • FIG. 11 shows an equivalent circuit of the pixel 11 in the present embodiment.
  • FIG. 11 shows four pixels 11 of 2 rows ⁇ 2 columns among the plurality of pixels 11 arranged two-dimensionally in the row direction and the column direction, the imaging device has more pixels. doing.
  • Each pixel 11 includes a photoelectric conversion unit PD, a floating diffusion unit FD, a first memory transfer transistor M11, a second memory transfer transistor M21, a first transfer transistor M12, a second transfer transistor M22, an amplification transistor M3, and A transistor M4, a reset transistor M5, a first holding unit C1, and a second holding unit C2 are provided.
  • the photoelectric conversion unit PD photoelectrically converts incident light and accumulates a charge by photoelectric conversion.
  • the first memory transfer transistor M11 transfers the charge of the photoelectric conversion unit PD to the first holding unit C1, and the first transfer transistor M12 transfers the charge of the first holding unit C1 to the floating diffusion unit FD.
  • the second memory transfer transistor M21 transfers the charge of the photoelectric conversion unit PD to the second holding unit C2, and the second transfer transistor M22 transfers the charge of the second holding unit C2 to the floating diffusion unit FD.
  • the power supply voltage VDD is applied to the drain of the amplification transistor M3, and the source is connected to the column signal line 110 via the selection transistor M4.
  • the amplification transistor M3 constitutes a source follower, and outputs a signal based on the voltage of the floating diffusion portion FD to the column signal line 110 via the selection transistor M4.
  • a constant current source 16 is connected to the column signal line 110.
  • the power supply voltage VDD is applied to the drain of the reset transistor M5, and the reset transistor M5 is turned on to reset the voltage of the floating diffusion portion FD.
  • a common control signal is supplied from the vertical scanning circuit 101 to the pixels 11 in the same row. That is, control is performed on the first memory transfer transistor M11, the second memory transfer transistor M21, the first transfer transistor M12, the second transfer transistor M22, the selection transistor M4, and the reset transistor M5 in the m-th row of pixels 11.
  • Signals GS1 (m), GS2 (m), TX1 (m), TX2 (m), SEL (m) and RES (m) are respectively supplied. These transistors are on when the control signal is high and off when the control signal is low. By controlling the control signal of each row to be on or off at the same time, control of the exposure period in the plurality of pixels 11 can be performed simultaneously.
  • a plurality of pixels 11 may share one amplification transistor M3.
  • the pixel unit 100 may include pixels that do not output an image, such as light-shielded pixels and dummy pixels that do not have a photoelectric conversion unit, in addition to the effective pixels.
  • the order and the number of times of transferring charges from the photoelectric conversion unit PD to the first holding unit C1 and the second holding unit C2 may be determined as appropriate. For example, after the first memory transfer transistor M11 is turned on, the second memory transfer transistor M21 may be turned on and the first memory transfer transistor may be turned on. By turning on and off the first memory transfer transistor M11 and the second memory transfer transistor M21 exclusively, charges for long second exposure are stored in the first holding unit C1, and charges for short second exposure are second May be stored in the holding unit C2. In this case, the amount of charge held in the first holding portion C1 is the amount of charge exposed in the total time of turning on of the first memory transfer transistor M11.
  • the amount of charge held in the second holding portion C2 is the amount of light exposed during the on time of the second memory transfer transistor M21.
  • the memory transfer transistors M11 and M21 are off, charge is accumulated in the photoelectric conversion unit PD, and the memory transfer transistors M11 and M21 are turned on to hold the charge in the first holding unit C1 and the second holding unit C2. You may forward to In this case, the amount of charge held in the first holding unit C1 and the second holding unit C2 is the amount of charge accumulated in the photoelectric conversion unit PD while the memory transfer transistors M11 and M21 are off.
  • FIG. 12 is a diagram for explaining a driving method of the image pickup apparatus according to this embodiment, and shows a light source, a vertical synchronization signal VD, an exposure timing, a read timing, a blinking status, an exposure image, and a wide dynamic range image.
  • the synchronization signal generation circuit 212 outputs the vertical synchronization signal VD at a constant cycle, and the length of one frame is constant.
  • the long second exposure (A) in the first frame starts, and the photoelectric conversion unit PD starts to store the charge according to the incident light.
  • the charge accumulated in the photoelectric conversion unit PD is transferred to the first holding unit C1, and the photoelectric conversion unit PD starts to accumulate the charge in the short-time exposure (B).
  • the amount of charge accumulated in the photoelectric conversion unit PD is small.
  • the charge accumulated in the photoelectric conversion unit PD is transferred to the second holding unit C2, and the short-second exposure (B) ends. Subsequently, long-time exposure (A) of the second frame is performed at time t22 to t24, and short-time exposure (B) is performed at time t24 to t25.
  • the pixel signal of the first frame is read out row by row.
  • the first transfer transistor M12 is turned on, and the charge held in the first holding unit C1 is transferred to the floating diffusion unit FD.
  • the amplification transistor M 3 outputs the pixel signal in the long second exposure (A) to the column signal line 110.
  • the second transfer transistor M22 is turned on, and the charge held in the second holding unit C2 is transferred to the floating diffusion unit FD.
  • the amplification transistor M 3 outputs the pixel signal in the short exposure (B) to the column signal line 110.
  • the signal processing unit 22 converts the pixel signal read by the above processing into digital data, and stores the digital data in the frame memory 223.
  • the subject 92a In the long-second exposure image 92A in the first frame, the subject 92a is at the saturation level, but in the short-second exposure image 92B, the subject 92b is extinguished. Therefore, the subject 92c of the wide dynamic range image 92C is also turned off.
  • the blinking detection unit 202 detects blinking in two consecutive frames, it changes the status from "lighting" to "flashing" (time t23).
  • the exposure control unit 211 receives the status of “flashing”, and changes the start timing of the short exposure (B). For example, the exposure control unit 211 performs the first long-time exposure (A1) at time t25 to time t26, the short-time exposure (B) at time t26 to t27, and the second long-time exposure (A2) at time t27 to t29. Exposure is performed in the order of The total time of the first long second exposure (A1) and the second long second exposure (A2) is equal to the time of the long second exposure (A). Further, the length of the short second exposure (B) and the length of one frame are constant in each frame.
  • the exposure control unit 211 can cause the short-second exposure image 93B to receive the light source by changing the start timing of the short-second exposure (B). If the image analysis unit 201 determines that the short-second exposure image 93B includes light from the light source, the exposure control unit 211 ends the phase change process. Further, the blinking detection unit 202 changes the status from “flashing” to “lighting” (time t28).
  • the fourth frame exposure is performed in the same manner as in the third frame. That is, the first long exposure (A1) at time t29 to t30, the short exposure (B) at time t30 to t31, and the second long exposure (A2) at time t31 to t32 are performed.
  • the short second exposure by changing the start timing of the short second exposure (B), a period in which the light source is turned on is included in the short second exposure (B), and similar to the long second exposure image 93A, the short second exposure
  • the subject 93b of the image 93B lights up. Therefore, also in the present embodiment, it is possible to prevent nonuniformity of incident light and to suppress flicker in two images having different lengths of exposure periods.
  • the image combining circuit 221 amplifies the pixel value of the subject 93b in proportion to the exposure time, and replaces the subject 93a saturated in the long-second exposure image 93A with the subject 93b after amplification. In the generated wide dynamic range image 93C, the subject 93c is lit. Therefore, it is possible to generate a wide dynamic range image 93C while suppressing flicker.
  • it is possible to change the start timing of the short exposure without changing the length of one frame.
  • the short second exposure may be divided into a plurality of times as long as the total time of the short second exposure is constant. Further, the short second exposure and the long second exposure may be repeated a plurality of times in one frame. Further, as in the first embodiment, a driving method of changing the length of one frame may be performed together.
  • the number of times of switching of the memory transfer transistors M11 and M21 in one frame is not limited. However, when the number of times of switching of the memory transfer transistors M11 and M21 increases, an increase in power consumption and generation of radiation noise may occur.
  • the number of times of switching of the memory transfer transistors M11 and M21 in one frame is set in advance to an optimal initial value based on factors such as power consumption, noise, and the light source cycle. The phase change is performed by changing the exposure timing at the initial value.
  • FIG. 13 and FIG. 14 are timing charts showing a method of driving the imaging device in the present embodiment.
  • the initial value of the number of times of switching of the memory transfer transistors M11 and M21 in one frame is set to four. That is, switching of the memory transfer transistors M11 and M21 is long second exposure (A1), short second exposure (B1), long second exposure (A2), short second exposure (B2), long second exposure (A3), short second exposure (A2) B3) Long second exposure (A4) and short second exposure (B4) are performed in this order.
  • the initial value shown in FIG. 13 is valid.
  • the number of times of switching of the memory transfer transistors M11 and M21 is not necessarily limited to four.
  • FIG. 14 shows the exposure in the case where the light source of FIG. 13 having a frequency half that of the blinking period of the light source of FIG.
  • the short second exposure (B1) since the short second exposure (B1) does not receive light, the wide dynamic range image synthesized from the short second exposure image becomes an extinguished image.
  • the imaging apparatus according to the present embodiment moves the short-second exposure (B1) to half the length of the long-second exposure (A1) when blinking is detected by the method shown in FIG. As described above, in the example of FIG. 14, the blinking frequency at which wide dynamic range imaging can be performed is doubled.
  • the number of times of switching of the memory transfer transistors M11 and M21 in one frame is set in advance to an optimal initial value, thereby minimizing the influence of power consumption, noise, etc., while changing the frequency of phase change. Can be reduced.
  • the imaging apparatus in the first to third embodiments detects the blinking of the light source using the long-second exposure image and the short-second exposure image.
  • object detection such as calculation of the moving speed of the subject using the long second exposure image and the short second exposure image.
  • FIG. 15 is a diagram for explaining the operation of the imaging device in the present embodiment.
  • the long second exposure image 150A and the short second exposure image 150B are captured with a predetermined time shift in one frame. Therefore, the subject 150a of the long second exposure image 150A is moved to the position of the subject 150b in the short second exposure image 150B.
  • the detection unit 20 can calculate the moving speed of the subject 150 a based on the difference between the moving amount ⁇ d of the subject 150 a and the subject 150 b and the photographing time. Furthermore, the detection unit 20 can determine a movable body such as a vehicle and a stationary body such as a traffic light. The detection unit 20 can adjust the phase change amount of the short-second exposure to an optimal value according to the speed of the subject, and can capture an image of a wide dynamic range with higher accuracy.
  • the solid-state imaging device in the above-mentioned embodiment is applicable to various imaging systems.
  • imaging systems include digital still cameras, digital camcorders, camera heads, copiers, fax machines, mobile phones, on-vehicle cameras, observation satellites, surveillance cameras and the like.
  • FIG. 16 shows a block diagram of a digital still camera as an example of an imaging system.
  • the imaging system shown in FIG. 16 includes a barrier 1001, a lens 1002, an aperture 1003, an imaging device 1004, a signal processing device 1007, a timing generation unit 1008, an overall control / calculation unit 1009, a memory unit 1010, a recording medium control I / F unit 1011. , Recording medium 1012, and an external I / F unit 1013.
  • the barrier 1001 protects the lens 1002, and the lens 1002 forms an optical image of an object on the imaging device 1004.
  • An aperture 1003 varies the amount of light passing through the lens 1002.
  • the imaging device 1004 includes the solid-state imaging device according to the above-described embodiment, and converts an optical image formed by the lens 1002 into image data.
  • the signal processing apparatus 1007 performs various corrections and data compression on the image data output from the imaging apparatus 1004.
  • the timing generation unit 1008 outputs various timing signals to the imaging device 1004 and the signal processing device 1007.
  • An overall control / operation unit 1009 controls the entire digital still camera, and a memory unit 1010 temporarily stores image data.
  • a recording medium control I / F unit 1011 is an interface for recording or reading image data on the recording medium 1012, and the recording medium 1012 is a removable recording medium such as a semiconductor memory for recording or reading imaging data. It is.
  • An external I / F unit 1013 is an interface for communicating with an external computer or the like.
  • the timing signal or the like may be input from the outside of the imaging system, and the imaging system may have at least the imaging device 1004 and a signal processing device 1007 that processes an image signal output from the imaging device 1004.
  • the configuration in which the imaging device 1004 and the AD conversion unit are provided on the same semiconductor substrate has been described.
  • the imaging device 1004 and the AD conversion unit may be formed on different semiconductor substrates.
  • the imaging device 1004 and the signal processing device 1007 may be formed on the same semiconductor substrate.
  • each pixel may include a first photoelectric conversion unit and a second photoelectric conversion unit.
  • the signal processing device 1007 processes the pixel signal based on the charge generated in the first photoelectric conversion unit and the pixel signal based on the charge generated in the second photoelectric conversion unit, and the distance information from the imaging device 1004 to the subject May be configured to obtain
  • FIGS. 17A and 17B show an example of an imaging system related to a vehicle-mounted camera according to a sixth embodiment of the present invention.
  • An imaging system 2000 includes the imaging device 1004 according to the above-described embodiment.
  • the imaging system 2000 performs image processing on a plurality of image data acquired by the imaging device 1004, and parallax (phase difference of parallax image) from the plurality of image data acquired by the imaging system 2000. It has the parallax calculation part 2040 which calculates. Further, the imaging system 2000 calculates a distance to the object based on the calculated parallax, and a collision determination unit 2060 determines whether there is a possibility of collision based on the calculated distance. And.
  • the disparity calculating unit 2040 and the distance measuring unit 2050 are an example of a distance information acquisition unit that acquires distance information to an object. That is, the distance information is information related to the parallax, the defocus amount, the distance to the object, and the like.
  • the collision determination unit 2060 may determine the collision possibility using any of the distance information.
  • the distance information acquisition means may be realized by hardware designed specifically, or may be realized by a software module. Also, it may be realized by a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or a combination thereof.
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • the imaging system 2000 is connected to the vehicle information acquisition device 2310, and can acquire vehicle information such as the vehicle speed, the yaw rate, and the steering angle. Further, connected to the imaging system 2000 is a control ECU 2410 that is a control device that outputs a control signal for generating a braking force to the vehicle based on the determination result of the collision determination unit 2060. The imaging system 2000 is also connected to a warning device 2420 that issues a warning to the driver based on the determination result of the collision determination unit 2060. For example, when the possibility of collision is high as the determination result of the collision determination unit 2060, the control ECU 2410 performs vehicle control to avoid a collision and reduce damage by applying a brake, returning an accelerator, suppressing an engine output or the like.
  • the alarm device 2420 sounds an alarm such as a sound, displays alarm information on a screen of a car navigation system or the like, gives a vibration to a seat belt or a steering wheel, or the like to warn the user.
  • the imaging system 2000 functions as a control unit that controls the operation of controlling the vehicle as described above.
  • an imaging system 2000 captures an image of the surroundings of the vehicle, for example, the front or the rear.
  • the imaging system in the case of imaging a vehicle front (imaging range 2510) was shown to FIG. 17B.
  • the vehicle information acquisition device 2310 as an imaging control means sends an instruction to the imaging system 2000 or the imaging device 1004 so as to perform the operations described in the above first to fifth embodiments.
  • the operation of the imaging apparatus 1004 is the same as in the first to fourth embodiments, and thus the description thereof is omitted here. Such a configuration can further improve the accuracy of distance measurement.
  • the present invention is also applicable to control for automatically driving following another vehicle, control for automatically driving so as not to be out of the lane, and the like.
  • the imaging system is not limited to a vehicle such as a host vehicle, but can be applied to, for example, a mobile object (mobile device) such as a ship, an aircraft, or an industrial robot.
  • the present invention can be applied not only to mobiles but also to devices that widely use object recognition, such as Intelligent Transport System (ITS).
  • ITS Intelligent Transport System

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

実施形態としての撮像装置において、駆動部は第１の露光時間における電荷の蓄積、および第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に光電変換部が行なうように、画素を駆動する。制御部は、検出の結果が、被写体が点滅していないことを示す場合には、第１の露光を第１の周期で行い、第２の露光を第２の周期で行う。また、制御部は、検出の結果が、被写体が点滅していることを示す場合には、第１の露光を第１の周期とは異なる周期で行う。

Description

撮像装置、撮像システム、および撮像装置の駆動方法
　本発明は、撮像装置、撮像システム、および撮像装置の駆動方法に関する。
　近年、撮像装置において、蛍光灯、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの光源によるフリッカを抑制する技術が提案されている。特許文献１には、光源の点滅周期に応じてフリッカを抑制する撮像装置が記載されている。
特開２００３－１８４５８号公報
　広ダイナミックレンジ撮影などにおいては、異なる長さの露光期間で撮影された２種類の画像を読み出す必要がある。しかしながら、特許文献１に記載された撮像装置は、露光期間の長さが等しい画像においてフリッカを抑制するにすぎず、露光期間の長さが異なる複数の画像においてフリッカを抑制することはできない。
　本発明は、上述の課題に鑑みてなされたものであって、露光期間の長さが異なる複数の画像においてフリッカを抑制することを目的とする。
　本発明の一実施形態における撮像装置は、被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素と、第１の露光期間による第１の露光と、前記第１の露光期間よりも長い第２の露光期間による第２の露光とのそれぞれにおいて前記光電変換部が行なうように前記画素を駆動する駆動部と、前記被写体の点滅の検出を行う検出部と、制御部とを有し、前記制御部は、前記検出の結果が、前記被写体が点滅していないことを示す場合には、前記第１の露光を第１の周期で行い、前記第２の露光を第２の周期で行い、前記制御部は、前記検出の結果が、前記被写体が点滅していることを示す場合には、前記第１の露光を前記第１の周期とは異なる周期で行う。
　本発明の他の実施形態における撮像装置の駆動方法は、被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素を備える撮像装置の駆動方法であって、第１の露光期間における電荷の蓄積、および前記第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に前記光電変換部が行なうように前記画素を駆動し、前記第１の露光期間に蓄積された電荷に基づく第１の画素信号、および前記第２の露光期間に蓄積された電荷に基づく第２の画素信号の比較に基づいて、前記第１の露光期間または前記第２の露光期間のいずれかの開始タイミングを変更する。
　本発明によれば、露光期間の長さが異なる複数の画像においてフリッカを抑制することが可能となる。
第１実施形態における撮像装置のブロック図である。 第１実施形態における撮像素子のブロック図である。 第１実施形態における画像の等価回路示す図である。 第１実施形態における広ダイナミックレンジの画像合成を説明するための図である。 広ダイナミックレンジ画像の撮影時における課題を説明するための図である。 第１実施形態における撮像装置の駆動方法を示すタイミングチャートである。 第１実施形態における点滅検出方法を説明するための図である。 第１実施形態における点滅検出方法を説明するための図である。 第１実施形態における点滅検出方法を説明するための図である。 第１実施形態における点滅検出方法のフローチャートである。 第１実施形態における位相変更処理のフローチャートである。 第１実施形態における光源点滅時のタイミングチャートである。 第１実施形態における位相変更後のタイミングチャートである。 第２実施形態における画素の等価回路を示す図である。 第２実施形態における固体撮像装置の駆動方法を示すタイミングチャートである。 第３実施形態における撮像装置の駆動方法を示すタイミングチャートである。 第３実施形態における撮像装置の駆動方法を示すタイミングチャートである。 第４実施形態における撮像装置の動作を説明するための図である。 第５実施形態における撮像システムのブロック図である。 第６実施形態における撮像システムにおける車載カメラに関する撮像システムのブロック図である。 第６実施形態における撮像システムにおける車載カメラに関する撮像システムのブロック図である。
　以下、本発明の実施形態を説明する。第１～第４実施形態における撮像装置において、複数の画素のそれぞれは被写体からの入射光に応じた電荷を蓄積する光電変換部を有する。駆動部は、第１の露光期間における電荷の蓄積、および第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に光電変換部が行なうように画素を駆動する。検出部は、第１の露光期間に蓄積された電荷に基づく第１の画素信号、および第２の露光期間に蓄積された電荷に基づく第２の画素信号に基づいて被写体の点滅を検出する。制御部は、検出の結果が、被写体が点滅していないことを示す場合には、第１の露光を第１の周期で行い、第２の露光を第２の周期で行う。また、制御部は、検出の結果が、被写体が点滅していることを示す場合には、第１の露光を第１の周期とは異なる周期で行う。さらに、制御部は、検出部が被写体の点滅を検出した場合に、第１の露光期間または第２の露光期間のいずれかの開始タイミングを変更しても良い。
　本実施形態によれば、第１の露光期間または第２の露光期間のいずれかの開始タイミングを変更することで、第１の露光期間または第２の露光期間のそれぞれにおける入射光の不均一を回避することが可能となる。これにより、第１の露光期間に基づく第１の画素信号、第２の露光期間に基づく第２の画素信号におけるフリッカを回避することが可能となる。
　以下、本発明の実施形態について図面を用いて説明する。本発明は、以下に説明される実施形態に限定されない。例えば、以下のいずれかの実施形態の一部の構成を、他の実施形態に追加し、あるいは他の実施形態の一部の構成と置換してもよい。
　［第１実施形態］
　図１は本実施形態における撮像装置のブロック図である。撮像装置は、撮像素子１、検出部２０、制御部２１、信号処理部２２を備える。撮像素子１は例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像装置である。撮像素子１には図示されていない光学系からの被写体像が結像され、被写体像に応じた画像信号が出力される。
　検出部２０は、画像解析部２０１、点滅検出部２０２を備える。画像解析部２０１は、露光期間の異なる２つの画像信号における被写体を検出する。例えば、画像解析部２０１は、長秒の画像信号と短秒の画像信号を比較し、同一の場所（座標）に位置する被写体を検出する。点滅検出部２０２は、画像解析部２０１によって検出された被写体のフリッカを検出する。
　制御部２１は、露光制御部２１１、同期信号発生回路２１２を備える。露光制御部２１１は、点滅検出部２０２による検出結果に基づき、露光期間の長さおよび露光の開始タイミングを決定する。同期信号発生回路２１２はクロック回路、ゲート回路を備え、垂直同期信号、水平同期信号を生成する。
　信号処理部２２はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などのデジタル回路から構成され、画像合成回路（画像合成部）２２１、画像処理回路２２２、フレームメモリ２２３を備える。画像合成回路２２１は露光期間の長さの異なる２つの画像を合成し、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）画像を生成する。画像処理回路２２２は撮像素子１から出力された画像信号において色キャリア除去、ノイズ除去、アパーチャー補正、ガンマ補正、色補間、データ圧縮などの処理を施し、動画ビットストリームとして出力する。フレームメモリ２２３は複数フレームの画像を保持可能であって、露光期間の長さの異なる２つの画像を保持し得る。また、信号処理部２２はフレームメモリ２２３に保持された画像において各種処理を実行する。なお、信号処理部２２は必ずしも撮像装置に含まれることを要せず、撮像装置とは別の装置に設けられても良い。
　図２は本実施形態における撮像素子のブロック図である。撮像素子１は画素部１００、垂直走査回路（駆動部）１０１、列増幅回路１０２、水平走査回路１０３、出力回路１０４、制御回路１０５を備える。画素部１００は、ＸＹの行列状に配置された複数の画素１０を備えている。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。画素１０上にはマイクロレンズ、カラーフィルタが配置され得る。カラーフィルタは例えば赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１０に設けられている。一部の画素１０はＯＢ画素（オプティカル・ブラック画素）として遮光されている。複数の画素１０には、焦点検出用の画素信号を出力する焦点検出画素が配された測距行と、画像を生成するための画素信号を出力する撮像画素が配された複数の撮像行とが設けられ得る。
　垂直走査回路１０１はシフトレジスタ、ゲート回路、バッファ回路などから構成され、垂直同期信号、水平同期信号、クロック信号などに基づき制御信号を画素１０に出力し、行毎に画素１０を駆動する。列信号線１１０は画素１０の列毎に設けられ、同一列の画素１０は共通の列信号線１１０に画素信号を出力する。列増幅回路１０２は列信号線１１０に出力された画素信号を増幅し、画素１０のリセット時の信号および光電変換時の信号に基づく相関二重サンプリング処理を行う。水平走査回路１０３は、列増幅回路１０２の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力回路１０４はバッファアンプ、差動増幅器などから構成され、列増幅回路１０２からの画素信号を撮像装置の外部の信号処理部に出力する。なお、ＡＤ変換部を撮像素子に設け、デジタルの画像信号を出力しても良い。制御回路１０５は、クロック信号、同期信号などに基づき様々な制御信号、駆動信号を生成し、垂直走査回路１０１、列増幅回路１０２、水平走査回路１０３を制御する。
　図３は本実施形態における画素１０の等価回路を示している。図３には、行方向および列方向に２次元配列された複数の画素１０のうち、２行×２列の４個の画素１０が示されているが、撮像装置はさらに多くの画素を有している。各画素１０は、光電変換部ＰＤ、浮遊拡散部ＦＤ、転送トランジスタＭ１、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５を備える。
　光電変換部ＰＤは、入射光を光電変換するとともに、光電変換による電荷を蓄積する。転送トランジスタＭ１は、オンとなることにより光電変換部ＰＤの電荷を浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、ソースは選択トランジスタＭ４を介して列信号線１１０に接続されている。増幅トランジスタＭ３はソースフォロアを構成し、浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０には定電流源１６が接続されている。リセットトランジスタＭ５のドレインには電源電圧ＶＤＤが印加され、リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。
　同一行の画素１０に対しては共通の制御信号が垂直走査回路１０１から供給される。すなわち、第ｍ行の画素１０の転送トランジスタＭ１、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＴＸ（ｍ）、ＳＥＬ（ｍ）、ＲＥＳ（ｍ）がそれぞれ供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。各行の制御信号を同時にオンまたはオフに制御することにより、複数の画素１０における露光期間の制御を同時に行うことができる。なお、複数の画素１０が１つの増幅トランジスタＭ３を共有しても良い。
　図４は、広ダイナミックレンジの画像合成を説明するための図である。横軸は画素１０に入射された被写体の明るさを示し、縦軸は画素１０から出力される画素信号のレベルを示している。画素信号４０ａ、画素信号４０ｂの入射光強度に対する画素信号のレベルの特性が示されている。画素信号４０ａは画素信号４０ｂに比べて長い電荷蓄積時間の電荷に基づいて生成されている。以下の説明において、画素信号４０ａの電荷蓄積時間（第１の露光期間）を長秒露光または長秒露光期間と称し、画素信号４０ｂの電荷蓄積時間（第２の露光期間）を短秒露光または短秒露光期間と称する。長秒露光は例えば短秒露光の長さの２００倍程度であり得るが、撮像装置に応じて適宜変更可能である。
　被写体が暗い場合、画素信号４０ａ、画素信号４０ｂは飽和しない（領域４０１）。この場合、画素信号４０ａを用いることで、信号対雑音比の高い画像を得ることができる。被写体が明るい場合、画素信号４０ｂは飽和しないが、長秒露光の画素信号４０ａは飽和する（領域４０２）。画像合成回路２２１は、領域４０２における画素信号４０ｂをデジタル信号処理によって増幅し、飽和した画素信号４０ａを増幅後の画素信号４０ｂに置き換える。これにより、画素信号４０ａの飽和レベルを超えた広ダイナミックレンジ画像を生成することができる。
　図５は広ダイナミックレンジ画像の撮影時における課題を説明するための図であって、光源を撮影した場合における露光および読み出しの動作、読み出された画像を表している。ここでは、光源はＬＥＤを用いた信号機であって、３つのＬＥＤのうちの右側のＬＥＤが点灯しているとする。ＬＥＤは、人間の目では残像により点灯して見えるが、数百Ｈｚで点滅している。画素１０におけるリセット動作がなされた後、画素１０は長秒露光（Ａ）を開始する。長秒露光（Ａ）には光源の点灯期間が含まれるため、画素１０には入射光に応じた電荷が蓄積される。光源が極めて明るい場合には、画素１０における電荷は飽和する。長秒露光（Ａ）における画素信号が画素１０から読み出され、画素１０は短秒露光（Ｂ）を開始する。短秒露光（Ｂ）には光源の消灯期間のみが含まれているため、画素１０に蓄積される電荷は少なくなる。その後、短秒露光（Ｂ）における画素信号が画素１０から読み出さる。なお、図５には、第ｍ行の露光タイミングのみが図示されているが、各行の露光は所定時間だけずれて駆動され、画素信号は行毎に順に読み出される。このようにして、長秒露光画像５０Ａ、短秒露光画像５０Ｂがそれぞれ読み出される。
　長秒露光画像５０Ａ、短秒露光画像５０Ｂにおいて、黒色は消灯を表し、白色は点灯を表している。長秒露光画像５０Ａにおいては、点灯した光源が被写体５０ａとして含まれているが、被写体５０ａの信号は飽和し、色情報が失われている。一方、短秒露光画像５０Ｂにおいては、光源の被写体５０ｂは消灯している。広ダイナミックレンジ画像５０Ｃにおいては、長秒露光画像５０Ａの飽和した被写体５０ａが短秒露光画像５０Ｂの被写体５０ｂに置き換えられる。しかしながら、被写体５０ｂは消灯しているため、広ダイナミックレンジ画像５０Ｃにおける被写体５０ｃも消灯し、フリッカを十分に抑制することができなくなる。以下に、上述の課題を解決するための撮像装置の駆動方法を説明する。
　図６は本実施形態における撮像装置の駆動方法を説明するための図であって、光源、垂直同期信号ＶＤ、露光タイミング、読み出しタイミング、点滅ステータス、露光画像、広ダイナミックレンジ画像を示している。光源は上述の例と同様にＬＥＤを用いた信号機であって、所定の光源周期で点灯および点滅を繰り返している。ここでは、理解を容易にするため、１行分（第ｍ行）の露光タイミングのみが示されているが、各行の露光タイミングは互いに所定時間だけずれて駆動される。
　時刻ｔ０において、第ｍ行の画素１０の長秒露光（Ａ）が開始し、光電変換部ＰＤは入射光に応じた電荷を蓄積し始める。時刻ｔ１～ｔ２において、光源が点灯し、光電変換部ＰＤにおいて電荷が飽和し得る。
　時刻ｔ３において、同期信号発生回路２１２は垂直同期信号ＶＤを出力し、長秒露光（Ａ）を終了し、短秒露光（Ｂ）を開始する。垂直走査回路１０１は制御信号ＴＸをハイレベルとし、転送トランジスタＭ１をオンとする。光電変換部ＰＤに蓄積された電荷は浮遊拡散部ＦＤに転送され、浮遊拡散部ＦＤの電位は電荷に応じて低下する。増幅トランジスタＭ３は浮遊拡散部ＦＤの電位に応じた画素信号を列信号線１１０を介して列増幅回路１０２に出力する。列増幅回路１０２は画素信号を増幅し、水平走査回路１０３からの制御信号に従い、長秒露光（Ａ）における１行分の画素信号を順次出力する。上述したように、画素１０の露光および読み出しは行毎に所定時間だけずれて駆動される。画素１０においては、制御信号ＴＸがローレベルとなり、短秒露光（Ｂ）が開始する。時刻ｔ３～ｔ４において、光源は消灯しているため、光電変換部ＰＤに蓄積される電荷は少ない。
　時刻ｔ４において、垂直走査回路１０１は制御信号ＴＸをハイレベルとし、転送トランジスタＭ１をオンとする。これにより、短秒露光（Ｂ）において光電変換部ＰＤに蓄積された電荷が浮遊拡散部ＦＤに転送され、短秒露光（Ｂ）における画素信号が画素１０から読み出される。短秒露光（Ｂ）の画素信号は行毎に順次読み出される。
　時刻ｔ４～ｔ５において、転送トランジスタＭ１はオフとなり、光電変換部ＰＤは電荷を蓄積する。長秒露光（Ａ）において、光源が点灯しているため、前回の長秒露光（Ａ）と同様に、光電変換部ＰＤにおける電荷が飽和し得る。
　時刻ｔ５において、同期信号発生回路２１２は垂直同期信号ＶＤを出力し、短秒露光（Ｂ）を開始する。また、長秒露光（Ａ）における画素信号が順次読み出される。時刻ｔ６において、転送トランジスタＭ１がオンとなり、短秒露光（Ｂ）における画素信号が順次読み出される。時刻ｔ６において、短秒露光（Ｂ）において光電変換部ＰＤに蓄積された電荷が浮遊拡散部ＦＤに転送され、短秒露光（Ｂ）における画素信号が画素１０から読み出される。
　信号処理部２２は上述の処理により読み出された画素信号をデジタルデータに変換し、フレームメモリ２２３に格納する。本実施形態においては、画像解析部２０１は長秒露光画像５１Ａ、短秒露光画像５１Ｂを比較し、同一の位置にある被写体５１ａ、５１ｂを検出する。点滅検出部２０２は被写体５１ａ、５１ｂのそれぞれの画素値が露光期間に比例するか否かを判断する。ここで、短秒露光画像５１Ｂの被写体５１ｂは消灯しているため、被写体５１ａ、５１ｂのそれぞれの画素値は露光期間に比例しない。従って、点滅検出部２０２は被写体５１ａ、５１ｂが点滅していると判断する。連続した２フレームにおいて、点滅検出部２０２が点滅を検出すると、点滅検出部２０２はステータスを「点灯」から「点滅」に変更する（時刻ｔ７）。露光制御部２１１は「点滅」のステータスを受け取り、次の短秒露光（Ｂ）の開始タイミングを変更する。時刻ｔ８は変更前の短秒露光（Ｂ）の開始時刻である。露光制御部２１１は短秒露光（Ｂ）の開始を時刻ｔ８から時刻ｔ９に変更する。すなわち、短秒露光（Ｂ）の開始タイミングは前フレームにおける開始時刻よりもΔｔだけ遅くなり、フレーム期間Ｌ１（時刻ｔ５～ｔ９）は前のフレーム期間Ｌ（時刻ｔ３～ｔ５）よりもΔｔだけ長くなる。つまり、露光制御部２１１は、ステータスが「点灯」から「点滅」に変更されると、短秒露光の周期（複数の短秒露光のそれぞれの開始タイミングの間隔とも言える）を、「点灯」の状態における所定の周期から変更する。
　時刻ｔ９において、短秒露光（Ｂ）が開始するとともに、長秒露光（Ａ１）による画素信号が読み出される。短秒露光（Ｂ）の位相は遅らせられているため、短秒露光（Ｂ）の期間に、光源が点灯する期間が含まれるようになる。時刻ｔ１０において、短秒露光（Ｂ）における画素信号が読み出される。時刻ｔ１１において、露光制御部２１１はステータスを「点滅」から「点灯」に変更する。時刻ｔ１２において、通常のフレーム周期に従い、短秒露光（Ｂ）が開始する。すなわち、フレーム期間は再びＬとなる。時刻ｔ１２以後の短秒露光（Ｂ）においても、光源が点灯する期間が含まれている。
　このように、短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光（Ｂ）に光源が点灯する期間が含まれるようになり、短秒露光画像５２Ｂの被写体５２ｂは点灯する。画像合成回路２２１は被写体５２ｂの画素値を露光期間の長さに比例して増幅し、長秒露光画像５２Ａにおいて飽和した被写体５２ａを増幅後の被写体５２ｂに置き換える。生成された広ダイナミックレンジ画像５２Ｃにおいては、被写体５２ｃは消灯していない。従って、フリッカを抑制しながら、広ダイナミックレンジ画像５２Ｃを生成することが可能となる。
　図７Ａ、図７Ｂ、図７Ｃは本実施形態における点滅検出方法を説明するための図である。図７Ａは、光源が点灯している場合における、露光タイミング、各行読み出しタイミング、露光画像を表している。光源は第１、第２フレームにおいて点灯しており、長秒露光（Ａ）、短秒露光（Ｂ）のいずれにおいても、光源からの光が光電変換部ＰＤに入射する。長秒露光画像７１Ａ、７２Ａ、短秒露光画像７１Ｂ、７２Ｂのそれぞれの画素値は露光期間の長さに比例した値となる。但し、長秒露光画像７１Ａ、７２Ａの画素値が飽和した場合には、画素値は必ずしも露光期間の長さに比例しない。さらに、長秒露光画像７１Ａ、７２Ａのそれぞれの画素値は一致し、短秒露光画像７１Ｂ、７２Ｂのそれぞれの画素値も一致する。すなわち、光源が点灯している場合、第１フレーム、第２フレームにおける画素値は一致する。
　図７Ｂは、光源がパルス点灯した場合における、露光タイミング、各行読み出しタイミング、露光画像を表している。第１フレームの長秒露光（Ａ）においてのみ、単一のパルス光が光電変換部ＰＤに入射する。従って、長秒露光画像７３Ａのみが点灯し、長秒露光画像７４Ａ、短秒露光画像７３Ｂ、７４Ｂは消灯する。短秒露光（Ｂ）において、光電変換部ＰＤへの入射光がないため、長秒露光画像７３Ａ、短秒露光画像７３Ｂのそれぞれの画素値は露光期間の長さに比例しない。また、フレームの異なる長秒露光画像７３Ａ、７４Ａの画素値は一致しない。
　図７Ｃは、光源が点滅した場合における、露光タイミング、各行読み出しタイミング、露光画像を表している。光源は第１、第２フレームの長秒露光（Ａ）において点灯し、第１、第２フレームの短秒露光（Ｂ）において消灯している。この場合に、長秒露光画像７５Ａ、７６Ａは点灯し、短秒露光画像７５Ｂ、７６Ｂは消灯する。光源が点滅しているため、長秒露光画像７５Ａ、短秒露光画像７５Ｂのそれぞれの画素値は露光期間の長さに比例しない。また、長秒露光画像７５Ａ、７６Ａの画素値は一致し、短秒露光画像７５Ｂ、７６Ｂの画素値も一致する。
　以上のように、連続する２つのフレームにおける４枚の画像を比較することにより、光源の点灯、単パルス点灯、点滅を検出することが可能となる。本実施形態における点滅検出方法の詳細を図８および上述した図７Ａ、図７Ｂ、図７Ｃを参照しながら説明する。
　図８は本実施形態における点滅検出方法を表すフローチャートである。ステップＳ８０１において、点滅検出部２０２は動作を開始すると、ステータスの初期値を「点灯」に設定する。ステータスは点滅検出部２０２による検出結果を表し、「点灯」、「点滅」の値をとり得る。「点灯」の検出結果は、別の言い方をすれば、被写体の点滅が検出されないことを表している。続いて、点滅検出部２０２は点滅ＦＬＡＧの初期値を「０」に設定する（ステップＳ８０２）。点滅ＦＬＡＧは、連続する２フレームにおいて点滅が検出されたか否かを表している。
　第１フレームにおいて、撮像素子１は同期信号発生回路２１２からの同期信号に従い、長秒露光画像を撮像し、信号処理部２２に出力する（ステップＳ８０４）。画像処理回路２２２は長秒露光画像において、露光期間の長さに応じたゲイン処理、相関二重サンプリングなどの画像処理を行い、長秒露光画像をフレームメモリ２２３に格納する（ステップＳ８０５）。同様に、撮像素子１は短秒露光画像を撮像し（ステップＳ８０６）、画像処理回路２２２は画像処理後の短秒露光画像をフレームメモリ２２３に格納する（ステップＳ８０７）。
　画像解析部２０１は、フレームメモリ２０５に格納された長秒露光画像、短秒露光画像の同一位置に対応する信号があるか否かを判断する（ステップＳ８１０）。光源が点灯している場合（図７Ａ）には、長秒露光画像、短秒露光画像の同一位置における２つの画素値は露光期間の長さに比例する。長秒露光画像、短秒露光画像のそれぞれの画素値の相関が高くなり、同一位置に対応する信号が存在する（ステップＳ８１０でＹＥＳ）。点滅検出部２０２はステータスを「点灯」に設定するとともに（ステップＳ８１２）、点滅ＦＬＡＧを「０」に設定する（ステップＳ８１３）。ここでは、ステータス、点滅ＦＬＡＧの各値は初期値のままとなる。ステータスが「点灯」である場合、露光制御部２１１はフレームの開始タイミングを変更することなく、長秒露光画像、短秒露光画像の読み出しを継続する。点滅検出部２０２はステップＳ８０４～Ｓ８１０の処理を繰り返す。
　一方、図７Ｂ、図７Ｃに示されたように、光源がパルス点灯または点滅している場合には、第１フレームにおいて長秒露光画像の光源は点灯しているが、短秒露光画像の光源は消灯している。点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号がないと判断する（ステップＳ８１０でＮＯ）。この場合、単パルス点灯（図７Ｂ）、点滅（図７Ｃ）を区別することはできず、点滅検出部２０２はステップＳ８２０以降の処理を実行する。ステップＳ８２０において、点滅検出部２０２は点滅ＦＬＡＧが「１」であるか否かを判断する。ここでは、点滅ＦＬＡＧは「０」であるため（ステップＳ８２０でＮＯ）、点滅検出部２０２は点滅ＦＬＡＧを「１」に設定し（ステップＳ８２１）、第２フレームにおけるステップＳ８０４の処理に戻る。
　第２フレームにおいて、点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号がそれぞれ存在するか否かを再度判断する（ステップＳ８１０）。図７Ｂに示されたように、光源が単パルス点灯する場合には、第２フレームにおいて長秒露光画像、短秒露光画像のそれぞれの光源はいずれも消灯する。従って、点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号があると判断し（ステップＳ８１０でＹＥＳ）、ステータスを「点灯」に設定するとともに（ステップＳ８１２）、点滅ＦＬＡＧを「０」にリセットする（ステップＳ８１３）。この後、点滅検出部２０２はステップＳ８０１～Ｓ８１０の処理を繰り返す。
　図７Ｃに示されたように、光源が点滅している場合には、長秒露光画像の光源は点灯し、短秒露光画像の光源は消灯している。この場合、点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号がないと判断し（ステップＳ８１０でＮＯ）、さらに点滅ＦＬＡＧが「１」であるか否かを判断する（ステップＳ８２０）。第１フレームにおいて点滅ＦＬＡＧが「１」に設定されているため、ステップＳ８２０の判断結果はＹＥＳとなり、点滅検出部２０２はステータスを「点滅」に設定する（ステップＳ８２５）。露光制御部２１１は、ステータスが「点滅」に設定されたことに応答して、フレームの位相変更処理を実行する（ステップＳ８３０）。この後、点滅検出部２０２はステップＳ８０４以降の処理を繰り返す。
　このように、連続する２つのフレームにおいて光源が点灯、消灯を繰り返した場合に、点滅検出部２０２はステータスを「点灯」から「点滅」に変更している。これにより、光源の点灯、短パルス点灯、点滅を判断することが可能となる。
　図９は、本実施形態における位相変更処理のフローチャートであって、図８の位相変更処理（ステップＳ８３０）の詳細を表している。露光制御部２１１は、「点滅」のステータスに応答して、フレームの位相変更処理を実行する（ステップＳ９０１）。すなわち、露光制御部２１１は垂直同期信号ＶＤの位相を変更し、短秒露光の開始タイミングをΔｔだけずらす。この後、撮像素子１は同期信号発生回路２１２からの同期信号に従い、長秒露光画像を撮像し（ステップＳ９０２）、画像処理回路２２２は長秒露光画像において、露光期間の長さに応じたゲイン処理、相関二重サンプリングなどの画像処理を行う（ステップＳ９０３）。同様に、撮像素子１は短秒露光画像を撮像し（ステップＳ９０４）、画像処理回路２２２は画像処理後の短秒露光画像をフレームメモリ２２３に格納する（ステップＳ９０５）。
　画像解析部２０１はフレームメモリ２２３に格納された短秒露光画像において光源の入光があるか否かを判断する（ステップＳ９０６）。画像解析部２０１が短秒露光画像において光源の入光がないと判断すると（ステップＳ９０６でＮＯ）、露光制御部２１１は位相の変更量Δｔを調整する（ステップＳ９０７）。露光制御部２１１はステップＳ９０７において調整された位相変更量だけ短秒露光の開始タイミングをさらに遅らせる（ステップＳ９０１）。短秒露光画像において光源の入光があると判断されるまで（ステップＳ９０６でＹＥＳ）、露光制御部２１１はステップＳ９０１～Ｓ９０７の処理を繰り返す。画像解析部２０１が短秒露光画像に光源の入光があると判断すると（ステップＳ９０６でＹＥＳ）、露光制御部２１１は位相変更処理を終了する（ステップＳ９０８）。さらに、露光制御部２１１はステータスを「点滅」から「点灯」に変更し（ステップＳ９１０）、図８のフローチャートに処理を戻す。
　上述したように、露光制御部２１１は短秒露光画像に入光がなされるまで短秒露光の開始タイミングをずらしている。これにより、長秒露光画像、短秒露光画像のそれぞれにおいて入射光が不均一となるのを回避し、フリッカを抑制することができる。また、長秒露光画像、短秒露光画像から合成された広ダイナミックレンジ画像において、光源が消灯するなどの画質の劣化を回避することが可能となる。
　図１０Ａ、図１０Ｂは本実施形態における効果を模式的に示したものである。図１０Ａは、位相変更前における露光タイミング、露光画像、広ダイナミックレンジ画像を示している。長秒露光画像８０Ａの被写体８０ａは点灯しているが、短秒露光画像８０Ｂの被写体８０ｂは消灯している。このため、長秒露光画像８０Ａ、短秒露光画像８０Ｂから広ダイナミックレンジ画像８０Ｃを合成すると、光源の被写体８０ｃが消灯してしまう。図１０Ｂは、位相変更後における露光タイミング、露光画像、広ダイナミックレンジ画像を示している。短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光画像９０Ｂに光源が入光し、被写体９０ｂが点灯する。長秒露光（Ａ）においては、光源が点灯する時間が短くなるため、蓄積される電荷量は減少するが、ここでは被写体９０ｂは飽和レベルであるとする。長秒露光画像９０Ａ、短秒露光画像９０Ｂを合成することで広ダイナミックレンジ画像９０Ｃにおいては、被写体９０ｃは点灯する。
　以上述べたように、本実施形態によれば、露光期間の長さの異なる２つの画像におけるフリッカを抑制することができる。また、長秒露光画像、短秒露光画像を合成した広ダイナミックレンジ画像において、高輝度の被写体が暗くなるなどの画質の劣化を回避することが可能となる。なお、本実施形態の撮像装置は、被写体の点滅を検出した際に、短秒露光の開始タイミングを遅らせているが、開始タイミングを早めても良い。さらに、１フレームにおける長秒露光、短秒露光の順序は必ずしも上述の例に限定されない。
　［第２実施形態］
　第２実施形態における撮像装置について第１実施形態と異なる構成を中心に説明する。第１実施形態における撮像装置は、短秒露光の位相を変更する際に、１フレームの長さも変更している。本実施形態においては、長秒露光、短秒露光のそれぞれの電荷保持部を設けることで、１フレームの長さを変更することなく、露光の位相を変更することが可能である。
　図１１は本実施形態における画素１１の等価回路を示している。図１１には、行方向および列方向に２次元配列された複数の画素１１のうち、２行×２列の４個の画素１１が示されているが、撮像装置はさらに多くの画素を有している。各画素１１は、光電変換部ＰＤ、浮遊拡散部ＦＤ、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１、第１の転送トランジスタＭ１２、第２の転送トランジスタＭ２２、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５、第１の保持部Ｃ１、第２の保持部Ｃ２を備える。
　光電変換部ＰＤは、入射光を光電変換するとともに、光電変換による電荷を蓄積する。第１のメモリ転送トランジスタＭ１１は光電変換部ＰＤの電荷を第１の保持部Ｃ１に転送し、第１の転送トランジスタＭ１２は第１の保持部Ｃ１の電荷を浮遊拡散部ＦＤに転送する。同様に、第２のメモリ転送トランジスタＭ２１は光電変換部ＰＤの電荷を第２の保持部Ｃ２に転送し、第２の転送トランジスタＭ２２は第２の保持部Ｃ２の電荷を浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、ソースは選択トランジスタＭ４を介して列信号線１１０に接続されている。増幅トランジスタＭ３はソースフォロアを構成し、浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０には定電流源１６が接続されている。リセットトランジスタＭ５のドレインには電源電圧ＶＤＤが印加され、リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。
　同一行の画素１１に対しては共通の制御信号が垂直走査回路１０１から供給される。すなわち、第ｍ行の画素１１の第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１、第１の転送トランジスタＭ１２、第２の転送トランジスタＭ２２、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＧＳ１（ｍ）、ＧＳ２（ｍ）、ＴＸ１（ｍ）、ＴＸ２（ｍ）、ＳＥＬ（ｍ）、ＲＥＳ（ｍ）がそれぞれ供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。各行の制御信号を同時にオンまたはオフに制御することにより、複数の画素１１における露光期間の制御を同時に行うことができる。なお、複数の画素１１が１つの増幅トランジスタＭ３を共有しても良い。また、光電変換部ＰＤにオーバーフロードレイントランジスタを設けても良い。画素部１００には、有効画素の他に、遮光画素、光電変換部を有さないダミー画素などのように画像を出力しない画素が含まれ得る。
　画素１１において、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１のオンまたはオフのタイミングを制御することによって短秒露光、長秒露光の画像を取得することができる。第１のメモリ転送トランジスタＭ１１をオンとすることで、長秒露光の電荷を光電変換部ＰＤから第１の保持部Ｃ１に転送することができる。また、第２のメモリ転送トランジスタＭ２１をオンとすることで、短秒露光の電荷を光電変換部ＰＤから第２の保持部Ｃ２に転送することができる。
　光電変換部ＰＤから第１の保持部Ｃ１、第２の保持部Ｃ２に電荷を転送する順序および回数は適宜定められ得る。例えば、第１のメモリ転送トランジスタＭ１１をオンとした後に、第２のメモリ転送トランジスタＭ２１にオンとし、さらに第１のメモリ転送トランジスタをオンとしても良い。第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１を排他的にオン、オフさせることにより、長秒露光の電荷を第１の保持部Ｃ１に蓄積し、短秒露光の電荷を第２の保持部Ｃ２に蓄積しても良い。この場合、第１の保持部Ｃ１に保持される電荷量は、第１のメモリ転送トランジスタＭ１１のオンの合計時間において露光された電荷量となる。第２の保持部Ｃ２に保持される電荷量は第２のメモリ転送トランジスタＭ２１のオンの時間に露光された露光量となる。また、メモリ転送トランジスタＭ１１、Ｍ２１がオフの期間において光電変換部ＰＤに電荷を蓄積し、メモリ転送トランジスタＭ１１、Ｍ２１をオンとすることで電荷を第１の保持部Ｃ１、第２の保持部Ｃ２に転送してもよい。この場合、第１の保持部Ｃ１、第２の保持部Ｃ２に保持される電荷量は、メモリ転送トランジスタＭ１１、Ｍ２１がオフの期間に光電変換部ＰＤに蓄積された電荷量となる。
　図１２は、本実施形態における撮像装置の駆動方法を説明するための図であって、光源、垂直同期信号ＶＤ、露光タイミング、読み出しタイミング、点滅ステータス、露光画像、広ダイナミックレンジ画像を示している。本実施形態に置いては、同期信号発生回路２１２は一定の周期で垂直同期信号ＶＤを出力しており、１フレームの長さは一定となっている。
　時刻ｔ２０において、第１フレームにおける長秒露光（Ａ）が開始し、光電変換部ＰＤは入射光に応じた電荷を蓄積し始める。時刻ｔ２１において、光電変換部ＰＤに蓄積された電荷が第１の保持部Ｃ１に転送されるとともに、光電変換部ＰＤは短秒露光（Ｂ）における電荷を蓄積し始める。時刻ｔ２１～ｔ２２において、光源は消灯しているため、光電変換部ＰＤに蓄積される電荷は少ない。
　時刻ｔ２２において、光電変換部ＰＤに蓄積された電荷が第２の保持部Ｃ２に転送され、短秒露光（Ｂ）が終了する。続いて、時刻ｔ２２～ｔ２４において、第２フレームの長秒露光（Ａ）が行われ、時刻ｔ２４～ｔ２５において、短秒露光（Ｂ）が行われる。
　時刻ｔ２２～ｔ２４において光電変換部ＰＤが電荷を蓄積している間、第１フレームの画素信号が行毎に読み出される。例えば、第ｍ行において、第１の転送トランジスタＭ１２がオンとなり、第１の保持部Ｃ１に保持された電荷が浮遊拡散部ＦＤに転送される。増幅トランジスタＭ３は長秒露光（Ａ）における画素信号を列信号線１１０に出力する。続いて、第２の転送トランジスタＭ２２がオンとなり、第２の保持部Ｃ２に保持された電荷が浮遊拡散部ＦＤに転送される。増幅トランジスタＭ３は短秒露光（Ｂ）における画素信号を列信号線１１０に出力する。信号処理部２２は上述の処理により読み出された画素信号をデジタルデータに変換し、フレームメモリ２２３に格納する。第１フレームにおける長秒露光画像９２Ａにおいては、被写体９２ａは飽和レベルとなっているが、短秒露光画像９２Ｂにおいては、被写体９２ｂは消灯している。このため、広ダイナミックレンジ画像９２Ｃの被写体９２ｃも消灯する。本実施形態においても、点滅検出部２０２は、連続した２フレームにおいて点滅を検出すると、ステータスを「点灯」から「点滅」に変更する（時刻ｔ２３）。
　時刻ｔ２３において、露光制御部２１１は「点滅」のステータスを受け取り、短秒露光（Ｂ）の開始タイミングを変更する。例えば、露光制御部２１１は、時刻ｔ２５～時刻ｔ２６における第１の長秒露光（Ａ１）、時刻ｔ２６～ｔ２７における短秒露光（Ｂ）、時刻ｔ２７～ｔ２９における第２の長秒露光（Ａ２）の順に露光を行う。第１の長秒露光（Ａ１）と第２の長秒露光（Ａ２）との合計時間は長秒露光（Ａ）の時間に等しい。また、短秒露光（Ｂ）の長さ、１フレームの長さは各フレームにおいて一定である。第３フレームにおいて、露光制御部２１１は短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光画像９３Ｂに光源を入光させることができる。画像解析部２０１が短秒露光画像９３Ｂに光源の入光があると判断すると、露光制御部２１１は位相変更処理を終了する。さらに、点滅検出部２０２はステータスを「点滅」から「点灯」に変更する（時刻ｔ２８）。
　第４フレームにおいて、第３フレームと同様に露光がなされる。すなわち、時刻ｔ２９～ｔ３０における第１の長秒露光（Ａ１）、時刻ｔ３０～ｔ３１における短秒露光（Ｂ）、時刻ｔ３１～ｔ３２における第２の長秒露光（Ａ２）がなされる。
　このように、短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光（Ｂ）に光源が点灯する期間が含まれるようになり、長秒露光画像９３Ａと同様に、短秒露光画像９３Ｂの被写体９３ｂは点灯する。従って、本実施形態においても、露光期間の長さの異なる２つの画像において入射光の不均一を回避し、フリッカを抑制することが可能となる。また、画像合成回路２２１は、被写体９３ｂの画素値を露光時間に比例して増幅し、長秒露光画像９３Ａにおいて飽和した被写体９３ａを増幅後の被写体９３ｂに置き換える。生成された広ダイナミックレンジ画像９３Ｃにおいては、被写体９３ｃは点灯する。従って、フリッカを抑制しながら、広ダイナミックレンジ画像９３Ｃを生成することが可能となる。また、本実施形態においては、１フレームの長さを変更することなく、短秒露光の開始タイミングを変更することが可能である。
　なお、１フレームにおける長秒露光、短秒露光の順序、回数、タイミングは上述の例に限定されない。短秒露光の合計時間が一定である限り、短秒露光を複数回に分割して行っても良い。また、短秒露光、長秒露光を１フレームにおいて複数回、繰り返しても良い。また、第１実施形態と同様に、１フレームの長さを変更する駆動方法を併せて実行しても良い。
　［第３の実施形態］
　第３実施形態における撮像装置について第２実施形態と異なる構成を中心に説明する。第２実施形態において、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチングの回数に制約はない。但し、メモリ転送トランジスタＭ１１、Ｍ２１のスイッチングの回数が増加すると、消費電力の増加、放射ノイズの発生が生じ得る。本実施形態においては、消費電力、ノイズ、光源の周期などの要因に基づき、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数を予め最適な初期値に設定される。位相変更は、初期値における露光タイミングを変更することにより行われる。
　図１３、図１４は、本実施形態における撮像装置の駆動方法を示すタイミングチャートである。図１３では、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数の初期値は４回に設定されている。すなわち、メモリ転送トランジスタＭ１１、Ｍ２１のスイッチングは長秒露光（Ａ１）、短秒露光（Ｂ１）、長秒露光（Ａ２）、短秒露光（Ｂ２）、長秒露光（Ａ３）、短秒露光（Ｂ３）、長秒露光（Ａ４）、短秒露光（Ｂ４）の順に行われる。光源の点滅が１フレームにおいて複数回繰り返される場合には、図１３に示された初期値は有効である。なお、メモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数は必ずしも４回に限定されるものではない。
　図１４は、図１３の光源の点滅周期の１／２、すなわち２倍の周波数の光源を撮影した場合の露光を示している。点滅検出前の露光においては、短秒露光（Ｂ１）に入光が無いため、この短秒露光画像から合成された広ダイナミックレンジ画像は消灯された画像となってしまう。本実施形態の撮像装置は、図８に示す方法にて点滅を検出すると、短秒露光（Ｂ１）を長秒露光（Ａ１）長さの半分のタイミングに移動させる。このように、図１４の例においては、広ダイナミックレンジ撮影が可能となる点滅周波数が２倍となる。
　本実施形態においても、フリッカを抑制しながら、広ダイナミックレンジ撮影を実現することが可能である。また、本実施形態においては、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数を予め最適な初期値に設定することで、消費電力、ノイズ等の影響を最小限に抑えながら、位相変更の頻度を低減することができる。
　[第４実施形態]
　第１～第３実施形態における撮像装置は、長秒露光画像、短秒露光画像を用いて光源の点滅を検出している。本実施形態においては、長秒露光画像、短秒露光画像を用いて、さらに被写体の移動速度の算出などのオブジェクト検出を行うことも可能である。以下、上述の実施形態と異なる構成を中心に説明する。
　図１５は本実施形態における撮像装置の動作を説明するための図である。長秒露光画像１５０Ａ、短秒露光画像１５０Ｂは１フレーム内において所定時間だけずれて撮影される。このため、長秒露光画像１５０Ａの被写体１５０ａは短秒露光画像１５０Ｂにおいて被写体１５０ｂの位置に移動している。検出部２０は、被写体１５０ａ、被写体１５０ｂの移動量Δｄと撮影時間の差に基づき、被写体１５０ａの移動速度を算出することが可能である。さらに、検出部２０は、車両などの移動体、信号機などの静止体を判断可能である。検出部２０は、被写体の速度に応じて短秒露光の位相変更量を最適な値に調整し、より高精度な広ダイナミックレンジの画像を撮影することが可能となる。
　［第５実施形態］
　上述の実施形態における固体撮像装置は種々の撮像システムに適用可能である。撮像システムとして、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星、監視カメラなどがあげられる。図１６に、撮像システムの例としてデジタルスチルカメラのブロック図を示す。
　図１６に示す撮像システムは、バリア１００１、レンズ１００２、絞り１００３、撮像装置１００４、信号処理装置１００７、タイミング発生部１００８、全体制御・演算部１００９、メモリ部１０１０、記録媒体制御Ｉ／Ｆ部１０１１、記録媒体１０１２、外部Ｉ／Ｆ部１０１３を含む。バリア１００１はレンズ１００２を保護し、レンズ１００２は被写体の光学像を撮像装置１００４に結像させる。絞り１００３はレンズ１００２を通った光量を可変する。撮像装置１００４は上述の実施形態の固体撮像装置を含み、レンズ１００２により結像された光学像を画像データに変換する。信号処理装置１００７は撮像装置１００４より出力された画像データに各種の補正、データ圧縮を行う。タイミング発生部１００８は撮像装置１００４および信号処理装置１００７に、各種タイミング信号を出力する。全体制御・演算部１００９はデジタルスチルカメラ全体を制御し、メモリ部１０１０は画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ部１０１１は記録媒体１０１２に画像データの記録または読み出しを行うためのインターフェースであり、記録媒体１０１２は撮像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。外部Ｉ／Ｆ部１０１３は外部コンピュータ等と通信するためのインターフェースである。タイミング信号などは撮像システムの外部から入力されてもよく、撮像システムは少なくとも撮像装置１００４と、撮像装置１００４から出力された画像信号を処理する信号処理装置１００７とを有すればよい。
　本実施形態では、撮像装置１００４とＡＤ変換部とが同一の半導体基板に設けられた構成を説明した。しかし、撮像装置１００４とＡＤ変換部とが別の半導体基板に形成されていてもよい。また、撮像装置１００４と信号処理装置１００７とが同一の半導体基板に形成されていてもよい。
　また、それぞれの画素が第１の光電変換部と、第２の光電変換部を含んでもよい。信号処理装置１００７は、第１の光電変換部で生じた電荷に基づく画素信号と、第２の光電変換部で生じた電荷に基づく画素信号とを処理し、撮像装置１００４から被写体までの距離情報を取得するように構成されてもよい。
　［第６実施形態］
　図１７Ａ、図１７Ｂは、本発明の第６実施形態における車載カメラに関する撮像システムの一例を示したものである。撮像システム２０００は、上述した実施形態の撮像装置１００４を有する。撮像システム２０００は、撮像装置１００４により取得された複数の画像データに対し、画像処理を行う画像処理部２０３０と、撮像システム２０００より取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部２０４０を有する。また、撮像システム２０００は、算出された視差に基づいて対象物までの距離を算出する距離計測部２０５０と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部２０６０とを有する。ここで、視差算出部２０４０、距離計測部２０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）によって実現されてもよいし、これらの組合せによって実現されてもよい。
　撮像システム２０００は車両情報取得装置２３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム２０００には、衝突判定部２０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ２４１０が接続されている。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置２４２０とも接続されている。例えば、衝突判定部２０６０の判定結果として衝突可能性が高い場合、制御ＥＣＵ２４１０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２４２０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。撮像システム２０００は上述のように車両を制御する動作の制御を行う制御手段として機能する。
　本実施形態では車両の周囲、例えば前方または後方を撮像システム２０００で撮像する。図１７Ｂに、車両前方（撮像範囲２５１０）を撮像する場合の撮像システムを示した。撮像制御手段としての車両情報取得装置２３１０が、上述の第１乃至第５実施形態に記載した動作を行うように撮像システム２０００ないしは撮像装置１００４に指示を送る。撮像装置１００４の動作は、第１乃至第４の実施形態と同じなので、ここでは説明を省略する。このような構成により、測距の精度をより向上させることができる。
　上述では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
　［他の実施形態］
　本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
　なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年１２月２５日提出の日本国特許出願特願２０１７-２４７７６１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
１　撮像素子
２０　検出部
２１　制御部
２２　画像処理部
１０１　垂直走査回路
２０２　点滅検出部
２１２　同期信号発生回路
２２１　画像合成回路
ＰＤ　光電変換部
Ｃ１、Ｃ２　保持部

 

Claims (15)

  1. 　被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素と、
    　第１の露光期間による第１の露光と、前記第１の露光期間よりも長い第２の露光期間による第２の露光とのそれぞれにおいて前記光電変換部が行なうように前記画素を駆動する駆動部と、
    　前記被写体の点滅の検出を行う検出部と、
    　制御部とを有し、
    　前記制御部は、前記検出の結果が、前記被写体が点滅していないことを示す場合には、前記第１の露光を第１の周期で行い、前記第２の露光を第２の周期で行い、
    　前記制御部は、前記検出の結果が、前記被写体が点滅していることを示す場合には、前記第１の露光を前記第１の周期とは異なる周期で行うことを特徴とする撮像装置。
  2. 　被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素と、
    　電荷の蓄積を、第１の露光期間と、前記第１の露光期間よりも長い第２の露光期間とのそれぞれにおいて前記光電変換部が行なうように前記画素を駆動する駆動部と、
    　前記第１の露光期間に蓄積された電荷に基づく第１の画素信号、および前記第２の露光期間に蓄積された電荷に基づく第２の画素信号に基づいて前記被写体の点滅を検出する検出部と、
    　前記検出部が前記被写体の点滅を検出した場合に、前記第１の露光期間または前記第２の露光期間のいずれかの開始タイミングを変更する制御部とを備えることを特徴とする撮像装置。
  3. 　前記第１の露光期間および前記第２の露光期間をそれぞれが含む、連続する複数のフレームにおいて前記検出部が前記点滅を検出した場合に、前記制御部は前記開始タイミングを変更することを特徴とする請求項２に記載の撮像装置。
  4. 　前記制御部は前記フレームの長さを変更することで、前記開始タイミングを変更することを特徴とする請求項３に記載の撮像装置。
  5. 　前記画素は、前記光電変換部から転送された電荷を保持する第１の保持部および第２の保持部を備え、
    　前記第１の保持部は前記第１の露光期間に蓄積された電荷を保持し、前記第２の保持部は前記第２の露光期間に蓄積された電荷を保持することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
  6. 　前記画素は、前記光電変換部から転送された電荷を保持する第１の保持部および第２の保持部を備え、
    　前記第１の保持部は前記第１の露光期間に蓄積された電荷を保持し、前記第２の保持部は前記第２の露光期間に蓄積された電荷を保持し、
    　１フレームは前記第１の露光期間および前記第２の露光期間を含み、
    　前記制御部は、前記フレームの長さを変更せずに、前記開始タイミングを変更することを特徴とする請求項２乃至４のいずれか1項に記載の撮像装置。
  7. 　前記制御部は、前記第１の露光期間を分割し、分割された複数の前記第１の露光期間の間に前記第２の露光期間を設定することにより、前記第２の露光期間の前記開始タイミングを変更することを特徴とする請求項６に記載の撮像装置。
  8. 　前記制御部は、前記フレームにおいて前記第１の露光期間および前記第２の露光期間のそれぞれを予め複数に分割し、前記検出部が前記点滅を検出した場合に、複数の前記第２の露光期間および複数の前記第２の露光期間の少なくともいずれかの前記開始タイミングを変更することを特徴とする請求項６または７に記載の撮像装置。
  9. 　前記制御部は、前記第１の画素信号および前記第２の画素信号における前記被写体の移動量に基づき、前記開始タイミングの変更量を決定する請求項２乃至４または６乃至８のいずれか１項に記載の撮像装置。
  10. 　前記制御部は、前記検出部が前記点滅を検出した場合に、前記開始タイミングを遅らせることを特徴とする請求項２乃至４または６乃至９のいずれか１項に記載の撮像装置。
  11. 　前記検出部は、前記第１の露光期間および前記第２の露光期間の比に基づき、前記第１の画素信号または前記第２の画素信号のゲインを補正し、補正された前記第１の画素信号および前記第２の画素信号に基づき、前記点滅を検出することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
  12. 　前記第１の画素信号が飽和レベルに達した場合、前記第１の画素信号を前記第２の画素信号に置き換えた画像を合成する画像合成部をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
  13. 　被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素を備える撮像装置の駆動方法であって、
    　第１の露光期間における電荷の蓄積、および前記第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に前記光電変換部が行なうように前記画素を駆動し、
    　前記第１の露光期間に蓄積された電荷に基づく第１の画素信号、および前記第２の露光期間に蓄積された電荷に基づく第２の画素信号の比較に基づいて、前記第１の露光期間または前記第２の露光期間のいずれかの開始タイミングを変更することを特徴とする撮像装置の駆動方法。
  14. 　請求項１～１２のいずれか１項に記載の撮像装置と、
    　前記撮像装置から出力された画像信号を処理する信号処理装置と
    　を有することを特徴とする撮像システム。
  15. 　前記画素が複数の前記光電変換部を含み、
    　前記信号処理装置は、複数の前記光電変換部にて生成された前記画像信号をそれぞれ処理し、前記撮像装置から前記被写体までの距離情報を取得することを特徴とする請求項１４に記載の撮像システム。

     
PCT/JP2018/046632 2017-12-25 2018-12-18 撮像装置、撮像システム、および撮像装置の駆動方法 WO2019131346A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18897584.1A EP3734964A4 (en) 2017-12-25 2018-12-18 IMAGING DEVICE, IMAGING SYSTEM, AND METHOD OF CONTROLLING THE IMAGING DEVICE
CN201880083723.9A CN111512627B (zh) 2017-12-25 2018-12-18 成像装置、成像系统以及成像装置的驱动方法
US16/902,563 US11284023B2 (en) 2017-12-25 2020-06-16 Imaging apparatus, imaging system, and drive method of imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017247761A JP7157529B2 (ja) 2017-12-25 2017-12-25 撮像装置、撮像システム、および撮像装置の駆動方法
JP2017-247761 2017-12-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/902,563 Continuation US11284023B2 (en) 2017-12-25 2020-06-16 Imaging apparatus, imaging system, and drive method of imaging apparatus

Publications (1)

Publication Number Publication Date
WO2019131346A1 true WO2019131346A1 (ja) 2019-07-04

Family

ID=67063618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046632 WO2019131346A1 (ja) 2017-12-25 2018-12-18 撮像装置、撮像システム、および撮像装置の駆動方法

Country Status (5)

Country Link
US (1) US11284023B2 (ja)
EP (1) EP3734964A4 (ja)
JP (1) JP7157529B2 (ja)
CN (1) CN111512627B (ja)
WO (1) WO2019131346A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
EP3988493A4 (en) 2019-06-20 2023-08-09 Tadano Ltd. MOVING BEACH DISPLAY SYSTEM AND CRANE EQUIPPED WITH MOVING BEACH DISPLAY SYSTEM
JP7255419B2 (ja) * 2019-08-21 2023-04-11 富士通株式会社 半導体集積回路、赤外線センサ、及び赤外線撮像装置
JP2022046310A (ja) 2020-09-10 2022-03-23 キヤノン株式会社 撮像装置、撮像装置の駆動方法、撮像システムおよび移動体
JP2022051134A (ja) * 2020-09-18 2022-03-31 キヤノン株式会社 撮像装置及び撮像システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018458A (ja) 2001-04-23 2003-01-17 Hitachi Ltd Ｃｍｏｓ型固体撮像素子を用いた撮像システム
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム
JP2017024761A (ja) 2015-07-24 2017-02-02 Ｋｉｓｃｏ株式会社 食品包装容器
JP2017028490A (ja) * 2015-07-22 2017-02-02 ルネサスエレクトロニクス株式会社 撮像センサ及びセンサモジュール
JP2017103727A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 撮像装置の駆動方法
JP2017161512A (ja) * 2016-03-04 2017-09-14 キヤノン株式会社 測距装置及び移動体

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286174B1 (en) * 2001-06-05 2007-10-23 Dalsa, Inc. Dual storage node pixel for CMOS sensor
KR100574890B1 (ko) * 2004-04-27 2006-04-27 매그나칩 반도체 유한회사 이미지센서 및 이미지센서의 플리커 노이즈 검출 방법
JP2007318724A (ja) * 2006-04-25 2007-12-06 Matsushita Electric Ind Co Ltd 固体撮像装置の駆動方法、及び固体撮像装置
FR2961019B1 (fr) * 2010-06-03 2013-04-12 Commissariat Energie Atomique Capteur d'image lineaire en technologie cmos
JP5774512B2 (ja) * 2012-01-31 2015-09-09 株式会社東芝 測距装置
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
US9979896B2 (en) * 2013-12-04 2018-05-22 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, electronic equipment and program
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
JP6381380B2 (ja) * 2014-09-08 2018-08-29 キヤノン株式会社 撮像装置、制御方法及びそのプログラム
JP6541324B2 (ja) 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
JP6448340B2 (ja) 2014-12-10 2019-01-09 キヤノン株式会社 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
US9912886B2 (en) * 2014-12-17 2018-03-06 Canon Kabushiki Kaisha Image capturing apparatus and driving method of image sensor
JP6700723B2 (ja) 2014-12-17 2020-05-27 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
US10070088B2 (en) * 2015-01-05 2018-09-04 Canon Kabushiki Kaisha Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation
JP2016146592A (ja) 2015-02-09 2016-08-12 ソニー株式会社 画像処理装置および画像処理方法、並びに電子機器
US10264197B2 (en) * 2015-02-13 2019-04-16 Sony Semiconductor Solutions Corporation Imaging device, driving method, and electronic apparatus
JP6584131B2 (ja) 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
JP6628497B2 (ja) 2015-05-19 2020-01-08 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
WO2017077775A1 (ja) * 2015-11-05 2017-05-11 ソニー株式会社 固体撮像素子、撮像装置、及び、電子機器
US20180324344A1 (en) * 2015-11-24 2018-11-08 Sony Corporation Image processor, image processing method, and program
JP6702704B2 (ja) * 2015-12-04 2020-06-03 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP2017183563A (ja) 2016-03-31 2017-10-05 ソニー株式会社 撮像装置、駆動方法、および、電子機器
US10044960B2 (en) * 2016-05-25 2018-08-07 Omnivision Technologies, Inc. Systems and methods for detecting light-emitting diode without flickering
JP6765860B2 (ja) * 2016-06-01 2020-10-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2018019387A (ja) * 2016-07-15 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮影装置、及び、信号処理方法
JP6436953B2 (ja) 2016-09-30 2018-12-12 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに撮像システム
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。
JP7075208B2 (ja) 2017-12-22 2022-05-25 キヤノン株式会社 撮像装置および撮像システム
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP7260990B2 (ja) 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム
JP7237622B2 (ja) 2019-02-05 2023-03-13 キヤノン株式会社 光電変換装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018458A (ja) 2001-04-23 2003-01-17 Hitachi Ltd Ｃｍｏｓ型固体撮像素子を用いた撮像システム
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム
JP2017028490A (ja) * 2015-07-22 2017-02-02 ルネサスエレクトロニクス株式会社 撮像センサ及びセンサモジュール
JP2017024761A (ja) 2015-07-24 2017-02-02 Ｋｉｓｃｏ株式会社 食品包装容器
JP2017103727A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 撮像装置の駆動方法
JP2017161512A (ja) * 2016-03-04 2017-09-14 キヤノン株式会社 測距装置及び移動体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3734964A4

Also Published As

Publication number Publication date
EP3734964A4 (en) 2021-08-18
JP2019114949A (ja) 2019-07-11
EP3734964A1 (en) 2020-11-04
JP7157529B2 (ja) 2022-10-20
US20200314369A1 (en) 2020-10-01
CN111512627B (zh) 2023-03-24
US11284023B2 (en) 2022-03-22
CN111512627A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
WO2019131346A1 (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
US10771718B2 (en) Imaging device and imaging system
CN107920214B (zh) 固态成像设备、其驱动方法、成像系统和可移动物体
JP4571179B2 (ja) 撮像装置
US10638066B2 (en) Imaging apparatus
US10249678B2 (en) Imaging device, method of driving imaging device, and imaging system
US10397502B2 (en) Method and apparatus for imaging an object
JP7243805B2 (ja) 撮像素子、及び撮像装置
US11412163B2 (en) Imaging device, imaging system, and mobile apparatus having control signal lines supplying control signals to respective pixels
US10554913B2 (en) Solid-state imaging device, imaging system and movable object
JP2009296434A (ja) 画像撮像装置
US20190191121A1 (en) Image pickup device
JP2019193169A (ja) 撮像装置、撮像システム、および、移動体
JP7204480B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
US10965896B2 (en) Photoelectric conversion device, moving body, and signal processing device
JP2020096259A (ja) 光電変換装置および撮像システム
US11700467B2 (en) Photoelectric conversion device, photoelectric conversion system, and movable body
US11258967B2 (en) Imaging device and method of driving imaging device
JP2015108759A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US11025849B2 (en) Photoelectric conversion apparatus, signal processing circuit, image capturing system, and moving object
JP2020022142A (ja) 撮像装置
JP2015211400A (ja) 撮像装置およびその駆動方法
JP2015231157A (ja) 撮像装置及びその駆動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897584

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018897584

Country of ref document: EP

Effective date: 20200727