WO2023281724A1 - 撮像素子、撮像装置、監視装置、および撮像素子の制御方法 - Google Patents

撮像素子、撮像装置、監視装置、および撮像素子の制御方法 Download PDF

Info

Publication number
WO2023281724A1
WO2023281724A1 PCT/JP2021/025858 JP2021025858W WO2023281724A1 WO 2023281724 A1 WO2023281724 A1 WO 2023281724A1 JP 2021025858 W JP2021025858 W JP 2021025858W WO 2023281724 A1 WO2023281724 A1 WO 2023281724A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixel
imaging device
exposure
readout
Prior art date
Application number
PCT/JP2021/025858
Other languages
English (en)
French (fr)
Inventor
篤史 香取
智也 大西
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2021/025858 priority Critical patent/WO2023281724A1/ja
Publication of WO2023281724A1 publication Critical patent/WO2023281724A1/ja
Priority to US18/406,383 priority patent/US20240147094A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS

Definitions

  • the present invention relates to an image pickup device, an image pickup device, a monitoring device, and an image pickup device control method.
  • Japanese Unexamined Patent Application Publication No. 2002-200002 proposes an imaging apparatus that changes the operation settings of an imaging element based on the presence or absence of a moving subject in an image.
  • the imaging apparatus described in Patent Document 1 has a frame memory that stores captured pixel signals in time series, compares the images stored in the frame memory, and determines based on the presence or absence of a moving subject in the image.
  • the state determining unit determines the operation state of the pixel.
  • the imaging device determines the operation of the image sensor when acquiring images in subsequent frames based on the presence or absence of a moving subject in the image.
  • the imaging device of Patent Document 1 is provided with a large frame memory that stores multiple images obtained from the imaging device, and compares images between frames. Therefore, there is a problem of an increase in cost and an increase in power consumption due to the addition of a large frame memory.
  • the image determination is performed after acquiring one image from the imaging device, there is a problem that it is difficult to improve the responsiveness to the image.
  • an object of the present invention is to provide an imaging device that can easily and quickly acquire an image when an event occurs.
  • a first aspect of the present invention is An imaging device having a plurality of pixels, periodically resetting the accumulated charges of the plurality of pixels; In at least some of the plurality of pixels, performing a first readout process for reading out the accumulated charge by the first exposure; performing a first signal process based on the first pixel signal read out by the first readout process; According to the result of the first signal processing, a second readout process for reading out the accumulated charge by the second exposure, and a second signal process based on the second pixel signal read out by the second readout process. It is determined whether or not to The first readout process, the first signal process, and the second readout process are performed within one period of a periodically reset, It is an image sensor.
  • a second aspect of the present invention is a plurality of pixels each including a photoelectric conversion unit, a readout unit for reading charges accumulated in the photoelectric conversion unit, and a reset unit for resetting the photoelectric conversion unit; and pixel signals output from the plurality of pixels.
  • a control method for an imaging device comprising a signal processing unit that performs signal processing for periodically resetting the photoelectric conversion units in the plurality of pixels; a step of performing a first readout process for reading out the accumulated charges by the first exposure; performing a first signal process based on the first pixel signal read out by the first readout process; According to the result of the first signal processing, a second readout process for reading out the accumulated charge by the second exposure, and a second signal process based on the second pixel signal read out by the second readout process. a step of determining whether to including The first readout process, the first signal process, and the second readout process are performed within one period of a periodically reset, It is a control method of an image pick-up element.
  • FIG. 4 is a schematic diagram for explaining the processing flow of the imaging element according to the embodiment;
  • FIG. 4 is a schematic diagram for explaining processing timings of the imaging element according to the embodiment;
  • FIG. 3 is a schematic diagram illustrating in more detail the configuration of the imaging element according to the embodiment;
  • FIG. 3 is a schematic diagram illustrating in more detail the configuration of the imaging element according to the embodiment;
  • FIG. 3 is a schematic diagram illustrating in more detail the configuration of the imaging element according to the embodiment;
  • FIG. 3 is a schematic diagram illustrating in more detail the configuration of the imaging element according to the embodiment;
  • FIG. 4 is a schematic diagram for explaining processing timings of the imaging element according to the embodiment;
  • FIG. 10 is a schematic diagram for explaining the processing flow of the imaging element according to the second embodiment;
  • FIG. 11 is a schematic diagram for explaining an imaging device according to a third embodiment;
  • FIG. 11 is a schematic diagram for explaining processing timings of an image sensor according to the fourth embodiment;
  • FIG. 14 is a schematic diagram for explaining processing of an image sensor according to the fifth embodiment;
  • FIG. 11 is a schematic diagram for explaining an imaging device according to a sixth embodiment
  • FIG. 11 is a schematic diagram for explaining an imaging device according to a seventh embodiment
  • FIG. 12 is a schematic diagram for explaining an imaging device according to an eighth embodiment
  • FIG. 21 is a schematic diagram illustrating imaging devices according to ninth and tenth embodiments
  • FIG. 1A is a schematic diagram illustrating the configuration of an imaging element 100 included in an imaging apparatus according to one embodiment of the present invention.
  • the imaging device 100 includes a photoelectric conversion section 110 , a reset section 120 , a signal reading section 130 , a signal processing section 140 and a signal output section 150 .
  • the signal readout section 130 has an amplifier 131 and a pixel selection section 132 .
  • 200 is incident light
  • 201 is a charge signal
  • 202 is a photodetection signal
  • 203 is a signal-processed pixel output
  • 204 is an image output signal
  • 205 is a photodiode charge reset signal.
  • periodic charge reset processing of the photoelectric conversion unit 110 is performed.
  • the signal processing unit 140 performs first readout processing for reading accumulated charges by the first exposure and first signal processing based on the first pixel signals read out by the first readout processing. conduct.
  • the signal processing unit 140 further performs a second readout process for reading out accumulated charges by the second exposure according to the result of the first signal process, and a second pixel signal read out by the second readout process. It is determined whether or not to perform the second signal processing.
  • the first readout process, the first signal process, the second readout process, and the second signal process are performed within one cycle of the periodically performed reset process.
  • the photoelectric conversion unit 110 is composed of, for example, a photodiode.
  • a photodiode is capable of generating and accumulating charges according to the intensity and time of received light.
  • the light-receiving unit of a photodiode is called a pixel.
  • One pixel includes a photoelectric conversion unit 110 , a signal readout unit 130 that reads charges accumulated in the photoelectric conversion unit 110 , and a reset unit 120 that resets the photoelectric conversion unit 110 .
  • the imaging device 100 has a configuration in which a plurality of pixels are arranged one-dimensionally or two-dimensionally. The charge generated in the photoelectric conversion unit (photodiode) 110 is converted into a voltage signal in the signal readout unit 130, transferred, and output to the signal processing unit 140.
  • the signal readout section 130 includes an amplifier 131 that converts charge into voltage for each pixel. Further, the output from the amplifier 131 of each pixel is connected to the pixel selection section 132 and output. The signal readout section 130 is driven based on a control signal from a control circuit (not shown).
  • the signal processing unit 140 performs signal processing on pixel signals output from a plurality of pixels.
  • the signal processing unit 140 has, firstly, a function of detecting the occurrence of an event based on the signal from each pixel (first signal processing function), and secondly, processing the signal received from each pixel. It has a function of correcting and outputting a signal to the signal output unit 150 (second signal processing function). Detailed operations of the signal processing unit 140 will be described with reference to FIGS. 2 and 3. FIG.
  • the signal output unit 150 collectively outputs the signals from all the pixels received from the signal processing unit 140 to the outside.
  • an output signal containing information of all pixels is called an image signal, and a set of image signals is called a frame.
  • the image signal is used outside the imaging device 100 to correct, display, or record a captured image of one frame. At this time, rearrangement of signal positions and adjustment of brightness and color are generally performed outside the imaging device 100 .
  • This frequency fout is called a frame rate, which is an index representing how many sets of frame images are output per second.
  • fps frame per second
  • a specific value of the frame rate varies depending on the number of pixels of the image sensor, but is generally several fps to several hundred fps.
  • Accumulated charges in the photoelectric conversion unit 110 are read by the signal readout unit 130. If the accumulated charges are not surely removed after reading, unnecessary signals are mixed in the image signal, resulting in an image signal related to the next readout. The quality (image quality) of the image deteriorates. Therefore, the reset unit 120 removes the charge of the photoelectric conversion unit 110 (resets the charge of the photoelectric conversion unit 110). In order to prevent deterioration of image quality, it is desirable that the charge reset processing of the photoelectric conversion unit 110 be performed in all pixels in frame cycles before charge accumulation in the pixels.
  • FIG. 1A shows a configuration in which the imaging device 100 has only one pixel for the sake of simplicity of explanation
  • the imaging device 100 has a plurality of pixels and light from a plurality of pixels as shown in FIG. 1B.
  • a signal transfer unit 133 that transfers the detection signal may be provided.
  • the signal transfer unit 133 is means for reading and transferring the photodetection signal, and a transfer method using a CMOS sensor is used.
  • a plurality of pixels are arranged two-dimensionally, a signal transfer section 133 is arranged for each pixel in the row (horizontal) direction, and a pixel selection section 133 is arranged in the column (vertical) direction.
  • the signal transfer section 133 is used in a configuration in which the signal transfer unit 133 is shared.
  • the signal transfer section 133 is connected to the signal processing section 140 , and output signals from pixels selected by the pixel selection section 132 are transmitted to the signal processing section 140 via the signal transfer section 133 .
  • signals from the plurality of pixels can be sequentially extracted using the common signal transfer unit 133 .
  • FIGS. 4A and 4D A specific configuration example of the photoelectric conversion unit 110 and the signal readout unit 130 will be described with reference to FIGS. 4A and 4D.
  • a plurality of pixels 101 are actually provided for one transfer signal line 441 as shown in FIG. 4D.
  • FIG. 4D shows the configuration for one pixel column, and the imaging device 100 has the configuration for a plurality of columns shown in FIG. 4D. All transistors described in this specification are MOS transistors.
  • a photodiode 401 is used as the photoelectric conversion unit 110, and the terminal on the cathode side is connected to GND.
  • a reset transistor 431 is arranged between the positive power supply voltage VDD and the photodiode 401 .
  • a drive transistor 411 and a load transistor 412 are arranged in series between a positive power supply VDD and a negative power supply VSS.
  • a photodiode 401 is connected to the gate input GATE of the driving transistor 411 .
  • a positive power supply voltage VDD, a drive transistor 411, a load transistor 412, and a negative power supply VSS constitute a source follower amplifier 410.
  • the source follower amplifier 410 has a high input impedance and a low output impedance, and functions as a buffer amplifier that converts electric charges accumulated in the element on the input side into voltage and transmits the voltage to the circuit in the subsequent stage.
  • a selection transistor 420 is used as the pixel selection unit 132 and arranged between the drive transistor 411 and the load transistor 412 .
  • the source follower amplifier between the positive power supply VDD and the negative power supply VSS operates to generate VOUT.
  • the signal transfer section 133 is a transfer signal line 441 and is connected to the VOUT terminal of the source follower amplifier. As shown in FIG. 4D, the VOUT terminals of the pixels 101 that share the signal transfer section 133 are all connected to the same transfer signal line 441 . For a plurality of pixels connected to the same transfer signal line 441, only one pixel's selection transistor 420 is selected at a time.
  • the imaging device may have a plurality of pixel columns and transfer signal lines 441 shown in FIG. 4D.
  • the reset unit 120 is composed of a reset transistor 431 arranged between the positive power supply VDD and the photodiode 401 . By turning on the reset transistor 431 before starting exposure, the charge accumulated in the photodiode 401 can be removed.
  • FIG. 4B shows a configuration in which a diffusion capacitor FD402 and an FD transfer transistor 421 are added to the configuration shown in FIG. 4A.
  • the diffusion capacitor FD402 is arranged between the gate input GATE of the driving transistor 411 and the GND terminal.
  • the selection transistor 420 is inserted in the wiring portion between the cathode terminal of the photodiode 401 and the gate input GATE of the drive transistor 411 .
  • the FD transfer transistor 421 is normally turned off during exposure, and turned on at the end of exposure to transfer the charge accumulated in the photodiode 401 to the diffusion capacitor FD 402, thereby causing the drive transistor 411 to It can be converted into a voltage signal.
  • the reset transistor 431 is arranged between the positive power supply VDD and the gate input GATE of the drive transistor 411, unlike in FIG. 4A. Therefore, by turning on the reset transistor 431, the charge accumulated in the photodiode 401 and the charge accumulated in the diffusion capacitor FD402 can be reset.
  • FIG. 4C is a configuration example of a pixel having a global electronic shutter (GS) function capable of batch transfer of all pixels.
  • This configuration is a configuration in which one holding capacitor section 403 and two transistors (a second reset transistor 432 and a GS transfer transistor 422) are added to the configuration of FIG. 4B.
  • the position of the reset transistor 431 is changed between FIGS. 4C and 4B.
  • the GS transfer transistor 422 transfers the charge accumulated in the photodiode 401 to the holding capacitor section 403 when turned on.
  • the FD transfer transistor 421 transfers the charge of the holding capacitor section 403 to the FD capacitor section 402 when it is in the ON state.
  • the reset transistor 431 the charge accumulated in the photodiode 401 can be reset.
  • the processing in FIG. 2 starts by accepting an imaging instruction in step 300.
  • the reset unit 120 is driven to reset the charges accumulated in the photoelectric conversion unit 110 .
  • the photodiode 110 whose accumulated charges have been reset starts receiving light and starts accumulating charges.
  • the pixel signal readout process of step 320 is performed.
  • step 320 the signal readout section 130 reads out the first pixel signal corresponding to the accumulated charge of the pixel (first readout process).
  • the period from the start of light reception to the readout of pixel signals is called an exposure period. Note that as soon as the readout of the pixel output in step 320 is completed, the pixel begins to receive light again. That is, in the present embodiment, the exposure is temporarily stopped for a very short time by the first readout process, but the exposure is continued during the period of the first signal process, which will be described later. As a result, the image information to be acquired is not fragmented by the first signal processing, and image information with higher real-time characteristics can be acquired.
  • the signal processing unit 140 detects whether an event has occurred based on the pixel output signals read at the same time at step 320 (first signal processing).
  • the signal processing unit 140 determines that an event has occurred when the moving subject in the image satisfies a predetermined condition.
  • the predetermined condition include conditions such as a moving subject abruptly stopping, a still subject suddenly starting to move, and a subject moving differently than is permitted or expected.
  • the signal processing unit 140 branches the processing depending on whether or not the occurrence of an event has been detected.
  • step 350 a second pixel signal corresponding to the accumulated charge of the pixel is read out by the signal readout section 130 after a predetermined second time T2 has elapsed from step 320 (second readout). In this second readout period, the signal exposed (accumulated) during the time period T2 from the first readout timing to the second readout timing is extracted.
  • the signal processing unit 140 corrects the second pixel signal (second signal processing).
  • the signal processor 140 outputs the corrected frame image.
  • step 371 the second reading by the signal reading section 130 and the second signal processing by the signal processing section 140 are not performed. Furthermore, an invalid frame image is generated by an invalid frame image generator 151 of the signal output unit 150 and output to the outside.
  • the "invalid frame image” may be any information that is different from the second signal obtained assuming that the second readout is performed, and is most simply meaningless data. Examples of meaningless data include an image in which all pixel values are filled with 0 values or other specific values, an image having a specific pattern, and the like.
  • a form of outputting an invalid frame image a form of outputting an entire image with a long update time (frames dropped) or a form of outputting a rough image obtained by the first readout can be adopted. .
  • step 380 it is determined whether or not the next frame is to be photographed, and if the next frame is to be photographed, the process returns to step 310, and if the next frame is not to be photographed, the photographing is terminated (390).
  • the reset processing (step 310) of the charge accumulated in the photoelectric conversion unit 110 by the reset unit 120 is set for each pixel at a predetermined cycle, and the frequency matches the frame rate.
  • the frequency at which the image signal is output from the signal output section 150 (steps 370 and 371) is also set to match the frame rate.
  • the reset cycle is the same for each pixel, the reset timing may be the same for all pixels, or may be different for each pixel or pixel row.
  • the exposure and readout operations are collectively referred to as imaging
  • the first exposure and first readout are collectively referred to as first imaging
  • the second exposure and second readout are collectively referred to as second readout.
  • imaging is called imaging.
  • the first imaging can be called imaging (exposure and readout) for acquiring pixel information for event detection
  • the second imaging is imaging (exposure and readout) for acquiring pixel information for generating an output image. and read).
  • a group of pixel data obtained by the first imaging is called first sub-frame pixel data
  • a group of pixel data obtained by the second imaging is called second sub-frame pixel data.
  • the operation timing of the imaging element 100 according to this embodiment will be described using FIG. To simplify the explanation, the timing chart will be explained with respect to one pixel.
  • a photodiode charge reset signal 205 is generated as shown in FIG.
  • the photodiode charge reset signal 205 is a signal that repeats at a constant cycle, and as described above, resets all pixels periodically at the same cycle as the frame cycle.
  • first imaging (first exposure and first readout) is performed in each pixel.
  • the photoelectric conversion unit 110 of the reset pixel receives light and starts accumulating charges (start of the exposure period). This exposure period continues until the next first readout signal occurs.
  • the signal readout section 130 reads out the accumulated charges from the photoelectric conversion section 110 .
  • the read signal is called a first pixel signal.
  • the details of the operation at this time differ depending on which of the configurations of the imaging element 100 is shown in FIGS. 4A to 4C, but there is no change in the fact that the charge signal is finally output as a voltage signal.
  • the signal processing unit 140 performs event detection signal processing (first signal processing) on the first pixel signals read out in the first readout processing. Simultaneously with the start of this signal processing, as shown in (f) of FIG. 3, the photoelectric conversion unit 110 starts the second exposure period and generates the second readout signal ((g) of FIG. 3). The exposure period lasts until .
  • FIG. 3 shows the result of the first signal processing, and a signal is output according to whether an event has been detected (340-YES or 340-NO).
  • a high level signal is output when an event is detected, and a low level signal is output when no event is detected.
  • the signal processing unit 140 performs a second readout process for reading out accumulated charges related to the second exposure, and a second readout process based on the second pixel signal read out by the second readout process. It is determined whether or not to perform the signal processing of 2. Specifically, when the occurrence of a predetermined event is detected in the first signal processing (340-YES), the signal processing unit 140 determines to perform the second reading processing and the second signal processing. . On the other hand, if the occurrence of the predetermined event is not detected in the first signal processing (340-NO), the signal processing section 140 determines not to perform the second reading processing and the second signal processing.
  • the invalid frame image generation unit 151 included in the signal output unit 150 When the second reading process and the second signal processing are not performed, the invalid frame image generation unit 151 included in the signal output unit 150 generates an invalid image signal, and outputs the invalid frame image from the signal output unit 150.
  • a signal (DUM DATA in FIG. 3(i)) is output.
  • the signal readout section 130 when the occurrence of the predetermined event is detected (340-YES), when the second readout signal is input to the signal readout section 130, the signal readout section 130 accumulates A second readout process is performed to read out the charges stored in the photoelectric conversion unit 110 .
  • the read signal is called a second pixel signal.
  • the signal processing unit 140 performs correction (adjustment) processing (second signal processing) to make the second pixel signals suitable as an image.
  • the second signal processing is processing for generating an image signal for output from the imaging element 100 based on the second pixel signal.
  • the adjusted image signal is output from the signal output section 150 to the outside as one image output (OUT DATA section in (h) of FIG. 3).
  • the period T in which the image signal is output matches the period T of the reset signal.
  • the reset signal can be generated even during the second signal processing or image output. As a result, it is possible to reduce wasted time and shorten the cycle T for outputting images.
  • examples of predetermined events detected by the signal processing unit 140 include the start of movement of a still subject and the sudden stoppage of a moving subject.
  • An imaging device that detects the detection of a moving subject as an event can be used for monitoring suspicious persons or intruders. That is, only when a moving subject such as a suspicious person or an intruder is detected by the first readout process and the first signal process (event detection process), the second readout process and the second signal process are performed to detect the moving subject. It is possible to output the image of the moment when it is done.
  • an imaging device that detects a sudden stop of a moving subject as an event can be used for traffic monitoring purposes. That is, for example, it is possible to detect a state in which the vehicle suddenly stops due to a traffic accident, and output an image at the moment of detection.
  • Event occurrence can be detected, for example, by storing pixel data acquired a little before (predetermined frames) and easily detecting it based on a change between newly acquired pixel data.
  • the event detection function of the present embodiment is not limited to the functions and methods described above, and other functions and methods can be adopted as long as the detection is based on information obtained by photographing. According to this embodiment, regardless of the specific content of the event detection function, an event can be automatically detected only by the imaging device 100, and an image at the moment the event occurred can be output in a timely manner. Moreover, it is also possible to detect the occurrence of an event and output an image only at that moment.
  • the second readout process and the second signal process may be continuously performed for a predetermined frame period to output an image.
  • the image output for a predetermined frame period, it is possible to continue photographing the situation after the occurrence of the event.
  • the reset performed during one frame period is only one time for simultaneously resetting all pixels.
  • the present invention is not limited to such a form, and may be configured such that the sub-reset is performed once or multiple times from the completion of the first readout to the start of exposure.
  • the driving of the reset unit 120 performed before starting the first exposure is called reset (or main reset), and the driving of the reset unit 120 performed before starting the second exposure is called This is called a sub-reset, and both are regarded as distinctly separated operations or processes.
  • the reset cycle is the same for all pixels, the reset timing may be the same for all pixels (global shutter method) or may be different for each pixel row (rolling shutter method). .
  • the first signal is read out from the signal readout unit 130 and the first signal processing is performed in the signal processing unit 140 at intervals of performing the periodic charge reset processing of the photoelectric conversion unit 110. . Then, based on the result of the first signal processing, it is determined whether or not to perform the second signal readout. Therefore, according to this embodiment, it is possible to provide an imaging device capable of acquiring an image without delay when an event occurs without performing signal processing or image transfer with a high external load.
  • the first readout process, the first signal process, the second readout process, and the second signal process are performed within one cycle of the periodic reset. is not limited to For example, the first readout process, the first signal process, and the second readout process may be performed within one cycle of the reset, and the second signal processing may be performed in the next cycle or the next cycle. .
  • the signal processing unit 140 receives the event detection result (340-YES, 340-NO) of the signal processing (first signal processing), and performs the second reading and the second signal processing.
  • a configuration in which no processing is performed has been described.
  • the present invention is not limited to this. Even at the time of 340-NO determination, if the configuration for performing the second reading or the configuration for performing the second signal processing is adopted, unnecessary power consumption occurs. configuration may be adopted. In this case, since the signal output section 150 has the invalid frame image generation section 151, the same operation as in the present invention can be performed.
  • 501 is a reset signal (main)
  • 502 is the first exposure period
  • 503 is the second exposure period.
  • Tread1 is the first readout period
  • Tcal1 represents the period required for the first signal processing.
  • the signal transfer unit 133 is directly connected to the signal processing unit 140, but as shown in FIG. 1C, a digital signal conversion unit 134 is provided between the signal transfer unit 133 and the signal processing unit 140. It can also be configured.
  • the digital signal converter 134 can convert the analog output signal from the amplifier 131 of each pixel into the digital signal 207 . As a result, the digital signal can be directly input to the signal processing unit 140, and signal processing using the digital signal can be easily performed.
  • the signal processing unit 140 and the signal output unit 150 are provided inside the imaging device 100 in this embodiment, the signal processing unit 140 and the signal output unit 150 may be provided outside the imaging device 100 .
  • the signal readout unit 130 of each pixel includes a digital signal conversion unit 134 that digitizes the output signal of the amplifier 131, and transmits the digital signal 207 to the signal transfer unit 133. can take
  • an amplifier 135 is arranged between the signal transfer unit 133 and the signal processing unit 140 to amplify the pixel signal and transmit it as a signal 208, thereby improving the SN. can be used as well.
  • the second embodiment differs from the first embodiment in that the pixel signals (image information) obtained by the first imaging are also used to output an image from the signal output unit 150. 1 embodiment. Differences from the first embodiment will be mainly described below.
  • FIG. 6 is a flowchart for explaining the operation of this embodiment.
  • the operation of this embodiment is similar to the operation of the first embodiment (FIG. 2), except that the content of step 360 is changed.
  • a dotted line 321 indicates the flow of pixel signals obtained by the first imaging
  • a dotted line 322 indicates the flow of pixel signals obtained by the second imaging.
  • step 365 in the pixel signal adjustment process (step 365) after the second readout process (step 350), in addition to the pixel signal 322 at the time of the second imaging, An image is output from the signal output unit 150 using the pixel signal at the time.
  • the signal processing unit 140 in step 365, the signal processing unit 140 generates a to generate a frame image.
  • a frame image is generated by synthesizing the pixel signal 321 and the pixel signal 322, for example.
  • the signal processing section 140 outputs the generated frame image.
  • the pixel signals obtained by the first readout used for event detection are also used for frame image generation, so even if event detection is performed, the total exposure time for shooting hardly decreases. Therefore, according to this embodiment, the effect of the first embodiment can be obtained, and a frame image with higher image quality can be output.
  • the third embodiment differs from the first embodiment in that the first readout is performed only for some pixels, and the rest is the same as the first embodiment. Note that this embodiment may be implemented in combination with the second embodiment.
  • the plurality of pixels 600 are divided into a first pixel group and a second pixel group, and the first imaging is performed only with the first pixel group.
  • pixels belonging to the first pixel group are also referred to as first pixels
  • pixels belonging to the second pixel group are also referred to as second pixels.
  • FIG. 7A is a schematic diagram for explaining a configuration example of a pixel according to this embodiment.
  • a first pixel group 601 and a second pixel group 602 are arranged in units of rows (horizontal direction). That is, the first pixels and the second pixels are arranged in alternate rows, and the first pixels and the second pixels are arranged alternately when viewed in the column direction.
  • the operation of this embodiment is basically the same as that of the first embodiment (Fig. 2).
  • the first readout process of step 320 only the pixels belonging to the first pixel group 601 are targeted, and the pixels belonging to the second pixel group 602 are not read out.
  • the event occurrence detection process of step 330 is performed based on pixel signals obtained from the first pixel group 601 .
  • the processing after step 350 after the event occurrence is detected targets both the first pixel group 601 and the second pixel group 602 .
  • the present embodiment not all pixel signals are read for event detection, but only some pixels are thinned out and read, so that the transfer time of pixel signals can be shortened. Therefore, it is possible to minimize the reduction in the exposure time during the second imaging that accompanies the implementation of event detection. In addition, since the number of pixels used in event detection processing (first signal processing) is limited, the load of signal processing can be minimized, and miniaturization and power consumption can be reduced.
  • the number of pixels belonging to the first pixel group 601 is preferably less than the number of pixels belonging to the second pixel group 602 .
  • the ratio of the number of pixels belonging to the first pixel group 601 to the total number of pixels is desirably about several ten percent to several percent.
  • control line for performing the first imaging and the second imaging with respect to the first pixel can minimize the number of control lines for
  • the image sensor according to the present embodiment performs the first readout process and the first signal process only in the first pixel group, thereby reducing the load of signal processing and transfer processing. Events can be detected efficiently.
  • FIG. 7A shows a configuration in which the pixels of the first pixel group 601 can be arranged in dots.
  • FIG. 7B shows a configuration in which the first pixels are arranged separately one by one in a dot shape, but a configuration in which a plurality of first pixels are collectively arranged in a tile shape may be employed.
  • the first pixels do not need to be arranged in a grid pattern, and may be arranged at arbitrary positions.
  • FIG. 7C shows a configuration in which the first pixels are tiled and spaced aperiodically.
  • the pixel arrangement that can be adopted in this embodiment is not limited to the above examples, and may be arbitrary.
  • the fourth embodiment differs from the third embodiment in the second readout process for the second pixel group, and the rest is the same as the third embodiment. Differences from the third embodiment will be mainly described below.
  • the imaging device includes a first pixel group and a second pixel group, as in the third embodiment. Then, in the present embodiment, while the pixels included in the first pixel group are performing the first imaging, the pixels included in the second pixel group start exposure in the second imaging.
  • the operation timing of the second pixel group will be explained using FIG. Note that the operation timings of the pixels belonging to the first pixel group are the same as those described with reference to FIG. 3, so description thereof will be omitted.
  • the operation of the second pixel group differs from the operation of the first pixel group (FIG. 3) in that, as shown in (b) to (d) of FIG. In contrast, there is no first exposure period, first readout, and first signal processing.
  • the start timing of the first exposure of the first pixel group and the start timing of the second exposure of the second pixel group are the same, and the exposure period of the first exposure of the first pixel group and the exposure period of the second exposure of the second pixel group temporally overlap. Even if the exposure start timings are not matched, the effect of the present embodiment can be obtained by overlapping the exposure periods and lengthening the exposure period of the second exposure of the second pixel group in the third embodiment as well. .
  • the pixels belonging to the second pixel group use the long period from after the reset signal for accumulated charges to the second readout signal as the exposure period. can be done. As a result, even if an event is detected for the second pixel group, there is no need to shorten the exposure time at the time of imaging. no longer be affected.
  • the image pickup device can detect an event in real time while suppressing deterioration of the image quality of the obtained image.
  • the fifth embodiment differs from the fourth embodiment in the content of frame image generation processing, and the rest is the same as the fourth embodiment. Differences from the fourth embodiment will be mainly described below.
  • the pixel signal obtained from the first pixel at the time of the second imaging and the pixel signal obtained from the second pixel at the time of the second imaging are synthesized based on the ratio of the length of the exposure period. (correction) to generate pixel output data.
  • FIG. 9A This embodiment will be described using FIG. 9A.
  • the pixels included in the first pixel group are performing the first imaging
  • the pixels included in the second pixel group are captured in the second imaging. Start exposure. Therefore, as shown in FIG. 9A, the time length T1 of the exposure period of the pixels included in the first pixel group during the second imaging and the exposure period of the pixels included in the second pixel group during the second imaging
  • the length of time length T2 of the period is different.
  • the pixels included in the first pixel group additionally undergo the first imaging and the first signal processing compared to the pixels included in the first pixel group. shorter exposure time. Therefore, if the obtained pixel signals are converted into a frame image as they are, the pixels included in the first image group become darker than the pixels included in the second pixel group.
  • the signal processing unit 140 in this embodiment performs the following processing as second signal processing.
  • the signal processing unit 140 first adjusts each pixel value of the second pixel signal of the first pixel group by multiplying the ratio between the second pixel group and the second exposure time of the first pixel group. do. Then, the signal processing unit 140 generates an image signal for output based on the second pixel signal of the first pixel group after adjustment and the second pixel signal of the second pixel group.
  • FIG. 9B is a diagram for explaining frame image generation processing by the signal processing unit 140 in this embodiment.
  • the signal processing unit 140 has a correction unit 141 that increases the pixel value by applying a predetermined gain to the second pixel signal 221 obtained by the second imaging of the first pixel.
  • the predetermined gain is the ratio (T2/ T1).
  • T2/ T1 the ratio
  • the signal processing unit 140 synthesizes the pixel signal 231 after correction by the correction unit 141 and the pixel signal 222 obtained by the second imaging of the second pixel, and outputs the frame image 203 .
  • the brightness of the first pixel and the second pixel can be made substantially uniform, and the change in brightness of the frame image can be minimized.
  • the noise increases by applying the gain to the pixel signal of the first pixel, the number of the first pixels can be made smaller than the number of the second pixels. Accompanied image quality deterioration can be suppressed to a minimum.
  • the image pickup device can perform immediate event detection by minimizing changes in the brightness of the image quality of the acquired image.
  • the sixth embodiment differs from the fourth embodiment in that the pixel signals of the first pixels in the first imaging used for event detection are also used for frame image generation. It is the same as the fourth embodiment. Note that this embodiment may be implemented in combination with the fifth embodiment.
  • FIG. 10 is a schematic diagram for explaining the signal processing unit 140 of this embodiment.
  • the signal processing unit 140 generates the frame image 203 using the first pixel signal 220 and the second pixel signal 221 of the first pixel group and the second pixel signal 222 of the second pixel group.
  • the first pixel signal 220 obtained by the first imaging of the first pixel is temporarily stored in the internal memory of the signal processing unit 140 after being used for event detection. After that, the first pixel signal 220 is summed by the adder 142 with the second pixel signal 221 of the first pixel at the time of the second imaging.
  • a signal after the addition is called a pixel signal 232 .
  • the signal processing unit 140 generates the frame image 203 by adding the pixel signal 232 to the pixel signal 222 of the second pixel at the time of the second imaging.
  • the exposure time of the pixel signal used for frame image generation for the first pixel is the first exposure time T0 ((b) of FIG. 3) and the second exposure time T1 (FIG. 3B). (e)) is added together.
  • the total exposure time is substantially the same as the exposure period T2 ((e) in FIG. 8) of the second pixel during the second imaging. Therefore, the difference in brightness between the first pixel and the second pixel can be suppressed, and a high-quality frame image can be generated.
  • the SN ratio signal to ratio
  • the imaging device can perform immediate event detection while minimizing deterioration in the image quality of the acquired image.
  • the pixel signal 232 and the pixel signal 222 are simply added, but the present invention is not limited to this. If there is no problem in practical use, the above configuration may be used, or if a pixel with higher image quality is desired, a configuration combined with the configuration of the fifth embodiment may be employed.
  • the signal processing unit 140 converts a pixel signal 232, which is a sum of the pixel signal 220 and the pixel signal 221, into the sum of the first exposure time and the second exposure time (T0+T1) of the first pixel and the second exposure time. may be increased by the ratio of the second exposure time (T2) of the pixels. As a result, the difference in exposure time corresponding to the first readout time for event detection can be corrected, and a higher quality frame image can be output.
  • the seventh embodiment differs from the first embodiment in that the first imaging (exposure and readout) is repeated multiple times within one cycle, and the rest is the same as the first embodiment. is. Note that this embodiment may be implemented in combination with any of the second to sixth embodiments.
  • FIG. 11 is a diagram for explaining the operation of the imaging element in this embodiment.
  • the first exposure and the first readout process are repeated multiple times during the first imaging period within one cycle.
  • exposure and readout are performed three times during the first imaging period, but the number of times is not particularly limited as long as it is two or more times.
  • event detection processing first signal processing
  • the signal processing unit 140 can grasp high-speed movement within one frame, and can detect events more accurately.
  • the image pickup device can more accurately detect an event without externally performing signal processing or image transfer with a high load, and can acquire an image without delay when an event occurs.
  • An imaging device can be provided.
  • the eighth embodiment differs from the first to seventh embodiments in that the imaging device is configured as a stacked sensor, and the rest is the same as the first to seventh embodiments.
  • the imaging device according to the present embodiment is configured as a stacked type sensor in which a substrate (first substrate) having photoelectric conversion elements and a digital substrate (second substrate) are stacked in the substrate thickness direction.
  • FIG. 12 is a diagram for explaining the configuration of the imaging element according to this embodiment.
  • the imaging device according to this embodiment has a configuration in which a substrate 651 having a photoelectric conversion unit 110 and a digital substrate 652 are stacked in the substrate thickness direction and connected by a substrate bonding member 653 .
  • a substrate 651 having photoelectric conversion elements is mounted with circuits close to pixels, such as the photoelectric conversion unit 110, the signal readout unit 130, the pixel selection unit 132, and the signal transfer unit 133.
  • the digital board 652 is mounted with the digital signal converter 134, the signal processor 140, a memory, and the like.
  • the substrate bonding member 653 can be easily realized by using a general semiconductor manufacturing process such as solder bumps or direct bonding between substrates.
  • the ninth embodiment is an imaging apparatus using any one of the imaging elements described in the first to eighth embodiments.
  • FIG. 13A is a schematic diagram for explaining the imaging device 701 of this embodiment.
  • An imaging device 701 includes the imaging device 100 according to any one of the first to eighth embodiments and a recording device 702 .
  • the imaging device 100 outputs an image output 204 to the recording device 702 .
  • the image output 204 is a valid frame image when an event has occurred, and an invalid frame image when no event has occurred.
  • the recording device 702 records when a valid frame image is input, and does not record when an invalid frame image is input.
  • the imaging device 701 By configuring the imaging device 701 using the imaging element 100 in this way, it is possible to automatically record the moment when the event occurs while monitoring the event of the subject.
  • the mode of recording only the moment an event occurs has been described, but it can also be used in the same manner as recording for a certain period of time after the event occurs.
  • the imaging device 701 may have a function of transmitting the image to the outside via a network or the like.
  • the tenth embodiment is a monitoring device using any one of the imaging elements described in the first to eighth embodiments.
  • FIG. 13B is a schematic diagram for explaining the monitoring device 800 of this embodiment.
  • a monitoring device 800 includes the imaging device 100 according to any one of the first to eighth embodiments and an event notification section 802 .
  • the imaging device 100 outputs the image output 204 to the event notification section 802 .
  • the image output 204 is a valid frame image when an event has occurred, and an invalid frame image when no event has occurred.
  • the event notification unit 802 notifies that an event has occurred when a valid frame image is input, and does not notify when an invalid frame image is input.
  • a specific mode of notification is not particularly limited.
  • the event notification unit 802 may notify an external device of the occurrence of an event through communication, or may generate sound or light to notify surrounding people of the occurrence of an event.
  • the monitoring device 800 can be installed to photograph a place such as an intersection, and can be configured to detect the occurrence of a traffic accident as an event.
  • the monitoring device 800 can be configured to automatically notify the police and report the situation to the traffic information center when an occurrence of a traffic accident is detected.
  • Monitoring device 800 may also deliver images directly to cars in the vicinity. As a result, the driver can judge the site situation by himself/herself based on the image, and can take actions to avoid danger and avoid traffic jams.
  • the monitoring device 800 can also be used for a danger prevention system at intersections with poor visibility.
  • the monitoring device 800 is configured to detect the approach of a car or a pedestrian as an event, and alerts the surroundings of the approach.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC
  • image sensor 110 photoelectric conversion unit 120: reset unit 130: signal readout unit 140: signal processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

複数の画素を有する撮像素子であって、前記複数の画素の蓄積電荷のリセットが周期的に行われ、前記複数の画素の少なくとも一部の画素において、第１の露光による蓄積電荷を読み出す第１の読み出し処理を行い、前記第１の読み出し処理により読み出される第１の画素信号に基づく第１の信号処理を行い、前記第１の信号処理の結果に応じて、第２の露光による蓄積電荷を読み出す第２の読み出し処理、および、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を、行うか否かが判定され、前記第１の読み出し処理、前記第１の信号処理、および前記第２の読み出し処理は、周期的に行われるリセットの１周期内に行われる、撮像素子。

Description

撮像素子、撮像装置、監視装置、および撮像素子の制御方法
　本発明は、撮像素子、撮像装置、監視装置、および撮像素子の制御方法に関する。
　撮像素子で撮影した画像から動被写体を検出して、撮像素子の動作を変化させる撮像装置が提案されている。特許文献１は、画像内の動被写体の有無に基づいて撮像素子の動作設定を変更する撮像装置を提案する。特許文献１に記載の撮像装置は、撮像された画素信号を時系列に記憶するフレームメモリを有しており、フレームメモリに記憶された画像の比較を行い、画像内の動被写体の有無に基づいて、画素の動作状態を状態判定部で判定させる構成を有する。当該撮像装置は、画像内の動被写体の有無に基づいて、次フレーム以降の画像取得時のイメージセンサの動作を決定する。
　特許文献１の撮像装置は、動被写体を検出するために、撮像素子から得られた画像を複数枚記憶する大きなフレームメモリを設け、フレーム間の画像を比較している。したがって、大きなフレームメモリの追加によるコスト増加、および消費電力の増加という課題がある。また、撮像素子からの画像を１枚取得してから、画像判定を行っているので、画像に対する応答性を上げることが難しいという課題がある。
国際公開第２０１８／０２１０３４号明細書
　上記の課題を鑑みて、本発明は、イベントが発生したときの画像を簡易かつ迅速に取得可能な撮像装置を提供することを目的とする。
　本発明の第一の態様は、
　複数の画素を有する撮像素子であって、
　前記複数の画素の蓄積電荷のリセットが周期的に行われ、
　前記複数の画素の少なくとも一部の画素において、
　　第１の露光による蓄積電荷を読み出す第１の読み出し処理を行い、
　　前記第１の読み出し処理により読み出される第１の画素信号に基づく第１の信号処理を行い、
　　前記第１の信号処理の結果に応じて、第２の露光による蓄積電荷を読み出す第２の読み出し処理、および、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を行うか否かが判定され、
　　前記第１の読み出し処理、前記第１の信号処理、および前記第２の読み出し処理は、周期的に行われるリセットの１周期内に行われる、
　撮像素子である。
　本発明の第二の態様は、
　光電変換部と、前記光電変換部に蓄積された電荷を読み出す読出し部と、前記光電変換部をリセットするリセット部と、をそれぞれ含む複数の画素と、前記複数の画素から出力される画素信号に対して信号処理を行う信号処理部と、を備える撮像素子の制御方法であって、
　前記複数の画素において、前記光電変換部のリセットを周期的に行うステップと、
　第１の露光による蓄積電荷を読み出す第１の読み出し処理を行うステップと、
　前記第１の読み出し処理により読み出される第１の画素信号に基づく第１の信号処理を行うステップと、
　前記第１の信号処理の結果に応じて、第２の露光による蓄積電荷を読み出す第２の読み出し処理、および、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を行うか否かを判定するステップと、
　を含み、
　前記第１の読み出し処理、前記第１の信号処理、および前記第２の読み出し処理は、周期的に行われるリセットの１周期内に行われる、
　撮像素子の制御方法である。
　本発明によれば、イベントが発生したときの画像を簡易かつ迅速に取得できる。
実施形態に係る撮像素子の構成を説明する模式図である。 実施形態に係る撮像素子の構成を説明する模式図である。 実施形態に係る撮像素子の構成を説明する模式図である。 実施形態に係る撮像素子の構成を説明する模式図である。 実施形態に係る撮像素子の構成を説明する模式図である。 実施形態に係る撮像素子の処理フローを説明する模式図である。 実施形態に係る撮像素子の処理タイミングを説明する模式図である。 実施形態に係る撮像素子の構成をより詳細に説明する模式図である。 実施形態に係る撮像素子の構成をより詳細に説明する模式図である。 実施形態に係る撮像素子の構成をより詳細に説明する模式図である。 実施形態に係る撮像素子の構成をより詳細に説明する模式図である。 実施形態に係る撮像素子の処理タイミングを説明する模式図である。 第２の実施形態に係る撮像素子の処理フローを説明する模式図である。 第３の実施形態に係る撮像素子を説明する模式図である。 第４の実施形態に係る撮像素子の処理タイミングを説明する模式図である。 第５の実施形態に係る撮像素子の処理を説明する模式図である。 第６の実施形態に係る撮像素子を説明する模式図である。 第７の実施形態に係る撮像素子を説明する模式図である。 第８の実施形態に係る撮像素子を説明する模式図である。 第９および第１０の実施形態に係る撮像装置を説明する模式図である。
　以下、図面を用いて、本発明の実施形態について説明する。ただし、本発明は、これらの実施形態に限定されず、その要旨の範囲内での種々の変形、変更が可能である。
（第１の実施形態）
　図１Ａは、本発明の一実施形態にかかる撮像装置が備える撮像素子１００の構成を説明する模式図である。撮像素子１００は、光電変換部１１０、リセット部１２０、信号読出し部１３０、信号処理部１４０、信号出力部１５０を備える。信号読出し部１３０は、アンプ１３１および画素選択部１３２を有する。図１Ａにおいて、２００は入射光、２０１は電荷信号、２０２は光検出信号、２０３は信号処理済み画素出力、２０４は画像出力信号、２０５はフォトダイオード電荷リセット信号である。
　本実施形態では、光電変換部１１０の周期的な電荷リセット処理を行う。そして１周期の間に、信号処理部１４０は、第１の露光による蓄積電荷を読み出す第１の読み出し処理と、第１の読み出し処理により読み出される第１の画素信号に基づく第１の信号処理を行う。信号処理部１４０は、さらに、第１の信号処理の結果に応じて、第２の露光による蓄積電荷を読み出す第２の読み出し処理と、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を行うか否かを判定する。第１の読み出し処理、第１の信号処理、第２の読み出し処理および第２の信号処理は、周期的に行われるリセット処理の１周期内に行われる。
　図１Ａにおいて、光電変換部１１０は、例えば、フォトダイオードにより構成されている。フォトダイオードは、受光した光の強さや時間に応じて電荷を発生して、電荷を蓄積することができる。本明細書中では、フォトダイオードの受光単位を画素と呼ぶ。１つの画素は、光電変換部１１０、光電変換部１１０に蓄積された電荷を読み出す信号読出し部１３０、および光電変換部１１０をリセットするリセット部１２０をそれぞれ含む。撮像素子１００は、複数の画素が一次元または二次元状に並んでいる構成を有する。光電変換部（フォトダイオード）１１０で発生した電荷は、信号読出し部１３０内で電圧信号に変換、転送されて、信号処理部１４０に出力される。
　信号読出し部１３０は、１画素毎に電荷を電圧に変換するアンプ１３１をそれぞれ備えている。また、各画素のアンプ１３１からの出力は、画素選択部１３２に接続され出力される。信号読出し部１３０は、制御回路（不図示）からの制御信号に基づいて駆動される。
　信号処理部１４０は、複数の画素から出力される画素信号に対して信号処理を行う。信号処理部１４０は、第１に、各画素からの信号を基にしてイベント発生の検出を行う機能（第１の信号処理機能）と、第２に、各画素からの信号を受け取った信号を補正して、信号出力部１５０に信号出力する機能（第２の信号処理機能）を有している。信号処理部１４０の詳細な動作については、図２と図３を用いて説明する。
　信号出力部１５０は、信号処理部１４０から受け取ったすべての画素からの信号を一括して、外部に出力する。本明細書中では、この全画素の情報が含まれた出力信号を画像信号と呼び、１組の画像信号をフレームと呼ぶ。画像信号は、撮像素子１００の外部において、撮像した１フレーム分の画像を修正したり、表示させたり、記録させたりするために使用される。この際に、撮像素子１００の外部では、一般的に、信号位置の並べ替えや、明るさや色味の調整を行われる。
　また、信号出力部１５０は、フレーム毎の画像出力信号を、通常一定の周波数ｆｏｕｔ（＝１／周期Ｔ）で繰り返して出力する。この周波数ｆｏｕｔを、フレームレートと呼び、１秒間に何組のフレーム画像が出力されるかを表す指標である。フレームレートの単位としてはｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）が使用される。フレームレートの具体的な値は、撮像素子の有する画素数などにより異なるが、数ｆｐｓから数百ｆｐｓが一般的である。
　光電変換部１１０の蓄積電荷は信号読出し部１３０で読み取られるが、読み取り後に、蓄積電荷を確実に除去しておかないと、画像信号に余計な信号が混入してしまい次の読み出しに係る画像信号の質（画質）が劣化してしまう。そのため、リセット部１２０により、光電変換部１１０が有する電荷の除去（光電変換部１１０の電荷のリセット）を行う。この光電変換部１１０の電荷リセット処理は、画質の劣化を防ぐために、画素への電荷蓄積を行う前にフレーム周期ですべての画素で実施されることが望ましい。
　図１Ａでは、説明を簡単にするため、撮像素子１００が１つの画素のみを有する構成を示しているが、撮像素子１００は、図１Ｂに示すように、複数の画素、および複数の画素の光検出信号を転送する信号転送部１３３を備えてもよい。信号転送部１３３は、光検出信号を読出して転送する手段であり、ＣＭＯＳセンサでの転送方式が用いられる。具体的には、撮像素子１００には、複数の画素が二次元に配置され、行（横）方向に信号転送部１３３が画素毎に配置されており、列（縦）方向に、画素選択部１３２により信号転送部１３３が共通化されている構成で用いられる。信号転送部１３３は信号処理部１４０に接続されており、画素選択部１３２で選択された画素からの出力信号が、信号転送部１３３を経由して、信号処理部１４０に伝達される。時系列に沿って、複数の画素を順次選択することで、共通の信号転送部１３３を用いて、複数の画素からの信号を順次取り出すことができる。
　図４Ａおよび図４Ｄを参照して、光電変換部１１０と信号読出し部１３０の具体的な構成例を説明する。図４Ａでは、簡単のために１つの画素１０１しか示していないが、実際には図４Ｄに示すように、１つの転送信号線４４１に対して複数の画素１０１が設けられる。また、図４Ｄは画素列１列分の構成を示しており、撮像素子１００は図４Ｄに示す構成を複数列分有する。なお、本明細書中で記載したトランジスタは、すべてＭＯＳトランジスタである。
　図４Ａでは、光電変換部１１０として、フォトダイオード４０１が用いられ、カソード側の端子がＧＮＤに接続されている。リセット部１２０として、正電源電圧ＶＤＤとフォトダイオード４０１の間に、リセットトランジスタ４３１が配置されている。電荷－電圧変換アンプ１３１として、正電源ＶＤＤと負電源ＶＳＳ間に、駆動トランジスタ４１１と負荷トランジスタ４１２が直列に配置されている。駆動トランジスタ４１１のゲート入力ＧＡＴＥには、フォトダイオード４０１が接続されている。正電源電圧ＶＤＤ、駆動トランジスタ４１１、負荷トランジスタ４１２、負電源ＶＳＳはソースフォロワーアンプ４１０を構成する。ソースフォロワーアンプ４１０は、高い入力インピーダンスと、低い出力インピーダンスを持ち、入力側の素子に蓄積された電荷を、電圧に変換して、後段の回路に伝えるバッファアンプとして働く。
　画素選択部１３２として選択トランジスタ４２０が用いられ、駆動トランジスタ４１１と負荷トランジスタ４１２の間に配置されている。選択トランジスタ４２０をＯＮにすることにより、正電源ＶＤＤから負電源ＶＳＳ間のソースフォロワーアンプが動作して、ＶＯＵＴが発生する。信号転送部１３３は、転送信号線４４１であり、ソースフォロワーアンプのＶＯＵＴ端子に接続されている。図４Ｄに示されるように、この信号転送部１３３を共通としている画素１０１のＶＯＵＴ端子はすべて同じ転送信号線４４１に接続されている。同じ転送信号線４４１に接続されている複数の画素について、同時には、いずれか１つの画素の選択トランジスタ４２０しか選択されない。選択するトランジスタを順次切り替えることで、それぞれの画素から出力を時系列的にすべて読み出すことができる。なお、ソースフォロワーアンプが有する負荷トランジスタ４１２は、各画素で備える必要はなく、転送信号線４４１の１本につき、１つ配置されるのみでよい。また、撮像素子は、図４Ｄに示す画素列および転送信号線４４１を複数有してしてもよい。
　リセット部１２０は、正電源ＶＤＤとフォトダイオード４０１の間に配置された、リセットトランジスタ４３１により構成される。露光を開始する前に、リセットトランジスタ４３１をＯＮすることで、フォトダイオード４０１に蓄積された電荷を除去することができる。
　図４Ｂを用いて、光電変換部１１０および信号読出し部１３０の他の構成例を説明する。図４Ｂは、図４Ａで示した構成に、拡散容量ＦＤ４０２とＦＤ転送トランジスタ４２１が追加されている構成である。拡散容量ＦＤ４０２は、駆動トランジスタ４１１のゲート入力ＧＡＴＥと、ＧＮＤ端子の間に配置されている。さらに、選択トランジスタ４２０は、フォトダイオード４０１のカソード端子と、駆動トランジスタ４１１のゲート入力ＧＡＴＥ間の配線部に、挿入されている。図４Ｂの構成では、ＦＤ転送トランジスタ４２１は、通常は露光時にはＯＦＦされており、露光終了時に、ＯＮされて、フォトダイオード４０１に蓄積した電荷を拡散容量ＦＤ４０２に転送することで、駆動トランジスタ４１１で電圧信号に変換することができる。
　また、図４Ｂでは、リセットトランジスタ４３１が配置される位置が図４Ａと異なり、正電源ＶＤＤと駆動トランジスタ４１１のゲート入力ＧＡＴＥの間に配置されている。そのため、リセットトランジスタ４３１をＯＮにすることで、フォトダイオード４０１の蓄積電荷と、拡散容量ＦＤ４０２に蓄積された電荷をリセットすることができる。
　図４Ｃを用いて、更に別の構成について説明を行う。図４Ｃは、全画素一括転送を行うことができるグローバル電子シャッター（ＧＳ）機能を有する画素の構成例である。本構成は、図４Ｂの構成に加えて、１つの保持容量部４０３と、２つのトランジスタ（第２のリセットトランジスタ４３２と、ＧＳ転送トランジスタ４２２）が追加された構成である。なお、説明のため、図４Ｃと図４Ｂでは、リセットトランジスタ４３１の位置を変更している。
　ＧＳ転送トランジスタ４２２は、ＯＮ状態となった時に、フォトダイオード４０１に蓄積された電荷を保持容量部４０３に転送する。ＦＤ転送トランジスタ４２１はＯＮ状態の時に、保持容量部４０３の電荷をＦＤ容量部４０２に転送する。また、リセットトランジスタ４３１をＯＮにすることで、フォトダイオード４０１の蓄積電荷をリセットすることができる。
　次に、図２を用いて、本実施形態における撮像素子１００で実施される処理フローを説明する。以下の処理は、制御回路からの制御信号に基づいて行われるが、説明の簡単にするため制御回路および制御信号についての言及は省略する。また、説明を簡単にするために、画素１つ分に関して、処理フローを説明する。
　図２の処理は、ステップ３００において撮像指示を受け付けることによって開始する。ステップ３１０において、リセット部１２０が駆動されて、光電変換部１１０に蓄積されている電荷をリセットする。ここで、蓄積電荷がリセットされたフォトダイオード１１０は、受光を開始して、電荷の蓄積を開始する。蓄積電荷をリセットしてから、所定の第１の時間Ｔ１が経過すると、ステップ３２０の画素信号読み出し処理が行われる。
　ステップ３２０では、信号読出し部１３０により、画素の蓄積電荷に対応した第１の画素信号が読み出される（第１の読み出し処理）。本明細書中では、受光を開始して、画素信号を読み出すまでの期間を、露光期間と呼ぶ。なお、ステップ３２０の画素出力の読み出しが完了するとすぐに、画素は、再度受光を開始する。つまり、本実施形態では、第１の読み出し処理により、露光がごく短い時間一旦停止するが、後述する第１の信号処理の期間も、露光が継続して行われている。これにより、取得する画像情報が、第１の信号処理により、寸断されることがなくなり、よりリアルタイム性の高い画像情報を取得することができることになる。
　ステップ３３０では、信号処理部１４０が、ステップ３２０において同時期に読み出された画素出力信号に基づいて、イベント発生の有無を検知する（第１の信号処理）。信号処理部１４０は、画像中の動被写体が所定の条件を満たしたときにイベントが発生したと判定する。所定の条件の例として、動被写体が急に止まる、静止被写体が急に動き出す、被写体が許容されるあるいは想定される動きとは異なる動きをする、といった条件を挙げられる。
　ステップ３４０において、信号処理部１４０は、イベント発生が検知されたか否かによって処理を分岐させる。
　イベントが検知された場合（３４０－ＹＥＳ）には、処理はステップ３５０に進む。ステップ３５０において、ステップ３２０から所定の第２の時間Ｔ２が経過後に、信号読出し部１３０により、画素の蓄積電荷に対応した第２の画素信号が読み出される（第２の読み出し）。この第２の読み出しの期間で、第１の読み出しタイミングから第２の読み出しタイミングまでの時間Ｔ２期間の間に露光（蓄積）された信号が取り出される。ステップ３６０において、信号処理部１４０は、第２の画素信号を補正する（第２の信号処理）。ステップ３７０において、信号処理部１４０は、補正されたフレーム画像を出力する。
　一方、イベントが検知されなかった場合（３４０－ＮＯ）には、処理はステップ３７１に進む。ステップ３７１では、信号読出し部１３０による第２の読み出しおよび信号処理部１４０による第２の信号処理は行われない。更に、信号出力部１５０が有している無効フレーム画像生成部１５１において無効なフレーム画像を生成して、外部に出力する。ここで、「無効なフレーム画像」とは、第２の読み出しを行ったと仮定した場合に得られる第２の信号と異なる情報であればよく、最も簡易的には意味のないデータである。意味の無いデータの一例として、全ての画素値が０値やその他の特定値で埋められた画像や、特定パターンを有する画像などを挙げられる。また、無効なフレーム画像を出力する形態として、更新時間が長い（コマ落ちの）全体の画像を出力する形態や、第１の読み出しで取得した粗い画像などを出力する形態を採用することもできる。
　ステップ３８０では、次のフレームの撮影を行うかどうかが判定され、撮影が行われる場合には、ステップ３１０に戻り、次のフレームの撮影が行われない場合は、撮影を終了する（３９０）。
　繰り返し撮影を行う場合には、各画素においてリセット部１２０による光電変換部１１０の蓄積電荷のリセット処理（ステップ３１０）が所定の周期で設定され、その周波数はフレームレートと一致している。一方、信号出力部１５０から画像信号を出力（ステップ３７０および３７１）する周波数も、フレームレートと一致するように設定されている。なお、リセットの周期はそれぞれの画素で同じであるが、リセットのタイミングは全画素で同じであってもよいし、画素ごとあるいは画素行ごとに異なっていてもよい。
　本明細書中では、露光と読出し動作を合わせて撮像と呼び、第１の露光と第１の読出しを合わせて第１の撮像と呼び、第２の露光と第２の読出しを合わせて第２の撮像と呼ぶこととする。第１の撮像は、イベント検知用の画素情報を取得するための撮像（露光および読み出し）と呼ぶことができ、第２の撮像は、出力画像生成用の画素情報を取得するための撮像（露光および読み出し）と呼ぶことができる。また、第１の撮像で得られた画素データのまとまりを、第１のサブフレーム画素データと呼び、第２の撮像で得られた画素データのまとまりを、第２のサブフレーム画素データと呼ぶ。
　図３を用いて、本実施形態にかかる撮像素子１００の動作タイミングを説明する。説明を簡単にするために、画素１つ分に関して、タイミングチャートを説明する。
　まず、光電変換部１１０の蓄積電荷を一定の状態にするために、図３の（ａ）で示すように、フォトダイオード電荷リセット信号２０５を生成する。このフォトダイオード電荷リセット信号２０５は、一定周期で繰り返す信号であり、前述したように、フレームの周期と同じ周期で、全画素のリセットを周期的に行っている。
　リセットを行う１周期の中で、まず、各画素において第１の撮像（第１の露光および第１の読み出し）が行われる。
　図３の（ｂ）で示すように、リセットが行われた画素の光電変換部１１０は、光を受光して電荷の蓄積を開始する（露光期間の開始）。この露光期間は、次の第１の読み出し信号が発生するまで続く。
　図３の（ｃ）で示すように、第１の読み出し信号が信号読出し部１３０に入力されると、信号読出し部１３０は、蓄積していた電荷を光電変換部１１０から読み出す。読み出された信号を第１の画素信号と呼ぶ。この時の動作は、撮像素子１００の構成が図４Ａから図４Ｃのいずれであるかに応じて詳細は異なるが、最終的には電荷信号が電圧信号として出力されることに変わりはない。
　図３の（ｄ）で示すように、第１の読み出し処理で読み出された第１の画素信号に対して、信号処理部１４０がイベント検知の信号処理（第１の信号処理）を行う。この信号処理の開始と同時に、図３の（ｆ）で示すように、光電変換部１１０は第２の露光期間が開始され、第２の読み出し信号が生成（図３の（ｇ））されるまで、露光期間は続く。
　図３の（ｅ）は第１の信号処理の結果を表し、イベントが検知されたか否か（３４０－ＹＥＳか３４０－ＮＯ）に応じた信号が出力される。本実施形態では、、イベントが検知された場合はハイレベルの信号が出力され、イベントが検知されない場合にはローレベルの信号が出力される。
　第１の信号処理の結果に応じて、信号処理部１４０は、第２の露光に係る蓄積電荷を読み出す第２の読み出し処理と、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を行うか否かを判定する。具体的には、信号処理部１４０は、第１の信号処理において所定のイベント発生が検知された場合（３４０－ＹＥＳ）には、第２の読み出し処理と第２の信号処理を行うと判定する。一方、第１の信号処理において所定のイベントの発生が検知されない場合（３４０－ＮＯ）には、信号処理部１４０は、第２の読み出し処理と第２の信号処理を行わないと判定する。第２の読み出し処理と第２の信号処理を行わない場合、信号出力部１５０が有している無効フレーム画像生成部１５１は、無効な画像信号を生成して、信号出力部１５０から無効フレーム画像信号（図３（ｉ）のＤＵＭ ＤＡＴＡ）を出力する。以下、第２の読み出し処理と第２の信号処理を行う場合について説明する。
　図３の（ｇ）で示すように、所定のイベントの発生が検知された場合（３４０－ＹＥＳ）、第２の読み出し信号が信号読出し部１３０に入力されると、信号読出し部１３０は、蓄積していた電荷を光電変換部１１０から読み出す第２の読み出し処理を行う。読み出された信号を第２の画素信号と呼ぶ。図３の（ｈ）に示すように、信号処理部１４０は、第２の画素信号が画像として好適になるようにする補正（調整）処理（第２の信号処理）を施す。第２の信号処理は、撮像素子１００からの出力用の画像信号を、第２の画素信号に基づいて生成する処理である。図３の（ｉ）において、調整された画像信号は、信号出力部１５０から１枚の画像出力として外部に出力される（図３（ｈ）のＯＵＴ ＤＡＴＡ部）。
　図３で示したように、画像信号が出力される周期Ｔと、リセット信号の周期Ｔが一致している。なお、図３で示したように、第２の読出しが終わっていれば、画素情報自体は取得済みなので、第２の信号処理や画像出力の途中でも、リセット信号を発生させることができる。これにより、無駄な時間を減らして、画像を出力する周期Ｔを最短にすることができる。
　本実施形態において、信号処理部１４０が検出する所定のイベントの例として、静止被写体が動き始めたこと、および、動被写体が急に静止したこと、を挙げられる。
　動被写体の検出をイベントとして検出する撮像素子は、不審者あるいは侵入者の監視用途に利用できる。すなわち、第１の読み出し処理および第１の信号処理（イベント検知処理）によって不審者や侵入者など動被写体を検知した場合のみ、第２の読み出し処理および第２の信号処理を行って動被写体検知した際の瞬間の画像を出力することができる。
　また、動被写体が急激に止まったこととイベントとして検出する撮像素子は、交通監視用途に利用できる。すなわち、例えば交通事故により車が急に止まった状態を検知して、検知した際の瞬間の画像を出力することができる。
　イベント発生の検知は、例えば、少し前（所定フレーム前）に取得した画素データを記憶しておき、新たに取得した画素データとの間の変化に基づいて容易に検知することができる。本実施形態のイベント検知機能は上記の機能、方式に限らず、撮影により得られる情報に基づく検知であればその他の機能、方式を採用可能である。本実施形態によれば、具体的なイベント検知機能の内容にかかわらず、イベントを撮像素子１００のみで自動で検知して、イベントが起こった瞬間の画像をタイムリーに出力することができる。また、イベントの発生を検知して、その瞬間だけの画像を出力する構成としてもよい。あるいは、イベントの発生が検知された場合に、所定のフレーム期間継続して第２の読み出し処理および第２の信号処理を行い、画像出力を行う構成としてもよい。画像出力を所定のフレーム期間の間継続することにより、イベントの発生後の状況の撮影を継続できる。
　尚、図３では、１フレーム期間中に行われるリセットが、全画素を同時にリセットするための１回のみであるとして説明している。しかしながら、本発明はこのような形態に限られず、第１の読み出し完了から露光開始までの間に、サブリセットが１回または複数回行われる構成であってもよい。本明細書では、第１の露光を開始する前に行われるリセット部１２０の駆動をリセット（または、メインのリセット）と呼び、第２の露光を開始する前に行われるリセット部１２０の駆動をサブリセットと呼び、両者を明確に分離した動作あるいは処理と捉える。
　また、リセット周期は全ての画素で同じであるが、リセットが行われるタイミングは、全画素で同時であってもよい（グローバルシャッター方式）し、画素行ごとに異なってもよい（ローリングシャッター方式）。
　以上のように、本実施形態では、光電変換部１１０の周期的な電荷リセット処理を行う間隔に、信号読出し部１３０から第１の信号を読み出し、信号処理部１４０において第１の信号処理を行う。そして、第１の信号処理の結果を元にして、第２の信号読み出しの実施の有無を判定する。そのため、本実施形態によると、外部で負荷の高い信号処理や画像転送を行うことなく、イベントが発生した際の画像を遅延なく取得することができる撮影素子を提供することができる。
　尚、図２と図３についての説明では、説明を簡単にするために、画素１つ分に関してのみ説明を行った。撮像素子が複数の画素を有する場合は、信号転送部１３３が画素数分だけ備えられている構成であれば、図２と図３の説明とほぼ同じ動作を行うことができる。但し、多くの場合は、信号転送部１３３が複数の画素で、兼用されているため、読出し時にタイミングを少しずつずらして、読出しが行われる。
　また、本実施形態においては、第１の読み出し処理、第１の信号処理、第２の読み出し処理、および第２の信号処理が、周期的なリセットの１周期内に行われているが、これに限定されない。例えば、第１の読み出し処理、第１の信号処理、および第２の読み出し処理をリセットの１周期内に行い、第２の信号処理は次の周期あるいは次以降の周期に行うようにしてもよい。
　また、本実施形態においては、信号処理部１４０が信号処理（第１の信号処理）のイベント検知の結果（３４０－ＹＥＳ、３４０－ＮＯ）を受けて、第２の読み出しや、第２の信号処理を行わない構成で説明した。しかし、本発明はこれに限らない。３４０－ＮＯの判定時においても、第２の読み出しを行う構成や第２の信号処理を行う構成を採用すると余計な消費電力が発生するが、消費電力の上昇が実用上問題ない場合は、これらの構成を採用しても構わない。この場合、信号出力部１５０が無効フレーム画像生成部１５１を有しているので、本発明と同様の動作を行うことができる。
　図４Ａまたは図４Ｂで説明した回路構成を採用すると、図５で表すようにタイミングを模式的に記載することができる。図５において、５０１はリセット信号（メイン）、５０２は第１の露光期間、５０３は第２の露光期間である。図５では、図面を簡単にするために、８画素分のタイミングのみを模式的に示している。また、図面のスペースの関係で、５０１、５０２、５０３のみを記載しているが、図３で示した他の信号も、同様に少しずつずれたタイミングで動作している。ここで、Ｔｒｅａｄ１は、第１の読み出し期間であり、Ｔｃａｌ１は第１の信号処理に必要となる期間を表している。このような構成を採用することにより、第１の読み出しが露光に影響する度合いを最小限にすることができ、露光期間を長くできる。また、第１の信号処理の期間も、第２の露光を継続しているので、露光を停止する必要がない。また、図４Ｃで説明した回路構成を採用すると、全ての画素でのリセットタイミングすなわち露光タイミングを同じにできる。
　また、図１Ｂでは、信号転送部１３３を直接信号処理部１４０に接続していたが、図１Ｃで示すように、信号転送部１３３と信号処理部１４０の間に、デジタル信号変換部１３４を備える構成にすることもできる。デジタル信号変換部１３４は、各画素のアンプ１３１からのアナログ出力信号を、デジタル信号２０７に変換することができる。これにより、デジタル信号を直接信号処理部１４０に入力することができ、デジタル信号を用いての信号処理が容易にできる。
　また、本実施形態では、信号処理部１４０および信号出力部１５０を撮像素子１００の内部に設けているが、信号処理部１４０および信号出力部１５０を撮像素子１００の外部に設けても構わない。
　また、図１Ｄで示すように、各画素の信号読出し部１３０が、アンプ１３１の出力信号をデジタル化するデジタル信号変換部１３４を備えており、信号転送部１３３にデジタル信号２０７を伝達する構成をとることができる。
　更に、図１Ｅで示すように、信号転送部１３３と信号処理部１４０の間に、増幅アンプ１３５を配置して、画素信号を増幅した信号２０８にして伝達することで、ＳＮを向上させる構成にも同様に用いることができる。
（第２の実施形態）
　第２の実施形態は、第１の実施形態と比較して、第１の撮像で得た画素信号（画像情報）も用いて信号出力部１５０から画像出力を行う点が異なり、それ以外は第１の実施形態と同じである。以下、第１の実施形態と異なる点を主に説明する。
　図６は、本実施形態の動作を説明するためのフロー図である。本実施形態の動作は、ステップ３６０の内容が変更されている以外は、第１の実施形態の動作（図２）の動作と同様である。図６において、点線３２１は第１の撮像によって得られた画素信号の流れ、点線３２２は第２の撮像によって得られた画素信号の流れを示す。
　本実施形態では、第２の読み出し処理（ステップ３５０）の後の画素信号の調整処理（ステップ３６５）において、第２の撮像時の画素信号３２２に加えて、イベントの判定を行う第１の撮像時の画素信号も用いて、信号出力部１５０から画像出力を行う。具体的には、図６で示すように、ステップ３６５において、信号処理部１４０は、第１の読み出し（ステップ３２０）による画素信号３２１と、第２の読み出し（ステップ３５０）による画素信号３２２に基づいて、フレーム画像を生成する。フレーム画像は、例えば、画素信号３２１と画素信号３２２を合成することによって生成される。ステップ３７０では、信号処理部１４０は、生成されたフレーム画像を出力する。
　本実施形態では、イベントの検知に用いる第１の読み出しにより得られる画素信号も、フレーム画像の生成に用いるため、イベント検知を行っても、撮影の合計の露光時間はほとんど減少しない。したがって、本実施形態によれば、第１の実施形態の効果が得られるとともに、より画質なフレーム画像を出力することができる。
（第３の実施形態）
　第３の実施形態は、第１の実施形態と比較して、一部の画素についてのみ第１の読み出しを行う点で異なり、それ以外は第１の実施形態と同じである。なお、本実施形態は第２の実施形態と組み合わせて実施してもよい。
　本実施形態は、複数の画素６００が、第１の画素群と第２の画素群に分かれており、第１の撮像は、第１の画素群のみで行う。以下では、第１の画素群に属する画素のことを第１の画素とも称し、第２の画素群に属する画素のことを第２の画素とも称する。
　図７Ａは、本実施形態の画素の構成例を説明するための模式図である。図７Ａに示すように、撮像素子には、第１の画素群６０１と第２の画素群６０２が、行（横方向）単位で配置される。すなわち、第１の画素と第２の画素が１行おきに配置され、列方向に見ると第１の画素と第２の画素が交互に配置されている。
　本実施形態の動作は第１の実施形態（図２）と基本的に同じである。しかしながら、ステップ３２０の第１の読み出し処理において、第１の画素群６０１に属する画素のみを対象に行われ、第２の画素群６０２に属する画素からの読み出しは行われない。ステップ３３０のイベント発生検知処理は、第１の画素群６０１から得られる画素信号に基づいて行われる。イベント発生が検知された後のステップ３５０以降の処理は、第１の画素群６０１と第２の画素群６０２の両方を対象に行われる。
　このように本実施形態によれば、イベント検知のために、すべての画素信号を読み出すのではなく、一部の画素のみを間引いて読み取るので、画素信号の転送時間を短くできる。したがって、イベント検知の実施に伴う、第２の撮像時の露光時間の低減を最小限に抑えることができる。また、イベント検知処理（第１の信号処理）で使用する画素数が限定されているので、信号処理の負荷を最小限にでき、小型化や消費電力の低減などを行うことができる。
　さらに、第１の画素群６０１に属する画素が、画面の全体的に散りばめられているので、画面の全体にわたりイベント検知することができる。ここで、イベントの検知では、間引きを行った画素信号でも十分な情報を得られる場合が多いため、本実施形態は広く適用が可能である。第１の画素群６０１に属する画素の数は、第２の画素群６０２に属する画素の数より少ないことが望ましい。また、処理の負荷と検出効率を考慮すると、全体の画素数に対する第１の画素群６０１に属する画素数の割合は、数十パーセント程度から数パーセント程度が望ましい。
　また、第１の画素に対して第１の撮像および第２の撮像を行うための制御線の追加が必要になるが、１行全体を第１の画素としているので、第１の画素の数に対する制御線の数を最小限にできる。
　以上のように、本実施形態に係わる撮像素子は、第１の読み出し処理および第１の信号処理を第１の画素群のみで行うことで、信号処理や転送処理負荷を低減することができ、効率よくイベントを検知することができる。
　なお、図７Ａの画素配置は一例に過ぎない。例えば、図７Ｂに示すように、第１の画素群６０１の画素をドット状に配置することもできる。これにより、画素の制御線は増加してしまうが、第１の読み出し処理で読み出す画素データの数をより抑えることができる。したがって、消費電力をより低減し、よりイベント検知にかかる時間が短い撮像素子を構成できる。図７Ｂは、第１の画素をドット状に１つずつ分離して配置する構成を示しているが、第１の画素をタイル状に複数まとめて配置する構成を採用してもよい。また、第１の画素は格子状に配列する必要はなく、任意の位置に配置されてもよい。図７Ｃは、第１の画素をタイル状に、かつ、非周期的な間隔で配置した構成を示す。本実施形態で採用可能な画素配置は、以上の例示に限定されず、任意であってよい。
（第４の実施形態）
　第４の実施形態は、第３の実施形態と比較して、第２の画素群に対する第２の読み出し処理が異なり、それ以外は第３の実施形態と同じである。以下、第３の実施形態と異なる点を主に説明する。
　本実施形態にかかる撮像素子は、第３の実施形態と同様に、第１の画素群と第２の画素群を含む。そして、本実施形態では、第１の画素群に含まれる画素が第１の撮像を行っている期間に、第２の画素群に含まれる画素が第２の撮像における露光を開始する。
　図８を用いて、第２の画素群の動作タイミングを説明する。なお、第１の画素群に属する画素の動作タイミングは、図３を用いて説明したものと同じであるため説明を省略する。
　第２の画素群の動作（図８）が、第１の画素群の動作（図３）と異なる点は、図８の（ｂ）から（ｄ）に示すように、第２の画素群に対しては、第１の露光期間、第１の読み出し、第１の信号処理がない点である。本実施形態においては、第１の画素群の第１の露光の開始タイミングと、第２の画素群の第２の露光の開始タイミングが等しく、第１の画素群の第１の露光の露光期間と、第２の画素群の第２の露光の露光期間とが、時間的に重複している。なお、露光開始タイミングを一致させなくても、露光期間を重複させて第２の画素群の第２の露光の露光期間を第３の実施形態も長くすれば、本実施形態の効果は得られる。
　本実施形態において、第２の画素群に属する画素は、図８の（ｅ）に示すように、蓄積電荷のリセット信号の後から第２の読み出し信号までの長い間を、露光期間として用いることができる。これにより、第２の画素群に関しては、イベントの検知を行っても、撮像時の露光時間を短くする必要が無く、第２の画素群の画素でのフレーム画像は、イベント検知による画質への影響を受けることが無くなる。
　本実施形態に係わる撮像素子は、取得画像の画質の劣化を抑えて即時性のあるイベント検知を行うことができる。
（第５の実施形態）
　第５の実施形態は、第４の実施形態と比較して、フレーム画像生成処理の内容が異なり、それ以外は第４の実施形態と同じである。以下、第４の実施形態と異なる点を主に説明する。
　本実施形態は、第１の画素から得られる第２の撮像時の画素信号と、第２の画素から得られる第２の撮像時の画素信号を、露光期間の長さの比に基づいて合成（補正）して画素出力データを生成する。
　図９Ａを用いて、本実施形態を説明する。本実施形態では、第４の実施形態と同様に、第１の画素群に含まれる画素が第１の撮像を行っている期間に、第２の画素群に含まれる画素が第２の撮像における露光を開始する。したがって、図９Ａに示すように、第１の画素群に含まれる画素の第２の撮影時の露光期間の時間長Ｔ１と、第２の画素群に含まれる画素の第２の撮影時の露光期間の時間長Ｔ２の長さが異なる。具体的には、第１の画素群に含まれる画素は、第１の画素群に含まれる画素に比べて、第１の撮像および第１の信号処理を追加で行うため、第２の撮像時の露光時間が短くなる。そのため、取得した画素信号をそのままフレーム画像に変換すると、第１の画像群に含まれる画素が第２の画素群に含まれる画素と比べて暗くなってしまう。
　この問題を鑑み、本実施形態における信号処理部１４０は、第２の信号処理として以下の処理を行う。信号処理部１４０は、まず、第１の画素群の第２の画素信号のそれぞれの画素値に、第２の画素群と第１の画素群の第２の露光時間との比をかけて調整する。そして、信号処理部１４０は、調整後の第１の画素群の第２の画素信号と、第２の画素群の第２の画素信号とに基づいて、出力用の画像信号を生成する。
　図９Ｂは、本実施形態における信号処理部１４０によるフレーム画像生成処理を説明する図である。本実施形態では、信号処理部１４０は、第１の画素の第２の撮像による第２の画素信号２２１に所定のゲインをかけて画素値を大きくする補正部１４１を有する。所定のゲインは、第１の画素の第２の撮影時の露光期間の時間長Ｔ１情報２１１と、第２の画素の第２の撮影時の露光期間の時間長Ｔ２情報２１２の比（Ｔ２／Ｔ１）である。第１の画素の画素信号２２１にゲインＴ２／Ｔ１をかけることで、補正後画素信号２３１は、画素信号２２２と同じ明るさを有するようになる。信号処理部１４０は、補正部１４１による補正後画素信号２３１と、第２の画素の第２の撮像による画素信号２２２と合成して、フレーム画像２０３を出力する。
　このように、第１の画素と第２の画素の明るさをほぼ均一にすることができ、フレーム画像の明るさの変化を最小限に低減することができる。なお、第１の画素の画素信号にゲインをかけることでノイズも増加するが、第１の画素の数は第２の画素の数よりも少なくできるので、第１の画素の画素信号の補正に伴う画質劣化は最小限に抑制できる。
　以上のように、本実施形態に係わる撮像素子は、取得画像の画質の明るさの変化を最小限に抑えて即時性のあるイベント検知を行うことができる。
（第６の実施形態）
　第６の実施形態は、第４の実施形態と比較して、イベント検知に用いた第１の画素の第１の撮像での画素信号をフレーム画像生成にも使用する点で異なり、それ以外は第４の実施形態と同じである。なお、本実施形態は第５の実施形態と組み合わせて実施してもよい。
　図１０は、本実施形態の信号処理部１４０を説明する模式図である。信号処理部１４０は、第１の画素群の第１の画素信号２２０と第２の画素信号２２１と、第２の画素群の第２の画素信号２２２を用いて、フレーム画像２０３を生成する。第１の画素の第１の撮像で得られた第１の画素信号２２０は、イベント検知に用いた後、信号処理部１４０の内部メモリに一時記憶される。その後、第１の画素信号２２０は、加算部１４２によって、第１の画素の第２の撮影時の第２の画素信号２２１と合算される。合算後の信号を画素信号２３２と称する。信号処理部１４０は、画素信号２３２を、第２の画素の第２の撮影時の画素信号２２２と足し合わせて、フレーム画像２０３を生成する。
　本実施形態によれば、第１の画素についてフレーム画像生成に用いられる画素信号の露光時間は、第１の露光時間Ｔ０（図３の（ｂ））と第２の露光時間Ｔ１（図３の（ｅ））を足し合わせた時間となる。足し合わせた露光時間は、第２の画素の第２の撮影時の露光期間Ｔ２（図８の（ｅ））とほぼ同じである。したがって、第１の画素と第２の画素の明るさの差を抑制でき、高品質なフレーム画像が生成できる。また、第５の実施形態のように、画素信号の倍率を変更している訳ではないので、ＳＮ比（Ｓｉｇａｎｌ　ｔｏ　Ｒａｔｉｏ）の悪化がないため、より良質な画像を出力することができる。
　よって、本実施形態による撮像素子は、取得画像の画質の劣化を最小限に抑えて即時性のあるイベント検知を行うことができる。
　尚、本実施形態の説明では、画素信号２３２と画素信号２２２を単純に合算する形態で説明したが、本発明はこれに限らない。実使用上問題なければ、上述の構成を用いても良いし、より高画質な画素を求めるのであれば、第５の実施形態の構成と組み合わせた構成を採用しても良い。具体的には、信号処理部１４０は、画素信号２２０と画素信号２２１を合算した画素信号２３２を、第１の画素の第１の露光時間と第２の露光時間の和（Ｔ０＋Ｔ１）と第２の画素の第２の露光時間（Ｔ２）の比だけ大きくしてもよい。それにより、イベント検知のための第１の読出し時間分の露光時間の差を補正することができ、より高画質なフレーム画像を出力することができる。
（第７の実施形態）
　第７の実施形態は、第１の実施形態と比較して、１周期内に第１の撮像（露光および読み出し）が複数回繰り返し行われる点で異なり、それ以外は第１の実施形態と同じである。なお、本実施形態は、第２から第６の任意の実施形態と組み合わせて実施してもよい。
　図１１は、本実施形態における撮像素子の動作を説明する図である。本実施形態は、図１１に示すように、１周期内の第１の撮像期間に、第１の露光および第１の読み出し処理が複数回繰り返し行われる。図１１では、第１の撮像期間に３回の露光および読み出しを行っているが、その回数は２回以上であれば特に限定されない。第１の撮像期間に複数回の露光および読み出しを行うことで、複数の第１の画素信号に基づいて、イベント検知処理（第１の信号処理）が行え、被写体の移動状態や移動方向をより正確に把握することが可能になる。具体的には、信号処理部１４０は、１フレーム内での高速な移動も把握でき、より正確にイベントの検知を行うことができるようになる。
　本実施形態に係わる撮像素子は、外部で負荷の高い信号処理や画像転送を行うことなく、イベント検知をより正確に行うことができ、イベントが発生した際の画像を遅延なく取得することができる撮影素子を提供することができる。
（第８の実施形態）
　第８の実施形態は、撮像素子が積層型センサとして構成される点が第１から第７の実施形態と異なり、それ以外は第１から第７の実施形態と同じである。本実施形態にかかる撮像素子は、光電変換素子を有した基板（第１の基板）とデジタル基板（第２の基板）を、基板厚さ方向に積み重ねた積層タイプのセンサとして構成される
　図１２は、本実施形態にかかる撮像素子の構成を説明する図である。本実施形態にかかる撮像素子は、光電変換部１１０を有した基板６５１とデジタル基板６５２が、基板厚さ方向に積み重なっており、基板接合部材６５３により接続されている構成である。光電変換素子を有した基板６５１には、光電変換部１１０や信号読出し部１３０、画素選択部１３２、信号転送部１３３などの画素に近接した回路が搭載されている。一方、デジタル基板６５２には、デジタル信号変換部１３４、信号処理部１４０、メモリなどが搭載されている。これらの２枚の基板を縦方向に接続させることで、各画素からの信号を、効率よくデジタル部に転送することができるので、より小型で性能の高い撮像素子とすることができる。また、基板接合部材６５３は、ハンダバンプや基板間の直接接合など、一般的な半導体作製プロセスを用いることで容易に実現することができる。
　本実施形態では、積層タイプのセンサを用いているので、大量の画素からの画素信号の信号処理を高速に行うことができるため、よりイベント検知が正確で、高速に行うことができる。
（第９の実施形態）
　第９の実施形態は、第１から第８の実施形態に記載の何れかの撮像素子を用いた撮像装置である。
　図１３Ａは、本実施形態の撮像装置７０１を説明する模式図である。撮像装置７０１は、第１から第８のいずれかの実施形態にかかる撮像素子１００と、記録装置７０２を備える。撮像素子１００は画像出力２０４を記録装置７０２に出力する。画像出力２０４は、イベントが発生している場合は有効なフレーム画像であり、イベントが発生していない場合は無効なフレーム画像である。記録装置７０２は、有効なフレーム画像が入力されると記録し、無効なフレーム画像が入力されると記録を行わない。
　このように、撮像素子１００を用いて撮像装置７０１を構成することで、被写体のイベントを監視しながら、イベントが発生した瞬間を自動で記録することができる。
　尚、上記の説明では、イベントが発生した瞬間のみを記録する形態を説明したが、イベントが発生してから一定期間の間は、記録する形などでも同様に用いることができる。また、撮像装置７０１は、イベント検知時の画像を記録装置７０２に記録する代わりに、あるいはそれに加えて、ネットワークなどを介して、外部に送信する機能などを有してもよい。
（第１０の実施形態）
　第１０の実施形態は、第１から第８の実施形態に記載の何れかの撮像素子を用いた監視装置である。
　図１３Ｂは、本実施形態の監視装置８００を説明する模式図である。監視装置８００は、第１から第８のいずれかの実施形態にかかる撮像素子１００と、イベント通知部８０２を備える。撮像素子１００は画像出力２０４をイベント通知部８０２に出力する。画像出力２０４は、イベントが発生している場合は有効なフレーム画像であり、イベントが発生していない場合は無効なフレーム画像である。イベント通知部８０２は、有効なフレーム画像が入力されると、イベントが発生したことを報知し、無効なフレーム画像が入力されると報知を行わない。報知の具体的な態様は特に限定されない。例えば、イベント通知部８０２は、外部の装置に通信によりイベントが発生したことを通知してもよいし、音や光を発生させて周囲の人間にイベントが発生したことを通知してもよい。
　例えば、監視装置８００は、交差点のような場所を撮影するように設置され、イベントとして交通事故の発生を検知するように構成できる。監視装置８００は、交通事故の発生が検知されると、警察への自動通報、交通情報センターへの状況報告を行うように構成できる。また、監視装置８００は、周辺にいる車に直接画像を配信してもよい。これにより、現場状況をドライバーが、画像をもとに自ら判断して、危険回避行動や、渋滞等の回避を行うことができるようになる。
　また、監視装置８００は、見通しの悪い交差点での危険予防システムに用いることもできる。監視装置８００は、自動車や歩行者の接近をイベントとして検知するように構成され、その接近を周囲に伝えて警告を行う。
（その他の実施例）　
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００：撮像素子　　１１０：光電変換部　　１２０：リセット部
１３０：信号読出し部　　１４０：信号処理部

Claims (22)

  1. 　複数の画素を有する撮像素子であって、
    　前記複数の画素の蓄積電荷のリセットが周期的に行われ、
    　前記複数の画素の少なくとも一部の画素において、
    　　第１の露光による蓄積電荷を読み出す第１の読み出し処理を行い、
    　　前記第１の読み出し処理により読み出される第１の画素信号に基づく第１の信号処理を行い、
    　　前記第１の信号処理の結果に応じて、第２の露光による蓄積電荷を読み出す第２の読み出し処理、および、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を行うか否かが判定され、
    　　前記第１の読み出し処理、前記第１の信号処理、および前記第２の読み出し処理は、周期的に行われるリセットの１周期内に行われる、
    　撮像素子。
  2. 　前記第１の読み出し処理、前記第１の信号処理、前記第２の読み出し処理、および前記第２の信号処理は、周期的に行われるリセットの１周期内に行われる、
    　請求項１に記載の撮像素子。
  3. 　前記第２の信号処理は、前記第２の画素信号に加えて前記第１の画素信号にも基づいて、出力用の画像信号を生成する処理である、
    　請求項１または２に記載の撮像素子。
  4. 　前記複数の画素は、第１の画素群と、第２の画素群を含み、
    　前記第１の読み出し処理は、前記第１の画素群に属する画素に対して実施され、
    　前記第２の読み出し処理は、前記第１の画素群に属する画素および前記第２の画素群に属する画素に対して実施される、
    　請求項３に記載の撮像素子。
  5. 　前記第１の画素群に属する画素についての前記第１の露光の露光期間と、前記第２の画素群に属する画素についての前記第２の露光の露光期間とが、時間的に重複している、
    　請求項４に記載の撮像素子。
  6. 　前記第１の画素群に属する画素についての前記第１の露光の開始タイミングと、前記第２の画素群に属する画素についての前記第２の露光の開始タイミングが等しい、
    　請求項５に記載の撮像素子。
  7. 　前記第２の信号処理は、前記第２の画素信号に基づいて、出力用の画像信号を生成する処理である、
    　請求項４から６のいずれか１項に記載の撮像素子。
  8. 　前記第２の信号処理は、第１の画素群に属する画素の第２の画素信号のそれぞれの画素値に、前記第２の画素群に属する画素の第２の露光の露光時間と前記第１の画素群に属する画素の第２の露光の露光時間との比をかけて調整し、調整後の第２の画素信号を用いて前記出力用の画像信号を生成する処理である、
    　請求項７に記載の撮像素子。
  9. 　前記第２の信号処理は、第１の画素群に属する画素の第１の画素信号および第２の画素信号と、第２の画素群に属する画素の第２の画素信号と、を用いて、前記出力用の画像信号を生成する処理である、
    　請求項８に記載の撮像素子。
  10. 　前記第２の信号処理は、第１の画素群に属する画素の第１の画素信号と第２の画素信号の足し合わせたそれぞれの画素値に、前記第２の画素群に属する画素の第２の露光の露光時間と前記第１の画素群に属する画素の第１の露光および第２の露光の合計の露光時間との比をかけて調整し、調整後の画像信号を用いて前記出力用の画像信号を生成する処理である、
    　請求項９に記載の撮像素子。
  11. 　前記第１の画素群に属する画素の数が、前記第２の画素群に属する画素の数より少ない、
    　請求項４から１０のいずれか１項に記載の撮像素子。
  12. 　前記リセットを行う１周期内に、前記第１の露光および前記第１の読み出し処理は複数回行われる、
    　請求項１から１１のいずれか１項に記載の撮像素子。
  13. 　前記第１の信号処理は、所定のイベントの発生を検知する処理であり、
    　前記所定のイベントの発生が検知された場合に、前記第２の読み出し処理および前記第２の信号処理が行われる、
    　請求項１から１１のいずれか１項に記載の撮像素子。
  14. 　前記所定のイベントの発生が検出された場合に、所定の期間の間継続して、前記第２の読み出し処理および前記第２の信号処理が行われる、
    　請求項１３に記載の撮像素子。
  15. 　前記所定のイベントは、静止被写体が動き始めたこと、および動被写体が静止したこと、の少なくともいずれかを含む、
    　請求項１４に記載の撮像素子。
  16. 　前記第１の信号処理において前記所定のイベントの発生が検知されなかった場合に、前記第２の読み出し処理および前記第２の信号処理は行わず、無効な画像信号を出力する、
    　請求項１３から１５のいずれか１項に記載の撮像素子。
  17. 　前記無効な画像信号は、特定値で埋められた画像または特定パターンを有する画像を表す信号である、
    　請求項１６に記載の撮像素子。
  18. 　光電変換部および前記光電変換部に蓄積された電荷を読み出す読出し部を有する第１の基板と、
    　前記第１の信号処理および前記第２の信号処理を行う信号処理部を有する第２の基板と、
    　を備え、
    　前記第１の基板と前記第２の基板が基板厚さ方向に積層されている、
    　請求項１から１７のいずれか１項に記載の撮像素子。
  19. 　請求項１から１８のいずれか１項に記載の撮像素子と、
    　記録装置と、
    　を備え、
    　前記第１の信号処理は、所定のイベントの発生を検知する処理であり、
    　前記記録装置は、前記所定のイベントの発生が検知された場合に、前記第２の信号処理によって生成される画像信号を記録する、
    　撮像装置。
  20. 　請求項１から１８のいずれか１項に記載の撮像素子と、
    　通知部と、
    　を備え、
    　前記第１の信号処理は、所定のイベントの発生を検知する処理であり、
    　前記通知部は、前記所定のイベントの発生が検知された場合に、前記所定のイベントの発生を通知する、
    　監視装置。
  21. 　前記通知部は、前記所定のイベントの発生を通知する際に、前記第２の信号処理によって生成された画像信号も通知する、
    　請求項２０に記載の監視装置。
  22. 　光電変換部と、前記光電変換部に蓄積された電荷を読み出す読出し部と、前記光電変換部をリセットするリセット部と、をそれぞれ含む複数の画素と、前記複数の画素から出力される画素信号に対して信号処理を行う信号処理部と、を備える撮像素子の制御方法であって、
    　前記複数の画素において、前記光電変換部のリセットを周期的に行うステップと、
    　第１の露光による蓄積電荷を読み出す第１の読み出し処理を行うステップと、
    　前記第１の読み出し処理により読み出される第１の画素信号に基づく第１の信号処理を行うステップと、
    　前記第１の信号処理の結果に応じて、第２の露光による蓄積電荷を読み出す第２の読み出し処理、および、第２の読み出し処理により読み出される第２の画素信号に基づく第２の信号処理を行うか否かを判定するステップと、
    　を含み、
    　前記第１の読み出し処理、前記第１の信号処理、および前記第２の読み出し処理は、周期的に行われるリセットの１周期内に行われる、
    　撮像素子の制御方法。
PCT/JP2021/025858 2021-07-08 2021-07-08 撮像素子、撮像装置、監視装置、および撮像素子の制御方法 WO2023281724A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/025858 WO2023281724A1 (ja) 2021-07-08 2021-07-08 撮像素子、撮像装置、監視装置、および撮像素子の制御方法
US18/406,383 US20240147094A1 (en) 2021-07-08 2024-01-08 Imaging element, imaging device, monitoring device, and method for controlling imaging element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025858 WO2023281724A1 (ja) 2021-07-08 2021-07-08 撮像素子、撮像装置、監視装置、および撮像素子の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/406,383 Continuation US20240147094A1 (en) 2021-07-08 2024-01-08 Imaging element, imaging device, monitoring device, and method for controlling imaging element

Publications (1)

Publication Number Publication Date
WO2023281724A1 true WO2023281724A1 (ja) 2023-01-12

Family

ID=84800562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025858 WO2023281724A1 (ja) 2021-07-08 2021-07-08 撮像素子、撮像装置、監視装置、および撮像素子の制御方法

Country Status (2)

Country Link
US (1) US20240147094A1 (ja)
WO (1) WO2023281724A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018021034A1 (ja) * 2016-07-26 2018-02-01 ソニー株式会社 撮像制御装置および撮像制御方法、並びに撮像素子
WO2020066433A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
JP2020174254A (ja) * 2019-04-09 2020-10-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018021034A1 (ja) * 2016-07-26 2018-02-01 ソニー株式会社 撮像制御装置および撮像制御方法、並びに撮像素子
WO2020066433A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
JP2020174254A (ja) * 2019-04-09 2020-10-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20240147094A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US10750097B2 (en) Varying exposure time of pixels in photo sensor using motion prediction
US11050955B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US10504949B2 (en) Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
US8184188B2 (en) Methods and apparatus for high dynamic operation of a pixel cell
US20220060645A1 (en) Imaging apparatus, driving method, and electronic device
US8026961B2 (en) Solid-state image pickup apparatus having effective and non-effective pixel portions, and driving method therefor
US10841517B2 (en) Solid-state imaging device and imaging system
US20120154656A1 (en) Solid-state imaging element, driving method, and electronic apparatus
JP4483293B2 (ja) 固体撮像装置およびその駆動方法
US10249678B2 (en) Imaging device, method of driving imaging device, and imaging system
KR101939402B1 (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
JP2008017388A (ja) 固体撮像装置
US10965890B2 (en) Imaging device and imaging system
US20090046187A1 (en) Solid-state imaging device
US7884856B2 (en) Imaging apparatus and exposure control method thereof
US8300122B2 (en) Solid-state imaging device, camera system, and signal reading method
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
WO2023281724A1 (ja) 撮像素子、撮像装置、監視装置、および撮像素子の制御方法
JP2013243456A (ja) 固体撮像装置、固体撮像装置の制御方法、および撮像装置
JP2024011562A (ja) 光電変換装置、システム
JP2021180478A (ja) 撮像素子、撮像装置、監視装置、および撮像素子の制御方法
US8384008B2 (en) Solid state imaging device to reduce power consumption
JP4483422B2 (ja) 画素アレイ装置および画素アレイ装置の駆動方法
JPWO2018021034A1 (ja) 撮像制御装置および撮像制御方法、並びに撮像素子
US20240031709A1 (en) Photoelectric conversion device, method of driving photoelectric conversion device, and imaging system

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE