WO2022172621A1 - センシングシステム、信号処理装置 - Google Patents

センシングシステム、信号処理装置 Download PDF

Info

Publication number
WO2022172621A1
WO2022172621A1 PCT/JP2021/047893 JP2021047893W WO2022172621A1 WO 2022172621 A1 WO2022172621 A1 WO 2022172621A1 JP 2021047893 W JP2021047893 W JP 2021047893W WO 2022172621 A1 WO2022172621 A1 WO 2022172621A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
signal
light
pixel
pixels
Prior art date
Application number
PCT/JP2021/047893
Other languages
English (en)
French (fr)
Inventor
篤親 丹羽
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/263,565 priority Critical patent/US20240027645A1/en
Publication of WO2022172621A1 publication Critical patent/WO2022172621A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G01V8/20—Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/448—Array [CCD]

Definitions

  • This technology relates to a sensing system and a signal processing device that aim to reduce noise in reflected light that is reflected by a subject.
  • the light reflected by the subject based on the light emitted from the light source is received by the pixel array section while including noise and the like.
  • an EVS Event-based Vision Sensor
  • the pixel array unit detects a change in the amount of received light and outputs an event signal
  • an event that should not be detected may be detected due to noise.
  • Japanese Patent Application Laid-Open No. 2002-200001 discloses a proximity sensor technology that determines noise by checking the peak detection timing of the waveform obtained by the sensor.
  • This technology was created in view of the above circumstances, and aims to improve event detection performance by improving noise removal performance.
  • a light emission control unit that controls light emission of a light source using a predetermined light emission pattern
  • the device includes a two-dimensionally arranged pixel array section and a signal correction section that corrects the event signal based on the light emission pattern.
  • a determination unit that determines whether or not the event has occurred based on the event signal, and a count unit that counts the number of pixels determined by the determination unit that an event has occurred as the number of event-occurred pixels.
  • a correlation estimation unit for estimating the correlation between the light emission pattern and the amount of received light based on the number of event occurrence pixels.
  • the correlation estimator in the sensing system described above may estimate the correlation based on a pixel count integral value obtained by integrating the event occurrence pixel count.
  • the event signal output from the pixel is a signal that captures the change in the amount of received light.
  • the sensing system described above includes an edge detection unit that detects an edge of the light emission pattern based on the time-varying waveform of the number of event-occurring pixels, and the correlation estimation unit estimates the correlation based on the detected edge. Estimates may be made. By detecting the edge corresponding to the light emission pattern, it becomes unnecessary to integrate the number of event-occurred pixels.
  • the pixels in the sensing system described above are capable of generating, as the event signals, a first polarity event signal representing a change on the increasing side of the amount of received light and a second polarity event signal representing a change on the side of decreasing the amount of received light,
  • the determination unit determines whether a first event occurs based on the first polarity event signal, determines whether a second event occurs based on the second polarity event signal, and the signal correction unit determines whether the The correction may be performed on the first polarity event signal and the second polarity event signal.
  • the generation of the first polarity event corresponding to the rising edge in the predetermined light emission pattern or the occurrence of the predetermined light emission pattern can detect the occurrence of a second polarity event corresponding to a falling edge at .
  • the counting unit in the sensing system described above counts the number of pixels determined by the determination unit that the first event has occurred as the number of first event occurrence pixels, and the determination unit determines that the second event has occurred.
  • the number of pixels determined to have occurred is counted as the number of second event occurrence pixels, and the correlation estimating unit associates the rising edge in the light emission pattern with the number of first event occurrence pixels, and calculates the number of falling edges in the light emission pattern. and the second event occurrence pixel number to estimate the correlation, and the signal correcting unit estimates the correlation detected in the first period in which the first event occurrence pixel number corresponding to the rising edge is counted.
  • the correction may be performed on the second event and the first event detected in a second period in which the number of pixels corresponding to the falling edge where the second event occurs is counted.
  • the light-emitting pattern and the pixel array are formed based on the timing of occurrence of each event. It is possible to calculate the correlation of the amount of light received by the part.
  • the above-described sensing system may further include a notification output unit that, when the correlation estimated by the correlation estimator indicates no correlation, outputs an output for notifying that there is no correlation. .
  • a notification from the notification output unit is transmitted to a subsequent processing unit.
  • the light emission control unit in the sensing system described above may perform light emission control using different light emission patterns for each of a plurality of wavelengths.
  • the light source can emit light of various wavelengths.
  • the pixel array section in the sensing system described above is provided with a plurality of types of pixels corresponding to each of the plurality of wavelengths, and based on the event signal generated by the pixels corresponding to a specific wavelength, a determining unit for determining whether the event has occurred for the corresponding pixel; and counting the number of pixels determined by the determining unit that the event has occurred as the number of event-occurring pixels for the pixel corresponding to the specific wavelength. and a correlation estimating unit that calculates the correlation between the light emission pattern and the number of event occurrence pixels for each specific wavelength, wherein the signal correction unit calculates the light emission pattern corresponding to the specific wavelength and the The event signal generated by the pixel corresponding to the specific wavelength may be corrected based on the correlation.
  • each of the plurality of wavelengths may be a wavelength of visible light having different colors.
  • the specific wavelength is, for example, red light of 700 nm, green light of 525 nm, and blue light of 470 nm.
  • each of the pixels may have a sensitivity to one of the plurality of wavelengths by having a color filter. Accordingly, pixels having a general configuration can be used.
  • the first pixel as the pixel, the second pixel that generates a gradation signal representing the intensity of the amount of received light, unlike the first pixel, and the A signal processing unit that performs signal processing using a corrected event signal obtained by correcting the event signal by the signal correction unit and the gradation signal generated by the second pixel may be provided.
  • Various signal processing units are conceivable.
  • a signal processing unit that generates a color image based on the gradation signal and corrects the color image using the correction event signal is also an example.
  • the first pixels and the second pixels may be formed on the same sensor chip. As a result, it is possible to save space compared to the case where a plurality of sensor chips are configured.
  • a pixel sensitive to red light, a pixel sensitive to green light, and a pixel sensitive to blue light may be provided as the second pixels. Thereby, a gradation signal for each color is generated in each second pixel.
  • the first pixels in the sensing system described above may replace some of the pixels sensitive to green light in the Bayer array.
  • the first pixels and three types of second pixels are arranged in one pixel array section.
  • the sensing system described above may include a light reception control section that controls light reception in the pixel array section in accordance with the light emission pattern. For example, when the non-light emitting state of the light source continues for a predetermined period of time, reflected light corresponding to the light emission pattern of the light source is not received. In such a case, even if events are detected, there is a high possibility that only events caused by noise can be detected.
  • the light reception control section in the sensing system described above may perform light reception control so that the event is not detected in the pixel array section when there is no change in the light emission state of the light source.
  • the amount of reflected light received does not change according to the light emission pattern of the light source, not only when the light source is in the non-light emitting state but also when the light emitting state continues for a predetermined period of time.
  • a signal processing device includes a determination unit that determines whether or not an event exists based on an event signal output from a pixel as a signal indicating whether or not a change in the amount of received light is detected as an event; a counting unit that counts the number of pixels determined to have occurred as the number of event-occurred pixels, and a correlation estimating unit that estimates the correlation between a predetermined light emission pattern in a light source and the amount of received light based on the number of event-occurred pixels and a signal correction unit that corrects the event signal based on the estimated correlation and the light emission pattern.
  • a signal processing device can also provide the various effects described above.
  • FIG. 1 is a block diagram showing a configuration example of a sensing system according to the present technology
  • FIG. 3 is a schematic diagram showing a configuration example of a pixel array section
  • FIG. 3 is an equivalent circuit diagram of a first pixel
  • FIG. 4 is a diagram showing an internal configuration example of an event detection circuit; It is a figure which shows an example of a light emission pattern. It is a figure which shows an example of the change of the light reception amount of a 1st pixel.
  • FIG. 4 is a diagram showing an example of a first polarity event signal and a second polarity event signal; It is a figure which shows an example of the change of an event index.
  • FIG. 10 is a diagram showing an example of changes in event index integral values; FIG.
  • FIG. 10 is a diagram showing an example of changes in the number of first event occurrence pixels;
  • FIG. 10 is a diagram showing an example of changes in the number of second event occurrence pixels; It is a figure which shows an example of stationary noise.
  • FIG. 11 is a block diagram showing a configuration example of a sensing system according to a second embodiment;
  • FIG. 11 is a block diagram showing a configuration example of a sensing system according to a third embodiment;
  • FIG. It is a figure which shows an example of the light emission pattern given to three types of light sources with a different wavelength.
  • FIG. 11 is a block diagram showing a configuration example of a sensing system according to a fourth embodiment;
  • FIG. 11 is a schematic diagram showing a configuration example of a pixel array section in a fourth embodiment
  • FIG. 12 is a block diagram showing a configuration example of a sensing system according to a fifth embodiment
  • FIG. It is a figure which shows an example of the light emission pattern in 5th Embodiment.
  • FIG. 4 is a diagram showing an example of control signals given to a pixel array section; It is an example of the flowchart which a processing part performs.
  • FIG. 10 is a diagram showing a circuit configuration of a modification of the event detection circuit;
  • First Embodiment> ⁇ 1-1. Configuration of Sensing System> ⁇ 1-2. Configuration of Pixel Array Section> ⁇ 1-3. Detection of Reflected Light Based on Light Emission Pattern> ⁇ 1-4. Noise removal during the target period> ⁇ 2.
  • Second Embodiment> ⁇ 3.
  • Third Embodiment> ⁇ 4.
  • Fourth Embodiment> ⁇ 5.
  • Fifth Embodiment> ⁇ 6.
  • a sensing system 1 according to the first embodiment includes a light source 2, a control section 3, a pixel array section 4, and a signal processing section 5, as shown in FIG.
  • the light source 2 can irradiate a specific light toward an object OB positioned outside the sensing system 1 .
  • the specific light may be visible light or non-visible light.
  • IR (Infrared) light which is invisible light, is taken as an example.
  • the light emitted from the light source 2 toward the outside of the sensing system 1 is referred to as "irradiation light LI".
  • the control unit 3 includes a light emission control unit 6 that controls light emission of the light source 2 . Although specifically described later, the light emission control unit 6 performs light emission control of the light source 2 according to a predetermined light emission pattern Pt.
  • the pixel array section 4 includes a plurality of pixels G that receive the light reflected by the subject OB from the illumination light LI.
  • the light incident on the pixel G after the illumination light LI is reflected by the subject OB is referred to as "reflected light LR".
  • the pixels G included in the pixel array section 4 have sensitivity to IR light. Also, the pixel G detects a change in the amount of received IR light as an event, and generates an event signal Si indicating the presence or absence of the event. The generated event signal Si is output to the signal processing section 5 at the subsequent stage. That is, the pixel array section 4 functions as a so-called EVS (Event-based Vision Sensor).
  • EVS Event-based Vision Sensor
  • the event signal Si output from the first pixel G1 is, for example, either an ON signal (H signal) indicating that an event has occurred or an OFF signal (L signal) indicating that an event has not occurred.
  • the signal processing section 5 performs various signal processing based on the event signal Si output from each first pixel G1 of the pixel array section 4 .
  • the signal processing unit 5 includes a determination unit 7 , a counting unit 8 , an edge detection unit 9 , a correlation estimation unit 10 and a signal correction unit 11 .
  • the determination unit 7 performs processing for determining whether an event has been detected based on the event signal Si.
  • the counting unit 8 counts the number of first pixels G1 in which an event is detected as the number of event occurrence pixels Neg.
  • the edge detection unit 9 detects rising edges and falling edges of the light emission pattern Pt based on changes in the amount of light received.
  • the correlation estimator 10 performs processing for determining whether or not the event signal Si is an event caused by receiving the reflected light LR. For example, a process of estimating the correlation between the light emission pattern Pt given to the light source 2 by the light emission control unit 6 and the amount of light received at the first pixel G1 is performed. Alternatively, the correlation between the light emission pattern Pt and the amount of light received by the entire pixel array section 4 may be estimated. Further, the correlation may be estimated by comparing the timing when the number of event occurrence pixels Neg is large and the light emission pattern Pt. Each of these examples will be described later.
  • the signal corrector 11 corrects the event signal Si according to the information about the correlation estimated by the correlation estimator 10 and outputs it as a corrected event signal Sic.
  • the correction event signal Sic is supplied to the outside of the sensing system 1, for example. Devices and systems external to the sensing system 1 can perform various types of processing using the corrected event signal Sic. Examples of these are described in other embodiments.
  • the signal correction unit 11 uses correlation information to determine whether the event signal Si is based on an event detected in response to the reception of the reflected light LR or based on an event detected by noise. When it is determined that the event signal Si is output due to an event detected by noise, the event signal Si is corrected.
  • the event signal Si output as an ON signal (H signal) may be corrected to an OFF signal (L signal).
  • a process of outputting information for instructing Si to be handled as an OFF signal may be performed.
  • the pixel array section 4 is formed by two-dimensionally arranging the first pixels G1 in a matrix.
  • Each first pixel G1 has a single photodiode PD, and is capable of generating an event signal Si using charges obtained from the photodiode PD.
  • FIG. 3 is an equivalent circuit diagram of the first pixel G1.
  • the first pixel G1 includes a photodiode PD as a photoelectric conversion element.
  • the first pixel G1 includes an event transfer transistor Qti (not shown), a logarithmic converter 12, a buffer 13, an event detection circuit 14, a transistor Q1, and a first event selection transistor as a configuration related to generation and readout of the event signal Si. It has Qsi1, a transistor Q2, and a second event selection transistor Qsi2.
  • the various transistors included in the first pixel G1 are composed of, for example, MOSFETs (Metal-Oxide-Semiconductor Field-Effect Transistors).
  • a row control line is wired along the row direction for each pixel row, and an event vertical signal line is wired along the column direction for each pixel column.
  • a row control line Lc2 for transmitting the reference level reset signal Srst and a row control line Lc3 for transmitting the event selection signal Sslc are wired.
  • the logarithmic converter 12 converts the photocurrent (current corresponding to the amount of light received) obtained by the photodiode PD into a logarithmic voltage signal.
  • the buffer 13 corrects the voltage signal input from the logarithmic conversion unit 12 and outputs it to the event detection circuit 14 .
  • the logarithmic conversion unit 12 includes a transistor Qe1, a transistor Qe2, and a transistor Qe3.
  • the transistors Qe1 and Qe3 are N-type transistors, and the transistor Qe2 is a P-type transistor.
  • the source of the transistor Qe1 is connected to the cathode of the photodiode PD via the event transfer transistor Qti, and the drain is connected to the power supply terminal (reference potential VDD).
  • the transistors Qe2 and Qe3 are connected in series between the power supply terminal and the ground terminal.
  • a connection point between the transistors Qe2 and Qe3 is connected to the gate of the transistor Qe1 and the input terminal of the buffer 13 (the gate of the transistor Qe5, which will be described later).
  • a predetermined bias voltage Vbias is applied to the gate of the transistor Qe2.
  • the drains of the transistors Qe1 and Qe3 are connected to the power supply side (reference potential VDD) to form a source follower circuit. These two loop-connected source followers convert the photocurrent from the photodiode PD into its logarithmic voltage signal. Also, the transistor Qe2 supplies a constant current to the transistor Qe3.
  • the buffer 13 includes a transistor Qe4 and a transistor Qe5, each of which is a P-type transistor. These transistors Qe4 and Qe5 are connected in series between a power supply terminal and a ground terminal. A connection point between the transistor Qe4 and the transistor Qe5 is used as an output terminal of the buffer 13, and the corrected voltage signal is output to the event detection circuit 14 as a light receiving signal from the output terminal.
  • the event detection circuit 14 detects a change in the amount of received light as an event by obtaining a difference between the past level of the received light signal as a reference level Lref and the current level of the received light signal. Specifically, the event detection circuit 14 detects the presence or absence of an event based on whether the level (absolute value) of the difference signal representing the difference between the reference level Lref and the current level of the received light signal is equal to or greater than a predetermined threshold. do.
  • the event detection circuit 14 of this example detects an event in which the amount of received light changes to the increasing side, that is, an event in which the difference from the reference level Lref becomes positive (hereinafter referred to as a "first polarity event”), and an event in which the amount of received light changes to the decreasing side. , that is, an event in which the difference from the reference level Lref is negative (hereinafter referred to as a "second polarity event").
  • the event detection circuit 14 outputs a signal indicating the detection result of the first polarity event as the first polarity event signal Si1, and outputs a signal indicating the detection result of the second polarity event as the second polarity event signal Si2.
  • the event detection circuit 14 resets the reference level Lref to the current light receiving signal level based on the reference level reset signal Srst input via the row control line Lc2.
  • resetting the reference level Lref in this way, it is possible to detect new events based on the change in the received light signal level after the resetting. That is, resetting the reference level Lref functions as processing for controlling the event detection circuit 14 to a state in which new event detection is possible.
  • the transistor Q1 and the first event selection transistor Qsi1, and the transistor Q2 and the second event selection transistor Qsi2 function as selection output circuits for the first polarity event signal Si1 and the second polarity event signal Si2, respectively.
  • the first polarity event signal Si1 and the second polarity event signal Si2 are detected as the event signals
  • the first event vertical signal line Li1 and the second event vertical signal line Li2 are used as the event vertical signal lines. and are provided.
  • the transistor Q1 and the first event selection transistor Qsi1 are connected in series between the first event vertical signal line Li1 and the ground terminal, and the gate of the transistor Q1 is supplied with the first polarity event signal Si1.
  • the transistor Q2 and the second event selection transistor Qsi2 are connected in series between the second event vertical signal line Li2 and the ground terminal, and the gate of the transistor Q2 is supplied with the second polarity event signal Si2.
  • the gate of the first event selection transistor Qsi1 and the gate of the second event selection transistor Qsi2 are each connected to the row control line Lc3.
  • the first event selection transistor Qsi1 becomes conductive when the event selection signal Sslc supplied to its gate from the row control line Lc3 is turned on, and outputs the first polarity event signal Si1 to the first event vertical signal line Li1.
  • the second event selection transistor Qsi2 becomes conductive when the event selection signal Sslc supplied to its gate from the row control line Lc3 is turned on, and outputs the second polarity event signal Si2 to the second event vertical signal line Li2. .
  • a light reception signal corresponding to the accumulated charge of the photodiode PD is input to the event detection circuit 14 to generate a first polarity event signal Si1 and a second polarity event signal Si2.
  • the event selection signal Sslc is turned ON, and the first polarity event signal Si1 and the second polarity event signal Si2 are read from the first event vertical signal line Li1. , to the second event vertical signal line Li2.
  • FIG. 4 is an explanatory diagram of an internal configuration example of the event detection circuit 14, showing the photodiode PD, the logarithmic conversion unit 12, and the buffer 13 together with the internal circuit configuration example of the event detection circuit 14.
  • FIG. 4 is an explanatory diagram of an internal configuration example of the event detection circuit 14, showing the photodiode PD, the logarithmic conversion unit 12, and the buffer 13 together with the internal circuit configuration example of the event detection circuit 14.
  • event detection circuit 14 includes subtractor 15 and quantizer 16 .
  • the subtractor 15 lowers the level of the received light signal (voltage signal) from the buffer 13 according to the reference level reset signal Srst.
  • the subtractor 15 outputs the reduced received light signal to the quantizer 16 .
  • the quantizer 16 quantizes the received light signal from the subtractor 15 into a digital signal and outputs it as an event signal (first polarity event signal Si1 and second polarity event signal Si2 in this example).
  • the subtractor 15 includes capacitors C1 and C2, transistors Qe7 and Qe8, and a reset switch SWr.
  • Transistor Qe7 is a P-type transistor
  • transistor Qe8 is an N-type transistor.
  • the transistors Qe7 and Qe8 are connected in series between the power supply terminal and the ground terminal to form an inverter. Specifically, the source of the transistor Qe7 is connected to the power supply terminal and the drain is connected to the drain of the transistor Qe8, and the source of the transistor Qe8 is connected to the ground terminal.
  • a voltage Vbdif is applied to the gate of the transistor Qe8.
  • the capacitor C1 has one end connected to the output terminal of the buffer 13 and the other end connected to the gate of the transistor Qe7 (input terminal of the inverter).
  • the capacitor C2 has one end connected to the other end of the capacitor C1 and the other end connected to a connection point between the transistors Qe7 and Qe8.
  • the reset switch SWr has one end connected to a connection point between the capacitors C1 and C2, and the other end connected to a connection point between the transistors Qe7 and Qe8 and the capacitor C2, and is connected in parallel to the capacitor C2. ing.
  • the reset switch SWr is a switch that is turned on/off according to the reference level reset signal Srst.
  • the inverter formed by the transistor Qe7 and the transistor Qe8 inverts the received light signal input via the capacitor C1 and outputs it to the quantizer 16.
  • the potential generated on the buffer 13 side of the capacitor C1 at a certain time is assumed to be the potential Vinit.
  • the reset switch SWr is turned on at this time.
  • the side of the capacitor C1 opposite to the buffer 13 serves as a virtual ground terminal.
  • the potential of this virtual ground terminal is assumed to be zero.
  • the charge CHinit accumulated in the capacitor C1 is expressed by the following (Equation 1), where Cp1 is the capacitance of the capacitor C1.
  • Equation 3 the charge CH2 accumulated in the capacitor C2 is expressed by the following (Equation 3), where Cp2 is the capacitance of the capacitor C2 and Vout is the output voltage of the subtractor 15.
  • Vout -(Cp1/Cp2) ⁇ (Vafter-Vinit) (Formula 5)
  • Equation 5 represents the subtraction operation of the voltage signal, and the gain of the subtraction result is Cp1/Cp2.
  • the subtractor 15 outputs a signal representing the difference between the level of the received light signal in the past (Vinit) and the level of the current received light signal (Vafter).
  • the potential Vinit corresponds to the reference level Lref described above. From the above description, the potential Vinit, that is, the reference level Lref is reset to the current level of the received light signal, in other words, the level of the received light signal at the time when the reset switch SWr is turned on, by turning on the reset switch SWr. become.
  • the quantizer 16 includes a transistor Qe9, a transistor Qe10, a transistor Qe11, and a transistor Qe12, and is configured as a 1.5-bit quantizer.
  • Transistors Qe9 and Qe11 are P-type transistors
  • transistors Qe10 and Qe12 are N-type transistors. As shown, the transistors Qe9 and Qe10, and the transistors Qe11 and Qe12 are connected in series between the power supply terminal and the ground terminal, respectively. (Vout) is input. A voltage Vhigh is applied to the gate of the transistor Qe10, and a voltage Vlow is applied to the gate of the transistor Qe12.
  • a first polarity event signal Si1 indicating the detection result of the first polarity event is obtained at the connection point of the transistor Qe9 and the transistor Qe10, and a second polarity event signal indicating the detection result of the second polarity event is obtained at the connection point of the transistor Qe11 and the transistor Qe12.
  • a bipolar event signal Si2 is obtained.
  • the connection point between the transistors Qe9 and Qe10 When the level of the output voltage (Vafter-Vinit) of the subtractor 15 is equal to or higher than the positive side threshold corresponding to the voltage Vhigh, the connection point between the transistors Qe9 and Qe10 The H level first polarity event signal Si1 is obtained, and when the level of the output voltage of the subtractor 15 is less than the plus side threshold, the L level first polarity event signal Si1 is obtained.
  • the first polarity event signal Si1 indicating whether or not the amount of light received has changed in the increasing direction by a predetermined threshold value or more, that is, the first polarity event signal Si1 indicating the detection result of the first polarity event. can get.
  • the second polarity event due to the H level is applied to the connection point of the transistor Qe11 and the transistor Qe12.
  • a signal Si2 is obtained, and when the level of the output voltage of the subtractor 15 is greater than the threshold on the negative side, a second polarity event signal Si2 of L level is obtained.
  • a second polarity event signal indicating whether or not the amount of received light has changed in a decreasing direction by a predetermined threshold value or more that is, a second polarity event signal indicating the detection result of the second polarity event, is provided at the connection point between the transistors Qe11 and Qe12. Si2 is obtained.
  • FIG. 5 An example of the light emission pattern Pt output by the light emission control unit 6 to the light source 2 is shown in FIG.
  • the vertical axis of the graph shown in FIG. 5 represents the control signal (0 or 1), and the horizontal axis represents time.
  • the light source 2 is controlled to emit light from time t0 to time t1, and is controlled to not emit light from time t1 to time t2.
  • the light emitting state is controlled from time t2 to time t3, and the non-light emitting state is controlled from time t3 to time t4.
  • it is controlled to emit light from time t4 to time t5, and is controlled to emit no light after time t5.
  • FIG. 6 shows an example of the amount of light received by the first pixel G1.
  • the difference between the time t6 and the time t0 corresponds to the distance between the sensing system 1 and the subject OB.
  • the first pixel G1 generates an event signal according to the change in the amount of received light shown in FIG.
  • the first pixel G1 generates a first polarity event signal Si1 and a second polarity event signal Si2 as shown in FIG.
  • the first polarity event signal Si1 is set to H (1) at the timing when the first polarity event is detected, and the first polarity event signal Si1 is set to L (0) at the timing when the first polarity event is not detected. be.
  • the second polarity event signal Si2 at the timing when the second polarity event is detected is H(1)
  • the second polarity event signal Si2 at the timing when the second polarity event is not detected is L(0). be done.
  • the count unit 8 of the signal processing unit 5 calculates the first event occurrence pixel count Neg1 and the second event occurrence pixel count Neg2.
  • An event index X is calculated by the counting unit 8 from the first event occurrence pixel number Neg1 and the second event occurrence pixel number Neg2.
  • the first event occurrence pixel count Neg1 is the number of first pixels G1 for which the first polarity event signal Si1 is set to H(1).
  • the second event occurrence pixel count Neg2 is the number of first pixels G1 for which the second polarity event signal Si2 is set to H(1).
  • the event index X is a number obtained by subtracting the second event occurrence pixel number Neg2 from the first event occurrence pixel number Neg1. That is, the event index X is calculated by the following formula (6).
  • the event index X is set to 0. be.
  • the event index X has a positive value
  • the event index X is Negative value.
  • FIG. 8 shows an example of the temporal change of the event index X when the light source 2 irradiates the irradiation light LI based on the light emission pattern Pt shown in FIG. A peak of the event index X is observed (see FIG. 8) at times t6, t7, t8, t9, t10, and t11 (see FIG. 6) at which the amount of received light changes significantly.
  • the correlation estimation unit 10 of the signal processing unit 5 estimates the correlation between the light emission pattern Pt and the amount of light received by the first pixel G1.
  • the first correlation estimation method estimates the amount of reflected light LR received by the entire pixel array section 4 by integrating the event index X, and calculates the amount of reflected light LR received by the entire pixel array section 4 and the light emission pattern Pt. Estimate the correlation of
  • the integration interval may be a predetermined constant time, or may correspond to the light emission pattern Pt. For example, if integration is performed according to the light emission pattern Pt, integration is performed in the integration interval from t6 to t7, and then integration is performed in the integration interval from t7 to t8, as shown in FIG. event index integral value Xi is calculated.
  • the correlation between the event index integral value Xi thus calculated and the light emission pattern Pt the correlation between the light emission pattern Pt and the amount of light received in the pixel array section 4 can be estimated. Further, the correlation between the light emission pattern Pt and the amount of reflected light LR received by the first pixel G1 is estimated for each first pixel G1.
  • the first pixel that outputs H(1) as the first polarity event signal Si1 near times t6, t8, and t10, and outputs H(1) as the second polarity event signal Si2 near times t7, t9, and t11 It can be seen that there is a high possibility that the subject OB is imaged in G1.
  • the correlation estimator 10 may estimate the correlation by calculating an integral value of the event occurrence pixel number Neg instead of calculating the integral value of the event index X.
  • FIG. For example, consider an event signal Si in which H(1) is output in accordance with the occurrence of any event without distinguishing between a first polarity event and a second polarity event. The number of the first pixels G1 that output H(1) as the event signal Si is counted as the event occurrence pixel number Neg at minute intervals, and the value obtained by integrating the event occurrence pixel number Neg is calculated as the pixel number integration value Gi.
  • the light emission pattern Pt is detected in the time period. and the amount of light received in the first pixel G1 or the pixel array section 4 can be estimated.
  • the second correlation estimation method estimates the correlation between the received amount of the reflected light LR and the light emission pattern Pt in the entire pixel array section 4 without performing integration processing.
  • a waveform indicating the temporal change in the number of event-occurring pixels Neg is calculated.
  • the first event and the second event are separately considered. That is, a waveform is calculated that indicates the temporal change in the first event occurrence pixel number Neg1 and the second event occurrence pixel number Neg2.
  • FIG. 10 shows an example of a waveform showing temporal changes in the number of first event occurrence pixels Neg1.
  • peaks appear at times t6, t8, and t10.
  • FIG. 11 shows an example of a waveform showing a temporal change in the second event occurrence pixel number Neg2.
  • peaks appear at times t7, t9, and t11.
  • the correlation estimator 10 estimates the correlation between the received light amount of the reflected light LR and the light emission pattern Pt based on the rising edge and the falling edge detected by the edge detector 9 . Specifically, the correlation estimating unit 10 detects the interval between the rising edges of the light emission pattern Pt from the waveform indicating the temporal change in the number of first event occurrence pixels Neg1. For example, it is detected that there are rising edges of the light emission pattern Pt at intervals of times t6, t8, and t10. Also, the interval between the falling edges of the light emission pattern Pt is detected from the waveform showing the temporal change of the second event occurrence pixel number Neg2.
  • the correlation estimator 10 identifies that there is a high correlation between the time intervals of times t6, t7, t8, t9, t10 and t11 and the time intervals of times t0, t1, t2, t3, t4 and t5. Thereby, the correlation estimating section 10 estimates the correlation between the received amount of the reflected light LR and the light emission pattern Pt in the entire pixel array section 4 .
  • the sensing system 1 receives the reflected light LR based on the light emission pattern Pt at the pixel array unit 4. It is possible to grasp the timing of This allows the sensing system 1 to function as a proximity sensor.
  • the pixel region of the first pixel G1 that received the reflected light LR of the irradiation light LI and the light receiving timing are specified. Therefore, it is possible to treat the event signal Si outside the time zone in which the reflected light LR is received as noise.
  • the event signal Si generated in the time period before time t6 and in the time period after time t11 can be removed as noise even if the signal indicates H(1). be.
  • the signal correction unit 11 corrects the event signal Si by performing such noise removal.
  • the signal processing unit 5 determines the light reception period of the reflected light LR specified by executing the process of estimating the correlation as described above, specifically from time t6 to time t11 in FIGS. Perform processing to remove noise in the period (target period).
  • noise removal There are several methods for noise removal, and two methods will be described here. In each example, the case where the reflected light LR based on the light emission pattern Pt is received during the period from time t6 to time t11 shown in FIG. 6 will be described.
  • a first noise removal method is a method of removing noise from time t6 to time t11 based on the light emission pattern Pt. Specifically, for example, it is estimated that the reflected light LR corresponding to the rising edge of the irradiation light LI is received during the minute time from time t6.
  • the minute time referred to here is a time shorter than the difference between time t7 and time t6, and is, for example, minute time ⁇ t shown in FIG. In this minute time ⁇ t, it can be estimated that the first pixel G1, in which the first polarity event representing the change on the increasing side of the amount of received light is detected, is generating an appropriate first polarity event signal Si1. .
  • the first pixel G1 in which the second polarity event is detected at the minute time ⁇ t may generate an inappropriate second polarity event signal Si2 due to noise. That is, it can be estimated that the second polarity event signal Si2, which is set to H(1) during the minute time ⁇ t from time t6, is caused by noise.
  • the signal corrector 11 corrects the first polarity event signal Si1 and the second polarity event signal Si2 between time t6 and time t11, and outputs the corrected event signal Sic.
  • the corrected event signal Sic corrected by the first noise elimination method is affected by noise not only in the time period before time t6 and in the time period after time t11, but also between time t6 and time t11. will be removed.
  • a second noise removal method is a method of removing noise from time t6 to time t11 in accordance with changes in the amount of received light before time t6 and changes in the amount of received light after time t11.
  • the signal correction unit 11 analyzes stationary noise based on changes in the amount of light received by the pixel array unit 4 before time t6 and changes in the amount of light received by the pixel array unit 4 after time t11. I do.
  • the signal correction unit 11 removes noise by estimating the change in the amount of received light due to the noise component between time t6 and time t11 based on the analysis result.
  • the signal correction unit 11 analyzes how the first event occurrence pixel number Neg1 and the second event occurrence pixel number Neg2 change in the time period before time t6 and the time period after time t11. Then, the signal correction unit 11 estimates the first event occurrence pixel number Neg1 and the second event occurrence pixel number Neg2 caused by noise in the time period from time t6 to time t11, and calculates the estimated number of pixels. Estimate the number of pixels (the first event occurrence pixel number Neg1 and the second event occurrence pixel number Neg2) in which the event is actually detected in the time period from time t6 to time t11.
  • the signal correction unit 11 calculates an event index X estimated as a true value based on the estimated first event occurrence pixel count Neg1 and second event occurrence pixel count Neg2, and outputs the event index X as a corrected event signal Sic to a subsequent stage. good too.
  • FIG. 13 shows a configuration example of a sensing system 1A according to the second embodiment. It should be noted that the same reference numerals are assigned to the same configurations as those of the sensing system 1 according to the first embodiment, and the description thereof will be omitted as appropriate.
  • the control unit 3 of the sensing system 1A includes a notification output unit 17 in addition to the configuration included in the control unit 3 of the sensing system 1 shown in FIG.
  • the notification output unit 17 receives the correlation estimation result described above from the signal processing unit 5, and outputs a notification according to the estimation result outside the sensing system 1A.
  • the notification output unit 17 notifies that the reflected light LR highly correlated with the light emission pattern Pt has been received. Thereby, the sensing system 1 can notify that the object OB is located within a predetermined distance at least at which the reflected light LR based on the light emission pattern Pt reaches the pixel array section 4 .
  • the sensing system 1 is used as, for example, a proximity sensor, it becomes possible to perform processing for further analyzing the proximate object OB in a subsequent device or processing unit.
  • the notification output unit 17 may notify that reception of the reflected light LR highly correlated with the light emission pattern Pt was not confirmed.
  • FIG. 14 shows a configuration example of a sensing system 1B according to the third embodiment.
  • the same reference numerals are given to the same configurations as those of the sensing system 1 according to the first embodiment and the sensing system 1A according to the second embodiment, and the description thereof will be omitted as appropriate.
  • the sensing system 1B differs from the above-described examples in the configuration of the light source 2, the light emission control section 6 of the control section 3, and the first pixel G1 of the pixel array section 4.
  • the light source 2 is configured to be able to irradiate light of multiple wavelengths.
  • the sensing system 1B may include multiple types of light sources 2 .
  • a sensing system 1B shown in FIG. 14 includes a light source 2R capable of emitting red light, a light source 2G capable of emitting green light, and a light source 2B capable of emitting blue light.
  • the light emission control unit 6 performs light emission control of the light source 2R based on the light emission pattern Ptr for the light source 2R. Further, the light emission control unit 6 controls light emission of the light source 2G based on the light emission pattern Ptg for the light source 2G, and controls light emission of the light source 2B based on the light emission pattern Ptb for the light source 2B.
  • the light emission pattern Ptr, the light emission pattern Ptg, and the light emission pattern Ptb are different patterns from each other as in the example shown in FIG.
  • the light emission pattern Ptr is the same pattern as the light emission pattern Pt shown in FIG.
  • the light source 2G is controlled to repeat the light emission state and the non-light emission state twice each from time t0 to time t2, and from time t2 to time t3. From time t3 to time t4, it is controlled to be in the non-light-emitting state, and from time t4 to time t5, the light-emitting state and the non-light-emitting state are controlled to be repeated once each.
  • the light source 2B is controlled to emit light from time t0 to time t2, is controlled to emit no light from time t2 to time t4, and is controlled to emit no light from time t4. to a little past time t5.
  • Irradiation light LI having a predetermined wavelength is emitted from each of the light sources 2R, 2G, and 2B.
  • Each of the three types of irradiation light LI is received by the pixel array section 4B as reflected light LR reflected by the object OB.
  • the pixel array section 4B has a first pixel G1R sensitive to red light, a first pixel G1G sensitive to green light, and a first pixel G1B sensitive to blue light.
  • the first pixel G1R has a red color filter
  • the first pixel G1G has a green color filter
  • the first pixel G1B has a blue color filter.
  • the first pixel G1R receives reflected light LR of the irradiation light LI emitted from the light source 2R. That is, a first polarity event and a second polarity event are detected in the first pixel G1R according to the change in the light amount of the irradiation light LI emitted from the light source 2R.
  • a first polarity event and a second polarity event corresponding to the irradiation light LI emitted from the light source 2G are detected.
  • a first polarity event and a second polarity event are detected according to the irradiation light LI emitted from the light source 2B.
  • a first polarity event signal Si1r and a second polarity event signal Si2r are generated in the first pixel G1R.
  • the first pixel G1G generates a first polarity event signal Si1g and a second polarity event signal Si2g
  • the first pixel G1B generates a first polarity event signal Si1b and a second polarity event signal Si2b.
  • Each process executed by each part of the signal processing unit 5 is the same as that in the first embodiment. However, each process is executed for each wavelength. For example, when performing various processes on red light, a first polarity event signal Si1r and a second polarity event signal Si2r are used instead of the first polarity event signal Si1 and the second polarity event signal Si2 in the first embodiment. deal with Also, the light emission pattern Ptr is handled instead of the light emission pattern Pt. Thereby, the correlation between the light emission pattern Ptr and the amount of received red light is estimated.
  • a first polarity event signal Si1g and a second polarity event signal Si1g and a second polarity event signal Si1g are used instead of the first polarity event signal Si1 and the second polarity event signal Si2 in the first embodiment.
  • Si2g is handled, and the emission pattern Ptg is handled instead of the emission pattern Pt.
  • a first polarity event signal Si1b and a second polarity event signal Si2b are used instead of the first polarity event signal Si1 and the second polarity event signal Si2 in the first embodiment.
  • the emission pattern Ptb is treated instead of the emission pattern Pt.
  • the correlation estimating unit 10 detects the light source in the time period. It can be estimated that the object OB is positioned within a predetermined distance at which the reflected light LR of the illumination light LI emitted from the pixel array unit 4 reaches the pixel array unit 4 .
  • the sensing system 1B may be provided with one light source 2 and a plurality of color filters instead of having a plurality of light sources 2 so that light with a plurality of wavelengths can be emitted.
  • the sensing system 1B may have only one light source 2 capable of changing the wavelength of the illuminating light.
  • the color of the irradiation light LI may be changed.
  • the wavelength is controlled so that blue light is emitted from time t1 to time t2, and yellow light, which is a mixture of red light and green light, is emitted from time t2 to time t3.
  • the wavelength may be controlled to irradiate.
  • a sensing system 1C according to the fourth embodiment includes pixels G that output gradation signals Ss.
  • FIG. 16 shows a configuration example of the sensing system 1C. It should be noted that the same reference numerals as those shown in the respective drawings so far are assigned to the already described configurations, and the description thereof will be omitted as appropriate.
  • the sensing system 1C includes a light source 2, a control section 3, a pixel array section 4C, a first signal processing section 18, and a second signal processing section 19. Descriptions of the configurations of the light source 2 and the control unit 3 are omitted.
  • the pixel array section 4C has a second pixel G2 in addition to the first pixel G1. While the first pixel G1 detects a change in the amount of received light and outputs an event signal Si, the second pixel G2 outputs a gradation signal Ss corresponding to the amount of received light.
  • the second pixel G2 includes an on-chip lens, a color filter, a readout circuit, a reset circuit, and the like. Note that the gradation signal Ss output from the second pixel G2 is a digital signal.
  • a first pixel array consisting of the first pixels G1 and a second pixel array consisting of the second pixels G2 may be provided. That is, it may have a rectangular pixel array in which the first pixels G1 are arranged in a matrix and a rectangular pixel array in which the second pixels G2 are arranged in a matrix.
  • first pixel G1 and the second pixel G2 may be arranged in one pixel array. That is, the first pixel G1 and the second pixel G2 may be formed on the same sensor chip. An example is shown in FIG.
  • one second pixel G2R having sensitivity to red light and one second pixel G2R having sensitivity to blue light in an area of 4 pixels in total, 2 pixels each in length and width, has sensitivity to blue light.
  • One second pixel G2B and two second pixels G2G sensitive to green light are arranged.
  • one of the two second pixels G2G arranged in an area of four pixels in total is replaced with the first pixel G1. That is, one first pixel G1, one second pixel G2R, one second pixel G2G, and one second pixel G2B are arranged in a total of four pixels, each of which has two pixels vertically and horizontally. there is
  • the first signal processing section 18 includes a determining section 7, a counting section 8, an edge detecting section 9, a correlation estimating section 10, and a signal correcting section 11, similar to the signal processing section 5 described above.
  • the determining unit 7, the counting unit 8, the correlation estimating unit 10, and the signal correcting unit 11 perform the above-described various processes on the event signal Si output from the first pixel G1 included in the pixel array unit 4C to obtain a corrected event signal. It outputs the signal Sic.
  • the first signal processing unit 18 includes a gradation signal processing unit 20 that performs signal processing on the gradation signal Ss.
  • the gradation signal processing unit 20 performs various signal processing on the gradation signal as a digital signal output from the second pixel G2. For example, the gradation signal processing unit 20 performs preprocessing and the like.
  • a clamping process for clamping the black levels of R, G, and B to a predetermined level, a correction process between the R, G, and B color channels, etc. are performed on the gradation signal.
  • the gradation signal Ss to which the signal processing in the gradation signal processing unit 20 has been applied is output to the second signal processing unit 19 together with the correction event signal Sic.
  • the second signal processing unit 19 performs signal processing using the corrected event signal Sic and the gradation signal Ss. Some examples are given.
  • a first example of signal processing executed by the second signal processing unit 19 relates to processing for increasing the precision of an edge image.
  • the corrected event signal Sic is obtained by correcting the event signal Si erroneously detected due to noise or the like. Therefore, it is possible to generate an edge image with a certain degree of accuracy.
  • a signal for generating contrast information using the gradation signal Ss for each pixel defined as an edge portion in the edge image generated based on the correction event signal Sic. process is provided.
  • the gradation signal Ss only information corresponding to the pixels defined as edge portions in the edge image generated based on the correction event signal Sic may be stored. This makes it possible to reduce the storage capacity of the storage unit that stores the gradation signal Ss.
  • a second example of the signal processing executed by the second signal processing unit 19 relates to tracking of the subject OB.
  • the second signal processing unit 19 performs signal processing for recognizing the object OB using the gradation signal Ss. Thereby, the object OB is specified. Then, the second signal processing unit 19 performs tracking processing using the corrected event signal Sic on the recognized object OB.
  • the corrected event signal Sic is a highly accurate signal from which noise and the like are removed as described above, the object OB can be prevented from being lost by tracking the object OB using the corrected event signal Sic. be.
  • the first pixel G1 that generates the event signal Si can operate at a higher frequency than the second pixel G2 that generates the gradation signal Ss.
  • the signal processing for detecting the subject OB based on the gradation signal Ss is a heavy process with a large amount of computation. Therefore, instead of reducing the execution frequency of the object OB detection processing based on the gradation signal Ss, the tracking during that period is performed based on the frequently generated event signal Si, thereby reducing the processing load of the sensing system 1C. It is possible to perform highly accurate tracking of the object OB while achieving the above.
  • the generation frame rate of the correction event signal Sic is set higher than the frame rate of the image frames generated based on the gradation signal Ss. Therefore, it is conceivable that the second signal processing unit 19 performs blur removal processing (deblur processing) using the correction event signal Sic on image data generated based on the gradation signal Ss. This makes it possible to generate image data from which blur is removed for a moving subject.
  • the second signal processing unit 19 may perform processing for SLAM (Simultaneous Localization and Mapping) technology used in automatic driving technology, AGV (Automatic Guided Vehicle), etc. Conceivable. That is, by using the highly accurate corrected event signal Sic, it is possible to accurately recognize the position and movement of obstacles and the like. As a result, it is possible to accurately perform self-position specifying processing, mapping processing, and route generation processing.
  • SLAM Simultaneous Localization and Mapping
  • AGV Automatic Guided Vehicle
  • a sensing system 1D according to the fifth embodiment performs light reception control of the pixel array section 4 using the light emission pattern Pt. It should be noted that the same reference numerals as those shown in the respective drawings so far are assigned to the already described configurations, and the description thereof will be omitted as appropriate.
  • the sensing system 1D includes a light source 2, a control section 3D, a pixel array section 4, and a signal processing section 5, as shown in FIG. Descriptions of the configurations of the light source 2 and the signal processing unit 5 are omitted.
  • the control unit 3D includes a light reception control unit 21 in addition to the light emission control unit 6.
  • the light reception control section 21 performs light reception control of the pixel array section 4 based on the light emission pattern Pt given to the light source 2 by the light emission control section 6 .
  • the light reception control unit 21 knows the timing at which the light source 2 is made to emit light based on the light emission pattern Pt for causing the light source 2 to emit light. Therefore, when the sensing system 1D functions as a proximity sensor, the pixel array unit 4 cannot be driven because the reflected light LR based on the light emission pattern Pt cannot be generated during a period when the light source 2 is not emitting light. By stopping, it is possible to stop the function as a proximity sensor.
  • the light emission control unit 6 outputs a control signal having a predetermined pattern to the light source 2 from time t0 to time t5, and outputs L(0 ) signal, outputs a control signal having a predetermined pattern from time t12 to time t13, outputs an L signal from time t13 to time t14, and outputs a predetermined pattern from time t14 to time t15.
  • the time width between time t5 and time t12 and the time width between time t13 and time t14 are time Ti.
  • the light reception control section 21 outputs an H(1) signal for controlling the pixel array section 4 to the driving state and an L(0) signal for controlling the non-driving state.
  • An example is shown in FIG. As shown in the figure, since the reflected light LR based on the irradiation light LI of the light source 2 is not received in the time period before the time t0, the light reception control section 21 outputs the L signal to the pixel array section 4.
  • the pixel array section 4 can receive the reflected light LR based on the irradiation light LI from the light source 2 during the period between the time t0 and the time t5 and the time t16 when the predetermined time Ta has passed from the time t5. Therefore, the light reception control section 21 outputs an H signal to the pixel array section 4 .
  • the time Ta is determined by the detection distance of the object OB. That is, if it is desired not to detect the object OB until the object OB moves to a closer position, the time Ta should be shortened. Also, if it is desired to detect the object OB at a farther position, the time Ta should be lengthened.
  • the time period from time t16 to time t12 is a time period in which the reflected light LR based on the irradiation light LI of the light source 2 is not received by the pixel array section 4, or the reflected light reflected by the object OB farther than the detection distance. Since LR is the time period during which light is received, the light reception control section 21 outputs an L signal to the pixel array section 4 to stop light reception processing in the pixel array section 4 .
  • the light receiving control unit 21 outputs an L signal to the pixel array unit 4 during the period from time t17 to time t14, and outputs an H signal during the period from time t14 to time t18.
  • the L signal is output in the time zone after time t18.
  • the sensing system 1D is a portable device, it is possible to use it continuously for a long time by reducing power consumption, thereby improving convenience.
  • FIG. 21 shows a flowchart of processing executed by the control units 3 and 3D and the signal processing unit 5 to realize each sensing system 1 (1A, 1B, 1C, 1D) described above.
  • the control units 3, 3D and signal processing unit 5 are simply referred to as "processing units" without distinguishing between them.
  • the processing unit performs processing for outputting the light emission pattern Pt to the light source 2 in step S101. Thereby, the light source 2 performs light irradiation based on the light emission pattern Pt.
  • the processing unit performs event detection in step S102.
  • Event detection is performed by detecting a change event in the amount of received light in the first pixel G ⁇ b>1 provided in the pixel array section 4 .
  • step S103 the processing unit performs correlation estimation processing.
  • the correlation estimation process detects the number of event-occurring pixels Neg (the number of event-occurring pixels Neg1 or the number of event-occurring pixels Neg2 may be used) and the edge of the light-emitting pattern Pt, thereby determining the light-emitting pattern Pt and the first pixel G1 ( Alternatively, it is a process of estimating the correlation of changes in the amount of received light in the pixel array section 4).
  • step S104 the processing unit determines whether or not a high correlation is estimated between the light emission pattern Pt and the change in the amount of received light in the first pixel G1 (or the pixel array unit 4).
  • a time period in which a high correlation is estimated can be estimated as a period during which the reflected light LR of the irradiation light LI based on the light emission pattern Pt is received. Therefore, the processing unit outputs such an event signal Si as a detection signal in step S105.
  • the time period in which no high correlation was estimated can be estimated to be the event signal Si detected by noise or the like unrelated to the light emission pattern Pt.
  • the processing unit corrects the event signal Si as noise in step S106.
  • the corrected event signal Sic is output from the signal processing section 5 .
  • Various methods are conceivable for correcting the event signal Si, as described in the item of noise removal in the target period.
  • step S107 the processing unit determines whether or not there is a time period in which a strong correlation can be estimated in the entire period during which event detection is performed. If there is no time slot in which a strong correlation can be estimated, the processing unit performs notification processing in step S108. Thereby, for example, in the sensing system 1 functioning as a proximity sensor, it is possible to notify that a proximate object has not been detected.
  • the correction event signal Sic output by executing the processing shown in FIG. 21 is used alone in the signal processing section in the subsequent stage, so that the sensing system 1 can function as a proximity sensor and a distance sensor. can be fulfilled.
  • the second signal processing in the subsequent stage can be performed as described in the fourth embodiment. It becomes possible for the unit 19 to perform signal processing for realizing various functions.
  • the event signal Si for each first pixel G1 is collectively calculated to calculate the first event pixel number Neg1, the second event pixel number Neg2, and the event index X.
  • the sensing system 1 functions as a proximity sensor.
  • the above-described correlation estimation processing and the like can also be performed for each first pixel G1.
  • the first pixel G1 estimated to have a strong correlation is estimated to be the pixel in which the object OB located near the sensing system 1 is imaged.
  • the light receiving timing of the reflected light LR at the first pixel G1 can be estimated, the distance information about the subject OB can be obtained based on the light receiving timing of the reflected light LR.
  • the sensing system 1 can function as a distance sensor.
  • the sensing system 1 can output a range image with little noise due to correction by the signal correction unit 11 described above.
  • FIG. 22 shows a configuration example of a quantizer 16A having one comparator. Note that the photodiode PD, the logarithmic conversion unit 12, the buffer 13, and the subtractor 15 are the same as those described above, so descriptions thereof will be omitted. Using the configuration shown in FIG. 22, detection of the first polarity event and the second polarity event can be performed in a time division manner.
  • the quantizer 16A differs from the example shown in FIG. 4 in that the transistors Qe11 and Qe12 are omitted. In this case, the output signal of the quantizer 16A is only one system of the signal obtained at the connection point of the transistor Qe9 and the transistor Qe10.
  • the quantizer 16A is controlled based on the signal output from the controller Ctr. Specifically, the controller Ctr controls the gate voltage of the transistor Qe10 in the quantizer 16A. The controller Ctrl switches the gate voltage of the transistor Qe10 between the voltage Vhigh and the voltage Vlow.
  • the first polarity event signal Si1 representing the detection result of the first polarity event is obtained in the quantizer 16A during the selection period of the voltage Vhigh.
  • a second polarity event signal Si2 indicating the detection result of the second polarity event is obtained in the quantizer 16A.
  • controller Ctr may be provided for each pixel G, or a common controller Ctr may be provided for each of a plurality of pixels G.
  • the sensing system 1 (1A, 1B, 1C, 1D) uses a predetermined light emission pattern Pt to perform light emission control of the light sources 2 (2R, 2G, 2B).
  • the light source 2 By causing the light source 2 to emit light in a predetermined light emission pattern Pt, it is possible to distinguish between the reflected light LR reflected by the object OB and noise in each pixel (first pixel G1). Therefore, noise removal and the like can be performed.
  • the sensing system 1 (1A, 1B, 1C, 1D) includes the determination unit 7 that determines whether an event has occurred based on the event signal Si (Si1, Si2). , a counting unit that counts the number of pixels (first pixels G1) for which an event has occurred determined by the determination unit 7 as the event occurrence pixel number Neg (first event occurrence pixel number Neg1, second event occurrence pixel number Neg2). 8, and a correlation estimation unit 10 that estimates the correlation between the light emission pattern Pt and the amount of received light based on the event occurrence pixel number Neg. Also, the signal correction unit 11 may perform correction based on the estimated correlation.
  • the correlation estimator 10 in the sensing system 1 (1A, 1B, 1C, 1D) includes the number of event occurrence pixels Neg (first event occurrence pixel number Neg1, The correlation may be estimated based on the pixel number integration value Gi obtained by integrating the 2-event occurrence pixel number Neg2).
  • the event signal Si (first polarity event signal Si1, second polarity event signal Si2) output from the pixel (first pixel G1) is a signal that captures the change in the amount of received light.
  • the integrated value of the number of event occurrence pixels Neg is given by It becomes a signal similar to the predetermined light emission pattern Pt. Therefore, it is possible to detect with high accuracy that the object OB is present in the vicinity.
  • the sensing system 1 (1A, 1B, 1C, 1D) has the event occurrence pixel count Neg (the first event occurrence pixel count Neg1, the second event occurrence pixel count
  • An edge detector 9 for detecting edges of the light emission pattern Pt based on the time-varying waveform of the number Neg2 may be provided, and the correlation estimator 10 may estimate the correlation based on the detected edges.
  • the pixel (first pixel G1) in the sensing system 1 (1A, 1B, 1C, 1D) receives the amount of light received as the event signal Si.
  • a first polarity event signal Si1 representing a change on the increasing side and a second polarity event signal Si2 representing a change on the decreasing side of the amount of received light can be generated.
  • the signal correction unit 11 determines whether or not one event has occurred, determines whether or not a second event has occurred based on the second polarity event signal Si2, and corrects the first polarity event signal Si1 and the second polarity event signal Si2.
  • the predetermined can detect the occurrence of a second polarity event corresponding to a falling edge in the emission pattern of . Therefore, it is possible to determine whether or not the reflected light LR of the light emitted by the predetermined light emission pattern Pt has a correlation with the predetermined light emission pattern Pt with higher accuracy.
  • the counting unit 8 in the sensing system 1 (1A, 1B, 1C, 1D) selects pixels determined by the determining unit 7 to have the first event.
  • the number of (first pixels G1) is counted as the first event occurrence pixel number Neg1
  • the number of pixels (first pixels G1) determined to have the second event by the determining unit 7 is the second event occurrence pixel number.
  • the correlation estimation unit 10 associates the rising edge in the light emission pattern Pt with the first event occurrence pixel number Neg1 and associates the falling edge in the light emission pattern Pt with the second event occurrence pixel number Neg2 to estimate the correlation.
  • the signal correction unit 11 determines a first period during which the first event occurrence pixel number Neg1 corresponding to the rising edge is counted (for example, a period from time t6 shown in FIG. 5 until minute time ⁇ t elapses). ), and the second period during which the second event occurrence pixel number Neg2 corresponding to the falling edge is counted (for example, the period from time t7 until minute time ⁇ t elapses, or , a period from time t7 to time t8, etc.).
  • edge images and the like output from the sensing system can be of high quality.
  • a notification output unit 17 for outputting for the purpose may be provided. For example, a notification from the notification output unit 17 is transmitted to a subsequent processing unit.
  • the sensing system 1A is used as a proximity sensor, there is no need to execute detailed face authentication processing when the processing unit in the subsequent stage receives the notification processing of the non-correlation. It is possible to reduce the load and reduce the power consumption. It is also possible to notify that there is no correlation for each pixel.
  • the sensing system 1A when a processing unit at a later stage receives notification processing that the light received by a certain pixel (first pixel G1) is uncorrelated, It is possible to avoid executing the distance calculation processing of . Thereby, reduction of the amount of calculations can be aimed at. In addition, calculation of erroneous distance information is prevented.
  • the light emission control section 6 in the sensing system 1B may perform light emission control using different light emission patterns for each of a plurality of wavelengths.
  • the light sources 2 (2R, 2G, 2B) can emit light of various wavelengths (eg, red light, green light, blue light). This makes it possible to more accurately correct the event signal Si based on the light emission pattern Pt.
  • the pixel array section 4B in the sensing system 1B includes multiple types of pixels (red pixel G1R, green pixel G1G, and blue pixel G1B) corresponding to multiple wavelengths.
  • event signals Si first polarity event signal Si1, second polarity event signal Si2 generated by pixels (red pixel G1R, green pixel G1G, blue pixel G1B) corresponding to specific wavelengths.
  • the determination unit 7 determines whether or not the event has occurred for the corresponding pixels, and the number of pixels determined to have the event by the determination unit 7 is the number of event occurrence pixels Neg (first a counting unit 8 for counting as the event occurrence pixel number Neg1, the second event occurrence pixel number Neg2), the emission patterns Ptr, Ptg, Ptb and the event occurrence pixel number Neg A correlation estimating unit 10 that calculates the correlation of Neg2) for each specific wavelength, and the signal correction unit 11 corresponds to the specific wavelength based on the emission patterns Ptr, Ptg, Ptb corresponding to the specific wavelength and the correlation
  • the event signals Si (first polarity event signal Si1, second polarity event signal Si2) generated by the pixels (red pixel G1R, green pixel G1G, blue pixel G1B) generated by the above pixels (red pixel G1R, green pixel G1G, blue pixel G1B) may be corrected.
  • each of the plurality of wavelengths may be a wavelength of visible light of different colors.
  • the specific wavelength is, for example, red light of 700 nm, green light of 525 nm, and blue light of 470 nm.
  • the light sources 2R and 2G are arranged so that the correlations with the emission patterns Ptr, Ptg, and Ptb can be calculated using pixels having general R (red), G (green), and B (blue) color filters. , 2B.
  • each of the pixels has a color filter so that a plurality of wavelengths can be detected.
  • the first pixels G1 red pixel G1R, green pixel G1G, and blue pixel G1B corresponding to the respective RGB lights
  • the reflected light LR of the light emitted from the light sources 2R, 2G, and 2B and the noise can be sorted out with high precision.
  • second pixels G2, G2R, G2G, and G2B that generate gradation signals Ss representing the intensity of a signal processing unit (second signal processing unit 19) that performs signal processing using the corrected event signal Sic corrected by the signal correction unit 11 and the gradation signal Ss generated by the second pixel G2; may be Various types are conceivable as the second signal processing unit 19 .
  • a signal processing unit that generates a color image based on the gradation signal Ss and corrects the color image using the correction event signal Sic is also an example. Specifically, it is possible to execute processing for making edge portions in a color image stand out more.
  • a signal processing unit that generates an edge image using the correction event signal Sic and corrects the edge image to a higher precision based on the contrast information obtained from the color image can also be considered. In this way, it is possible to improve the definition of images in various examples.
  • a signal processing unit that performs object recognition based on an image generated based on the gradation signal Ss and performs tracking of the object using the correction event signal Sic can be considered. In this case, the amount of data can be reduced by holding only the gradation signal Ss of the area corresponding to the edge information based on the event signal Si.
  • the first pixel G1 and the second pixels G2, G2R, G2G, and G2B in the sensing system 1C may be formed on the same sensor chip. As a result, it is possible to save space compared to the case where a plurality of sensor chips are configured. Therefore, it is possible to contribute to miniaturization of the sensing system 1C.
  • a pixel (second pixel G2G) and a pixel (second pixel G2B) having sensitivity to blue light may be provided.
  • the gradation signal Ss for each color is generated in each of the second pixels G2R, G2G, and G2B. Therefore, various kinds of processing can be performed using the color image and the correction event signal Sic.
  • the first pixel G1 in the sensing system 1C replaces part of the pixel (second pixel G2G) having sensitivity to green light in the Bayer array. may be placed.
  • the first pixel G1 and three types of second pixels G2R, G2G, and G2B are arranged in one pixel array section 4C. Therefore, it is not necessary to provide a plurality of pixel array sections 4, which contributes to miniaturization of the sensing system 1C.
  • the sensing system 1D includes the light reception control section 21 that performs light reception control in the pixel array section 4 according to the light emission pattern Pt. good too. For example, when the non-light emitting state of the light source 2 continues for a predetermined time, the reflected light LR corresponding to the light emission pattern Pt of the light source 2 is not received. In such a case, even if events are detected, there is a high possibility that only events caused by noise can be detected. Therefore, in such a case, by performing light reception control so as not to execute the process of detecting an event and the process of generating an event signal Si, execution of unnecessary control can be suppressed, and the processing load and power consumption can be reduced. It can be carried out.
  • the light reception control unit 21 does not detect an event in the pixel array unit 4 when there is no change in the light emission state of the light source 2.
  • the amount of reflected light LR received does not change according to the light emission pattern Pt of the light source 2 not only when the light source 2 is in the non-light-emitting state but also when the light-emitting state continues for a predetermined period of time. Therefore, by performing light reception control so as not to detect an event in such a case, execution of unnecessary control can be suppressed, and processing load and power consumption can be reduced.
  • the sensing system 1 (1A, 1B, 1C, 1D) as a signal processing device including the signal processing unit 5 uses a pixel as a signal indicating whether or not a change in the amount of received light is detected as an event.
  • a judgment unit 7 for judging the presence or absence of an event based on the event signal Si (first polarity event signal Si1, second polarity event signal Si2) output from (first pixel G1), and judging that an event has occurred by judgment.
  • a counting unit 8 that counts the number of event-occurring pixels Neg (first event-occurring pixel number Neg1, second event-occurring pixel number Neg2) based on the event-occurring pixel number Neg.
  • It comprises a correlation estimator 10 for estimating the correlation between a predetermined light emission pattern Pt in the light source 2 and the amount of received light, and a signal corrector 11 for correcting the event signal Si based on the estimated correlation and the light emission pattern Pt.
  • a correlation estimator 10 for estimating the correlation between a predetermined light emission pattern Pt in the light source 2 and the amount of received light
  • a signal corrector 11 for correcting the event signal Si based on the estimated correlation and the light emission pattern Pt.
  • the present technology can also adopt the following configuration.
  • a light emission control unit that controls light emission of a light source using a predetermined light emission pattern;
  • a pixel array unit in which pixels for detecting a change in the amount of received light as an event and generating an event signal indicating whether or not the event is detected are arranged two-dimensionally;
  • a signal correction unit that corrects the event signal based on the light emission pattern.
  • a determination unit that determines whether the event has occurred based on the event signal; a counting unit that counts the number of pixels determined to have an event by the determining unit as the number of event-occurred pixels; a correlation estimating unit that estimates a correlation between the light emission pattern and the amount of received light based on the number of event-occurring pixels;
  • the signal correction unit performs the correction based on the estimated correlation.
  • the correlation estimation unit estimates the correlation based on a pixel number integral value obtained by integrating the event occurrence pixel number.
  • an edge detection unit that detects an edge of the light emission pattern based on the time-varying waveform of the number of event-occurring pixels;
  • the sensing system according to any one of (2) to (3) above, wherein the correlation estimation unit estimates the correlation based on the detected edge.
  • the pixel is capable of generating, as the event signals, a first polarity event signal representing a change on the increasing side of the amount of received light and a second polarity event signal representing a change on the decreasing side of the amount of received light,
  • the determining unit determines whether a first event has occurred based on the first polarity event signal, determines whether a second event has occurred based on the second polarity event signal, and
  • the sensing system according to any one of (2) to (4) above, wherein the signal correction unit performs the correction on the first polarity event signal and the second polarity event signal.
  • the counting unit counts the number of pixels determined by the determining unit that the first event has occurred as the number of pixels in which the first event has occurred, and the determining unit determines that the second event has occurred. counting the number of pixels as the number of second event occurrence pixels;
  • the correlation estimating unit associates a rising edge in the light emission pattern with the number of pixels in which the first event occurs, and associates a falling edge in the light emission pattern with the number of pixels in which the second event occurs, and estimates the correlation,
  • the signal correction unit controls the second event detected in a first period in which the number of first event-occurring pixels corresponding to the rising edge is counted, and the second event-occurring pixel corresponding to the falling edge.
  • the light emission control unit performs light emission control using different light emission patterns for each of a plurality of wavelengths.
  • the pixel array unit is provided with a plurality of types of pixels corresponding to the plurality of wavelengths, a determination unit that determines whether the event has occurred for the pixel corresponding to the specific wavelength based on the event signal generated by the pixel corresponding to the specific wavelength; a counting unit that counts the number of pixels determined by the determining unit that an event has occurred as the number of event-occurring pixels for the pixels corresponding to the specific wavelength; a correlation estimating unit that calculates the correlation between the light emission pattern and the number of event-occurring pixels for each of the specific wavelengths;
  • the sensing system according to (8) above, wherein the signal correction unit corrects the event signal generated by the pixel corresponding to the specific wavelength based on the light emission pattern corresponding to the specific wavelength and the correlation.
  • each wavelength in the plurality of wavelengths is a wavelength for visible light of different colors.
  • each of the pixels has sensitivity to one of the plurality of wavelengths by having a color filter.
  • (12) a first pixel as the pixel; a second pixel that generates a gradation signal representing the intensity of the amount of received light, unlike the first pixel; a signal processing unit that performs signal processing using a corrected event signal obtained by correcting the event signal generated by the first pixel by the signal correction unit and the gradation signal generated by the second pixel;
  • the sensing system according to any one of (1) to (11) above.
  • the light reception control unit performs light reception control so that the event is not detected in the pixel array unit when there is no change in the light emission state of the light source.
  • a determination unit that determines whether or not an event has occurred based on an event signal output from a pixel as a signal indicating whether or not a change in the amount of received light has been detected as an event; a counting unit that counts the number of pixels determined to have an event by the determination as the number of event-occurred pixels; a correlation estimating unit that estimates a correlation between a predetermined light emission pattern of a light source and the amount of received light based on the number of event-occurring pixels;
  • a signal processing device comprising: a signal correction unit that corrects the event signal based on the estimated correlation and the light emission pattern.
  • Second signal processing unit 21 Light receiving control unit LR Reflected light Pt, Ptr, Ptg, Ptb Light emission pattern G Pixel G1 First pixel G1R Red pixel G1G Green pixel G1B Blue pixel G2, G2R, G2G, G2B Second pixel Si Event signals Si1, Si1r, Si1g, Si1b First polarity event signals Si2, Si2r, Si2g, Si2b Second polarity event signal Sic Correction event signal Ss Gradation signal Neg Event occurrence pixel number Neg1 First event occurrence pixel number Neg2 Second Second Second Number of event pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

センシングシステムは所定の発光パターンを用いて光源の発光制御を行う発光制御部と、受光量の変化をイベントとして検出し前記イベントの検出有無を示すイベント信号として生成する画素が、二次元配列された画素アレイ部と、前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えるものとした。

Description

センシングシステム、信号処理装置
　本技術は、照射光が被写体で反射した反射光についてのノイズ軽減を図るセンシングシステム及び信号処理装置に関する。
　光源から照射された照射光に基づく被写体の反射光はノイズ等が含まれた状態で画素アレイ部において受光される。画素アレイ部が受光量の変化を検出してイベント信号を出力するようなＥＶＳ（Event-based Vision Sensor）の場合には、ノイズによって本来検出すべきでないイベントが検出されてしまう場合がある。
　このような誤検出を防止するために、下記特許文献１においては、センサで得られた波形のピーク検出タイミングを確認することでノイズを判別する近接センサの技術が開示されている。
米国特許出願公開第２０１４／００８５６２１号明細書
　ところが、単純なヒストグラムを用いただけでは近接センサとしての検出性能が十分に得られないという課題がある。
　本技術は上記事情に鑑み為されたものであり、ノイズ除去の性能を向上させることでイベントの検出性能を向上させることを目的とする。
　本技術に係るセンシングシステムは、所定の発光パターンを用いて光源の発光制御を行う発光制御部と、受光量の変化をイベントとして検出し前記イベントの検出有無を示すイベント信号として生成する画素が、二次元配列された画素アレイ部と、前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えたものである。
　光源を所定の発光パターンで発光させることにより、被写体において反射された反射光とノイズを各画素で見分けることが可能となる。
　上記したセンシングシステムにおいては、前記イベント信号に基づき前記イベントの発生有無を判定する判定部と、前記判定部によってイベントが発生したと判定された前記画素の数をイベント発生画素数としてカウントするカウント部と、前記イベント発生画素数に基づいて前記発光パターンと前記受光量の相関を推定する相関推定部と、を備えていてもよい。
　所定の発光パターンと受光した光の受光量の相関を推定することで、受光した光が光源から照射された光の反射光であるのか否かを判定することが可能となる。
　上記したセンシングシステムにおける前記相関推定部は、前記イベント発生画素数を積分することにより得られた画素数積分値に基づいて前記相関の推定を行ってもよい。
　画素から出力されるイベント信号は、受光量の変化を捉えた信号とされる。
　上記したセンシングシステムにおいては、前記イベント発生画素数の時間変化波形に基づいて前記発光パターンのエッジを検出するエッジ検出部を備え、前記相関推定部は、検出された前記エッジに基づいて前記相関の推定を行ってもよい。
　発光パターンに対応したエッジの検出を行うことで、イベント発生画素数の積分などを行う必要がなくなる。
　上記したセンシングシステムにおける前記画素は、前記イベント信号として、受光量の増加側の変化を表す第１極性イベント信号と受光量の減少側の変化を表す第２極性イベント信号とを生成可能とされ、前記判定部は、前記第１極性イベント信号に基づいて第１イベントの発生有無を判定し、前記第２極性イベント信号に基づいて第２イベントの発生有無を判定し、前記信号補正部は、前記第１極性イベント信号及び前記第２極性イベント信号について前記補正を行ってもよい。
　第１極性イベント信号と第２極性イベント信号の双方を生成することが可能とされていることにより、例えば、所定の発光パターンにおける立ち上がりエッジに対応した第１極性イベントの発生や、所定の発光パターンにおける立ち下がりエッジに対応した第２極性イベントの発生を検出することができる。
　上記したセンシングシステムにおける前記カウント部は、前記判定部によって前記第１イベントが発生したと判定された前記画素の数を第１イベント発生画素数としてカウントし、前記判定部によって前記第２イベントが発生したと判定された前記画素の数を第２イベント発生画素数としてカウントし、前記相関推定部は、前記発光パターンにおける立ち上がりエッジと前記第１イベント発生画素数を対応付けると共に前記発光パターンにおける立ち下がりエッジと前記第２イベント発生画素数を対応付けて前記相関の推定を行い、前記信号補正部は、前記立ち上がりエッジに対応した前記第１イベント発生画素数がカウントされた第１期間において検出された前記第２イベント、及び、前記立ち下がりエッジに対応した前記第２イベント発生画素数がカウントされた第２期間において検出された前記第１イベントを対象として前記補正を行ってもよい。
　発光パターンにおける立ち上がりエッジと対応した第１イベント発生画素数と発光パターンにおける立ち下がりエッジと対応した第２イベント発生画素数を対応づけることにより、各イベントの発生タイミング等に基づいて発光パターンと画素アレイ部で受光した光の受光量の相関を算出することが可能となる。
　上記したセンシングシステムにおいては、前記相関推定部が推定した前記相関が無相関を表すものであった場合に、無相関であることを通知するための出力を行う通知出力部を備えていてもよい。
　例えば、通知出力部による通知は後段の処理部に伝達される。
　上記したセンシングシステムにおける前記発光制御部は、複数の波長ごとに異なる発光パターンを用いて発光制御を行ってもよい。
　例えば、光源は、各種の波長の光を照射可能とされる。
　上記したセンシングシステムにおける前記画素アレイ部には、前記複数の波長それぞれに対応した複数種類の前記画素が設けられ、特定の波長に対応した前記画素が生成した前記イベント信号に基づき前記特定の波長に対応した前記画素についての前記イベントの発生有無を判定する判定部と、前記判定部によってイベントが発生したと判定された画素数を前記特定の波長に対応した前記画素についてのイベント発生画素数としてカウントするカウント部と、前記発光パターン及び前記イベント発生画素数の相関を前記特定の波長ごとに算出する相関推定部と、を備え、前記信号補正部は、前記特定の波長に対応した発光パターン及び前記相関に基づいて前記特定の波長に対応した前記画素が生成した前記イベント信号の補正を行ってもよい。
　複数の波長に対応した画素が設けられることにより、それぞれの波長ごとにイベントの発生有無が判定され、イベント発生画素数がカウントされる。
　上記したセンシングシステムにおいて、前記複数の波長におけるそれぞれの波長は、色の異なる可視光についての波長とされていてもよい。
　特定の波長は、例えば、赤色光とされた７００ｎｍや緑色光とされた５２５ｎｍや青色光とされた４７０ｎｍなどとされる。
　上記したセンシングシステムにおいて、前記画素のそれぞれは、カラーフィルタを有することにより前記複数の波長のうちの一つに対する感度を有していてもよい。
　これにより、一般的な構成の画素を用いることができる。
　上記したセンシングシステムにおいては、前記画素としての第１画素と、前記第１画素とは異なり、受光量の強度を表す階調信号を生成する第２画素と、前記第１画素で生成された前記イベント信号が前記信号補正部によって補正された補正イベント信号と、前記第２画素で生成された前記階調信号と、を用いた信号処理を行う信号処理部と、を備えていてもよい。
　信号処理部としては、各種考えられる。例えば、階調信号に基づいてカラー画像を生成すると共に補正イベント信号を用いてカラー画像を補正する処理を行う信号処理部も一例である。
　上記したセンシングシステムにおいては、前記第１画素と前記第２画素は同一のセンサチップ上に形成されていてもよい。
　これにより、複数のセンサチップとして構成される場合と比較して省スペースを計ることが可能となる。
　上記したセンシングシステムにおいては、前記第２画素として、赤色光に対する感度を有する画素と緑色光に対する感度を有する画素と青色光に対する感度を有する画素とが設けられていてもよい。
　これにより、それぞれの第２画素において色ごとの階調信号が生成される。
　上記したセンシングシステムにおける前記第１画素は、ベイヤー配列における緑色光に対する感度を有する画素の一部に代わって配置されていてもよい。
　これにより、一つの画素アレイ部に第１画素と、３種類の第２画素が配置される。
　上記したセンシングシステムにおいては、前記発光パターンに応じて前記画素アレイ部における受光制御を行う受光制御部を備えていてもよい。
　例えば、光源の非発光状態が所定時間に亘って継続している場合などは、光源の発光パターンに応じた反射光を受光することがない。そのような場合に、イベントの検出を行ったとしても、ノイズによって発生したイベントしか検出できない可能性が高い。
　上記したセンシングシステムにおける前記受光制御部は、前記光源の発光状態に変化が無い場合に前記画素アレイ部における前記イベントの検出が行われないように受光制御を行ってもよい。
　光源の非発光状態だけでなく発光状態が所定時間に亘って継続した場合においても、光源の発光パターンに応じた反射光の受光量の変化は起きない。
　本技術に係る信号処理装置は、受光量の変化をイベントとして検出したか否かを示す信号として画素から出力されるイベント信号に基づいて前記イベントの有無を判定する判定部と、前記判定によってイベントが発生したと判定された前記画素の数をイベント発生画素数としてカウントするカウント部と、前記イベント発生画素数に基づいて光源における所定の発光パターンと前記受光量の相関を推定する相関推定部と、推定された前記相関と前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えたものである。
　このような信号処理装置によっても上記した各種の作用を得ることができる。
本技術に係るセンシングシステムの構成例を示すブロック図である。 画素アレイ部の構成例を示す概略図である。 第１画素の等価回路図である。 イベント検出回路の内部構成例を示す図である。 発光パターンの一例を示す図である。 第１画素の受光量の変化の一例を示す図である。 第１極性イベント信号と第２極性イベント信号の一例を示す図である。 イベント指数の変化の一例を示す図である。 イベント指数積分値の変化の一例を示す図である。 第１イベント発生画素数の変化の一例を示す図である。 第２イベント発生画素数の変化の一例を示す図である。 定常的ノイズの一例を示す図である。 第２の実施の形態におけるセンシングシステムの構成例を示すブロック図である。 第３の実施の形態におけるセンシングシステムの構成例を示すブロック図である。 波長の異なる３種類の光源に付与される発光パターンの一例を示す図である。 第４の実施の形態におけるセンシングシステムの構成例を示すブロック図である。 第４の実施の形態における画素アレイ部の構成例を示す概略図である。 第５の実施の形態におけるセンシングシステムの構成例を示すブロック図である。 第５の実施の形態における発光パターンの一例を示す図である。 画素アレイ部に付与する制御信号の一例を示す図である。 処理部が実行するフローチャートの一例である。 イベント検出回路の変形例についての回路構成を示す図である。
　以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
＜１－１．センシングシステムの構成＞
＜１－２．画素アレイ部の構成＞
＜１－３．発光パターンに基づく反射光の検出＞
＜１－４．対象期間におけるノイズ除去＞
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．第４の実施の形態＞
＜５．第５の実施の形態＞
＜６．フローチャート＞
＜７．変形例＞
＜８．まとめ＞
＜９．本技術＞
　センシングシステム１についての各種の実施の形態について説明する。
＜１．第１の実施の形態＞
＜１－１．センシングシステムの構成＞
　第１の実施の形態におけるセンシングシステム１は、図１に示すように、光源２と制御部３と画素アレイ部４と信号処理部５とを備えて構成されている。
　光源２は、センシングシステム１の外部に位置する被写体ＯＢに向けて特定の光を照射可能とされている。特定の光は、可視光であっても非可視光であってもよい。第１の実施の形態においては、非可視光であるＩＲ（Infrared）光を例に挙げる。
　なお、光源２からセンシングシステム１の外部に向けて照射される光を「照射光ＬＩ」と記載する。
　制御部３は、光源２の発光制御を行う発光制御部６を備えている。具体的には後述するが、発光制御部６は、所定の発光パターンＰｔによる光源２の発光制御を行う。
　画素アレイ部４は、照射光ＬＩが被写体ＯＢによって反射された光を受光する画素Ｇを複数備えて構成されている。照射光ＬＩが被写体ＯＢによって反射されて画素Ｇに入射される光を「反射光ＬＲ」と記載する。
　画素アレイ部４が備える画素ＧはＩＲ光についての感度を有する。また、画素Ｇは、受光したＩＲ光の受光量の変化をイベントとして検出し、イベントの有無を示すイベント信号Ｓｉを生成する。生成されたイベント信号Ｓｉは後段の信号処理部５に出力される。
　即ち、画素アレイ部４は所謂ＥＶＳ（Event-based Vision Sensor）として機能する。
　以降の説明においては、ＥＶＳとしての機能を実現するためにイベントの検出とイベント信号Ｓｉの生成を行う画素Ｇを「第１画素Ｇ１」と記載する。
　第１画素Ｇ１から出力されるイベント信号Ｓｉは、例えば、イベントが発生したことを示すＯＮ信号（Ｈ信号）とイベントが発生していないことを示すＯＦＦ信号（Ｌ信号）の何れかとされる。
　信号処理部５は、画素アレイ部４の各第１画素Ｇ１から出力されるイベント信号Ｓｉに基づいて各種の信号処理を行う。
　信号処理部５は、判定部７とカウント部８とエッジ検出部９と相関推定部１０と信号補正部１１とを備えている。
　判定部７は、イベント信号Ｓｉに基づいてイベントが検出されたか否かを判定する処理を行う。
　カウント部８は、イベントが検出された第１画素Ｇ１の数をイベント発生画素数Ｎｅｇとしてカウントする処理を行う。
　エッジ検出部９は、受光量の変化に基づいて発光パターンＰｔの立ち上がりエッジや立ち下がりエッジを検出する。
　相関推定部１０は、イベント信号Ｓｉが反射光ＬＲを受光したことに起因して発生したイベントであるか否かを判定するための処理を行う。例えば、発光制御部６によって光源２に与えられた発光パターンＰｔと第１画素Ｇ１における受光量の相関を推定する処理を行う。或いは、発光パターンＰｔと画素アレイ部４全体の受光量の相関を推定してもよい。また、イベント発生画素数Ｎｅｇが多いタイミングと発光パターンＰｔを比較することにより相関を推定してもよい。
　これらの各例については改めて後述する。
　信号補正部１１は、相関推定部１０によって推定された相関に関する情報に応じてイベント信号Ｓｉを補正し補正イベント信号Ｓｉｃとして出力する。補正イベント信号Ｓｉｃは、例えば、センシングシステム１の外部に供給される。センシングシステム１の外部の機器やシステムは、補正イベント信号Ｓｉｃを用いて各種の処理を行うことが可能である。これらの例については、他の実施の形態において説明する。
　信号補正部１１は、イベント信号Ｓｉが反射光ＬＲの受光に応じて検出されたイベントに基づいているのか、或いは、ノイズによって検出されたイベントに基づいているのかについて相関情報を用いて判定する。そして、ノイズによって検出されたイベントによって出力されたイベント信号Ｓｉであると判定した場合には、当該イベント信号Ｓｉを補正する処理を行う。
　イベント信号Ｓｉの補正としては、例えば、ＯＮ信号（Ｈ信号）として出力されたイベント信号ＳｉをＯＦＦ信号（Ｌ信号）へと補正する処理を行ってもよいし、後段の処理部に当該イベント信号ＳｉをＯＦＦ信号として扱うように指示するための情報を出力する処理を行ってもよい。
　信号処理部５が備える各部についての詳細な説明は後述する。
＜１－２．画素アレイ部の構成＞
　画素アレイ部４の構成例について説明する。
　画素アレイ部４は、図２に示すように、第１画素Ｇ１が行列状に二次元に配列されて成る。
　各第１画素Ｇ１は、それぞれ単一のフォトダイオードＰＤを有し、該フォトダイオードＰＤで得られる電荷を利用してイベント信号Ｓｉを生成可能とされている。
　図３は、第１画素Ｇ１の等価回路図である。
　図示のように第１画素Ｇ１は、光電変換素子としてのフォトダイオードＰＤを備える。
　第１画素Ｇ１は、イベント信号Ｓｉの生成及び読み出しに係る構成として、イベント用転送トランジスタＱｔｉ（不図示）、対数変換部１２、バッファ１３、イベント検出回路１４、トランジスタＱ１、第１イベント用選択トランジスタＱｓｉ１、トランジスタＱ２、及び第２イベント用選択トランジスタＱｓｉ２を備えている。
　ここで、本例において、第１画素Ｇ１が備える各種のトランジスタは、例えばＭＯＳＦＥＴ（Metal-Oxide-Semiconductor Field-Effect Transistor）で構成されている。
　第１画素Ｇ１に対しては、画素行ごとに行制御線が行方向に沿って配線されると共に、各画素列にイベント垂直信号線が列方向に沿って配線されている。具体的には、基準レベルリセット信号Ｓｒｓｔを伝送するための行制御線Ｌｃ２、及びイベント用選択信号Ｓｓｌｃを伝送するための行制御線Ｌｃ３が配線されている。
　対数変換部１２は、フォトダイオードＰＤにより得られる光電流（受光量に応じた電流）を、その対数の電圧信号に変換する。
　バッファ１３は、対数変換部１２から入力された電圧信号を補正してイベント検出回路１４に出力する。
　図示のように対数変換部１２は、トランジスタＱｅ１、トランジスタＱｅ２、及びトランジスタＱｅ３を備えている。本例において、トランジスタＱｅ１及びトランジスタＱｅ３はＮ型のトランジスタとされ、トランジスタＱｅ２はＰ型トランジスタとされる。
　トランジスタＱｅ１のソースはイベント用転送トランジスタＱｔｉを介してフォトダイオードＰＤのカソードに接続され、ドレインは電源端子（基準電位ＶＤＤ）に接続される。
　トランジスタＱｅ２及びトランジスタＱｅ３は、電源端子と接地端子との間において直列に接続されている。また、トランジスタＱｅ２とトランジスタＱｅ３の接続点は、トランジスタＱｅ１のゲートとバッファ１３の入力端子（後述するトランジスタＱｅ５のゲート）とに接続される。また、トランジスタＱｅ２のゲートには、所定のバイアス電圧Ｖｂｉａｓが印加される。
　トランジスタＱｅ１及びトランジスタＱｅ３のドレインは電源側（基準電位ＶＤＤ）に接続されており、ソースフォロワ回路が形成されている。これらのループ状に接続された二つのソースフォロワにより、フォトダイオードＰＤからの光電流は、その対数の電圧信号に変換される。また、トランジスタＱｅ２は、一定の電流をトランジスタＱｅ３に供給する。
　バッファ１３は、それぞれＰ型のトランジスタとされたトランジスタＱｅ４とトランジスタＱｅ５とを備え、これらトランジスタＱｅ４、Ｑｅ５が電源端子と接地端子との間において直列に接続されて構成されている。
　トランジスタＱｅ４とトランジスタＱｅ５の接続点がバッファ１３の出力端子とされ、該出力端子より補正後の電圧信号が受光信号としてイベント検出回路１４に出力される。
　イベント検出回路１４は、過去における受光信号のレベルを基準レベルＬｒｅｆとして、現在における受光信号のレベルとの差分を求めることで、受光量の変化をイベントとして検出する。具体的に、イベント検出回路１４は、基準レベルＬｒｅｆと現在における受光信号のレベルとの差分を表す差分信号のレベル（絶対値）が所定の閾値以上であるか否かにより、イベントの有無を検出する。
　本例のイベント検出回路１４は、受光量が増加側に変化するイベント、すなわち基準レベルＬｒｅｆとの差分がプラスとなるイベント（以下「第１極性イベント」と表記する）と、受光量が減少側に変化するイベント、つまり基準レベルＬｒｅｆとの差分がマイナスとなるイベント（以下「第２極性イベント」と表記する）とを検出し分けることが可能に構成されている。
　イベント検出回路１４は、第１極性イベントの検出結果を示す信号を第１極性イベント信号Ｓｉ１として出力し、第２極性イベントの検出結果を示す信号を第２極性イベント信号Ｓｉ２として出力する。
　ここで、イベント検出回路１４は、行制御線Ｌｃ２を介して入力される基準レベルリセット信号Ｓｒｓｔに基づき、基準レベルＬｒｅｆを現在における受光信号のレベルにリセットする。
　このような基準レベルＬｒｅｆのリセットを行うことで、該リセットを行った時点からの受光信号レベルの変化に基づき、新たなイベント検出を行うことが可能となる。すなわち、基準レベルＬｒｅｆのリセットは、イベント検出回路１４を新たなイベント検出が可能な状態に制御する処理として機能するものである。
　なお、イベント検出回路１４の内部回路構成例については改めて説明する。
　トランジスタＱ１及び第１イベント用選択トランジスタＱｓｉ１、トランジスタＱ２及び第２イベント用選択トランジスタＱｓｉ２は、それぞれ第１極性イベント信号Ｓｉ１、第２極性イベント信号Ｓｉ２の選択出力回路として機能する。
　ここで、本例では、イベント信号として第１極性イベント信号Ｓｉ１と第２極性イベント信号Ｓｉ２を検出することから、イベント垂直信号線として、第１イベント垂直信号線Ｌｉ１と第２イベント垂直信号線Ｌｉ２とが設けられている。
　図示のようにトランジスタＱ１及び第１イベント用選択トランジスタＱｓｉ１は、第１イベント垂直信号線Ｌｉ１と接地端子との間において直列に接続され、トランジスタＱ１のゲートには第１極性イベント信号Ｓｉ１が供給される。
　また、トランジスタＱ２及び第２イベント用選択トランジスタＱｓｉ２は、第２イベント垂直信号線Ｌｉ２と接地端子との間において直列に接続され、トランジスタＱ２のゲートには第２極性イベント信号Ｓｉ２が供給される。
　第１イベント用選択トランジスタＱｓｉ１のゲート、及び第２イベント用選択トランジスタＱｓｉ２のゲートは、それぞれ行制御線Ｌｃ３と接続されている。
　第１イベント用選択トランジスタＱｓｉ１は、行制御線Ｌｃ３からゲートに供給されるイベント用選択信号ＳｓｌｃがＯＮされると導通状態となり、第１極性イベント信号Ｓｉ１を第１イベント垂直信号線Ｌｉ１に出力する。
　第２イベント用選択トランジスタＱｓｉ２は、行制御線Ｌｃ３からゲートに供給されるイベント用選択信号ＳｓｌｃがＯＮされると導通状態となり、第２極性イベント信号Ｓｉ２を第２イベント垂直信号線Ｌｉ２に出力する。
　第１画素Ｇ１においては、フォトダイオードＰＤの蓄積電荷に応じた受光信号がイベント検出回路１４に入力されて、第１極性イベント信号Ｓｉ１、第２極性イベント信号Ｓｉ２の生成が行われる。これら第１極性イベント信号Ｓｉ１、第２極性イベント信号Ｓｉ２を読み出す際には、イベント用選択信号ＳｓｌｃをＯＮとして、第１極性イベント信号Ｓｉ１、第２極性イベント信号Ｓｉ２を第１イベント垂直信号線Ｌｉ１、第２イベント垂直信号線Ｌｉ２にそれぞれ出力する。
　図４は、イベント検出回路１４の内部構成例についての説明図であり、イベント検出回路１４の内部回路構成例と共に、フォトダイオードＰＤ、対数変換部１２、及びバッファ１３を併せて示している。
　図示のようにイベント検出回路１４は、減算器１５及び量子化器１６を備えている。
　減算器１５は、基準レベルリセット信号Ｓｒｓｔに従って、バッファ１３からの受光信号（電圧信号）のレベルを低下させる。減算器１５は、低下後の受光信号を量子化器１６に出力する。
　量子化器１６は、減算器１５からの受光信号をデジタル信号に量子化してイベント信号（本例では第１極性イベント信号Ｓｉ１、及び第２極性イベント信号Ｓｉ２）として出力する。
　減算器１５は、コンデンサＣ１及びコンデンサＣ２と、トランジスタＱｅ７及びトランジスタＱｅ８と、リセットスイッチＳＷｒとを備えている。トランジスタＱｅ７はＰ型トランジスタ、トランジスタＱｅ８はＮ型トランジスタとされる。
　トランジスタＱｅ７及びトランジスタＱｅ８は、電源端子と接地端子との間において直列に接続され、インバータを構成している。具体的に、トランジスタＱｅ７は、ソースが電源端子に接続され、ドレインがトランジスタＱｅ８のドレインに接続されており、トランジスタＱｅ８は、ソースが接地端子に接続されている。なお、トランジスタＱｅ８のゲートには電圧Ｖｂｄｉｆが印加されている。
　コンデンサＣ１は、一端がバッファ１３の出力端子に接続され、他端がトランジスタＱｅ７のゲート（インバータの入力端子）に接続される。コンデンサＣ２は、一端がコンデンサＣ１の他端と接続され、他端がトランジスタＱｅ７とトランジスタＱｅ８の接続点に接続されている。
　リセットスイッチＳＷｒは、一端がコンデンサＣ１とコンデンサＣ２との接続点に接続され、他端がトランジスタＱｅ７とトランジスタＱｅ８の接続点とコンデンサＣ２との接続点に接続され、コンデンサＣ２に対して並列接続されている。リセットスイッチＳＷｒは、基準レベルリセット信号Ｓｒｓｔに従ってＯＮ／ＯＦＦされるスイッチである。
　トランジスタＱｅ７及びトランジスタＱｅ８によるインバータは、コンデンサＣ１を介して入力された受光信号を反転して量子化器１６に出力する。
　ここで、減算器１５において、或る時点でコンデンサＣ１のバッファ１３側に生じている電位を電位Ｖｉｎｉｔとする。そして、このとき、リセットスイッチＳＷｒがＯＮされたとする。リセットスイッチＳＷｒがＯＮの場合、コンデンサＣ１のバッファ１３とは逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサＣ１に蓄積されている電荷ＣＨｉｎｉｔは、コンデンサＣ１の容量をＣｐ１とすると、次の（式１）により表される。
　　ＣＨｉｎｉｔ＝Ｃｐ１×Ｖｉｎｉｔ ・・・（式１）
　また、リセットスイッチＳＷｒがＯＮのとき、コンデンサＣ２の両端は短絡されているため、その蓄積電荷はゼロとなる。
　次いで、リセットスイッチＳＷｒがＯＦＦされたとする。受光量の変化が生じていれば、コンデンサＣ１のバッファ１３側の電位は上記したＶｉｎｉｔから変化している。変化後の該電位をＶａｆｔｅｒとすると、コンデンサＣ１に蓄積される電荷ＣＨａｆｔｅｒは、次の（式２）により表される。
　　ＣＨａｆｔｅｒ＝Ｃｐ１×Ｖａｆｔｅｒ ・・・（式２）
　一方、コンデンサＣ２に蓄積される電荷ＣＨ２は、コンデンサＣ２の容量をＣｐ２、減算器１５の出力電圧をＶｏｕｔとすると、次の（式３）により表される。
　　ＣＨ２＝－Ｃｐ２×Ｖｏｕｔ ・・・（式３）
　このとき、コンデンサＣ１及びＣ２の総電荷量は変化しないため、次の（式４）が成立する。
　　ＣＨｉｎｉｔ＝ＣＨａｆｔｅｒ＋ＣＨ２ ・・・（式４）
　（式４）に（式１）、（式２）及び（式３）を代入して変形すると、次の（式５）が得られる。
　　Ｖｏｕｔ＝－（Ｃｐ１／Ｃｐ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ） ・・・（式５）
　（式５）は、電圧信号の減算動作を表し、減算結果の利得はＣｐ１／Ｃｐ２となる。
　この（式５）より、減算器１５は、過去における受光信号のレベル（Ｖｉｎｉｔ）と現在の受光信号のレベル（Ｖａｆｔｅｒ）との差分を表す信号を出力することが分かる。
　ここで、電位Ｖｉｎｉｔは、上述した基準レベルＬｒｅｆに相当するものである。上記説明より、この電位Ｖｉｎｉｔ、つまり基準レベルＬｒｅｆは、リセットスイッチＳＷｒがＯＮされることで、現在の受光信号のレベル、換言すればリセットスイッチＳＷｒのＯＮ時点における受光信号のレベルにリセットされることになる。
　量子化器１６は、トランジスタＱｅ９、トランジスタＱｅ１０、トランジスタＱｅ１１、及びトランジスタＱｅ１２を備え、１．５ｂｉｔ量子化器として構成されている。
　トランジスタＱｅ９、Ｑｅ１１はＰ型トランジスタとされ、トランジスタＱｅ１０、Ｑｅ１２はＮ型トランジスタとされる。
　図示のようにトランジスタＱｅ９とトランジスタＱｅ１０、及びトランジスタＱｅ１１とトランジスタＱｅ１２は、それぞれ電源端子と接地端子との間において直列に接続されており、トランジスタＱｅ９、Ｑｅ１１の各ゲートには減算器１５の出力電圧（Ｖｏｕｔ）が入力される。また、トランジスタＱｅ１０のゲートには電圧Ｖｈｉｇｈが、トランジスタＱｅ１２のゲートには電圧Ｖｌｏｗがそれぞれ印加されている。
　トランジスタＱｅ９とトランジスタＱｅ１０の接続点には、第１極性イベントの検出結果を表す第１極性イベント信号Ｓｉ１が得られ、トランジスタＱｅ１１とトランジスタＱｅ１２の接続点には第２極性イベントの検出結果を表す第２極性イベント信号Ｓｉ２が得られる。
　具体的に、トランジスタＱｅ９、Ｑｅ１０側において、減算器１５の出力電圧（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）のレベルが電圧Ｖｈｉｇｈに応じたプラス側の閾値以上である場合には、トランジスタＱｅ９とトランジスタＱｅ１０の接続点にＨレベルによる第１極性イベント信号Ｓｉ１が得られ、また、減算器１５の出力電圧のレベルが該プラス側の閾値未満である場合にはＬレベルによる第１極性イベント信号Ｓｉ１が得られる。すなわち、トランジスタＱｅ９とトランジスタＱｅ１０の接続点には、受光量が増加方向に所定の閾値以上変化したか否かを表す信号、すなわち、第１極性イベントの検出結果を示す第１極性イベント信号Ｓｉ１が得られる。
　また、トランジスタＱｅ１１、Ｑｅ１２側において、減算器１５の出力電圧のレベルが電圧Ｖｌｏｗに応じたマイナス側の閾値以下である場合には、トランジスタＱｅ１１とトランジスタＱｅ１２の接続点にＨレベルによる第２極性イベント信号Ｓｉ２が得られ、また、減算器１５の出力電圧のレベルが該マイナス側の閾値より大きい場合にはＬレベルによる第２極性イベント信号Ｓｉ２が得られる。このように、トランジスタＱｅ１１とトランジスタＱｅ１２の接続点には、受光量が減少方向に所定の閾値以上変化したか否かを表す信号、すなわち、第２極性イベントの検出結果を示す第２極性イベント信号Ｓｉ２が得られる。
＜１－３．発光パターンに基づく反射光の検出＞
　先ず、光源２の発光パターンとイベント発生画素数Ｎｅｇの関係について説明する。
　発光制御部６が光源２に出力する発光パターンＰｔの一例を図５に示す。図５に示すグラフの縦軸は制御信号（０ｏｒ１）を表し、横軸は時間を表す。図示する発光パターンＰｔに基づいて発光制御を行うことにより、光源２は、時刻ｔ０から時刻ｔ１に亘って発光状態に制御され、時刻ｔ１から時刻ｔ２に亘って非発光状態に制御される。また、時刻ｔ２から時刻ｔ３に亘って発光状態に制御され、時刻ｔ３から時刻ｔ４に亘って非発光状態に制御される。更に、時刻ｔ４から時刻ｔ５に亘って発光状態に制御され、時刻ｔ５以降は非発光状態に制御される。
　このようにして光源２から照射された照射光ＬＩが被写体ＯＢで反射した反射光ＬＲはノイズ等を加えた状態で第１画素Ｇ１に受光される。当該第１画素Ｇ１の受光量の一例を図６に示す。
　図示するように、時刻ｔ６（＞ｔ０）から時刻ｔ７（＝ｔ６＋ｔ１－ｔ０）に亘って受光量が多くされ、時刻ｔ７から時刻ｔ８（＝ｔ６＋ｔ２－ｔ０）に亘って受光量が小さくされ、時刻ｔ８から時刻ｔ９（＝ｔ６＋ｔ３－ｔ０）に亘って受光量が再び多くされ、時刻ｔ９から時刻ｔ１０（＝ｔ６＋ｔ４－ｔ０）に亘って受光量が小さくされ、時刻ｔ１０から時刻ｔ１１（＝ｔ６＋ｔ５－ｔ０）に亘って受光量が大きくされ、時刻ｔ１１以降はまた受光量が小さくされる。
　なお、時刻ｔ６と時刻ｔ０の差分はセンシングシステム１と被写体ＯＢの距離に応じたものとされる。
　第１画素Ｇ１は、図６に示す受光量の変化に応じたイベント信号を生成する。例えば、第１画素Ｇ１は図７に示すような第１極性イベント信号Ｓｉ１と第２極性イベント信号Ｓｉ２を生成する。なお、第１極性イベントが検出されたタイミングにおける第１極性イベント信号Ｓｉ１はＨ（１）とされ、第１極性イベントが検出されなかったタイミングにおける第１極性イベント信号Ｓｉ１はＬ（０）とされる。同様に、第２極性イベントが検出されたタイミングにおける第２極性イベント信号Ｓｉ２はＨ（１）とされ、第２極性イベントが検出されなかったタイミングにおける第２極性イベント信号Ｓｉ２はＬ（０）とされる。
　ここで、信号処理部５のカウント部８によって、第１イベント発生画素数Ｎｅｇ１と第２イベント発生画素数Ｎｅｇ２が算出される。また、カウント部８によって第１イベント発生画素数Ｎｅｇ１と第２イベント発生画素数Ｎｅｇ２からイベント指数Ｘが算出される。
　ここで、第１イベント発生画素数Ｎｅｇ１は、第１極性イベント信号Ｓｉ１がＨ（１）とされた第１画素Ｇ１の数とされる。また、第２イベント発生画素数Ｎｅｇ２は、第２極性イベント信号Ｓｉ２がＨ（１）とされた第１画素Ｇ１の数とされる。
　また、イベント指数Ｘは、第１イベント発生画素数Ｎｅｇ１から第２イベント発生画素数Ｎｅｇ２を減算した数とされる。即ち、イベント指数Ｘは、以下の式（６）で算出される。
　　Ｘ＝Ｎｅｇ１－Ｎｅｇ２・・・（式６）
　例えば、画素アレイ部４全体で第１極性イベントを検出した第１画素Ｇ１の数と第２極性イベントを検出した第１画素Ｇ１の数が同数だった場合には、イベント指数Ｘ＝０とされる。一方、第１極性イベントを検出した第１画素Ｇ１が多い場合には、イベント指数Ｘがプラスの値とされ、第２極性イベントを検出した第１画素Ｇ１が多い場合には、イベント指数Ｘがマイナスの値とされる。
　光源２が図５に示す発光パターンＰｔに基づいて照射光ＬＩを照射した場合についてのイベント指数Ｘの時間変化の一例を図８に示す。受光量が大きく変化している時刻ｔ６，ｔ７，ｔ８，ｔ９，ｔ１０，ｔ１１のタイミングに合わせて（図６参照）、イベント指数Ｘのピークが観測される（図８参照）。
　次に、信号処理部５の相関推定部１０は、発光パターンＰｔと第１画素Ｇ１の受光量の相関を推定する。相関の推定処理はいくつかの手法が考えられる。具体的に二つの例を説明する。
（第１の相関推定方法）
　第１の相関推定方法は、イベント指数Ｘを積分することにより画素アレイ部４全体で受光した反射光ＬＲの受光量を推定し、画素アレイ部４全体における反射光ＬＲの受光量と発光パターンＰｔの相関を推定する。
　イベント指数Ｘを積分したイベント指数積分値Ｘｉの一例を図９に示す。積分区間は、所定の一定時間とされてもよいし、発光パターンＰｔに応じたものとされてもよい。例えば、発光パターンＰｔに応じた積分を行うのであれば、積分区間がｔ６からｔ７とされた積分を行った後に、積分区間がｔ７からｔ８とされた積分を行うことにより、図９に示すようなイベント指数積分値Ｘｉが算出される。
　このようにして算出されたイベント指数積分値Ｘｉと発光パターンＰｔの相関を算出することにより、発光パターンＰｔと画素アレイ部４における受光量との相関を推定することができる。また、第１画素Ｇ１ごとに発光パターンＰｔと当該第１画素Ｇ１で受光した反射光ＬＲの受光量の相関が推定される。
　図５及び図９に示す例では、時刻ｔ０から時刻ｔ５に亘る発光パターンＰｔの波形と、時刻ｔ６から時刻ｔ１１に亘るイベント指数積分値Ｘｉ波形の間には高い相関が見られる。
　従って、時刻ｔ６から時刻ｔ１１に亘って画素アレイ部４全体で受光した反射光ＬＲの受光量の変化においても発光パターンＰｔとの高い相関が推定される。即ち、時刻ｔ６，ｔ８，ｔ１０付近で第１極性イベント信号Ｓｉ１としてＨ（１）を出力し、時刻ｔ７，ｔ９，ｔ１１付近で第２極性イベント信号Ｓｉ２としてＨ（１）を出力した第１画素Ｇ１には被写体ＯＢが撮像されている可能性が高いことが分かる。
　なお、相関推定部１０は、イベント指数Ｘの積分値を算出するのではなく、イベント発生画素数Ｎｅｇの積分値を算出することにより相関の推定を行ってもよい。
　例えば、第１極性イベントと第２極性イベントを区別せずに何れかのイベントが発生したことに伴ってＨ（１）が出力されるイベント信号Ｓｉについて考える。
　イベント信号ＳｉとしてＨ（１）を出力した第１画素Ｇ１の数をイベント発生画素数Ｎｅｇとして微小時間ごとにカウントし、イベント発生画素数Ｎｅｇを積分した値を画素数積分値Ｇｉとして算出する。
　そして、イベント発生画素数Ｎｅｇが大きく増加したタイミングの時間間隔と時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４の時間間隔の相関が高い時間帯が検出された場合には、当該時間帯において発光パターンＰｔと第１画素Ｇ１或いは画素アレイ部４における受光量との高い相関を推定することができる。
（第２の相関推定方法）
　第２の相関推定方法は、第１の相関推定方法と異なり積分処理を行わずに画素アレイ部４全体における反射光ＬＲの受光量と発光パターンＰｔの相関を推定する。
　具体的には、先ず、イベント発生画素数Ｎｅｇの時間変化を示す波形を算出する。なお、ここでは、第１イベントと第２イベントを分けて考える。即ち、第１イベント発生画素数Ｎｅｇ１と第２イベント発生画素数Ｎｅｇ２の時間変化を示す波形を算出する。
　第１イベント発生画素数Ｎｅｇ１の時間変化を示す波形の一例を図１０に示す。第１イベント発生画素数Ｎｅｇ１においては、時刻ｔ６，ｔ８，ｔ１０のタイミングでピークが現れる。
　また、第２イベント発生画素数Ｎｅｇ２の時間変化を示す波形の一例を図１１に示す。第２イベント発生画素数Ｎｅｇ２においては、時刻ｔ７，ｔ９，ｔ１１のタイミングでピークが現れる。
　相関推定部１０は、エッジ検出部９が検出した立ち上がりエッジや立ち下がりエッジに基づいて反射光ＬＲの受光量と発光パターンＰｔの相関を推定する。具体的には、相関推定部１０は、第１イベント発生画素数Ｎｅｇ１の時間変化を示す波形から、発光パターンＰｔの立ち上がりエッジの間隔を検出する。例えば、時刻ｔ６，ｔ８，ｔ１０の間隔で発光パターンＰｔの立ち上がりエッジが存在することを検出する。また、第２イベント発生画素数Ｎｅｇ２の時間変化を示す波形から、発光パターンＰｔの立ち下がりエッジの間隔を検出する。例えば、時刻ｔ７，ｔ９，ｔ１１の間隔で発光パターンＰｔの立ち下がりエッジが存在することを検出する。
　そして、相関推定部１０は、時刻ｔ６，ｔ７，ｔ８，ｔ９，ｔ１０，ｔ１１の時間間隔と時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４，ｔ５の時間間隔に高い相関が見られることを特定する。これにより、相関推定部１０は、画素アレイ部４全体における反射光ＬＲの受光量と発光パターンＰｔの相関を推定する。
　第１の相関推定方法や第２の相関推定方法を用いて相関推定部１０が上述した相関を推定することにより、センシングシステム１は、発光パターンＰｔに基づく反射光ＬＲが画素アレイ部４で受光されたタイミングを把握することができる。
　これにより、センシングシステム１は、近接センサとしての機能を果たすことが可能となる。
　以上のように相関を推定する処理を実行することにより、照射光ＬＩについての反射光ＬＲを受光した第１画素Ｇ１の画素領域及び受光タイミングが特定される。従って、反射光ＬＲを受光した時間帯以外のイベント信号Ｓｉをノイズによるものとして扱うことが可能となる。例えば、図６から図１１の各図においては、時刻ｔ６から時刻ｔ１１までの時間帯に照射光ＬＩについての反射光ＬＲを受光したことが特定される。従って、時刻ｔ６よりも前の時間帯及び時刻ｔ１１よりも後の時間帯に生成されたイベント信号Ｓｉについては、信号がＨ（１）を示すものであってもノイズとして除去することが可能である。信号補正部１１は、このようなノイズ除去を行うことによりイベント信号Ｓｉの補正を行う。
＜１－４．対象期間におけるノイズ除去＞
　信号処理部５は、上述のように相関を推定する処理を実行することにより特定された反射光ＬＲの受光期間、具体的には図６から図１１の各図における時刻ｔ６から時刻ｔ１１までの期間（対象期間）におけるノイズを除去する処理を行う。
　ノイズ除去についてはいくつかの手法が考えられるが、ここでは２種類の方法について記載する。なお、各例においては、図６に示す時刻ｔ６から時刻ｔ１１の期間において発光パターンＰｔに基づく反射光ＬＲを受光した場合について説明する。
（第１のノイズ除去方法）
　第１のノイズ除去方法は、発光パターンＰｔに基づいて時刻ｔ６から時刻ｔ１１におけるノイズを除去する方法である。
　具体的に、例えば時刻ｔ６から微小時間が経過するまでの間は、照射光ＬＩの立ち上がりエッジに応じた反射光ＬＲを受光していると推定される。なお、ここでいう微小時間は、時刻ｔ７と時刻ｔ６の差分よりも短い時間であり、例えば図６に示す微小時間Δｔである。
　この微小時間Δｔにおいては、受光量の増加側の変化を表す第１極性イベントが検出された第１画素Ｇ１は適切な第１極性イベント信号Ｓｉ１を生成していると推定することが可能である。一方、微小時間Δｔにおいて第２極性イベントが検出された第１画素Ｇ１は、ノイズに起因する適切でない第２極性イベント信号Ｓｉ２を生成している可能性がある。即ち、時刻ｔ６から微小時間Δｔが経過するまでの間においてＨ（１）とされた第２極性イベント信号Ｓｉ２はノイズによるものと推定可能である。
　同様に、時刻ｔ７から微小時間が経過するまでの間は、照射光ＬＩの立ち下がりエッジに対応した反射光ＬＲを受光していると推定される。従って、時刻ｔ７から微小時間が経過するまでの間に生成された第１極性イベント信号Ｓｉ１は適切でない可能性がある。従って、時刻ｔ７から微小時間が経過するまでの間においてＨ（１）とされた第１極性イベント信号Ｓｉ１はノイズによるものと推定可能である。
　このようにして、信号補正部１１は時刻ｔ６から時刻ｔ１１の間の第１極性イベント信号Ｓｉ１と第２極性イベント信号Ｓｉ２の補正を行い、補正イベント信号Ｓｉｃとして出力する。
　第１のノイズ除去方法によって補正された補正イベント信号Ｓｉｃは、時刻ｔ６よりも前の時間帯及び時刻ｔ１１よりも後の時間帯だけでなく、時刻ｔ６から時刻ｔ１１の間についてもノイズによる影響が除去されたものとなる。
（第２のノイズ除去方法）
　第２のノイズ除去方法は、時刻ｔ６よりも前の受光量の変化及び時刻ｔ１１よりも後の受光量の変化に応じて時刻ｔ６から時刻ｔ１１におけるノイズを除去する方法である。
　この方法は、画素アレイ部４が受光する光に図１２に示すような定常的なノイズが含まれている場合に有効である。
　具体的には、信号補正部１１は、時刻ｔ６よりも前の画素アレイ部４における受光量の変化と時刻ｔ１１以降における画素アレイ部４の受光量の変化に基づいて、定常的なノイズの解析を行う。
　そして、信号補正部１１は、解析結果に基づいて、時刻ｔ６から時刻ｔ１１の間におけるノイズ成分による受光量の変化を推定することによりノイズ除去を行う。
　或いは、信号補正部１１は、時刻ｔ６よりも前の時間帯及び時刻ｔ１１よりも後の時間帯における第１イベント発生画素数Ｎｅｇ１と第２イベント発生画素数Ｎｅｇ２の変化態様を解析する。そして、信号補正部１１は、時刻ｔ６から時刻ｔ１１の間の時間帯におけるノイズに起因した第１イベント発生画素数Ｎｅｇ１及び第２イベント発生画素数Ｎｅｇ２を推定し、推定されたそれぞれの画素数を除外して時刻ｔ６から時刻ｔ１１の間の時間帯において実際にイベントが検出された画素数（第１イベント発生画素数Ｎｅｇ１及び第２イベント発生画素数Ｎｅｇ２）を推定する。
　信号補正部１１は、推定された第１イベント発生画素数Ｎｅｇ１と第２イベント発生画素数Ｎｅｇ２に基づいて真値として推定されるイベント指数Ｘを算出して補正イベント信号Ｓｉｃとして後段に出力してもよい。
＜２．第２の実施の形態＞
　第２の実施の形態に係るセンシングシステム１Ａの構成例について図１３に示す。なお、第１の実施の形態に係るセンシングシステム１と同様の構成については同じ符号を付し適宜説明を省略する。
　センシングシステム１Ａの制御部３は、図１に示すセンシングシステム１の制御部３が備える構成に加えて、通知出力部１７を備えている。
　通知出力部１７は、信号処理部５から上述の相関の推定結果を受け取り、当該推定結果に応じた通知をセンシングシステム１Ａ外に出力する。
　通知出力部１７は、発光パターンＰｔと相関の高い反射光ＬＲの受光が確認されたことを通知する。これにより、センシングシステム１は、少なくとも発光パターンＰｔに基づく反射光ＬＲが画素アレイ部４に届く所定の距離以内に被写体ＯＢが位置することを通知することができる。
　センシングシステム１が例えば近接センサとして用いられる場合には、後段の装置や処理部において近接した被写体ＯＢを更に解析する処理等を行うことが可能となる。
　また、通知出力部１７は、発光パターンＰｔと相関の高い反射光ＬＲの受光が確認されなかったことを通知してもよい。
　このような通知を後段の装置や処理部が受け取ることにより、後段の装置や処理部は物体の近接が検出された際に実行すべき各種の処理を実行せずに待機することが可能となる。従って、後段の装置や処理部における処理負担の軽減を図ることが可能である。
＜３．第３の実施の形態＞
　第３の実施の形態に係るセンシングシステム１Ｂの構成例について図１４に示す。
　なお、第１の実施の形態に係るセンシングシステム１や第２の実施の形態に係るセンシングシステム１Ａと同様の構成については同じ符号を付し適宜説明を省略する。
　センシングシステム１Ｂは、光源２と制御部３の発光制御部６と画素アレイ部４が有する第１画素Ｇ１の構成が前述した各例と異なる。
　先ず、光源２は、複数の波長の光を照射可能に構成されている。例えば、センシングシステム１Ｂが複数種類の光源２を備えていてもよい。図１４に示すセンシングシステム１Ｂは、赤色光を照射可能な光源２Ｒと緑色光を照射可能な光源２Ｇと青色光を照射可能な光源２Ｂとを備えている。
　発光制御部６は、光源２Ｒ用の発光パターンＰｔｒに基づいて光源２Ｒの発光制御を行う。また、発光制御部６は、光源２Ｇ用の発光パターンＰｔｇに基づいて光源２Ｇの発光制御を行い、光源２Ｂ用の発光パターンＰｔｂに基づいて光源２Ｂの発光制御を行う。
　発光パターンＰｔｒと発光パターンＰｔｇと発光パターンＰｔｂは、図１５に示す例のように、互いに異なるパターンとされている。
　発光パターンＰｔｒは図５に示す発光パターンＰｔと同一のパターンとされている。また、発光パターンＰｔｇに基づいて光源２Ｇを制御することにより、光源２Ｇは時刻ｔ０から時刻ｔ２の間に発光状態と非発光状態をそれぞれ２回ずつ繰り返すように制御され、時刻ｔ２から時刻ｔ３に亘って発光状態に制御され、時刻ｔ３から時刻ｔ４に亘って非発光状態に制御され、時刻ｔ４から時刻ｔ５の間に発光状態と非発光状態を一回ずつ繰り返すように制御される。
　更に、発光パターンＰｔｂに基づいて光源２Ｂを制御することにより、光源２Ｂは時刻ｔ０から時刻ｔ２に亘って発光状態に制御され、時刻ｔ２から時刻ｔ４に亘って非発光状態に制御され、時刻ｔ４から時刻ｔ５を少し超えるまでの間に亘って発光状態に制御される。
　それぞれの光源２Ｒ，２Ｇ，２Ｂからは所定の波長とされた照射光ＬＩが照射される。３種類の照射光ＬＩはそれぞれが被写体ＯＢで反射された反射光ＬＲとして画素アレイ部４Ｂで受光される。
　画素アレイ部４Ｂは、赤色光についての感度を有する第１画素Ｇ１Ｒと、緑色光についての感度を有する第１画素Ｇ１Ｇと、青色光についての感度を有する第１画素Ｇ１Ｂとを有している。例えば、第１画素Ｇ１Ｒは赤のカラーフィルタを有し、第１画素Ｇ１Ｇは緑のカラーフィルタを有し、第１画素Ｇ１Ｂは青のカラーフィルタを有する。
　第１画素Ｇ１Ｒは、光源２Ｒから照射された照射光ＬＩについての反射光ＬＲを受光する。即ち、光源２Ｒから照射された照射光ＬＩの光量の変化に応じた第１極性イベントや第２極性イベントが第１画素Ｇ１Ｒにおいて検出される。
　同様に第１画素Ｇ１Ｇでは、光源２Ｇから照射された照射光ＬＩに応じた第１極性イベントや第２極性イベントが検出される。第１画素Ｇ１Ｂでは、光源２Ｂから照射された照射光ＬＩに応じた第１極性イベントや第２極性イベントが検出される。
　第１画素Ｇ１Ｒでは第１極性イベント信号Ｓｉ１ｒや第２極性イベント信号Ｓｉ２ｒが生成される。同様に、第１画素Ｇ１Ｇでは第１極性イベント信号Ｓｉ１ｇや第２極性イベント信号Ｓｉ２ｇが生成され、第１画素Ｇ１Ｂでは第１極性イベント信号Ｓｉ１ｂや第２極性イベント信号Ｓｉ２ｂが生成される。
　信号処理部５の各部が実行する各処理は第１の実施の形態と同様の処理とされる。但し、各処理は波長ごとに実行される。例えば、赤色光について各種の処理を行う場合には、第１の実施の形態における第１極性イベント信号Ｓｉ１及び第２極性イベント信号Ｓｉ２の代わりに第１極性イベント信号Ｓｉ１ｒと第２極性イベント信号Ｓｉ２ｒを扱う。また、発光パターンＰｔの代わりに発光パターンＰｔｒを扱う。これにより、発光パターンＰｔｒと赤色光についての受光量の相関を推定する。
　同様に、緑色光について各種の処理を行う場合には、第１の実施の形態における第１極性イベント信号Ｓｉ１及び第２極性イベント信号Ｓｉ２の代わりに第１極性イベント信号Ｓｉ１ｇと第２極性イベント信号Ｓｉ２ｇを扱い、発光パターンＰｔの代わりに発光パターンＰｔｇを扱う。これにより、発光パターンＰｔｇと緑色光についての受光量の相関を推定する。
　更に、青色光について各種の処理を行う場合には、第１の実施の形態における第１極性イベント信号Ｓｉ１及び第２極性イベント信号Ｓｉ２の代わりに第１極性イベント信号Ｓｉ１ｂと第２極性イベント信号Ｓｉ２ｂを扱い、発光パターンＰｔの代わりに発光パターンＰｔｂを扱う。これにより、発光パターンＰｔｂと青色光についての受光量の相関を推定する。
　そして、相関推定部１０は、赤色光についての上述した相関と緑色光についての上述した相関と青色光についての上述した相関の全てが高い時間帯が検出された場合には、当該時間帯に光源２から照射された照射光ＬＩの反射光ＬＲが画素アレイ部４に届く所定の距離以内に被写体ＯＢが位置することを推定することができる。
　なお、センシングシステム１Ｂが複数の光源２を備える代わりに、一つの光源２と複数のカラーフィルタを備えることによって複数の波長の光を照射可能とされていてもよい。
　また、センシングシステム１Ｂが照射光の波長を変えることができる光源２を一つだけ備えていてもよい。具体的には、図１５に示す発光パターンＰｔｒ，Ｐｔｇ，Ｐｔｂを用いて三つの光源２Ｒ，２Ｇ，２Ｂそれぞれを制御するのではなく照射光ＬＩの色を変えてもよい。例えば、図１５に示す例を用いると、時刻ｔ１から時刻ｔ２の間は青色光を照射するように波長が制御され、時刻ｔ２から時刻ｔ３の間は赤色光と緑色光を混ぜた黄色光を照射するように波長が制御されてもよい。
＜４．第４の実施の形態＞
　第４の実施の形態に係るセンシングシステム１Ｃは、階調信号Ｓｓを出力する画素Ｇを備えている。センシングシステム１Ｃの構成例について図１６に示す。なお、既に述べた構成についてはこれまでの各図に示した符号と同じ符号を付し適宜説明を省略する。
　センシングシステム１Ｃは、光源２と制御部３と画素アレイ部４Ｃと第１信号処理部１８と第２信号処理部１９とを備えている。光源２と制御部３の構成については説明を省略する。
　画素アレイ部４Ｃは、第１画素Ｇ１に加えて第２画素Ｇ２を有している。第１画素Ｇ１が受光量の変化を検出してイベント信号Ｓｉを出力するのに対し、第２画素Ｇ２は受光量に応じた階調信号Ｓｓを出力する。第２画素Ｇ２は、オンチップレンズやカラーフィルタや読出回路やリセット回路等を有して構成されている。なお、第２画素Ｇ２から出力される階調信号Ｓｓはデジタル信号とされる。
　画素アレイ部４Ｃの構成はいくつか考えられる。例えば、第１画素Ｇ１から成る第１画素アレイと第２画素Ｇ２から成る第２画素アレイとを備えていてもよい。即ち、第１画素Ｇ１が行列状に配置された矩形状の画素アレイと第２画素Ｇ２が行列状に配置された矩形状の画素アレイの二つを有していてもよい。
　或いは、一つの画素アレイに第１画素Ｇ１及び第２画素Ｇ２が配置されていてもよい。即ち同一のセンサチップ上に第１画素Ｇ１と第２画素Ｇ２が形成されていてもよい。一例について図１７に示す。
　一般的なベイヤー配列のカラーフィルタを有した画素アレイでは、縦横それぞれ２画素ずつとされた合計４画素の領域に対して赤色光に対する感度を有する一つの第２画素Ｇ２Ｒと青色光に対する感度を有する一つの第２画素Ｇ２Ｂと緑色光に対する感度を有する二つの第２画素Ｇ２Ｇとが配置される。
　本実施の形態における画素アレイ部４Ｃでは、このように合計４画素の領域に配置された二つの第２画素Ｇ２Ｇのうちの一方を第１画素Ｇ１に置き換えたものである。即ち、縦横それぞれ２画素ずつとされた合計４画素の領域に対して、一つの第１画素Ｇ１と一つの第２画素Ｇ２Ｒと一つの第２画素Ｇ２Ｇと一つの第２画素Ｇ２Ｂが配置されている。
　第１信号処理部１８は、前述した信号処理部５と同様に、判定部７とカウント部８とエッジ検出部９と相関推定部１０と信号補正部１１とを備える。判定部７とカウント部８と相関推定部１０と信号補正部１１は、画素アレイ部４Ｃが備える第１画素Ｇ１から出力されるイベント信号Ｓｉに対して上述した各種の処理を行うことにより補正イベント信号Ｓｉｃを出力する。
　第１信号処理部１８は、これらの各部に加えて、階調信号Ｓｓに対する信号処理を行う階調信号処理部２０を備えている。階調信号処理部２０は、第２画素Ｇ２から出力されたデジタル信号としての階調信号に対して、各種の信号処理を施す。例えば、階調信号処理部２０は、前処理等を行う。
　例えば、前処理では、階調信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
　階調信号処理部２０における信号処理が適用された階調信号Ｓｓは、補正イベント信号Ｓｉｃと共に第２信号処理部１９に出力される。
　第２信号処理部１９は、補正イベント信号Ｓｉｃと階調信号Ｓｓを用いた信号処理を行う。いくつかの例を説明する。
（信号処理の第１例）
　第２信号処理部１９が実行する信号処理の第１例は、エッジ画像の高精度化を行う処理に関する。例えば、補正イベント信号Ｓｉｃはノイズ等によって誤って検出されたイベント信号Ｓｉについての補正がなされたものである。従って、ある程度高精度なエッジ画像を生成することが可能である。
　ここでは、更なる高精度化を図るために、補正イベント信号Ｓｉｃに基づいて生成されたエッジ画像におけるエッジ部分とされた各画素について、階調信号Ｓｓを用いてコントラスト情報を生成するための信号処理を行う。
　そして、隣接画素に対して低いコントラストしか検出されなかった画素については補正イベント信号Ｓｉｃを無効とするなどの信号処理を行う。これにより、階調信号Ｓｓに基づいてエッジ画像の高精度化を図ることができる。
　また、階調信号Ｓｓについては、補正イベント信号Ｓｉｃに基づいて生成されたエッジ画像におけるエッジ部分とされた画素に対応する情報だけを記憶しておけばよい。これにより、階調信号Ｓｓを記憶する記憶部の記憶容量を削減することができる。
（信号処理の第２例）
　第２信号処理部１９が実行する信号処理の第２例は、被写体ＯＢのトラッキングについての処理に関する。例えば、第２信号処理部１９は、階調信号Ｓｓを用いて被写体ＯＢを認識するための信号処理を行う。これにより、被写体ＯＢが特定される。そして、第２信号処理部１９は、認識された被写体ＯＢに対して、補正イベント信号Ｓｉｃを用いたトラッキング処理を行う。
　補正イベント信号Ｓｉｃは上述したようにノイズ等が除かれた高精度な信号であるため、補正イベント信号Ｓｉｃを用いて被写体ＯＢのトラッキングを行うことにより、被写体ＯＢを見失ってしまうことなどが防止される。
　また、一般的に階調信号Ｓｓを生成する第２画素Ｇ２よりもイベント信号Ｓｉを生成する第１画素Ｇ１の方が高周波で動作可能である。また、階調信号Ｓｓに基づいて被写体ＯＢを検出する信号処理は演算量が多く重い処理とされる。
　従って、階調信号Ｓｓに基づく被写体ＯＢの検出処理の実行頻度を低くする代わりに、その間のトラッキングを高頻度で生成されるイベント信号Ｓｉに基づいて行うことにより、センシングシステム１Ｃの処理負担の軽減を図りつつ被写体ＯＢの高精度なトラッキングを行うことができる。
　なお、階調信号Ｓｓについてのフレームレートを上げることによって同様の頻度でトラッキングを行うことは可能である。しかし、一般的に階調信号Ｓｓの情報量は多いため、本例のように情報量の少ない補正イベント信号Ｓｉｃを用いて被写体ＯＢのトラッキングすることにより、処理に用いる情報量を削減することが可能となる。
　また、階調信号Ｓｓに基づいて生成される画像フレームのフレームレートに対して補正イベント信号Ｓｉｃの生成フレームレートは高くされている。従って、第２信号処理部１９は、階調信号Ｓｓに基づいて生成される画像データに対して補正イベント信号Ｓｉｃを用いたブラー除去処理（デブラー処理）を実行することが考えられる。これにより、動被写体についてのブラーが除去された画像データを生成することが可能となる。
　ここで記載した２例以外にも、第２信号処理部１９は、自動運転技術やＡＧＶ（Automatic Guided Vehicle）などで利用されるＳＬＡＭ（Simultaneous Localization and Mapping）技術についての処理を実行することなどが考えられる。即ち、高精度な補正イベント信号Ｓｉｃを用いることにより障害物などの位置や動きを正確に認識することができる。これにより、自己位置の特定処理やマッピング処理や経路生成処理を正確に行うことができる。
＜５．第５の実施の形態＞
　第５の実施の形態に係るセンシングシステム１Ｄは、発光パターンＰｔを用いて画素アレイ部４の受光制御を行う。なお、既に述べた構成についてはこれまでの各図に示した符号と同じ符号を付し適宜説明を省略する。
　センシングシステム１Ｄは、図１８に示すように、光源２と制御部３Ｄと画素アレイ部４と信号処理部５とを備えている。光源２と信号処理部５の構成については説明を省略する。
　制御部３Ｄは、発光制御部６に加えて受光制御部２１を備えている。受光制御部２１は、発光制御部６が光源２に与える発光パターンＰｔに基づいて画素アレイ部４の受光制御を行う。
　具体的には、受光制御部２１は、光源２を発光させる発光パターンＰｔに基づいて光源２が発光状態とされるタイミングが既知とされる。従って、センシングシステム１Ｄが近接センサとして機能する場合などにおいては、光源２が確実に発光していない時間帯に発光パターンＰｔに基づく反射光ＬＲが発生し得ないため、画素アレイ部４の駆動を停止することにより近接センサとしての機能を停止させることが可能である。
　例えば、図６に示すパターンを一定時間ごとに出力する発光パターンＰｔについて考える。この発光パターンＰｔの一例を図１９に示す。発光制御部６は光源２に対して、時刻ｔ０から時刻ｔ５に亘って所定のパターンの制御信号を出力し、時刻ｔ５から時刻ｔ１２に亘って光源２を非発光状態とするためのＬ（０）信号を出力し、時刻ｔ１２から時刻ｔ１３に亘って所定のパターンの制御信号を出力し、時刻ｔ１３から時刻ｔ１４に亘ってＬ信号を出力し、時刻ｔ１４から時刻ｔ１５に亘って所定のパターンの制御信号を出力する。なお、時刻ｔ５から時刻ｔ１２の間の時間幅及び時刻ｔ１３から時刻ｔ１４の間の時間幅を時間Ｔｉとする。
　このような発光パターンＰｔに応じて、受光制御部２１は、画素アレイ部４を駆動状態に制御するＨ（１）信号と非駆動状態に制御するＬ（０）を出力する。一例を図２０に示す。図示するように、時刻ｔ０よりも前の時間帯においては、光源２の照射光ＬＩに基づく反射光ＬＲは受光しないため、受光制御部２１は画素アレイ部４に対してＬ信号を出力する。
　また、時刻ｔ０から時刻ｔ５の間の時間帯及び時刻ｔ５から所定の時間Ｔａが経過した時刻ｔ１６までの間は、光源２の照射光ＬＩに基づく反射光ＬＲを画素アレイ部４が受光する可能性があるため、受光制御部２１は画素アレイ部４に対してＨ信号を出力する。
　時間Ｔａは、被写体ＯＢの検出距離によって決定される。即ち、より近い位置へ被写体ＯＢが移動するまで被写体ＯＢを検出したくない場合には、時間Ｔａを短くすればよい。また、より遠い位置において被写体ＯＢを検出したい場合には、時間Ｔａを長くすればよい。
　時刻ｔ１６から時刻ｔ１２までの間の時間帯は、光源２の照射光ＬＩに基づく反射光ＬＲが画素アレイ部４によって受光されない時間帯、或いは、検出距離よりも遠い被写体ＯＢによって反射された反射光ＬＲが受光される時間帯であるため、受光制御部２１は画素アレイ部４に対してＬ信号を出力することにより画素アレイ部４における受光処理を停止させる。
　同様に、受光制御部２１は画素アレイ部４に対して、時刻ｔ１７から時刻ｔ１４の間の時間帯はＬ信号を出力し、時刻ｔ１４から時刻ｔ１８の間の時間帯はＨ信号を出力し、時刻ｔ１８以降の時間帯はＬ信号を出力する。
　このようにして、画素アレイ部４を停止状態にする時間帯を設けることで、画素アレイ部４の長寿命化及び低消費電力化を図ることができる。特に、センシングシステム１Ｄが携帯型の装置である場合には、消費電力を低下させることにより長時間の連続使用が可能となり利便性の向上を図ることができる。
　なお、第５の実施の形態に限らず図１９のように一定時間ごとに所定のパターンを繰り返すことにより、被写体の誤検出が抑制されるなど補正イベント信号Ｓｉｃの信頼性を高めることができる。
＜６．フローチャート＞
　上述した各センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）を実現するために制御部３，３Ｄ及び信号処理部５が実行する処理のフローチャートを図２１に示す。
　なお、以下の説明においては、制御部３，３Ｄ及び信号処理部５を区別せずに単に「処理部」と記載する。
　処理部は、ステップＳ１０１において発光パターンＰｔを光源２に出力する処理を行う。これにより、光源２は発光パターンＰｔに基づく光照射を行う。
　処理部はステップＳ１０２において、イベント検出を行う。イベント検出は、画素アレイ部４が備える第１画素Ｇ１において受光量の変化イベントを検出することにより行われる。
　処理部はステップＳ１０３において、相関推定処理を行う。相関推定処理は、イベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１や第２イベント発生画素数Ｎｅｇ２でもよい）や発光パターンＰｔのエッジを検出することにより、発光パターンＰｔと第１画素Ｇ１（或いは画素アレイ部４）における受光量の変化の相関を推定する処理である。
　処理部はステップＳ１０４において、発光パターンＰｔと第１画素Ｇ１（或いは画素アレイ部４）における受光量の変化に高い相関が推定されたか否かを判定する。
　高い相関が推定された時間帯は、発光パターンＰｔに基づく照射光ＬＩについての反射光ＬＲを受光している期間として推定することができる。従って、処理部はステップＳ１０５においてそのようなイベント信号Ｓｉを検出信号として出力する。
　一方、高い相関が推定されなかった時間帯は、発光パターンＰｔとは無関係のノイズ等により検出されたイベント信号Ｓｉと推定できる。このような場合には、処理部はステップＳ１０６においてイベント信号Ｓｉをノイズとして補正する。これにより補正イベント信号Ｓｉｃが信号処理部５から出力される。
　なお、イベント信号Ｓｉの補正は、対象期間におけるノイズ除去の項目で説明したように各種の方法が考えられる。
　処理部はステップＳ１０７において、イベントの検出を行った全期間において、強い相関が推定できる時間帯が存在したか否かを判定する。
　強い相関が推定できる時間帯が存在しなかった場合、処理部はステップＳ１０８において通知処理を行う。これにより、例えば近接センサとして機能するセンシングシステム１において、近接物体が検出されなかったことを通知することができる。
　なお、異なる複数の波長ごとに発光パターンＰｔｒ，Ｐｔｇ，Ｐｔｂを設定した場合には、イベントの検出についても波長ごとに行われる。この場合には、ステップＳ１０１からステップＳ１０６の各処理を波長ごとに行うことが望ましい。
　また、図２１に示す処理を実行することにより出力される補正イベント信号Ｓｉｃは、後段の信号処理部において単独で用いられることにより、センシングシステム１が近接センサとしての機能や距離センサとしての機能を果たすことが可能となる。また、それだけでなく、補正イベント信号Ｓｉｃと第２画素Ｇ２から出力される階調信号Ｓｓの双方の信号を用いることにより、第４の実施の形態で説明したように、後段の第２信号処理部１９が各種の機能を実現するための信号処理を行うことが可能となる。
＜７．変形例＞
　なお、上述した例では、第１画素Ｇ１ごとのイベント信号Ｓｉをまとめて第１イベント発生画素数Ｎｅｇ１や第２イベント発生画素数Ｎｅｇ２やイベント指数Ｘを算出することにより、画素アレイ部４全体の受光傾向を見る例について説明した。これにより、近接センサとしてセンシングシステム１が機能する。
　これ以外にも、第１画素Ｇ１ごとに上述した相関の推定処理等を行うこともできる。この場合には、強い相関が推定された第１画素Ｇ１は、センシングシステム１の近傍に位置する被写体ＯＢが撮像された画素であることが推定される。また、第１画素Ｇ１における反射光ＬＲの受光タイミングが推定可能とされることから、反射光ＬＲの受光タイミングに基づいて被写体ＯＢについての距離情報を取得することができる。
　従って、画素アレイ部４が備える第１画素Ｇ１ごとに被写体ＯＢとの距離を算出することができるため、距離センサとしてセンシングシステム１を機能させることができる。また、このようなセンシングシステム１からは上述した信号補正部１１による補正がなされることにより、ノイズの少ない距離画像を出力することが可能となる。
　また、図４においては、量子化器１６が二つのコンパレータにより構成されている例を説明したが、一つのコンパレータを用いて時分割処理を行う構成とされていてもよい。
　図２２に一つのコンパレータを備えた量子化器１６Ａの構成例を示す。なお、フォトダイオードＰＤ、対数変換部１２、バッファ１３、減算器１５については、上述した構成と同様のため説明を省略する。
　図２２に示す構成を用いれば、第１極性イベントと第２極性イベントの検出を時分割で行うことができる。
　量子化器１６Ａにおいては、トランジスタＱｅ１１とトランジスタＱｅ１２が省略された点が図４に示す例と異なる。この場合、量子化器１６Ａの出力信号は、トランジスタＱｅ９とトランジスタＱｅ１０の接続点に得られる信号の一系統のみとなる。
　更に、量子化器１６Ａは、コントローラＣｔｒから出力される信号に基づいて制御される。具体的には、コントローラＣｔｒは、量子化器１６ＡにおけるトランジスタＱｅ１０のゲート電圧の制御を行う。コントローラＣｔｒｌは、トランジスタＱｅ１０のゲート電圧を前述した電圧Ｖｈｉｇｈと電圧Ｖｌｏｗとの間で切り替える制御を行う。
　上述した各例から理解されるように、電圧Ｖｈｉｇｈの選択期間中には、量子化器１６Ａにおいて第１極性イベントの検出結果を表す第１極性イベント信号Ｓｉ１が得られる。
　一方、電圧Ｖｌｏｗの選択期間中には、量子化器１６Ａにおいて第２極性イベントの検出結果を示す第２極性イベント信号Ｓｉ２が得られる。
　このようにして、図２２に示す構成では、第１極性イベントと第２極性イベントを時分割で検出することが可能とされる。
　なお、コントローラＣｔｒは、画素Ｇごとに設けてもよいし、複数の画素Ｇごとに共通のコントローラＣｔｒを設けるようにしてもよい。
＜８．まとめ＞
　上述した各実施の形態等で説明したように、センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）は、所定の発光パターンＰｔを用いて光源２（２Ｒ，２Ｇ，２Ｂ）の発光制御を行う発光制御部６と、受光量の変化をイベントとして検出しイベントの検出有無を示すイベント信号Ｓｉ（第１極性イベント信号Ｓｉ１，第２極性イベント信号Ｓｉ２）として生成する画素（第１画素Ｇ１）が、二次元配列された画素アレイ部４（４Ｂ，４Ｃ）と、発光パターンＰｔに基づいてイベント信号Ｓｉを補正する信号補正部１１と、を備えたものである。
　光源２を所定の発光パターンＰｔで発光させることにより、被写体ＯＢにおいて反射された反射光ＬＲとノイズを各画素（第１画素Ｇ１）で見分けることが可能となる。
　従って、ノイズ除去等を行うことができる。
　図１や図７及び図８等で説明したように、センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）は、イベント信号Ｓｉ（Ｓｉ１，Ｓｉ２）に基づきイベントの発生有無を判定する判定部７と、判定部７によってイベントが発生したと判定された画素（第１画素Ｇ１）の数をイベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）としてカウントするカウント部８と、イベント発生画素数Ｎｅｇに基づいて発光パターンＰｔと受光量の相関を推定する相関推定部１０と、を備えていてもよい。
　また、信号補正部１１は、推定された相関に基づいて補正を行ってもよい。
　所定の発光パターンと受光した光の受光量の相関を推定することで、受光した光が光源２（２Ｒ，２Ｇ，２Ｂ）から照射された光の反射光ＬＲであるのか否かを判定することが可能となる。
　従って、ノイズ等を受光することにより近傍の物体（被写体ＯＢ）が存在しないにも関わらず存在しているかのように誤検出してしまうことなどが防止される。
　図５から図９の各図を用いて説明したように、センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）における相関推定部１０は、イベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）を積分することにより得られた画素数積分値Ｇｉに基づいて相関の推定を行ってもよい。
　画素（第１画素Ｇ１）から出力されるイベント信号Ｓｉ（第１極性イベント信号Ｓｉ１，第２極性イベント信号Ｓｉ２）は、受光量の変化を捉えた信号とされる。
　このようなイベント信号Ｓｉに対して、イベント発生画素数Ｎｅｇの積分値は、反射光ＬＲが画素（第１画素Ｇ１）に届く程度の距離にある程度の大きさの被写体ＯＢが存在した場合に、所定の発光パターンＰｔと類似した信号となる。従って、近傍に被写体ＯＢがいることなどを高精度に検出することが可能となる。
　図５、図１０及び図１１等を用いて説明したように、センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）は、イベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）の時間変化波形に基づいて発光パターンＰｔのエッジを検出するエッジ検出部９を備え、相関推定部１０は、検出されたエッジに基づいて相関の推定を行ってもよい。
　発光パターンＰｔに対応したエッジの検出を行うことで、イベント発生画素数Ｎｅｇの積分などを行う必要がなくなる。
　従って、相関推定部１０の処理負担の軽減が図られる。
　図３～図５、図１０，図１１等を用いて説明したように、センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）における画素（第１画素Ｇ１）は、イベント信号Ｓｉとして、受光量の増加側の変化を表す第１極性イベント信号Ｓｉ１と受光量の減少側の変化を表す第２極性イベント信号Ｓｉ２とを生成可能とされ、判定部７は、第１極性イベント信号Ｓｉ１に基づいて第１イベントの発生有無を判定し、第２極性イベント信号Ｓｉ２に基づいて第２イベントの発生有無を判定し、信号補正部１１は、第１極性イベント信号Ｓｉ１及び第２極性イベント信号Ｓｉ２について補正を行ってもよい。
　第１極性イベント信号Ｓｉ１と第２極性イベント信号Ｓｉ２の双方を生成することが可能とされていることにより、例えば、所定の発光パターンＰｔにおける立ち上がりエッジに対応した第１極性イベントの発生や、所定の発光パターンにおける立ち下がりエッジに対応した第２極性イベントの発生を検出することができる。
　従って、所定の発光パターンＰｔによって照射された光の反射光ＬＲについて、より高い確度で所定の発光パターンＰｔとの相関の有無を判定することができる。
　図５、図１０～図１２等を用いて説明したように、センシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）におけるカウント部８は、判定部７によって第１イベントが発生したと判定された画素（第１画素Ｇ１）の数を第１イベント発生画素数Ｎｅｇ１としてカウントし、判定部７によって第２イベントが発生したと判定された画素（第１画素Ｇ１）の数を第２イベント発生画素数Ｎｅｇ２としてカウントし、相関推定部１０は、発光パターンＰｔにおける立ち上がりエッジと第１イベント発生画素数Ｎｅｇ１を対応付けると共に発光パターンＰｔにおける立ち下がりエッジと第２イベント発生画素数Ｎｅｇ２を対応付けて相関の推定を行い、信号補正部１１は、立ち上がりエッジに対応した第１イベント発生画素数Ｎｅｇ１がカウントされた第１期間（例えば、図５に示す時刻ｔ６から微小時間Δｔが経過するまでの間の期間など）において検出された第２イベント、及び、立ち下がりエッジに対応した第２イベント発生画素数Ｎｅｇ２がカウントされた第２期間（例えば、時刻ｔ７から微小時間Δｔが経過するまでの間の期間、或いは、時刻ｔ７から時刻ｔ８の間の期間など）において検出された第１イベントを対象として補正を行ってもよい。
　発光パターンＰｔにおける立ち上がりエッジと対応した第１イベント発生画素数Ｎｅｇ１と発光パターンＰｔにおける立ち下がりエッジと対応した第２イベント発生画素数Ｎｅｇ２を対応づけることにより、各イベントの発生タイミング等に基づいて発光パターンＰｔと画素アレイ部４（４Ｂ，４Ｃ）で受光した光の受光量の相関を算出することが可能となる。
　そして、相関の算出結果が高い相関を示すものであった場合には、立ち上がりエッジに対応するタイミングで発生した受光量の減少イベントである第２イベントや、立ち下がりエッジに対応するタイミングで発生した受光量の増加イベントである第１イベントをノイズによるものと判定することができる。従って、補正処理として、ノイズによって発生したイベントを無視する処理や、ノイズによって発生したイベントを無効化するように書き換える処理を行うことが可能となり、ノイズによる影響を限りなく少なくすることができる。即ち、センシングシステムから出力されるエッジ画像等を高品質のものにすることができる。
　図１３等を用いて第２の実施の形態で説明したように、センシングシステム１Ａにおける相関推定部１０が推定した相関が無相関を表すものであった場合に、無相関であることを通知するための出力を行う通知出力部１７を備えていてもよい。
　例えば、通知出力部１７による通知は後段の処理部に伝達される。
　これにより、例えば、近接センサとしてセンシングシステム１Ａを用いる場合などにおいて、無相関であることの通知処理を後段の処理部が受け取った際に詳細な顔認証処理などを実行しなくて済むため、処理負担を軽減すると共に、消費電力の削減を図ることが可能となる。また、画素ごとに無相関であることを通知することも可能である。例えば、距離センサとしてセンシングシステム１Ａを用いる場合などにおいて、ある画素（第１画素Ｇ１）で受光した光が無相関であることの通知処理を後段の処理部が受け取った際には、当該画素についての距離算出処理を実行せずに済む。これにより、演算量の削減を図ることができる。また、誤った距離情報が算出されてしまうことが防止される。
　図１４及び図１５等を用いて説明したように、センシングシステム１Ｂにおける発光制御部６は、複数の波長ごとに異なる発光パターンを用いて発光制御を行ってもよい。
　例えば、光源２（２Ｒ，２Ｇ，２Ｂ）は、各種の波長の光（例えば、赤色光、緑色光、青色光）を照射可能とされる。
　これにより、発光パターンＰｔに基づいてイベント信号Ｓｉの補正をより正確に行うことが可能となる。
　図１４及び図１５等を用いて説明したように、センシングシステム１Ｂにおける画素アレイ部４Ｂには、複数の波長それぞれに対応した複数種類の画素（赤画素Ｇ１Ｒ、緑画素Ｇ１Ｇ、青画素Ｇ１Ｂ）が設けられ、特定の波長に対応した画素（赤画素Ｇ１Ｒ、緑画素Ｇ１Ｇ、青画素Ｇ１Ｂ）が生成したイベント信号Ｓｉ（第１極性イベント信号Ｓｉ１，第２極性イベント信号Ｓｉ２）に基づき特定の波長に対応した画素についての前記イベントの発生有無を判定する判定部７と、判定部７によってイベントが発生したと判定された画素数を特定の波長に対応した画素についてのイベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）としてカウントするカウント部８と、発光パターンＰｔｒ、Ｐｔｇ，Ｐｔｂ及びイベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）の相関を特定の波長ごとに算出する相関推定部１０と、を備え、信号補正部１１は、特定の波長に対応した発光パターンＰｔｒ，Ｐｔｇ，Ｐｔｂ及び相関に基づいて特定の波長に対応した画素（赤画素Ｇ１Ｒ、緑画素Ｇ１Ｇ、青画素Ｇ１Ｂ）が生成したイベント信号Ｓｉ（第１極性イベント信号Ｓｉ１，第２極性イベント信号Ｓｉ２）の補正を行ってもよい。
　複数の波長に対応した画素が設けられることにより、それぞれの波長ごとにイベントの発生有無が判定され、イベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）がカウントされる。
　これにより、各波長が混ぜられた複雑な発光パターンＰｔに対応した相関を算出することが可能となるため、より正確にノイズを選り分けることが可能となる。
　図１４等を用いて第３の実施の形態で説明したように、センシングシステム１Ｂにおいて、複数の波長におけるそれぞれの波長は、色の異なる可視光についての波長とされてもよい。
　特定の波長は、例えば、赤色光とされた７００ｎｍや緑色光とされた５２５ｎｍや青色光とされた４７０ｎｍなどとされる。
　これにより、一般的なＲ（赤）Ｇ（緑）Ｂ（青）のカラーフィルタを有する画素を用いて発光パターンＰｔｒ，Ｐｔｇ，Ｐｔｂとの相関を算出することができるように、光源２Ｒ，２Ｇ，２Ｂから光を照射することができる。
　図１４等を用いて第３の実施の形態で説明したように、センシングシステム１Ｂにおいて、画素（赤画素Ｇ１Ｒ，緑画素Ｇ１Ｇ，青画素Ｇ１Ｂ）のそれぞれは、カラーフィルタを有することにより複数の波長のうちの一つに対する感度を有していてもよい。
　これにより、一般的な構成の画素を用いることができる。
　従って、特定の波長の光、或いは、特定の範囲の波長の光に対する感度のみを有するように画素を作り込むためのコストの上昇を抑えることが可能となる。
　例えば、赤色光と緑色光と青色光それぞれが異なる発光パターンＰｔｒ，Ｐｔｇ，Ｐｔｂで照射された場合に、ＲＧＢそれぞれの光に対応した第１画素Ｇ１（赤画素Ｇ１Ｒ，緑画素Ｇ１Ｇ，青画素Ｇ１Ｂ）それぞれにおいて色ごとの相関を算出することが可能となる。
　従って、高精度に光源２Ｒ，２Ｇ，２Ｂから照射された光の反射光ＬＲとノイズを選別することができる。
　図１６等を用いて第４の実施の形態で説明したように、画素としての第１画素Ｇ１（赤画素Ｇ１Ｒ、緑画素Ｇ１Ｇ、青画素Ｇ１Ｂ）と、第１画素Ｇ１とは異なり、受光量の強度を表す階調信号Ｓｓを生成する第２画素Ｇ２，Ｇ２Ｒ，Ｇ２Ｇ，Ｇ２Ｂと、第１画素Ｇ１で生成されたイベント信号Ｓｉ（第１極性イベント信号Ｓｉ１，第２極性イベント信号Ｓｉ２）が信号補正部１１によって補正された補正イベント信号Ｓｉｃと、第２画素Ｇ２で生成された階調信号Ｓｓと、を用いた信号処理を行う信号処理部（第２信号処理部１９）と、を備えていてもよい。
　第２信号処理部１９としては、各種考えられる。例えば、階調信号Ｓｓに基づいてカラー画像を生成すると共に補正イベント信号Ｓｉｃを用いてカラー画像を補正する処理を行う信号処理部も一例である。
　具体的には、カラー画像におけるエッジ部分をより際立たせる処理を実行することが可能となる。また、逆に、補正イベント信号Ｓｉｃを用いてエッジ画像を生成すると共にカラー画像から得たコントラスト情報に基づいてエッジ画像をより高精度のものへと補正する信号処理部なども考えられる。
　このように、各種の例において画像の高精細化を行うことなどが可能となる。
　また、他の例として、階調信号Ｓｓに基づいて生成された画像に基づいて物体認識を行い、補正イベント信号Ｓｉｃを用いて当該物体のトラッキングを行う信号処理部も考えられる。
　この場合には、イベント信号Ｓｉに基づくエッジ情報に対応した領域の階調信号Ｓｓのみを保持することで、データ量削減を図ることができる。
　図１７等を用いて第４の実施の形態で説明したように、センシングシステム１Ｃにおける第１画素Ｇ１と第２画素Ｇ２，Ｇ２Ｒ，Ｇ２Ｇ，Ｇ２Ｂは同一のセンサチップ上に形成されてもよい。
　これにより、複数のセンサチップとして構成される場合と比較して省スペースを計ることが可能となる。
　従って、センシングシステム１Ｃの小型化に寄与することができる。
　図１６及び図１７を用いて第４の実施の形態で説明したように、センシングシステム１Ｃにおける第２画素Ｇ２として、赤色光に対する感度を有する画素（第２画素Ｇ２Ｒ）と緑色光に対する感度を有する画素（第２画素Ｇ２Ｇ）と青色光に対する感度を有する画素（第２画素Ｇ２Ｂ）とが設けられていてもよい。
　これにより、それぞれの第２画素Ｇ２Ｒ，Ｇ２Ｇ，Ｇ２Ｂにおいて色ごとの階調信号Ｓｓが生成される。
　従って、カラー画像と補正イベント信号Ｓｉｃを用いた各種の処理を行うことが可能となる。
　図１７等を用いて第４の実施の形態で説明したように、センシングシステム１Ｃにおける第１画素Ｇ１は、ベイヤー配列における緑色光に対する感度を有する画素（第２画素Ｇ２Ｇ）の一部に代わって配置されていてもよい。
　これにより、一つの画素アレイ部４Ｃに第１画素Ｇ１と、３種類の第２画素Ｇ２Ｒ，Ｇ２Ｇ，Ｇ２Ｂが配置される。
　従って、複数の画素アレイ部４を備える必要がなくなり、センシングシステム１Ｃの小型化に寄与することができる。
　図１８及び図１９等を用いて第５の実施の形態で説明したように、センシングシステム１Ｄにおいては、発光パターンＰｔに応じて画素アレイ部４における受光制御を行う受光制御部２１を備えていてもよい。
　例えば、光源２の非発光状態が所定時間に亘って継続している場合などは、光源２の発光パターンＰｔに応じた反射光ＬＲを受光することがない。そのような場合に、イベントの検出を行ったとしても、ノイズによって発生したイベントしか検出できない可能性が高い。
　従って、そのような場合にイベントの検出する処理及びイベント信号Ｓｉの生成をする処理を実行しないように受光制御を行うことで、不要な制御の実行を抑制し、処理負担及び消費電力の削減を行うことができる。
　図１８及び図１９等を用いて第５の実施の形態で説明したように、受光制御部２１は、光源２の発光状態に変化が無い場合に画素アレイ部４におけるイベントの検出が行われないように制御を行ってもよい。
　光源２の非発光状態だけでなく発光状態が所定時間に亘って継続した場合においても、光源２の発光パターンＰｔに応じた反射光ＬＲの受光量の変化は起きない。
　従って、そのような場合においてイベントの検出を行わないように受光制御を行うことで、不要な制御の実行を抑制し、処理負担及び消費電力の削減を行うことができる。
　各例で説明したように、信号処理部５を備える信号処理装置としてのセンシングシステム１（１Ａ，１Ｂ，１Ｃ，１Ｄ）は、受光量の変化をイベントとして検出したか否かを示す信号として画素（第１画素Ｇ１）から出力されるイベント信号Ｓｉ（第１極性イベント信号Ｓｉ１，第２極性イベント信号Ｓｉ２）に基づいてイベントの有無を判定する判定部７と、判定によってイベントが発生したと判定された画素（第１画素Ｇ１）の数をイベント発生画素数Ｎｅｇ（第１イベント発生画素数Ｎｅｇ１，第２イベント発生画素数Ｎｅｇ２）としてカウントするカウント部８と、イベント発生画素数Ｎｅｇに基づいて光源２における所定の発光パターンＰｔと受光量の相関を推定する相関推定部１０と、推定された相関と発光パターンＰｔに基づいてイベント信号Ｓｉを補正する信号補正部１１と、を備えたものである。
　このような信号処理装置によって、上述した各種の作用及び効果を得ることが可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜９．本技術＞
　本技術は以下のような構成を採ることも可能である。
（１）
　所定の発光パターンを用いて光源の発光制御を行う発光制御部と、
　受光量の変化をイベントとして検出し前記イベントの検出有無を示すイベント信号として生成する画素が、二次元配列された画素アレイ部と、
　前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えた
　センシングシステム。
（２）
　前記イベント信号に基づき前記イベントの発生有無を判定する判定部と、
　前記判定部によってイベントが発生したと判定された前記画素の数をイベント発生画素数としてカウントするカウント部と、
　前記イベント発生画素数に基づいて前記発光パターンと前記受光量の相関を推定する相関推定部と、を備え、
　前記信号補正部は、推定された前記相関に基づいて前記補正を行う
　上記（１）に記載のセンシングシステム。
（３）
　前記相関推定部は、前記イベント発生画素数を積分することにより得られた画素数積分値に基づいて前記相関の推定を行う
　上記（２）に記載のセンシングシステム。
（４）
　前記イベント発生画素数の時間変化波形に基づいて前記発光パターンのエッジを検出するエッジ検出部を備え、
　前記相関推定部は、検出された前記エッジに基づいて前記相関の推定を行う
　上記（２）から上記（３）の何れかに記載のセンシングシステム。
（５）
　前記画素は、前記イベント信号として、受光量の増加側の変化を表す第１極性イベント信号と受光量の減少側の変化を表す第２極性イベント信号とを生成可能とされ、
　前記判定部は、前記第１極性イベント信号に基づいて第１イベントの発生有無を判定し、前記第２極性イベント信号に基づいて第２イベントの発生有無を判定し、
　前記信号補正部は、前記第１極性イベント信号及び前記第２極性イベント信号について前記補正を行う
　上記（２）から上記（４）の何れかに記載のセンシングシステム。
（６）
　前記カウント部は、前記判定部によって前記第１イベントが発生したと判定された前記画素の数を第１イベント発生画素数としてカウントし、前記判定部によって前記第２イベントが発生したと判定された前記画素の数を第２イベント発生画素数としてカウントし、
　前記相関推定部は、前記発光パターンにおける立ち上がりエッジと前記第１イベント発生画素数を対応付けると共に前記発光パターンにおける立ち下がりエッジと前記第２イベント発生画素数を対応付けて前記相関の推定を行い、
　前記信号補正部は、前記立ち上がりエッジに対応した前記第１イベント発生画素数がカウントされた第１期間において検出された前記第２イベント、及び、前記立ち下がりエッジに対応した前記第２イベント発生画素数がカウントされた第２期間において検出された前記第１イベントを対象として前記補正を行う
　上記（５）に記載のセンシングシステム。
（７）
　前記相関推定部が推定した前記相関が無相関を表すものであった場合に、無相関であることを通知するための出力を行う通知出力部を備えた
　上記（２）から上記（６）の何れかに記載のセンシングシステム。
（８）
　前記発光制御部は、複数の波長ごとに異なる発光パターンを用いて発光制御を行う
　上記（１）から上記（７）の何れかに記載のセンシングシステム。
（９）
　前記画素アレイ部には、前記複数の波長それぞれに対応した複数種類の前記画素が設けられ、
　特定の波長に対応した前記画素が生成した前記イベント信号に基づき前記特定の波長に対応した前記画素についての前記イベントの発生有無を判定する判定部と、
　前記判定部によってイベントが発生したと判定された画素数を前記特定の波長に対応した前記画素についてのイベント発生画素数としてカウントするカウント部と、
　前記発光パターン及び前記イベント発生画素数の相関を前記特定の波長ごとに算出する相関推定部と、を備え、
　前記信号補正部は、前記特定の波長に対応した発光パターン及び前記相関に基づいて前記特定の波長に対応した前記画素が生成した前記イベント信号の補正を行う
　上記（８）に記載のセンシングシステム。
（１０）
　前記複数の波長におけるそれぞれの波長は、色の異なる可視光についての波長とされた
　上記（８）から上記（９）の何れかに記載のセンシングシステム。
（１１）
　前記画素のそれぞれは、カラーフィルタを有することにより前記複数の波長のうちの一つに対する感度を有する
　上記（８）から上記（１０）の何れかに記載のセンシングシステム。
（１２）
　前記画素としての第１画素と、
　前記第１画素とは異なり、受光量の強度を表す階調信号を生成する第２画素と、
　前記第１画素で生成された前記イベント信号が前記信号補正部によって補正された補正イベント信号と、前記第２画素で生成された前記階調信号と、を用いた信号処理を行う信号処理部と、を備えた
　上記（１）から上記（１１）の何れかに記載のセンシングシステム。
（１３）
　前記第１画素と前記第２画素は同一のセンサチップ上に形成された
　上記（１２）に記載のセンシングシステム。
（１４）
　前記第２画素として、赤色光に対する感度を有する画素と緑色光に対する感度を有する画素と青色光に対する感度を有する画素とが設けられた
　上記（１２）から上記（１３）の何れかに記載のセンシングシステム。
（１５）
　前記第１画素は、ベイヤー配列における緑色光に対する感度を有する画素の一部に代わって配置された
　上記（１４）に記載のセンシングシステム。
（１６）
　前記発光パターンに応じて前記画素アレイ部における受光制御を行う受光制御部を備えた
　上記（１）から上記（１５）の何れかに記載のセンシングシステム。
（１７）
　前記受光制御部は、前記光源の発光状態に変化が無い場合に前記画素アレイ部における前記イベントの検出が行われないように受光制御を行う
　上記（１６）に記載のセンシングシステム。
（１８）
　受光量の変化をイベントとして検出したか否かを示す信号として画素から出力されるイベント信号に基づいて前記イベントの有無を判定する判定部と、
　前記判定によってイベントが発生したと判定された前記画素の数をイベント発生画素数としてカウントするカウント部と、
　前記イベント発生画素数に基づいて光源における所定の発光パターンと前記受光量の相関を推定する相関推定部と、
　推定された前記相関と前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えた
　信号処理装置。
１，１Ａ，１Ｂ，１Ｃ，１Ｄ　センシングシステム
２，２Ｒ，２Ｇ，２Ｂ　光源
４，４Ｂ，４Ｃ　画素アレイ部
６　発光制御部
７　判定部
８　カウント部
９　エッジ検出部
１０　相関推定部
１１　信号補正部
１７　通知出力部
１９　第２信号処理部
２１　受光制御部
ＬＲ　反射光
Ｐｔ，Ｐｔｒ，Ｐｔｇ，Ｐｔｂ　発光パターン
Ｇ　画素
Ｇ１　第１画素
Ｇ１Ｒ　赤画素
Ｇ１Ｇ　緑画素
Ｇ１Ｂ　青画素
Ｇ２，Ｇ２Ｒ，Ｇ２Ｇ，Ｇ２Ｂ　第２画素
Ｓｉ　イベント信号
Ｓｉ１，Ｓｉ１ｒ，Ｓｉ１ｇ，Ｓｉ１ｂ　第１極性イベント信号
Ｓｉ２，Ｓｉ２ｒ，Ｓｉ２ｇ，Ｓｉ２ｂ　第２極性イベント信号
Ｓｉｃ　補正イベント信号
Ｓｓ　階調信号
Ｎｅｇ　イベント発生画素数
Ｎｅｇ１　第１イベント発生画素数
Ｎｅｇ２　第２イベント発生画素数

Claims (18)

  1. 　所定の発光パターンを用いて光源の発光制御を行う発光制御部と、
    　受光量の変化をイベントとして検出し前記イベントの検出有無を示すイベント信号として生成する画素が、二次元配列された画素アレイ部と、
    　前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えた
    　センシングシステム。
  2. 　前記イベント信号に基づき前記イベントの発生有無を判定する判定部と、
    　前記判定部によってイベントが発生したと判定された前記画素の数をイベント発生画素数としてカウントするカウント部と、
    　前記イベント発生画素数に基づいて前記発光パターンと前記受光量の相関を推定する相関推定部と、を備え、
    　前記信号補正部は、推定された前記相関に基づいて前記補正を行う
    　請求項１に記載のセンシングシステム。
  3. 　前記相関推定部は、前記イベント発生画素数を積分することにより得られた画素数積分値に基づいて前記相関の推定を行う
    　請求項２に記載のセンシングシステム。
  4. 　前記イベント発生画素数の時間変化波形に基づいて前記発光パターンのエッジを検出するエッジ検出部を備え、
    　前記相関推定部は、検出された前記エッジに基づいて前記相関の推定を行う
    　請求項２に記載のセンシングシステム。
  5. 　前記画素は、前記イベント信号として、受光量の増加側の変化を表す第１極性イベント信号と受光量の減少側の変化を表す第２極性イベント信号とを生成可能とされ、
    　前記判定部は、前記第１極性イベント信号に基づいて第１イベントの発生有無を判定し、前記第２極性イベント信号に基づいて第２イベントの発生有無を判定し、
    　前記信号補正部は、前記第１極性イベント信号及び前記第２極性イベント信号について前記補正を行う
    　請求項２に記載のセンシングシステム。
  6. 　前記カウント部は、前記判定部によって前記第１イベントが発生したと判定された前記画素の数を第１イベント発生画素数としてカウントし、前記判定部によって前記第２イベントが発生したと判定された前記画素の数を第２イベント発生画素数としてカウントし、
    　前記相関推定部は、前記発光パターンにおける立ち上がりエッジと前記第１イベント発生画素数を対応付けると共に前記発光パターンにおける立ち下がりエッジと前記第２イベント発生画素数を対応付けて前記相関の推定を行い、
    　前記信号補正部は、前記立ち上がりエッジに対応した前記第１イベント発生画素数がカウントされた第１期間において検出された前記第２イベント、及び、前記立ち下がりエッジに対応した前記第２イベント発生画素数がカウントされた第２期間において検出された前記第１イベントを対象として前記補正を行う
    　請求項５に記載のセンシングシステム。
  7. 　前記相関推定部が推定した前記相関が無相関を表すものであった場合に、無相関であることを通知するための出力を行う通知出力部を備えた
    　請求項２に記載のセンシングシステム。
  8. 　前記発光制御部は、複数の波長ごとに異なる発光パターンを用いて発光制御を行う
    　請求項１に記載のセンシングシステム。
  9. 　前記画素アレイ部には、前記複数の波長それぞれに対応した複数種類の前記画素が設けられ、
    　特定の波長に対応した前記画素が生成した前記イベント信号に基づき前記特定の波長に対応した前記画素についての前記イベントの発生有無を判定する判定部と、
    　前記判定部によってイベントが発生したと判定された画素数を前記特定の波長に対応した前記画素についてのイベント発生画素数としてカウントするカウント部と、
    　前記発光パターン及び前記イベント発生画素数の相関を前記特定の波長ごとに算出する相関推定部と、を備え、
    　前記信号補正部は、前記特定の波長に対応した発光パターン及び前記相関に基づいて前記特定の波長に対応した前記画素が生成した前記イベント信号の補正を行う
    　請求項８に記載のセンシングシステム。
  10. 　前記複数の波長におけるそれぞれの波長は、色の異なる可視光についての波長とされた
    　請求項８に記載のセンシングシステム。
  11. 　前記画素のそれぞれは、カラーフィルタを有することにより前記複数の波長のうちの一つに対する感度を有する
    　請求項８に記載のセンシングシステム。
  12. 　前記画素としての第１画素と、
    　前記第１画素とは異なり、受光量の強度を表す階調信号を生成する第２画素と、
    　前記第１画素で生成された前記イベント信号が前記信号補正部によって補正された補正イベント信号と、前記第２画素で生成された前記階調信号と、を用いた信号処理を行う信号処理部と、を備えた
    　請求項１に記載のセンシングシステム。
  13. 　前記第１画素と前記第２画素は同一のセンサチップ上に形成された
    　請求項１２に記載のセンシングシステム。
  14. 　前記第２画素として、赤色光に対する感度を有する画素と緑色光に対する感度を有する画素と青色光に対する感度を有する画素とが設けられた
    　請求項１２に記載のセンシングシステム。
  15. 　前記第１画素は、ベイヤー配列における緑色光に対する感度を有する画素の一部に代わって配置された
    　請求項１４に記載のセンシングシステム。
  16. 　前記発光パターンに応じて前記画素アレイ部における受光制御を行う受光制御部を備えた
    　請求項１に記載のセンシングシステム。
  17. 　前記受光制御部は、前記光源の発光状態に変化が無い場合に前記画素アレイ部における前記イベントの検出が行われないように受光制御を行う
    　請求項１６に記載のセンシングシステム。
  18. 　受光量の変化をイベントとして検出したか否かを示す信号として画素から出力されるイベント信号に基づいて前記イベントの有無を判定する判定部と、
    　前記判定によってイベントが発生したと判定された前記画素の数をイベント発生画素数としてカウントするカウント部と、
    　前記イベント発生画素数に基づいて光源における所定の発光パターンと前記受光量の相関を推定する相関推定部と、
    　推定された前記相関と前記発光パターンに基づいて前記イベント信号を補正する信号補正部と、を備えた
    　信号処理装置。
PCT/JP2021/047893 2021-02-09 2021-12-23 センシングシステム、信号処理装置 WO2022172621A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/263,565 US20240027645A1 (en) 2021-02-09 2021-12-23 Sensing system and signal processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021019025A JP2022121991A (ja) 2021-02-09 2021-02-09 センシングシステム、信号処理装置
JP2021-019025 2021-02-09

Publications (1)

Publication Number Publication Date
WO2022172621A1 true WO2022172621A1 (ja) 2022-08-18

Family

ID=82838638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047893 WO2022172621A1 (ja) 2021-02-09 2021-12-23 センシングシステム、信号処理装置

Country Status (3)

Country Link
US (1) US20240027645A1 (ja)
JP (1) JP2022121991A (ja)
WO (1) WO2022172621A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057995A1 (ja) * 2022-09-13 2024-03-21 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
US20190132537A1 (en) * 2017-10-30 2019-05-02 Omnivision Technologies, Inc. Time of flight camera with photon correlation successive approximation
JP2019195135A (ja) * 2018-05-02 2019-11-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
US20190132537A1 (en) * 2017-10-30 2019-05-02 Omnivision Technologies, Inc. Time of flight camera with photon correlation successive approximation
JP2019195135A (ja) * 2018-05-02 2019-11-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置

Also Published As

Publication number Publication date
JP2022121991A (ja) 2022-08-22
US20240027645A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
KR101887988B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US7839388B2 (en) Optical navigation system and method for reducing the power consumption of the system
US20210223398A1 (en) Imaging systems with single-photon avalanche diodes and ambient light level detection
US11221253B2 (en) System with a SPAD-based semiconductor device having dark pixels for monitoring sensor parameters
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
TWI516990B (zh) 具有可調整追蹤參數的導航裝置
CN112449130A (zh) 具有闪烁分析电路的事件传感器
WO2022172621A1 (ja) センシングシステム、信号処理装置
JP2018201196A (ja) 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
US11678086B2 (en) Photoelectric conversion apparatus having analog-to-digital conversion based on signal charge, image capturing system, and moving body
US9761199B2 (en) Optical navigation system and detection method thereof adapted for ambient light and liftoff detection
TWI647661B (zh) 影像深度感測方法與影像深度感測裝置
US20100289745A1 (en) System and method for automatically adjusting light source drive current during optical navigation operation
US20200411571A1 (en) Image sensor and control method for the same
CN108279811B (zh) 光学导航系统及其检测方法
US11860279B2 (en) Image sensing device and photographing device including the same
US9804000B2 (en) Optical sensor array apparatus
KR100977834B1 (ko) 넓은 동적 범위을 갖는 씨모스 이미지 센서
US7964836B2 (en) Solid-state imaging device
US20220326385A1 (en) Image capturing apparatus
US20240134051A1 (en) Image sensing device and photographing device including the same
US11783633B2 (en) Motion sensor using temporal difference pixels and lift-up detection thereof
WO2022209206A1 (ja) 撮像素子及び撮像装置
CN117135485A (zh) 影像感测结构及包含所述影像感测结构的影像感测装置
JP2021025810A (ja) 距離画像センサ、および距離画像測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21925864

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18263565

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21925864

Country of ref document: EP

Kind code of ref document: A1