WO2022059515A1 - 固体撮像装置及び認識システム - Google Patents

固体撮像装置及び認識システム Download PDF

Info

Publication number
WO2022059515A1
WO2022059515A1 PCT/JP2021/032405 JP2021032405W WO2022059515A1 WO 2022059515 A1 WO2022059515 A1 WO 2022059515A1 JP 2021032405 W JP2021032405 W JP 2021032405W WO 2022059515 A1 WO2022059515 A1 WO 2022059515A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
event
pixels
light
Prior art date
Application number
PCT/JP2021/032405
Other languages
English (en)
French (fr)
Inventor
慶 中川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/043,956 priority Critical patent/US20230316693A1/en
Priority to JP2022550467A priority patent/JPWO2022059515A1/ja
Priority to DE112021004820.1T priority patent/DE112021004820T5/de
Priority to CN202180057018.3A priority patent/CN116097444A/zh
Publication of WO2022059515A1 publication Critical patent/WO2022059515A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14638—Structures specially adapted for transferring the charges across the imager perpendicular to the imaging plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • This disclosure relates to a solid-state image sensor and a recognition system.
  • this disclosure proposes a solid-state image sensor and a recognition system that enable more secure authentication.
  • the solid-state image pickup apparatus includes a plurality of first pixels arranged in a matrix on the first surface, and the amount of incident light incident on each of the first pixels. It is provided with an image processing unit that generates image data based on the above, and a plurality of second pixels arranged in a matrix on a second surface parallel to the first surface, and changes in the brightness of incident light incident on each of the second pixels. An event signal processing unit that generates event data based on the above is provided, and the plurality of first pixels and the plurality of second pixels are arranged on a single chip.
  • FIG. 1 It is a figure which shows the plane layout example of each layer of the pixel array part which concerns on the modification of the color filter array of 2nd Embodiment. It is an external view seen from the front side of the smartphone which concerns on the specific example of the electronic device of this disclosure. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge-Coupled Device
  • FIG. 1 is a block diagram showing an example of the functional configuration of the recognition system according to the first embodiment.
  • the recognition system 1000 includes two types of sensor units, an RGB sensor unit 1001 and an EVS sensor unit 1003. Further, the recognition system 1000 includes an RGB image processing unit 1002, an event signal processing unit 1004, a recognition processing unit 1005, and an interface (I / F) unit 1006.
  • the RGB image processing unit 1002 may include an RGB sensor unit 1001
  • the event signal processing unit 1004 may include an EVS sensor unit 1003.
  • the RGB sensor unit 1001 includes, for example, a plurality of pixels (hereinafter referred to as RGB pixels) having a color filter that transmits the wavelength components of each of the three primary colors of RGB, and is a color image composed of the color components of the three primary colors of RGB (hereinafter referred to as an RGB image). ) Is generated.
  • RGB pixels a plurality of pixels having a color filter that transmits the wavelength components of each of the three primary colors of RGB
  • an RGB image a color image composed of the color components of the three primary colors of RGB
  • the EVS sensor unit 1003 includes, for example, a plurality of pixels (hereinafter, referred to as EVS pixels) including an IR filter that transmits infrared (IR) light, and whether or not each EVS pixel detects IR light (hereinafter, event). Based on the above), event data (also referred to as event information or detection signal) indicating the position of the pixel in which the event is detected (hereinafter referred to as an address) is output.
  • the event may include an on event indicating that IR light has come to be detected and an off event indicating that IR light has become desired to be detected.
  • the RGB image processing unit 1002 executes predetermined signal processing such as noise removal, white balance adjustment, and pixel interpolation for the RGB image data input from the RGB sensor unit 1001. Further, the RGB image processing unit 1002 may execute a recognition process or the like using the RGB image data.
  • the event signal processing unit 1004 generates image data (hereinafter referred to as EVS image data) indicating pixels in which an event is detected, based on the event data input from the EVS sensor unit 1003. For example, the event signal processing unit 1004 generates EVS image data indicating pixels in which on-events and / or off-events are detected, based on event data input within a predetermined period.
  • the event signal processing unit 1004 may generate EVS image data using the address of the pixel in which the event is detected, or the gradation indicating the brightness of the incident light read from the pixel in which the event is detected. EVS image data may be generated using a signal (pixel signal). Further, the event signal processing unit 1004 may execute predetermined signal processing such as noise reduction on the generated EVS image data.
  • the recognition processing unit 1005 uses the RGB image data input from the RGB image processing unit 1002 and / or the EVS image data input from the event signal processing unit 1004 to image the RGB sensor unit 1001 and / or the EVS sensor unit 1003. Executes recognition processing for objects existing in the corner.
  • a recognition process such as pattern recognition, a recognition process by artificial intelligence (AI), or the like may be used.
  • AI artificial intelligence
  • deep learning using a neural network such as CNN (Convolution Neural Network) or RNN (Recurrent Neural Network) may be applied to the recognition process by AI.
  • the recognition processing unit 1005 may execute a part of the recognition processing and output the result (intermediate data or the like).
  • the interface unit 1006 outputs the recognition result (including intermediate data and the like) obtained by the recognition processing unit 1005 and the image data acquired by the RGB sensor unit 1001 and / or the EVS sensor unit 1003 to an external application processor 1100, for example. do.
  • the event signal processing unit 1004 executes the area determination of the object with respect to the EVS image data, and the information such as the address for designating the region of interest (Region of Interest: ROI) obtained as a result (hereinafter, simply ROI). Information) may be input to the RGB sensor unit 1001 and / or the RGB image processing unit 1002.
  • the RGB sensor unit 1001 may operate so as to acquire RGB image data in a region corresponding to the ROI information input from the event signal processing unit 1004.
  • the RGB image processing unit 1002 may execute processing such as trimming of a region corresponding to the ROI information input from the event signal processing unit 1004 on the RGB image data input from the RGB sensor unit 1001.
  • FIG. 2 is a schematic diagram showing a schematic configuration example of an electronic device that realizes the recognition system according to the first embodiment
  • FIG. 3 is a schematic configuration of an electronic device that realizes the recognition system according to the first embodiment. It is a block diagram which shows an example.
  • the electronic device 1 includes a laser light source 1010, an irradiation lens 1030, an image pickup lens 1040, an image sensor 100, and a system control unit 1050.
  • the laser light source 1010 is composed of, for example, a vertical cavity type surface emitting laser (VCSEL) 1012 and a light source driving unit 1011 for driving the VCSEL 1012.
  • VCSEL vertical cavity type surface emitting laser
  • the present invention is not limited to VCSEL1012, and various light sources such as LEDs (Light Emitting Diode) may be used.
  • the laser light source 1010 may be any of a point light source, a surface light source, and a line light source.
  • the laser light source 1010 may include, for example, a configuration in which a plurality of point light sources (for example, VCSEL) are arranged one-dimensionally or two-dimensionally.
  • the laser light source 1010 may emit light having a wavelength band different from that of visible light, such as infrared (IR) light.
  • IR infrared
  • the irradiation lens 1030 is arranged on the emission surface side of the laser light source 1010, and converts the light emitted from the laser light source 1010 into irradiation light having a predetermined spread angle.
  • the image pickup lens 1040 is arranged on the light receiving surface side of the image sensor 100, and forms an image of incident light on the light receiving surface of the image sensor 100.
  • the incident light may also include reflected light emitted from the laser light source 1010 and reflected by the subject 901.
  • the image sensor 100 drives a light receiving unit 1022 in which RGB pixels and EVS pixels are arranged in a two-dimensional lattice, and an RGB image by driving the light receiving unit 1022. It is composed of a sensor control unit 1021 that generates data and event data.
  • the system control unit 1050 is configured by, for example, a processor (CPU), and drives the VCSEL 1012 via the light source drive unit 1011. Further, the system control unit 1050 acquires an RGB image by controlling the image sensor 100, and controls the image sensor 100 in synchronization with the control for the laser light source 1010 to emit / quench the laser light source 1010. Acquire the event data detected accordingly.
  • a processor CPU
  • the system control unit 1050 acquires an RGB image by controlling the image sensor 100, and controls the image sensor 100 in synchronization with the control for the laser light source 1010 to emit / quench the laser light source 1010. Acquire the event data detected accordingly.
  • the RGB sensor unit 1001 in FIG. 1 is configured by using the image sensor 100 and the system control unit 1050, and the EVS sensor unit 1003 uses the laser light source 1010, the image sensor 100, and the system control unit 1050. May be configured.
  • the RGB image processing unit 1002, the event signal processing unit 1004, and the recognition processing unit 1005 in FIG. 1 may be configured by using the image sensor 100 and / or the application processor 1100, respectively.
  • the irradiation light emitted from the laser light source 1010 is projected onto the subject (also referred to as a measurement object or object) 901 through the irradiation lens 1030.
  • This projected light is reflected by the subject 901.
  • the light reflected by the subject 901 passes through the image pickup lens 1040 and is incident on the image sensor 100.
  • the EVS sensor unit 1003 in the image sensor 100 receives the reflected light reflected by the subject 901 and generates event data, and generates EVS image data based on the generated event data.
  • the RGB sensor unit 1001 in the image sensor 100 receives, for example, visible light in the incident light and generates RGB image data.
  • the RGB image data and the EVS image data generated by the image sensor 100 are supplied to the application processor 1100 of the electronic device 1.
  • the application processor 1100 executes predetermined processing such as recognition processing on the RGB image data and the EVS image data input from the image sensor 100.
  • FIG. 4 is a block diagram showing a schematic configuration example of the image sensor according to the first embodiment.
  • the image sensor 100 includes, for example, a pixel array unit 101, a vertical drive circuit 102A, a horizontal drive circuit 102B, an X arbiter 104A, a Y arbiter 104B, and RGB signal processing. It includes a circuit 103A, an EVS signal processing circuit 103B, a system control circuit 105, an RGB data processing unit 108A, and an EVS data processing unit 108B.
  • the pixel array unit 101, the vertical drive circuit 102A, the horizontal drive circuit 102B, the RGB signal processing circuit 103A, and the system control circuit 105 constitute, for example, the RGB sensor unit 1001 in FIG. 1, and the pixel array unit 101, the vertical drive circuit 102A, and the like.
  • the horizontal drive circuit 102B, the X arbiter 104A, the Y arbiter 104B, the EVS signal processing circuit 103B, the horizontal drive circuit 102B, and the system control circuit 105 constitute, for example, the EVS sensor unit 1003 in FIG.
  • the RGB signal processing circuit 103A and the RGB data processing unit 108A constitute, for example, the RGB image processing unit 1002 in FIG.
  • the recognition processing unit 1005 in FIG. 1 may be realized by the application processor 1100 alone, or may be realized by linking the RGB data processing unit 108A and the EVS data processing unit 108B with the application processor 1100. , RGB data processing unit 108A and EVS data processing unit 108B may be linked.
  • the pixel array unit 101 has a configuration in which unit pixels 110 are arranged in a row direction and a column direction, that is, in a two-dimensional grid pattern (also referred to as a matrix pattern).
  • the row direction means the arrangement direction of the pixels in the pixel row (in the drawing, the horizontal direction)
  • the column direction means the arrangement direction of the pixels in the pixel row (in the drawing, the vertical direction).
  • Each unit pixel 110 includes an RGB pixel 10 and an EVS pixel 20.
  • the RGB pixel 10 and the EVS pixel 20 may be simply referred to as pixels, respectively.
  • the specific circuit configuration and pixel structure of the unit pixel 110 will be described later, but the RGB pixel 10 includes a photoelectric conversion element that generates and stores charges according to the amount of received light, and has a voltage corresponding to the amount of incident light. Generates a pixel signal of.
  • the EVS pixel 20 includes a photoelectric conversion element that generates and stores an electric charge according to the amount of received light, like the RGB pixel 10, and detects the incident of light based on the photocurrent flowing out from the photoelectric conversion element.
  • a request requesting reading from itself is output to the X arbiter 104A and the Y arbiter 104B, and a signal (also referred to as event data) indicating that an event has been detected is output according to the arbitration by the X arbiter 104A and the Y arbiter 104B. ..
  • This event data may be given a time stamp indicating the time when the event was detected.
  • the pixel drive lines LD1 and LD2 are wired along the row direction for each pixel row with respect to the matrix-shaped pixel array, and the vertical signal lines VSL1 and VSL2 are wired along the column direction for each pixel row.
  • the pixel drive line LD1 is connected to the RGB pixel 10 of each line
  • the pixel drive line LD2 is connected to the EVS pixel 20 of each line.
  • the vertical signal line VSL1 is connected to the RGB pixels 10 in each row
  • the vertical signal line VSL2 is connected to the EVS pixels 20 in each row.
  • the present invention is not limited to this, and the pixel drive lines LD1 and LD2 may be wired so as to be orthogonal to each other.
  • the vertical signal lines VSL1 and VSL2 may be wired so as to be orthogonal to each other.
  • the pixel drive line LD1 may be wired in the row direction
  • the pixel drive line LD2 may be wired in the column direction
  • the vertical signal line VSL1 may be wired in the column direction
  • the vertical signal line VSL2 may be wired in the row direction.
  • the pixel drive line LD1 transmits a control signal for driving when reading a pixel signal from the RGB pixel 10.
  • the pixel drive line LD2 transmits a control signal for making the EVS pixel 20 an active state capable of detecting an event.
  • the pixel drive lines LD1 and LD2 are shown as one wiring each, but the wiring is not limited to one.
  • One end of each of the pixel drive line LD1 and the pixel drive line LD2 is connected to an output end corresponding to each line of the vertical drive circuit 102A.
  • RGB pixel 10 Drive configuration of RGB pixels
  • Each RGB pixel 10 will be described in detail later, but a photoelectric conversion unit that photoelectrically converts incident light to generate an electric charge and a pixel signal having a voltage value corresponding to the amount of electric charge generated in the photoelectric conversion unit are generated.
  • a pixel circuit is provided, and a pixel signal appears on the vertical signal line VSL1 under the control of the vertical drive circuit 102A.
  • the vertical drive circuit 102A is composed of a shift register, an address decoder, and the like, and drives the RGB pixels 10 of the pixel array unit 101 simultaneously for all pixels or in line units. That is, the vertical drive circuit 102A constitutes a drive unit that controls the operation of each RGB pixel 10 of the pixel array unit 101 together with the system control circuit 105 that controls the vertical drive circuit 102A. Although the specific configuration of the vertical drive circuit 102A is not shown, it generally includes two scanning systems, a read scanning system and a sweep scanning system.
  • the read scanning system selectively scans each pixel of the pixel array unit 101 row by row in order to read a signal from each pixel.
  • the pixel signal read from each pixel is an analog signal.
  • the sweep scan system performs sweep scan for the read row on which read scan is performed by the read scan system, ahead of the read scan by the exposure time.
  • the photoelectric conversion element is reset by sweeping out unnecessary charges from the photoelectric conversion element of each pixel in the read row. Then, by sweeping out (resetting) unnecessary charges with this sweeping scanning system, a so-called electronic shutter operation is performed.
  • the electronic shutter operation refers to an operation in which the electric charge of the photoelectric conversion element is discarded and a new exposure is started (charge accumulation is started).
  • the signal read by the read operation by the read scanning system corresponds to the amount of light received after the read operation or the electronic shutter operation immediately before that.
  • the period from the read timing by the immediately preceding read operation or the sweep timing by the electronic shutter operation to the read timing by the current read operation is the charge accumulation period (also referred to as an exposure period) in each pixel.
  • the pixel signal output from each RGB pixel 10 in the pixel row selectively scanned by the vertical drive circuit 102A is input to the RGB signal processing circuit 103A through each of the vertical signal lines VSL1 for each pixel column.
  • the RGB signal processing circuit 103A performs predetermined signal processing on the pixel signal output from each RGB pixel 10 in the selected row through the vertical signal line VSL1 for each pixel row of the pixel array unit 101, and after the signal processing, the pixel signal is processed. Temporarily holds the pixel signal.
  • the RGB signal processing circuit 103A performs at least noise reduction processing, for example, CDS (Correlated Double Sampling) processing and DDS (Double Data Sampling) processing as signal processing.
  • CDS Correlated Double Sampling
  • DDS Double Data Sampling
  • the CDS process removes pixel-specific fixed pattern noise such as reset noise and threshold variation of the amplification transistor in the pixel.
  • the RGB signal processing circuit 103A also has, for example, an AD (analog-digital) conversion function, and converts an analog pixel signal read from a photoelectric conversion element into a digital signal and outputs the signal.
  • AD analog-digital
  • the horizontal drive circuit 102B is composed of a shift register, an address decoder, etc., and sequentially selects a read circuit (hereinafter referred to as a pixel circuit) corresponding to the pixel sequence of the RGB signal processing circuit 103A.
  • a read circuit hereinafter referred to as a pixel circuit
  • the pixel signals that have been signal-processed for each pixel circuit in the RGB signal processing circuit 103A are sequentially output.
  • Each EVS pixel 20 detects the presence or absence of an event depending on whether or not a change exceeding a predetermined threshold value has occurred in the photocurrent corresponding to the brightness of the incident light. For example, each EVS pixel 20 detects that the change in luminance exceeds or falls below a predetermined threshold value as an event.
  • the EVS pixel 20 When the EVS pixel 20 detects an event, it outputs a request for permission to output event data indicating the occurrence of the event to the X arbiter 104A and the Y arbiter 104B, respectively. Then, when the EVS pixel 20 receives a response indicating permission to output the event data from each of the X arbiter 104A and the Y arbiter 104B, the EVS pixel 20 outputs the event data to the vertical drive circuit 102A and the EVS signal processing circuit 103B.
  • the EVS pixel 20 that has detected the event outputs the analog pixel signal generated by the photoelectric conversion to the EVS signal processing circuit 103B. That is, as a result of arbitration by the X arbiter 104A and the Y arbiter 104B, the EVS pixel 20 permitted to be read requests its own drive from the vertical drive circuit 102A. On the other hand, the vertical drive circuit 102A drives the EVS pixel 20 whose reading is permitted by arbitration to cause a pixel signal to appear on the vertical signal line VSL2 connected to the EVS pixel 20.
  • the X-arbiter 104A arbitrates a request for output of event data supplied from each of the plurality of EVS pixels 20, and performs a response based on the arbitration result (permission / disapproval of output of event data) and event detection.
  • the reset signal to be reset is transmitted to the EVS pixel 20 that outputs the request.
  • the EVS signal processing circuit 103B has an AD conversion function, and converts an analog pixel signal read from a photoelectric conversion unit into a digital signal and outputs the signal. Further, the EVS signal processing circuit 103B may have a noise reduction function such as CDS processing or DDS processing, as in the RGB signal processing circuit 103A.
  • the EVS signal processing circuit 103B executes predetermined signal processing on the digital pixel signal obtained by AD conversion and the event data input from the EVS pixel 20, and the event data and the pixel signal after the signal processing. Is output.
  • the change in the photocurrent generated by the EVS pixel 20 can also be regarded as the change in the amount of light (change in brightness) of the light incident on the photoelectric conversion unit of the EVS pixel 20. Therefore, it can be said that the event is a change in the amount of light (change in brightness) of the EVS pixel 20 that exceeds a predetermined threshold value.
  • the event data representing the occurrence of an event includes at least position information such as coordinates representing the position of the EVS pixel 20 in which the change in the amount of light as an event has occurred. In addition to the position information, the event data can include the polarity of the change in the amount of light.
  • the event data is the relative time when the event occurred. It can be said that the time information representing the above is implicitly included.
  • the EVS signal processing circuit 103B includes time information indicating a relative time when an event such as a time stamp occurs in the event data before the interval between the event data is not maintained as it was when the event occurred. May be good.
  • the system control circuit 105 is configured by a timing generator or the like that generates various timing signals, and based on the various timings generated by the timing generator, the vertical drive circuit 102A, the horizontal drive circuit 102B, the X arbiter 104A, and the Y arbiter. Drive control of 104B, RGB signal processing circuit 103A, EVS signal processing circuit 103B, and the like is performed.
  • Each of the RGB data processing unit 108A and the EVS data processing unit 108B has at least an arithmetic processing function, and various signal processing such as arithmetic processing for the image signal output from the RGB signal processing circuit 103A or the EVS signal processing circuit 103B. I do.
  • the image data output from the RGB data processing unit 108A or the EVS data processing unit 108B is executed by, for example, the application processor 1100 in the electronic device 1 equipped with the image sensor 100, or is executed via a predetermined network. It may be sent to the outside.
  • the image sensor 100 includes data required for signal processing in the RGB data processing unit 108A and the EVS data processing unit 108B, the RGB signal processing circuit 103A, the EVS signal processing circuit 103B, the RGB data processing unit 108A, and the EVS data processing unit.
  • a storage unit for temporarily holding data or the like processed by any one or more of 108B may be provided.
  • unit pixel 110 includes an RGB pixel 10 for acquiring an RGB image of the three primary colors of RGB and an EVS pixel 20 for detecting an event will be given as an example.
  • the reference numeral is 31.
  • FIG. 5 is a schematic diagram showing a schematic configuration example of the pixel array unit according to the first embodiment.
  • unit pixels 110 having a structure in which unit pixels 110 composed of RGB pixels 10 and EVS pixels 20 are arranged along the incident direction of light are arranged in a two-dimensional grid pattern. It has a configuration. That is, in the present embodiment, the RGB pixels 10 and the EVS pixels 20 are located in the direction perpendicular to the arrangement direction (planar direction) of the unit pixels 110, and the RGB pixels 10 are located on the upstream side in the optical path of the incident light.
  • the light transmitted through the RGB pixels 10 is configured to enter the EVS pixels 20 located on the downstream side of the RGB pixels 10.
  • the photoelectric conversion unit PD2 of the EVS pixel 20 is arranged on the surface side opposite to the incident surface of the incident light in the photoelectric conversion unit PD1 of the RGB pixel 10.
  • the optical axes of the incident light of the RGB pixels 10 and the EVS pixels 20 arranged along the incident direction of the light are aligned or substantially the same.
  • the photoelectric conversion unit PD1 constituting the RGB pixel 10 is composed of an organic material and the photoelectric conversion unit PD2 constituting the EVS pixel 20 is composed of a semiconductor material such as silicon will be exemplified.
  • both the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2 may be made of a semiconductor material, or both the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2 may be made of an organic material, or the photoelectric conversion unit may be made of an organic material.
  • the part PD1 may be made of a semiconductor material, and the photoelectric conversion part PD2 may be made of an organic material.
  • at least one of the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2 may be made of a photoelectric conversion material different from the organic material and the semiconductor material.
  • FIG. 6 is a circuit diagram showing a schematic configuration example of a unit pixel according to the first embodiment.
  • the unit pixel 110 includes one RGB pixel 10 and one EVS pixel 20.
  • the RGB pixel 10 includes, for example, a photoelectric conversion unit PD1, a transfer gate 11, a floating diffusion region FD, a reset transistor 12, an amplification transistor 13, and a selection transistor 14.
  • the selection control line included in the pixel drive line LD1 is connected to the gate of the selection transistor 14, and the reset control line included in the pixel drive line LD1 is connected to the gate of the reset transistor 12, which will be described later.
  • a transfer control line included in the pixel drive line LD1 is connected to the storage electrode (see the storage electrode 37 in FIG. 8 described later).
  • a vertical signal line VSL1 having one end connected to the RGB signal processing circuit 103A is connected to the drain of the amplification transistor 13 via the selection transistor 14.
  • the reset transistor 12, the amplification transistor 13, and the selection transistor 14 are collectively referred to as a pixel circuit.
  • the pixel circuit may include a stray diffusion region FD and / or a transfer gate 11.
  • the photoelectric conversion unit PD1 is made of, for example, an organic material, and performs photoelectric conversion of incident light.
  • the transfer gate 11 transfers the electric charge generated in the photoelectric conversion unit PD1.
  • the floating diffusion region FD accumulates the electric charge transferred by the transfer gate 11.
  • the amplification transistor 13 causes a pixel signal having a voltage value corresponding to the electric charge accumulated in the stray diffusion region FD to appear on the vertical signal line VSL1.
  • the reset transistor 12 emits the electric charge accumulated in the stray diffusion region FD.
  • the selection transistor 14 selects the RGB pixel 10 to be read.
  • the anode of the photoelectric conversion unit PD1 is grounded, and the cascade is connected to the transfer gate 11.
  • the details of the transfer gate 11 will be described later with reference to FIG. 8, but the transfer gate 11 includes, for example, a storage electrode 37 and a read electrode 36.
  • a voltage for collecting the electric charge generated in the photoelectric conversion unit PD1 in the semiconductor layer 35 in the vicinity of the storage electrode 37 is applied to the storage electrode 37 via the transfer control line.
  • a voltage for causing the electric charge collected in the semiconductor layer 35 in the vicinity of the storage electrode 37 to flow out through the reading electrode 36 is applied to the storage electrode 37 via the transfer control line.
  • the electric charge flowing out through the read electrode 36 is accumulated in the floating diffusion region FD configured by the wiring structure connecting the read electrode 36, the source of the reset transistor 12, and the gate of the amplification transistor 13.
  • the drain of the reset transistor 12 may be connected to, for example, a power supply line to which a reset voltage lower than the power supply voltage VDD or the power supply voltage VDD is supplied.
  • the source of the amplification transistor 13 may be connected to the power line via, for example, a constant current circuit (not shown).
  • the drain of the amplification transistor 13 is connected to the source of the selection transistor 14, and the drain of the selection transistor 14 is connected to the vertical signal line VSL1.
  • the floating diffusion region FD converts the accumulated electric charge into a voltage having a voltage value corresponding to the amount of the electric charge.
  • the floating diffusion region FD may be, for example, a grounding capacitance.
  • the present invention is not limited to this, and the floating diffusion region FD is added by intentionally connecting a capacitor or the like to a node to which the drain of the transfer gate 11 and the source of the reset transistor 12 and the gate of the amplification transistor 13 are connected. It may be a capacity or the like.
  • the vertical signal line VSL1 is connected to an AD (Analog-to-Digital) conversion circuit 103a provided for each column (that is, for each vertical signal line VSL1) in the RGB signal processing circuit 103A.
  • the AD conversion circuit 103a includes, for example, a comparator and a counter, and has a reference voltage such as a single slope or a lamp shape input from an external reference voltage generation circuit (DAC (Digital-to-Analog Converter)) and a vertical signal. By comparing with the pixel signal appearing on the line VSL1, the analog pixel signal is converted into the digital pixel signal.
  • the AD conversion circuit 103a may be provided with, for example, a CDS (Correlated Double Sampling) circuit and may be configured to be able to reduce kTC noise and the like.
  • the EVS pixel 20 includes, for example, a photoelectric conversion unit PD2 and an address event detection circuit 210.
  • the photoelectric conversion unit PD2 is composed of, for example, a semiconductor material, and performs photoelectric conversion of incident light.
  • the detailed circuit configuration of the address event detection circuit 210 will be described later. As described above, the presence or absence of an event is detected based on the change in the photocurrent flowing out from the photoelectric conversion unit PD2, and when the event is detected, the event is detected. A request requesting permission to output event data indicating the occurrence is output to the X arbiter 104A and the Y arbiter 104B, respectively.
  • the address event detection circuit 210 receives a response indicating permission to output the event data from each of the X arbiter 104A and the Y arbiter 104B, the address event detection circuit 210 outputs the event data to the vertical drive circuit 102A and the EVS signal processing circuit 103B.
  • the address event detection circuit 210 may include time information representing a relative time when an event such as a time stamp occurs with respect to the event data.
  • the vertical signal line VSL2 is connected to the signal processing circuit 103b provided for each column (that is, for each vertical signal line VSL2) in the EVS signal processing circuit 103B.
  • FIG. 7 is a circuit diagram showing a schematic configuration example of a unit pixel according to a modification of the first embodiment.
  • the unit pixel 110-1 has a structure in which the RGB pixel 10 and the EVS pixel 20 are connected to a common vertical signal line VSL in the same configuration as the unit pixel 110 shown in FIG.
  • the vertical signal line VSL is branched in the peripheral circuit, for example, and is connected to the AD conversion circuit 103a of the RGB signal processing circuit 103A or the signal processing circuit 103b of the EVS signal processing circuit 103B via the switch circuit 131 or 132.
  • the switch circuit 131 may have a configuration included in, for example, the RGB signal processing circuit 103A or the EVS signal processing circuit 103B. Further, the switch circuit 131 may be provided, for example, on the same semiconductor substrate as the pixel circuit of the RGB pixel 10 and / or the EVS pixel 20, or may be provided on the semiconductor substrate in which the signal processing circuit is arranged. It may be provided on a semiconductor substrate different from these. Further, the control signal for controlling the switch circuit 131 may be supplied from the vertical drive circuit 102A or the horizontal drive circuit 102B, may be supplied from the sensor control unit 1021 (see FIG. 3), or may be supplied from other configurations. It may be supplied.
  • the number of vertical signal line VSLs to be wired to the pixel array unit 101 can be reduced, thereby improving the quantum efficiency by expanding the light receiving area and improving the area efficiency of the image sensor 100. It is possible to reduce the size and increase the resolution.
  • FIG. 8 is a cross-sectional view showing an example of a cross-sectional structure of the image sensor according to the first embodiment.
  • FIG. 8 an example of the cross-sectional structure of the semiconductor chip in which the photoelectric conversion units PD1 and PD2 are formed in the unit pixel 110 will be described.
  • a so-called back-illuminated cross-sectional structure in which the incident surface of light is the back surface side (opposite the element forming surface) of the semiconductor substrate 50 is exemplified, but the present invention is not limited to this, and the incident surface of light is incident. It may have a so-called surface-illuminated cross-sectional structure in which the surface is the surface side (element forming surface side) of the semiconductor substrate 50.
  • the photoelectric conversion materials of the photoelectric conversion units PD1 and PD2 are organic materials and semiconductors. One or both of the materials (also referred to as inorganic materials) may be used.
  • the image sensor 100 uses the same semiconductor substrate 50 for the photoelectric conversion unit PD1 and the photoelectric conversion unit PD2. It may have a built-in cross-sectional structure, or it may have a cross-sectional structure in which a semiconductor substrate in which the photoelectric conversion unit PD1 is built and a semiconductor substrate in which the photoelectric conversion unit PD2 is built are bonded together. Further, one of the photoelectric conversion units PD1 and PD2 may have a cross-sectional structure formed in the semiconductor substrate 50 and the other in the semiconductor layer formed on the back surface or the front surface of the semiconductor substrate 50. ..
  • the photoelectric conversion unit PD2 of the EVS pixel 20 is formed on the semiconductor substrate 50, and the RGB pixel 10 is formed on the back surface side (opposite the element forming surface) of the semiconductor substrate 50. It has a structure provided with the photoelectric conversion unit PD1 of the above.
  • the back surface of the semiconductor substrate 50 is located on the upper side of the paper surface, and the front surface is located on the lower side.
  • a semiconductor material such as silicon (Si) may be used.
  • Si silicon
  • the present invention is not limited to this, and various semiconductor materials including compound semiconductors such as GaAs, InGaAs, InP, AlGaAs, InGaP, AlGaInP, and InGaAsP may be used.
  • the photoelectric conversion unit PD1 of the RGB pixel 10 is provided on the back surface side of the semiconductor substrate 50 with the insulating layer 53 interposed therebetween.
  • the photoelectric conversion unit PD1 includes, for example, a photoelectric conversion film 34 made of an organic material, a transparent electrode 33 arranged so as to sandwich the photoelectric conversion film 34, and a semiconductor layer 35.
  • the transparent electrode 33 provided on the upper side of the paper surface with respect to the photoelectric conversion film 34 (hereinafter, the upper side of the paper surface is the upper surface side and the lower side is the lower surface side) functions as, for example, the anode of the photoelectric conversion unit PD1.
  • the semiconductor layer 35 provided on the lower surface side functions as a cathode of the photoelectric conversion unit PD1.
  • the semiconductor layer 35 that functions as a cathode is electrically connected to the readout electrode 36 formed in the insulating layer 53.
  • the readout electrode 36 is electrically drawn out to the surface (lower surface) side of the semiconductor substrate 50 by connecting to the wirings 61, 62, 63, and 64 penetrating the insulating layer 53 and the semiconductor substrate 50.
  • the wiring 64 is electrically connected to the floating diffusion region FD shown in FIG.
  • a storage electrode 37 is provided on the lower surface side of the semiconductor layer 35 that functions as a cathode with an insulating layer 53 interposed therebetween. Although not shown in FIG. 8, the storage electrode 37 is connected to the transfer control line in the pixel drive line LD1, and as described above, the charge generated in the photoelectric conversion unit PD1 at the time of exposure is stored in the storage electrode 37. A voltage for collecting the electric charge is applied to the semiconductor layer 35 in the vicinity, and at the time of reading, a voltage is applied for causing the electric charge collected in the semiconductor layer 35 in the vicinity of the storage electrode 37 to flow out through the reading electrode 36.
  • the readout electrode 36 and the storage electrode 37 may be a transparent conductive film like the transparent electrode 33.
  • a transparent conductive film such as indium tin oxide (ITO) or zinc oxide (IZO) may be used.
  • ITO indium tin oxide
  • IZO zinc oxide
  • the present invention is not limited to these, and various conductive films may be used as long as the conductive film can transmit light in the wavelength band to be detected by the photoelectric conversion unit PD2.
  • the semiconductor layer 35 for example, a transparent semiconductor layer such as IGZO may be used.
  • IGZO a transparent semiconductor layer
  • the present invention is not limited to these, and various semiconductor layers may be used as long as they are semiconductor layers capable of transmitting light in the wavelength band to be detected by the photoelectric conversion unit PD2.
  • an insulating film such as a silicon oxide film (SiO 2 ) or a silicon nitride film (SiN) may be used.
  • SiO 2 silicon oxide film
  • SiN silicon nitride film
  • the present invention is not limited to these, and various insulating films may be used as long as they can transmit light in the wavelength band to be detected by the photoelectric conversion unit PD2.
  • a color filter 31 is provided on the upper surface side of the transparent electrode 33 that functions as an anode with a sealing film 32 interposed therebetween.
  • the sealing film 32 is made of an insulating material such as silicon nitride (SiN), and these atoms are prevented from diffusing atoms such as aluminum (Al) and titanium (Ti) from the transparent electrode 33. May include.
  • the color filters 31 will be described later. For example, for one RGB pixel 10, a color filter 31 that selectively transmits light having a specific wavelength component is provided. However, when a monochrome pixel for acquiring luminance information is provided instead of the RGB pixel 10 for acquiring color information, the color filter 31 may be omitted.
  • the photoelectric conversion unit PD2 of the EVS pixel 20 has, for example, a p-type semiconductor region 43 formed in the p-well region 42 of the semiconductor substrate 50 and an n-type semiconductor region 44 formed near the center of the p-type semiconductor region 43. Be prepared.
  • the n-type semiconductor region 44 functions as, for example, a photoelectric conversion region that generates an electric charge according to the amount of incident light, and the p-type semiconductor region 43 collects the electric charge generated by the photoelectric conversion in the n-type semiconductor region 44. Functions as a region that forms the potential gradient of.
  • an IR filter 41 that selectively transmits IR light is arranged on the light incident surface side of the photoelectric conversion unit PD2.
  • the IR filter 41 may be arranged, for example, in the insulating layer 53 provided on the back surface side of the semiconductor substrate 50.
  • a fine uneven structure is provided on the light incident surface of the semiconductor substrate 50 in order to suppress the reflection of the incident light (IR light in this example).
  • This uneven structure may be a so-called moth-eye structure, or may be a uneven structure having a different size and pitch from the moth-eye structure.
  • a vertical transistor 45 is provided on the surface (inner and lower surface of the paper surface) side of the semiconductor substrate 50, that is, on the element forming surface side, to allow the electric charge generated in the photoelectric conversion unit PD2 to flow out to the address event detection circuit 210.
  • the gate electrode of the vertical transistor 45 reaches from the surface of the semiconductor substrate 50 to the n-type semiconductor region 44, and is a part of the wirings 65 and 66 (a part of the transfer control line of the pixel drive line LD2) formed in the interlayer insulating film 56. ) Is connected to the address event detection circuit 210.
  • the semiconductor substrate 50 is provided with a pixel separation unit 54 that electrically separates between a plurality of unit pixels 110, and a photoelectric conversion unit PD2 is provided in each region partitioned by the pixel separation unit 54. ..
  • the pixel separation unit 54 has, for example, a grid shape interposed between a plurality of unit pixels 110, and each photoelectric.
  • the conversion unit PD2 is formed in each region partitioned by the pixel separation unit 54.
  • a reflective film that reflects light such as tungsten (W) or aluminum (Al) may be used.
  • the incident light that has entered the photoelectric conversion unit PD2 can be reflected by the pixel separation unit 54, so that the optical path length of the incident light in the photoelectric conversion unit PD2 can be lengthened.
  • the pixel separation unit 54 by forming the pixel separation unit 54 with a light reflection structure, it is possible to reduce leakage of light to adjacent pixels, so that it is possible to further improve image quality, distance measurement accuracy, and the like.
  • the configuration in which the pixel separation unit 54 has a light reflection structure is not limited to the configuration using a reflective film, and can be realized, for example, by using a material having a refractive index different from that of the semiconductor substrate 50 for the pixel separation unit 54. can.
  • a fixed charge film 55 is provided between the semiconductor substrate 50 and the pixel separation unit 54.
  • the fixed charge film 55 uses, for example, a high dielectric having a negative fixed charge so that a positive charge (hole) storage region is formed at the interface with the semiconductor substrate 50 and the generation of dark current is suppressed. It is formed. Since the fixed charge film 55 is formed so as to have a negative fixed charge, an electric field is applied to the interface with the semiconductor substrate 138 due to the negative fixed charge, and a positive charge (hole) storage region is formed.
  • the fixed charge film 55 can be formed of, for example, a hafnium oxide film (HfO 2 film). Further, the fixed charge film 55 can be formed so as to contain at least one of other oxides such as hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, and lanthanoid element.
  • hafnium oxide film HfO 2 film
  • other oxides such as hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, and lanthanoid element.
  • FIG. 8 illustrates a case where the pixel separating portion 54 has a so-called FTI (Full Trench Isolation) structure in which the pixel separating portion 54 reaches from the front surface to the back surface of the semiconductor substrate 50, but the present invention is not limited to this, and for example, pixels. It is possible to adopt various element separation structures such as a so-called DTI (Deep Trench Isolation) structure in which the separation portion 54 is formed from the back surface or the front surface of the semiconductor substrate 50 to the vicinity of the middle part of the semiconductor substrate 50.
  • FTI Frull Trench Isolation
  • the upper surface of the flattening film 52 is flattened by, for example, CMP (Chemical Mechanical Polishing), and an on-chip lens 51 for each unit pixel 110 is provided on the flattened upper surface.
  • the on-chip lens 51 of each unit pixel 110 has a curvature that collects incident light on the photoelectric conversion units PD1 and PD2.
  • the positional relationship between the on-chip lens 51, the color filter 31, the IR filter 41, and the photoelectric conversion unit PD2 in each unit pixel 110 is adjusted according to, for example, the distance (image height) from the center of the pixel array unit 101. May (pupil correction).
  • a light-shielding film may be provided to prevent light incident obliquely from leaking to adjacent pixels.
  • the light-shielding film may be located above the pixel separation portion 54 provided inside the semiconductor substrate 50 (upstream side in the optical path of the incident light).
  • the position of the light-shielding film may be adjusted according to, for example, the distance (image height) from the center of the pixel array unit 101.
  • Such a light-shielding film may be provided in, for example, the sealing film 32 or the flattening film 52.
  • a light-shielding material such as aluminum (Al) or tungsten (W) may be used as the material of the light-shielding film.
  • the layer structure of the photoelectric conversion film 34 can have the following structure. However, in the case of a laminated structure, the stacking order can be changed as appropriate.
  • n-type organic semiconductor examples include fullerenes and fullerene derivatives (for example, fullerenes such as C60, C70 and C74 (higher-order fullerenes, encapsulated fullerenes, etc.) or fullerenes derivatives (eg, fullerene fluorides, PCBM fullerene compounds, fullerene multimers, etc.).
  • fullerenes and fullerene derivatives for example, fullerenes such as C60, C70 and C74 (higher-order fullerenes, encapsulated fullerenes, etc.) or fullerenes derivatives (eg, fullerene fluorides, PCBM fullerene compounds, fullerene multimers, etc.).
  • fullerenes and fullerene derivatives for example, fullerenes such as C60, C70 and C74 (higher-order fullerenes, encapsulated fullerenes, etc.) or fuller
  • n-type organic semiconductor examples include heterocyclic compounds containing a nitrogen atom, an oxygen atom, and a sulfur atom, such as a pyridine derivative, a pyrazine derivative, a pyrimidine derivative, a triazine derivative, a quinoline derivative, a quinoxalin derivative, an isoquinolin derivative, and an acridin.
  • Derivatives phenazine derivatives, phenanthroline derivatives, tetrazole derivatives, pyrazole derivatives, imidazole derivatives, thiazole derivatives, oxazole derivatives, imidazole derivatives, benzimidazole derivatives, benzotriazole derivatives, benzoxazole derivatives, benzoxazole derivatives, carbazole derivatives, benzofuran derivatives, dibenzofuran derivatives , Subporphyrazine derivative, polyphenylene vinylene derivative, polybenzothianazole derivative, polyfluorene derivative and the like as a part of the molecular skeleton, organic molecule, organic metal complex and subphthalocyanine derivative can be mentioned.
  • Examples of the group contained in the fullerene derivative include a halogen atom; a linear, branched or cyclic alkyl group or phenyl group; a group having a linear or condensed aromatic compound; a group having a halide; a partial fluoroalkyl group; Fluoroalkyl group; silylalkyl group; silylalkoxy group; arylsilyl group;arylsulfanyl group;alkylsulfanyl group;arylsulfonyl group;alkylsulfonyl group;arylsulfide group;alkylsulfide group;amino group;alkylamino group;arylamino group Hydroxy group; alkoxy group; acylamino group; acyloxy group; carbonyl group; carboxy group; carboxoamide group; carboalkoxy group; acyl group; sulfonyl group; cyano group; nitro group; group having
  • the film thickness of the photoelectric conversion film 34 made of the above organic materials is not limited to the following values, but is, for example, 1 ⁇ 10-8 m (meters) to 5 ⁇ 10-7 . m, preferably 2.5 ⁇ 10 -8 m to 3 ⁇ 10 -7 m, more preferably 2.5 ⁇ 10 -8 m to 2 ⁇ 10 -7 m, and even more preferably 1 ⁇ 10 -7 . M to 1.8 ⁇ 10-7 m can be exemplified.
  • Organic semiconductors are often classified into p-type and n-type, but p-type means that holes are easily transported, and n-type means that electrons are easily transported, and they are inorganic. It is not limited to the interpretation that it has holes or electrons as a majority carrier of thermal excitation like a semiconductor.
  • Examples of the material constituting the photoelectric conversion film 34 that photoelectrically converts light having a green wavelength include rhodamine-based dyes, melancyanine-based dyes, quinacridone derivatives, subphthalocyanine-based dyes (subphthalocyanine derivatives), and the like.
  • examples of the material constituting the photoelectric conversion film 34 for photoelectric conversion of blue light include coumalic acid dye, tris-8-hydroxyquinolialuminum (Alq3), and melanin-based dye.
  • examples of the material constituting the photoelectric conversion film 34 for photoelectric conversion of red light include a phthalocyanine dye and a subphthalocyanine dye (subphthalocyanine derivative).
  • the photoelectric conversion film 34 it is also possible to use a panchromatic photosensitive organic photoelectric conversion film that is sensitive to almost all visible light from the ultraviolet region to the red region.
  • FIGS. 9A and 9B are views showing a plane layout example of each layer of the pixel array portion according to the first embodiment
  • FIG. 9A shows a plane layout example of the on-chip lens 51
  • FIG. 9B shows a plane layout of the color filter 31.
  • a layout example is shown
  • (C) shows a plane layout example of the storage electrode 37
  • (D) shows a plane layout example of the photoelectric conversion unit PD2.
  • FIGS. 9A to 9D show an example of a planar layout of a surface parallel to the element forming surface of the semiconductor substrate 50.
  • a pixel that selectively detects the wavelength component of red (R) (hereinafter referred to as R pixel 10r) and a pixel that selectively detects the wavelength component of green (hereinafter referred to as G pixel 10g).
  • R pixel 10r a pixel that selectively detects the wavelength component of red
  • G pixel 10g a pixel that selectively detects the wavelength component of green
  • a 2 ⁇ 2 pixel Bayer array composed of a pixel (hereinafter referred to as B pixel 10b) that selectively detects light having a wavelength component of blue (B) is used as a unit array.
  • the on-chip lens 51, the color filter 31, the storage electrode 37, and the photoelectric conversion unit PD2 are provided for one unit pixel 110.
  • one storage electrode 37 corresponds to one RGB pixel 10
  • one photoelectric conversion unit PD2 corresponds to one EVS pixel 20.
  • the RGB pixel 10 and the EVS pixel 20 are coaxial with each other with respect to the incident light. Since it is possible to improve the property, it is possible to suppress the spatial deviation that occurs between the RGB image and the EVS image. Thereby, it is possible to improve the accuracy of the result obtained by processing the information (RGB image and EVS image) acquired by different sensors in an integrated manner.
  • FIG. 10 is a plan view showing a wiring example of a pixel drive line for an RGB pixel according to the first embodiment
  • FIG. 11 is a plan view showing a wiring example of a pixel drive line for an EVS pixel according to the first embodiment. It is a figure.
  • the pixel drive line LD1 for driving the RGB pixel 10 and the pixel drive line LD2 for driving the EVS pixel 20 may be wired so as to be orthogonal to each other, for example. ..
  • the present invention is not limited to this, and the RGB drive line LD1 and the IR drive line LD2 may be wired in parallel.
  • the pixel drive line LD1 and the pixel drive line LD2 may supply various control signals to the pixel array unit 101 from the same side or from different sides.
  • FIG. 12 is a plan view showing a wiring example of a signal line for the EVS pixel according to the first embodiment.
  • the X arbiter 104A is connected to the EVS pixel 20 in each column via, for example, a signal line extending in the column direction
  • the Y arbiter 104B is connected to, for example, a signal line extending in the row direction. It is connected to the EVS pixel 20 of each row via.
  • FIG. 13 is a diagram showing an example of a laminated structure of image sensors according to the first embodiment.
  • the image sensor 100 has a structure in which a pixel chip 140 and a circuit chip 150 are stacked one above the other.
  • the pixel chip 140 is, for example, a semiconductor chip including a pixel array unit 101 in which unit pixels 110 including RGB pixels 10 and EVS pixels 20 are arranged
  • the circuit chip 150 is, for example, the pixel circuit and address event detection shown in FIG. It is a semiconductor chip in which the circuit 210 is arranged.
  • the bonding between the pixel chip 140 and the circuit chip 150 for example, so-called direct bonding, in which each bonding surface is flattened and the two are bonded by an intramolecular force, can be used.
  • the present invention is not limited to this, and for example, so-called Cu-Cu bonding in which copper (Cu) electrode pads formed on the bonding surfaces of each other are bonded to each other, or other bump bonding or the like can be used. ..
  • connection portion such as a TSV (Through-Silicon Via) that penetrates the semiconductor substrate.
  • Connections using TSVs include, for example, a so-called twin TSV system in which two TSVs, a TSV provided on the pixel chip 140 and a TSV provided from the pixel chip 140 to the circuit chip 150, are connected on the outer surface of the chip, or a pixel.
  • a so-called shared TSV method or the like, in which both are connected by a TSV penetrating from the chip 140 to the circuit chip 150, can be adopted.
  • FIG. 14 is a flowchart showing an example of the recognition operation according to the first embodiment.
  • the system control unit 1050 drives the laser light source 1010 in a predetermined sampling cycle to emit the irradiation light of the predetermined sampling cycle to the laser light source 1010 (step S11).
  • the EVS sensor unit 1003 (see FIG. 1) in the image sensor 100 is driven in a predetermined sampling cycle in synchronization with the drive of the laser light source 1010 to acquire EVS image data in a predetermined sampling cycle (step). S12).
  • system control unit 1050 acquires RGB image data by driving the RGB sensor unit 1001 (see FIG. 1) in the image sensor 100 (step S13).
  • the acquisition of RGB image data may be executed in parallel with the acquisition of EVS image data, or may be executed in a period different from the acquisition period of EVS image data. At that time, either the acquisition of the RGB image data or the acquisition of the EVS image data may be executed first. Further, the acquisition of the RGB image data may be executed once for the acquisition of the EVS image data K times (K is an integer of 1 or more).
  • the RGB image data is input to the recognition processing unit 1005 after being subjected to predetermined processing by the RGB image processing unit 1002.
  • ROI information is input from the event signal processing unit 1004 in FIG. 1 to the RGB sensor unit 1001 or the RGB image processing unit 1002 in steps S11 or S12
  • the recognition processing unit 1005 has an area corresponding to the ROI information.
  • RGB image data and / or EVS image data may be input.
  • the recognition processing unit 1005 executes a recognition process (first recognition process) for an object existing within the angle of view of the image sensor 100 using the input RGB image data (step S14).
  • a recognition process such as pattern recognition, a recognition process by artificial intelligence, or the like may be used as in the first embodiment.
  • the recognition processing unit 1005 executes a recognition process (second recognition process) for more accurately recognizing an object existing in the angle of view using the result of the first recognition process and the EVS image data (second recognition process).
  • a recognition process such as pattern recognition, a recognition process by artificial intelligence, or the like may be used as in the first recognition process.
  • the recognition processing unit 1005 outputs the result of the second recognition processing obtained in step S15 to the outside via, for example, the interface unit 1006 (step S16).
  • the recognition processing unit 1005 may execute a part of the first recognition processing and output the result (intermediate data or the like) to the outside, or execute a part of the second recognition processing and the result (). Intermediate data, etc.) may be output.
  • step S17 determines whether or not to end this operation (step S17), and if it does not end (NO in step S17), returns to step S11. On the other hand, when terminating (YES in step S17), the recognition system 370 ends this operation.
  • the EVS pixel 20 has an event detection function for detecting that the change in luminance exceeds a predetermined threshold value as an event.
  • the EVS pixel 20 detects the presence or absence of an event depending on whether or not the amount of change in photocurrent exceeds a predetermined threshold value.
  • the event consists of, for example, an on-event indicating that the amount of change in photocurrent exceeds the upper limit threshold value and an off-event indicating that the amount of change has fallen below the lower limit threshold value.
  • the event data (event information) indicating the occurrence of an event is composed of, for example, one bit indicating an on-event detection result and one bit indicating an off-event detection result.
  • the EVS pixel 20 may be configured to have a function of detecting only on-events or a configuration having a function of detecting only off-events.
  • the address event detection circuit 210 of the EVS pixel 20-1 according to the circuit configuration example 1 includes a configuration in which on-event detection and off-event detection are performed in a time-division manner using one comparator.
  • FIG. 15 shows a circuit diagram of the EVS pixel 20 according to the circuit configuration example 1.
  • the EVS pixel 20 according to the circuit configuration example 1 includes a photoelectric conversion unit PD2 and an address event detection circuit 210, and the address event detection circuit 210 includes a light receiving circuit 212, a memory capacity 213, a comparator 214, a reset circuit 215, and an inverter 216. It also has a circuit configuration having an output circuit 217.
  • the EVS pixel 20 detects on-events and off-events under the control of the sensor control unit 1021.
  • the first electrode is connected to the input end of the light receiving circuit 212
  • the second electrode is connected to the ground node which is the reference potential node, and the incident light is photoelectrically converted. Then, a charge of an amount of charge corresponding to the intensity of light (amount of light) is generated. Further, the photoelectric conversion unit PD2 converts the generated charge into a photocurrent Iphoto .
  • the light receiving circuit 212 converts the photocurrent I photo according to the intensity (light amount) of light detected by the photoelectric conversion unit PD2 into a voltage V pr .
  • the relationship of the voltage V pr with respect to the intensity of light is usually a logarithmic relationship. That is, the light receiving circuit 212 converts the photocurrent I photo corresponding to the intensity of the light applied to the light receiving surface of the photoelectric conversion unit PD2 into a voltage V pr which is a logarithmic function.
  • the relationship between the photocurrent I photo and the voltage V pr is not limited to the logarithmic relationship.
  • the voltage V pr corresponding to the photocurrent I photo output from the light receiving circuit 212 becomes the inverting ( ⁇ ) input which is the first input of the comparator 214 as the voltage V diff after passing through the memory capacity 213.
  • the comparator 214 is usually composed of a differential pair transistor.
  • the comparator 214 uses the threshold voltage V b given from the sensor control unit 1021 as a second input, which is a non-inverting (+) input, and detects on-events and off-events in time division. Further, after the on event / off event is detected, the EVS pixel 20 is reset by the reset circuit 215.
  • the sensor control unit 1021 outputs a voltage V on at the stage of detecting an on-event, outputs a voltage V off at the stage of detecting an off-event, and outputs a voltage at the stage of resetting.
  • Output V reset is set to a value between the voltage V on and the voltage V off , preferably an intermediate value between the voltage V on and the voltage V off .
  • the "intermediate value” means that the value is not only a strictly intermediate value but also a substantially intermediate value, and the existence of various variations in design or manufacturing is permissible. Will be done.
  • the sensor control unit 1021 outputs an ON selection signal to the EVS pixel 20 at the stage of detecting an on event, outputs an OFF selection signal at the stage of detecting an off event, and performs a global reset at the stage of resetting. Output a signal (Global Reset).
  • the ON selection signal is given as a control signal to the selection switch SW on provided between the inverter 216 and the output circuit 217.
  • the OFF selection signal is given as a control signal to the selection switch SW off provided between the comparator 214 and the output circuit 217.
  • the comparator 214 compares the voltage V on and the voltage V diff , and when the voltage V diff exceeds the voltage V on , the amount of change in the optical current I photo exceeds the upper limit threshold value.
  • On-event information On indicating that effect is output as a comparison result.
  • the on-event information On is inverted by the inverter 216 and then supplied to the output circuit 217 through the selection switch SW on .
  • the comparator 214 compares the voltage V off and the voltage V diff , and when the voltage V diff falls below the voltage V off , the amount of change in the optical current I photo falls below the lower limit threshold value.
  • the off-event information Off indicating that effect is output as a comparison result.
  • the off-event information Off is supplied to the output circuit 217 through the selection switch SW off .
  • the reset circuit 215 has a reset switch SW RS , a 2-input OR circuit 2151, and a 2-input AND circuit 2152.
  • the reset switch SW RS is connected between the inverting (-) input terminal and the output terminal of the comparator 214, and is turned on (closed) to selectively switch between the inverting input terminal and the output terminal. Short circuit.
  • the OR circuit 2151 has two inputs, an on-event information On via the selection switch SW on and an off-event information Off via the selection switch SW off .
  • the AND circuit 2152 uses the output signal of the OR circuit 2151 as one input and the global reset signal given from the sensor control unit 1021 as the other input, and either on-event information On or off-event information Off is detected and is global.
  • the reset switch SW RS is turned on (closed).
  • the reset switch SW RS short-circuits between the inverting input terminal and the output terminal of the comparator 214, and performs a global reset for the EVS pixel 20. conduct.
  • the reset operation is performed only for the EVS pixel 20 in which the event is detected.
  • the output circuit 217 has a configuration including an off-event output transistor NM 1 , an on-event output transistor NM 2 , and a current source transistor NM 3 .
  • the off-event output transistor NM 1 has a memory (not shown) for holding the off-event information Off at its gate portion. This memory consists of the gate parasitic capacitance of the off-event output transistor NM 1 .
  • the on-event output transistor NM 2 has a memory (not shown) for holding the on-event information On at its gate portion.
  • This memory consists of the gate parasitic capacitance of the on-event output transistor NM 2 .
  • the off-event information Off held in the memory of the off-event output transistor NM 1 and the on-event information On held in the memory of the on-event output transistor NM 2 are transferred from the sensor control unit 1021 to the current source transistor NM.
  • the row selection signal is given to the gate electrode of 3
  • each pixel row of the pixel array unit 101 is transferred to the readout circuit 130 through the output line nRxOff and the output line nRxOn.
  • the read circuit 130 is, for example, a circuit provided in the EVS signal processing circuit 103B (see FIG. 4).
  • the EVS pixel 20 uses one comparator 214 to detect on-events and off-events in a time-division manner under the control of the sensor control unit 1021. It is configured to have an event detection function.
  • the address event detection circuit 210 of the EVS pixel 20-2 according to the circuit configuration example 2 is an example in which on-event detection and off-event detection are performed in parallel (simultaneously) using two comparators.
  • FIG. 16 shows a circuit diagram of the EVS pixel 20 according to the circuit configuration example 2.
  • the address event detection circuit 210 has a comparator 214A for detecting an on event and a comparator 214B for detecting an off event.
  • the on-event detection operation and the off-event detection operation can be executed in parallel. As a result, it is possible to realize a faster operation for detecting on-events and off-events.
  • the comparator 214A for on-event detection is usually composed of a differential pair transistor.
  • the voltage V diff corresponding to the optical current I photo is used as the non-inverting (+) input which is the first input, and the voltage V on as the threshold voltage V b is used as the inverting (-) input which is the second input.
  • On-event information On is output as a comparison result between the two.
  • the comparator 214B for off-event detection is also usually composed of a differential pair transistor.
  • the voltage V dim corresponding to the optical current I photo is used as the inverting input as the first input, and the voltage V off as the threshold voltage V b is used as the non-inverting input as the second input, and is turned off as a comparison result between the two.
  • Output event information Off is used in the comparator 214B.
  • a selection switch SW on is connected between the output terminal of the comparator 214A and the gate electrode of the on-event output transistor NM 2 of the output circuit 217.
  • a selection switch SW off is connected between the output terminal of the comparator 214B and the gate electrode of the off-event output transistor NM 1 of the output circuit 217. The selection switch SW on and the selection switch SW off are controlled on (closed) / off (open) by the sample signal output from the sensor control unit 1021.
  • the on-event information On which is the comparison result of the comparator 214A, is held in the memory of the gate portion of the on-event output transistor NM 2 via the selection switch SW on .
  • the memory for holding the on-event information On consists of the gate parasitic capacitance of the on-event output transistor NM 2 .
  • the off-event information Off which is the comparison result of the comparator 214B, is held in the memory of the gate portion of the off-event output transistor NM 1 via the selection switch SW off .
  • the memory for holding the off-event information Off consists of the gate parasitic capacitance of the off-event output transistor NM 1 .
  • the on-event information On held in the memory of the on-event output transistor NM 2 and the off-event information Off held in the memory of the off-event output transistor NM 1 are sent from the sensor control unit 1021 to the gate electrode of the current source transistor NM 3 .
  • each pixel row of the pixel array unit 101 is transferred to the read circuit 130 through the output line nRxOn and the output line nRxOff.
  • the EVS pixel 20 uses two comparators 214A and 214B, and under the control of the sensor control unit 1021, the on-event detection and the off-event detection are performed in parallel. It is configured to have an event detection function that is performed (at the same time).
  • the address event detection circuit 210 of the EVS pixel 20-3 according to the circuit configuration example 3 is an example of detecting only the on-event.
  • FIG. 17 shows a circuit diagram of the EVS pixel 20 according to the circuit configuration example 3.
  • the address event detection circuit 210 has one comparator 214.
  • the comparator 214 uses the voltage V diff corresponding to the optical current I photo as the inverting (-) input as the first input, and the voltage V on given as the threshold voltage V b by the sensor control unit 1021 as the second input non-inverting.
  • the on-event information On is output as a comparison result by inputting (+) and comparing the two.
  • the inverter 216 used in the circuit configuration example 1 see FIG. 17
  • the inverter 216 used in the circuit configuration example 1 see FIG. 17
  • the on-event information On which is the comparison result of the comparator 214, is held in the memory of the gate portion of the on-event output transistor NM 2 .
  • the memory for holding the on-event information On consists of the gate parasitic capacitance of the on-event output transistor NM 2 .
  • the on-event information On held in the memory of the on-event output transistor NM 2 is obtained for each pixel row of the pixel array unit 101 by giving a row selection signal from the sensor control unit 1021 to the gate electrode of the current source transistor NM 3 . , Transferred to the read circuit 130 through the output line nRxOn.
  • the EVS pixel 20 according to the circuit configuration example 3 has an event detection function that detects only the on-event information On under the control of the sensor control unit 1021 by using one comparator 214. It has become.
  • the address event detection circuit 210 of the EVS pixel 20-4 according to the circuit configuration example 4 is an example of detecting only the off event.
  • FIG. 18 shows a circuit diagram of the EVS pixel 20 according to the circuit configuration example 4.
  • the address event detection circuit 210 has one comparator 214.
  • the comparator 214 uses the voltage V diff corresponding to the optical current I photo as the inverting (-) input which is the first input, and the voltage V off given as the threshold voltage V b by the sensor control unit 1021 as the second input non-inverting.
  • the off-event information Off is output as a comparison result by inputting (+) and comparing the two.
  • a P-type transistor can be used as the differential pair transistor constituting the comparator 214.
  • the off-event information Off which is the comparison result of the comparator 214, is held in the memory of the gate portion of the off-event output transistor NM 1 .
  • the memory that holds the off-event information Off consists of the gate parasitic capacitance of the off-event output transistor NM 1 .
  • the off-event information Off held in the memory of the off-event output transistor NM 1 is obtained for each pixel row of the pixel array unit 101 by giving a row selection signal from the sensor control unit 1021 to the gate electrode of the current source transistor NM 3 . , Transferred to the read circuit 130 through the output line nRxOff.
  • the EVS pixel 20 has an event detection function of using one comparator 214 and detecting only the off-event information Off under the control of the sensor control unit 1021. It has become.
  • the reset switch SW RS is controlled by the output signal of the AND circuit 2152, but the reset switch SW RS may be directly controlled by the global reset signal.
  • the laser light source 1010 and the image sensor 100 By controlling the laser light source 1010 and the image sensor 100 in synchronization, it is possible to prevent other event information from being mixedly output in the event information caused by the movement of the subject.
  • the event information other than the event information caused by the movement of the subject for example, the event information caused by the change of the pattern projected on the subject or the background light can be exemplified.
  • the event information caused by the movement of the subject can be acquired more reliably and the event information can be obtained.
  • the application processor that processes the event it is possible to eliminate the process of separating the event information in the mixed state.
  • This synchronous control is performed by the light source driving unit 1011 and the sensor control unit 1021 under the control of the system control unit 1050 shown in FIGS. 2 and 3.
  • the first embodiment is a synchronization control example in the case where the EVS pixel 20 is a circuit configuration example 1 (that is, an example in which on-event and off-event are detected in time division using one comparator).
  • FIG. 19 shows a flowchart of the synchronization control process according to the first embodiment.
  • the sensor control unit 1021 globally resets the voltage V diff , which is the inverting input of the comparator 214, and sets the threshold voltage V b , which is the non-inverting input of the comparator 214, to the voltage V on for on-event detection (step S101). ).
  • the global reset of the voltage V diff may be performed after the event information is transferred to the read circuit 130. Further, the global reset of the voltage V diff is performed by turning on (closed) the reset switch SW RS in the reset circuit 215 shown in FIG. These points are the same in each of the examples described later.
  • the subject is irradiated with light in a predetermined pattern from the laser light source 1010, which is a light source unit (step S102).
  • the driving of the laser light source 1010 is performed by the light source driving unit 1011 under the control of the system control unit 1050. This point is the same in the examples described later.
  • the sensor control unit 1021 stores the on-event information On, which is the comparison result of the comparator 214, in the memory (step S103).
  • the memory for storing the on-event information On is the gate parasitic capacitance of the on-event output transistor NM 2 in the output circuit 217.
  • the sensor control unit 1021 sets the threshold voltage V b to the voltage V off for detecting an off event (step S104).
  • the light source driving unit 1011 ends the irradiation of the subject with light (step S105).
  • the sensor control unit 1021 stores the off-event information Off, which is the comparison result of the comparator 214, in the memory (step S106).
  • the memory for storing the off-event information Off is the gate parasitic capacitance of the off-event output transistor NM 1 in the output circuit 217.
  • the sensor control unit 1021 sequentially sets the on-event information On stored in the gate parasitic capacitance of the on-event output transistor NM 2 and the off-event information Off stored in the gate parasitic capacitance of the off-event output transistor NM 1 . Transfer to the readout circuit 130 (step S107).
  • step S108 determines whether or not to end this operation (step S108), and if it ends (YES in step S108), it ends a series of processes for synchronization control and does not end (step S108). NO in step S108), return to step S101, and execute the subsequent operations.
  • the second embodiment is a synchronization control example in the case where the EVS pixel 20 is a circuit configuration example 2 (that is, an example in which on-event and off-event are detected in parallel by using two comparators).
  • FIG. 20 shows a flowchart of the synchronization control process according to the second embodiment.
  • the sensor control unit 1021 globally resets the voltage V diff , which is the inverting input of the comparator 214 (step S121).
  • the light source driving unit 1011 irradiates the subject with light in a predetermined pattern from the laser light source 1010, which is the light source unit (step S122).
  • the sensor control unit 1021 stores the on-event information On, which is the comparison result of the comparator 214, in the memory (step S123).
  • the memory for storing the on-event information On is the gate parasitic capacitance of the on-event output transistor NM 2 in the output circuit 217.
  • the light source driving unit 1011 ends the irradiation of the subject with light (step S124).
  • the sensor control unit 1021 stores the off-event information Off, which is the comparison result of the comparator 214, in the memory (step S125).
  • the memory for storing the off-event information Off is the gate parasitic capacitance of the off-event output transistor NM 1 in the output circuit 217.
  • the sensor control unit 1021 sequentially sets the on-event information On stored in the gate parasitic capacitance of the on-event output transistor NM 2 and the off-event information Off stored in the gate parasitic capacitance of the off-event output transistor NM 1 . Transfer to the readout circuit 130 (step S126).
  • step S127 determines whether or not to end this operation (step S127), and if it ends (YES in step S127), it ends a series of processes for synchronization control and does not end (step S127). NO in step S127), return to step S121, and execute the subsequent operations.
  • Example 3 is a synchronization control example in the case where the EVS pixel 20 is a circuit configuration example 3 (that is, an example in which only one on-event is detected by using one comparator).
  • FIG. 21 shows a flowchart of the synchronization control process according to the third embodiment.
  • the sensor control unit 1021 globally resets the voltage V diff , which is the inverting input of the comparator 214 (step S141).
  • the light source driving unit 1011 irradiates the subject with light in a predetermined pattern from the laser light source 1010, which is the light source unit (step S142).
  • the sensor control unit 1021 stores the on-event information On, which is the comparison result of the comparator 214, in the memory (step S143).
  • the memory for storing the on-event information On is the gate parasitic capacitance of the on-event output transistor NM 2 in the output circuit 217.
  • the sensor control unit 1021 sequentially transfers the on-event information On stored in the gate parasitic capacitance of the on-event output transistor NM 2 to the reading circuit 130 (step S144).
  • step S145 determines whether or not to end this operation (step S145), and if it ends (YES in step S145), it ends a series of processes for synchronization control and does not end (step S145). NO in step S145), return to step S141, and execute the subsequent operations.
  • Example 4 is a synchronization control example in the case where the EVS pixel 20 is a circuit configuration example 4 (that is, an example in which only one off event is detected by using one comparator).
  • FIG. 22 shows a flowchart of the synchronization control process according to the fourth embodiment.
  • the sensor control unit 1021 globally resets the voltage V diff , which is the inverting input of the comparator 214 (step S161).
  • the light source driving unit 1011 irradiates the subject with light in a predetermined pattern from the laser light source 1010, which is the light source unit (step S162).
  • the sensor control unit 1021 turns on the reset switch SW RS (step S163).
  • the light source driving unit 1011 ends the irradiation of the subject with light (step S164).
  • the sensor control unit 1021 stores the off-event information Off, which is the comparison result of the comparator 214, in the memory (step S165).
  • the memory for storing the off-event information Off is the gate parasitic capacitance of the off-event output transistor NM 1 in the output circuit 217.
  • the sensor control unit 1021 sequentially transfers the off-event information Off stored in the gate parasitic capacitance of the off-event output transistor NM 1 to the reading circuit 130 (step S166).
  • step S167 determines whether or not to end this operation (step S167), and if it ends (YES in step S167), it ends a series of processes for synchronization control and does not end (step S167). NO in step S167), return to step S161, and execute the subsequent operations.
  • Example 5 a pixel arrangement example in which the ON pixel 20a and the OFF pixel 20b are mixed in the pixel array unit 101 is shown.
  • the "ON pixel 20a” is the EVS pixel 20 according to the circuit configuration example 3, that is, the first pixel having a function of detecting only the on-event.
  • the "OFF pixel 20b” is the EVS pixel 20 according to the circuit configuration example 4, that is, the second pixel having a function of detecting only an off event.
  • FIG. 23 and 24 show a pixel arrangement example (No. 1) of the ON pixel 20a and the OFF pixel 20b according to the fifth embodiment
  • FIG. 25 and FIG. 26 show a pixel arrangement example (No. 2).
  • a pixel arrangement (pixel arrangement) of a total of 16 pixels of 4 pixels in the X direction (row direction / horizontal direction) ⁇ 4 pixels in the Y direction (column direction / vertical direction) is shown. ..
  • the arrangement of the EVS pixels 20 in the pixel array unit 101 may be, for example, a repetition of the pixel arrangement shown in FIGS. 23 to 26.
  • the pixel arrangement example shown in FIG. 23 has a configuration in which ON pixels 20a and OFF pixels 20b are alternately arranged in both the X direction and the Y direction.
  • a total of 4 pixels of 2 pixels in the X direction and 2 pixels in the Y direction are used as blocks (units), and blocks of ON pixels 20a and blocks of OFF pixels 20b alternate in both the X direction and the Y direction. It has a configuration arranged in.
  • the pixel arrangement example shown in FIG. 25 has an arrangement configuration in which the middle 4 pixels are the OFF pixels 20b and the surrounding 12 pixels are the ON pixels 20a out of a total of 16 pixels.
  • the pixel arrangement example shown in FIG. 26 in the pixel arrangement of 16 pixels in total, each pixel in the odd-numbered column and the even-numbered row is set to ON pixel 20a, and the remaining pixels are set to OFF pixel 20b.
  • the pixel arrangement of the ON pixel 20a and the OFF pixel 20b exemplified here is an example, and is not limited to these pixel arrangements.
  • Example 6 is a synchronization control example (No. 1) in the case of the fifth embodiment, that is, a synchronization control example (No. 1) in the case of a pixel arrangement in which ON pixels 20a and OFF pixels 20b are mixed in the pixel array unit 101.
  • FIG. 27 shows a flowchart of the synchronization control process according to the sixth embodiment.
  • the sensor control unit 1021 globally resets all the pixels including the ON pixel 20a and the OFF pixel 20b (step S201).
  • the light source driving unit 1011 irradiates the subject with light in a predetermined pattern from the laser light source 1010, which is the light source unit (step S202).
  • the sensor control unit 1021 stores the on-event information On detected by the ON pixel 20a in the memory (step S203).
  • the memory for storing the on-event information On is the gate parasitic capacitance of the on-event output transistor NM 2 in the output circuit 217.
  • the sensor control unit 1021 turns on the reset switch SW RS of the OFF pixel 20b (step S204).
  • the light source driving unit 1011 ends the irradiation of the subject with light (step S205).
  • the sensor control unit 1021 stores the off-event information Off detected by the OFF pixel 20b in the memory (step S206).
  • the memory for storing the off-event information Off is the gate parasitic capacitance of the off-event output transistor NM 1 in the output circuit 217.
  • the sensor control unit 1021 sequentially transfers the on-event information On and the off-event information Off to the reading circuit 130 (step S207), and then the voltage V, which is the inverting input of the comparator 214, is applied to the pixel for which the event is detected. Globally reset the diff (step S208).
  • step S209 determines whether or not to end this operation (step S209), and if it ends (YES in step S209), it ends a series of processes for synchronization control and does not end (step S209). NO in step S209), return to step S202, and execute the subsequent operations.
  • Example 7 is a synchronization control example (No. 2) in the case of the fifth embodiment, that is, a synchronization control example (No. 2) in the case of a pixel arrangement in which ON pixels 20a and OFF pixels 20b are mixed in the pixel array unit 101.
  • FIG. 28 shows a flowchart of the synchronization control process according to the seventh embodiment.
  • the sensor control unit 1021 globally resets all the pixels including the ON pixel 20a and the OFF pixel 20b (step S221).
  • the light source driving unit 1011 irradiates the subject with light in a predetermined pattern from the laser light source 1010, which is the light source unit (step S222).
  • the sensor control unit 1021 stores the on-event information On detected by the ON pixel 20a in the memory (step S223).
  • the memory for storing the on-event information On is the gate parasitic capacitance of the on-event output transistor NM 2 in the output circuit 217.
  • the sensor control unit 1021 sequentially transfers the on-event information On stored in the gate parasitic capacitance of the on-event output transistor NM 2 in the output circuit 217 to the reading circuit 130 (step S224), and then the OFF pixel 20b.
  • the reset switch SW RS is turned on (step S225).
  • the light source driving unit 1011 ends the irradiation of the subject with light (step S226).
  • the sensor control unit 1021 stores the off-event information Off detected by the OFF pixel 20b in the memory (step S227).
  • the memory for storing the off-event information Off is the gate parasitic capacitance of the off-event output transistor NM 1 in the output circuit 217.
  • the sensor control unit 1021 sequentially transfers the on-event information On and the off-event information Off to the reading circuit 130 (step S228), and then the voltage V which is the inverting input of the comparator 214 for the pixel for which the event is detected. Globally reset the diff (step S229).
  • step S230 determines whether or not to end this operation (step S230), and if it ends (YES in step S230), it ends a series of processes for synchronization control and does not end (step S230). NO in step S230), return to step S222, and execute the subsequent operations.
  • a plurality of sensor information of the RGB image acquired by the RGB pixel 10 and the EVS image acquired by the EVS pixel 20 is acquired. Therefore, it is possible to improve the accuracy of the recognition process using these. For example, as described above, by acquiring EVS image data in addition to RGB image data, it is possible to more accurately determine unauthorized access such as spoofing using a photograph in face recognition. This makes it possible to realize a solid-state image sensor and a recognition system that enable more secure authentication.
  • the unit pixel 110A includes an RGB pixel for acquiring an RGB image of the three primary colors of RGB and an EVS pixel for acquiring an EVS image of infrared (IR) light.
  • RGB pixels 10 are arranged according to, for example, a Bayer arrangement.
  • FIG. 29 is a schematic diagram showing a schematic configuration example of a unit pixel according to the second embodiment.
  • the unit pixel 110A has a structure in which one EVS pixel 20 is arranged in the incident direction of light for four RGB pixels 10 arranged in 2 rows and 2 columns. That is, in the present embodiment, one EVS pixel 20 with respect to the four RGB pixels 10 is located in the direction perpendicular to the arrangement direction (planar direction) of the unit pixels 110A, and is on the upstream side in the optical path of the incident light. The light transmitted through the four RGB pixels 10 located in is incident on one EVS pixel 20 located on the downstream side of the four RGB pixels 10. Therefore, in the present embodiment, the optical axis of the incident light of the EVS pixel 20 and the unit array of the Bayer array composed of the four RGB pixels 10 are coincident or substantially the same.
  • FIG. 30 is a circuit diagram showing a schematic configuration example of unit pixel according to the second embodiment. Note that FIG. 30 is based on the unit pixel 110 according to the second modification described with reference to FIG. 6 in the first embodiment, but is not limited to this, and the unit pixel 110- Illustrated in FIG. 7 is used. It is also possible to base it on 3.
  • the unit pixel 110A includes a plurality of RGB pixels 10-1 to 10-N (N is 4 in FIG. 30) and one EVS pixel 20.
  • the plurality of RGB pixels 10 share one pixel circuit (reset transistor 12, stray diffusion region FD, amplification transistor 13 and selection transistor 14). It is possible (pixel sharing). Therefore, in the present embodiment, a plurality of RGB pixels 10-1 to 10-N share a pixel circuit including a reset transistor 12, a stray diffusion region FD, an amplification transistor 13, and a selection transistor 14. That is, in the present embodiment, a plurality of photoelectric conversion units PD1 and a transfer gate 11 are connected to a common floating diffusion region FD.
  • FIG. 31 is a cross-sectional view showing an example of a cross-sectional structure of an image sensor according to a second embodiment.
  • each unit pixel 110A is composed of four RGB pixels 10 arranged in two rows and two columns and one EVS pixel 20
  • EVS pixel 20 EVS pixel 20
  • FIG. 29 similarly to FIG. 8, an example of the cross-sectional structure of the semiconductor chip in which the photoelectric conversion units PD1 and PD2 are formed in the unit pixel 110A will be described.
  • duplicate description will be omitted by quoting them.
  • the on-chip lens 51, the color filter 31, and the storage electrode 37 are four in two rows and two columns. (However, two of the four are shown in FIG. 31), thereby forming four RGB pixels 10.
  • the four RGB pixels 10 in each unit pixel 110A may form the basic array of the Bayer array.
  • FIG. 32 is a diagram showing a plane layout example of each layer of the pixel array portion according to the second embodiment, (A) shows a plane layout example of the on-chip lens 51, and (B). Shows an example of a planar layout of the color filter 31, (C) shows an example of a planar layout of the storage electrode 37, and (D) shows an example of a planar layout of the photoelectric conversion unit PD2.
  • (A) to (D) show an example of a plane layout of a surface parallel to the element forming surface of the semiconductor substrate 50.
  • one on-chip lenses 51 As shown in FIGS. 32A to 32D, in the present embodiment, four on-chip lenses 51, four color filters 31, and four storage electrodes 37 are provided for one unit pixel 110A.
  • One photoelectric conversion unit PD2 is provided.
  • one storage electrode 37 corresponds to one RGB pixel 10
  • one photoelectric conversion unit PD2 corresponds to one EVS pixel 20.
  • each RGB pixel 10 and EVS Since it is possible to improve the coaxiality with respect to the incident light with the pixel 20, it is possible to suppress the spatial deviation that occurs between the RGB image and the EVS image. Thereby, it is possible to improve the accuracy of the result obtained by processing the information (RGB image and EVS image) acquired by different sensors in an integrated manner.
  • FIG. 33 is a diagram showing an example of a planar layout of each layer of the pixel array portion according to a modification of the on-chip lens of the second embodiment, and (A) is a planar layout of the on-chip lens 51 as in FIG. 32. An example is shown, (B) shows an example of a planar layout of the color filter 31, (C) shows an example of a planar layout of the storage electrode 37, and (D) shows an example of a planar layout of the photoelectric conversion unit PD2.
  • two on-chip lenses 51 arranged in the row direction in a part of the unit pixels 110A among the plurality of unit pixels 110A are two. It has been replaced by one on-chip lens 251 of 2 ⁇ 1 pixels straddling the RGB pixels 10.
  • the two RGB pixels 10 sharing the on-chip lens 251 are provided with a color filter 31 that selectively transmits the same wavelength component.
  • the color filter 31b that selectively transmits the blue (B) wavelength component originally in the Bayer arrangement selectively transmits the green (G) wavelength component. It is replaced with a color filter 31g for transmitting, whereby the color filter 31 of the two RGB pixels 10 sharing the on-chip lens 251 is unified into the color filter 31g.
  • the pixel value of the wavelength component that should be originally detected according to the Bayer array may be interpolated from the pixel values of the surrounding pixels, for example.
  • Various methods such as linear interpolation may be used for this pixel interpolation.
  • the present invention is not limited to this, and two on-chip lenses 51 arranged in the column direction are shared. It is also possible to make various modifications such as a configuration in which all four on-chip lenses 51 included in one unit pixel 110A are replaced with one on-chip lens. In that case, a color filter 31 that selectively transmits the same wavelength component may be used as the color filter 31 of the RGB pixels 10 that share the on-chip lens.
  • the sharing of the on-chip lens 51 between adjacent RGB pixels 10 is not limited to the second embodiment, but can be applied to the first embodiment as well.
  • the Bayer array is exemplified as the filter array of the color filter 31, but the present invention is not limited thereto.
  • a 3x3 pixel color filter array used in the X-Trans (registered trademark) CMOS sensor a 4x4 pixel quadbayer array (also called a quadra array), or a white RGB color filter in the Bayer array.
  • Various filter arrays such as a combined 4 ⁇ 4 pixel color filter array (also referred to as a white RGB array) may be used.
  • FIG. 34 is a diagram showing a planar layout example of each layer of the pixel array portion according to a modification of the color filter arrangement of the second embodiment, and (A) is an on-chip lens 51 as in FIGS. 32 and 33.
  • (B) shows a plane layout example of the color filter 31
  • (C) shows a plane layout example of the storage electrode 37
  • (D) shows a plane layout example of the photoelectric conversion unit PD2. There is.
  • each color filter 31 in the Bayer array of 2 ⁇ 2 pixels is divided into 2 ⁇ 2 pixels as a whole.
  • a quadra array of 4 ⁇ 4 pixels is illustrated.
  • the color filters 31 in the above are originally aligned, there is no need to make changes to the arrangement of the color filters 31, and therefore there is no need to perform pixel interpolation.
  • the multi-stage recognition process by executing the multi-stage recognition process using a plurality of sensor information, it is possible to further improve the accuracy of the recognition process, so that more secure authentication is possible. It is possible to realize a solid-state image sensor and a recognition system.
  • FIG. 35 shows an external view of a smartphone according to a specific example of the electronic device of the present disclosure as viewed from the front side.
  • the smartphone 300 is provided with a display unit 320 on the front side of the housing 310. Further, the smartphone 300 is provided with a light emitting unit 330 and a light receiving unit 340 in the upper portion on the front side of the housing 310.
  • the arrangement example of the light emitting unit 330 and the light receiving unit 340 shown in FIG. 35 is an example, and is not limited to this arrangement example.
  • the laser light source 1010 (VCSEL1012) in the electronic device 1 according to the above-described embodiment can be used as the light emitting unit 330, and the image sensor 100 can be used as the light receiving unit 340. .. That is, the smartphone 300 according to this specific example is manufactured by using the electronic device 1 according to the above-described embodiment as the three-dimensional image acquisition system.
  • the electronic device 1 according to the above-described embodiment can increase the resolution of the distance image without increasing the number of light sources in the array dot arrangement of the light sources. Therefore, the smartphone 300 according to this specific example has a highly accurate face recognition function (face recognition function) by using the electronic device 1 according to the above-described embodiment as the three-dimensional image acquisition system (face recognition system). be able to.
  • face recognition function face recognition function
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 36 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the vehicle interior information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 37 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the image pickup unit 12031 has image pickup units 12101, 12102, 12103, 12104, and 12105.
  • the image pickup units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the image pickup unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 37 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object in the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like that autonomously travels without relying on the driver's operation.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image pickup unit 12031 among the configurations described above.
  • the image pickup unit 12101, 12102, 12103, 12104, 12105 and the like illustrated in FIG. 37 may be mounted on the vehicle 12100.
  • information acquired by different sensors for example, a color image and a monochrome image
  • can be processed in an integrated manner It is possible to improve the accuracy of the resulting results.
  • the present technology can also have the following configurations.
  • An image processing unit having a plurality of first pixels arranged in a matrix on the first surface and generating image data based on the amount of incident light incident on each of the first pixels.
  • An event signal processing unit that includes a plurality of second pixels arranged in a matrix on a second surface parallel to the first surface, and generates event data based on a change in the brightness of incident light incident on each of the second pixels.
  • a solid-state image pickup device comprising the plurality of first pixels and the plurality of second pixels arranged on a single chip.
  • the solid-state image pickup device according to (1) or (2), wherein at least a part of the plurality of first pixels overlaps with the plurality of second pixels in the first direction.
  • the solid-state image pickup device according to (3), wherein the first direction is a direction perpendicular to a plane in which the first pixels are arranged.
  • the first pixel includes a first photoelectric conversion unit that photoelectrically converts the incident light.
  • the second pixel includes a second photoelectric conversion unit that photoelectrically converts the incident light.
  • the solid-state image pickup according to any one of (1) to (4) above, wherein the second photoelectric conversion unit is arranged on the surface side of the first photoelectric conversion unit opposite to the incident surface of the incident light. Device.
  • the first pixel detects the amount of visible light contained in the incident light, and detects the amount of visible light.
  • the solid-state image sensor according to any one of (1) to (7), wherein the second pixel detects a change in the brightness of infrared light contained in the incident light.
  • the second pixel detects at least one of the case where the brightness of the incident light exceeds a predetermined threshold value and the case where the brightness of the incident light falls below a predetermined threshold value (1) to (8). ).
  • the solid-state image pickup device according to any one of. (10) At least one of the plurality of second pixels detects that the brightness of the incident light exceeds a predetermined threshold value, and the other one means that the brightness of the incident light falls below a predetermined threshold value.
  • the solid-state imaging device according to any one of (1) to (8) above.
  • (11) The solid-state image pickup device according to any one of (1) to (10), wherein the event signal processing unit includes a plurality of the first pixels with respect to one second pixel in the image processing unit.
  • (12) The solid-state image sensor according to any one of (1) to (11), A recognition processing unit that executes recognition processing based on the image data acquired by the image processing unit in the solid-state imaging device and the event data acquired by the event signal processing unit.
  • a recognition system equipped with (13) A light source that emits light in a predetermined wavelength band, A control unit that controls the light source and the solid-state image sensor, Further prepare The second pixel includes a wavelength selection filter that selectively transmits light in the predetermined wavelength band.
  • the event signal processing unit generates the event data based on the change in the luminance of the light in the predetermined wavelength band in the incident light.
  • the recognition processing unit The first recognition process is executed based on one of the image data and the event data, and the first recognition process is executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

よりセキュアな認証を可能にする。実施形態に係る固体撮像装置は、第１面において行列状に配列する複数の第１画素（１０）を備え、前記第１画素それぞれに入射した入射光の光量に基づいて画像データを生成する画像処理部（１０３Ａ）と、前記第１面と平行な第２面において行列状に配列する複数の第２画素（２０）を備え、前記第２画素それぞれに入射した入射光の輝度変化に基づいてイベントデータを生成するイベント信号処理部（１０３Ｂ）と、を備え、前記複数の第１画素と前記複数の第２画素とは単一のチップに配置されている。

Description

固体撮像装置及び認識システム
　本開示は、固体撮像装置及び認識システムに関する。
　近年、スマートフォンやタブレット端末などのポータブル機器の普及に伴い、セキュアな認証システムが要求されてきている。
特開２０２０－２１８５５号公報 特開２０１８－１２５８４８号公報
　しかしながら、従来では、１つのセンサで取得された情報に基づく認証システムが一般的であったため、なりすましなどの不正アクセスに対するセキュリティに改善の余地が存在した。
　そこで本開示は、よりセキュアな認証を可能にする固体撮像装置及び認識システムを提案する。
　上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、第１面において行列状に配列する複数の第１画素を備え、前記第１画素それぞれに入射した入射光の光量に基づいて画像データを生成する画像処理部と、前記第１面と平行な第２面において行列状に配列する複数の第２画素を備え、前記第２画素それぞれに入射した入射光の輝度変化に基づいてイベントデータを生成するイベント信号処理部と、を備え、前記複数の第１画素と前記複数の第２画素とは単一のチップに配置されている。
第１の実施形態に係る認識システムの機能構成例を示すブロック図である。 第１の実施形態に係る認識システムを実現する電子機器の概略構成例を示す模式図である。 第１の実施形態に係る認識システムを実現する電子機器の概略構成例を示すブロック図である。 第１の実施形態に係るイメージセンサの概略構成例を示すブロック図である。 第１の実施形態に係る画素アレイ部の概略構成例を示す模式図である。 第１実施形態に係る単位画素の概略構成例を示す回路図である。 第１の実施形態の変形例に係る単位画素の概略構成例を示す回路図である。 第１の実施形態に係るイメージセンサの断面構造例を示す断面図である。 第１の実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図である。 第１の実施形態に係るＲＧＢ画素に対する画素駆動線の配線例を示す平面図である。 第１の実施形態に係るＥＶＳ画素に対する画素駆動線の配線例を示す平面図である。 第１の実施形態に係るＥＶＳ画素に対する信号線の配線例を示す平面図である。 第１の実施形態に係るイメージセンサの積層構造例を示す図である。 第１の実施形態に係る認識動作の一例を示すフローチャートである。 第１の実施形態の回路構成例１に係るＥＶＳ画素を示す回路図である。 第１の実施形態の回路構成例２に係るＥＶＳ画素を示す回路図である。 第１の実施形態の回路構成例３に係るＥＶＳ画素を示す回路図である。 第１の実施形態の回路構成例４に係るＥＶＳ画素を示す回路図である。 第１の実施形態の実施例１に係る同期制御の処理を示すフローチャートである。 第１の実施形態の実施例２に係る同期制御の処理を示すフローチャートである。 第１の実施形態の実施例３に係る同期制御の処理を示すフローチャートである。 第１の実施形態の実施例４に係る同期制御の処理を示すフローチャートである。 第１の実施形態の実施例５に係るＯＮ画素及びＯＦＦ画素の画素配置例（その１）を示す図である。 第１の実施形態の実施例５に係るＯＮ画素及びＯＦＦ画素の他の画素配置例（その１）を示す図である。 第１の実施形態の実施例５に係るＯＮ画素及びＯＦＦ画素の画素配置例（その２）を示す図である。 第１の実施形態の実施例５に係るＯＮ画素及びＯＦＦ画素の他の画素配置例（その２）を示す図である。 第１の実施形態の実施例６に係る同期制御の処理を示すフローチャートである。 第１の実施形態の実施例７に係る同期制御の処理を示すフローチャートである。 第２の実施形態に係る単位画素の概略構成例を示す模式図である。 第２の実施形態に係る単位画素の概略構成例を示す回路図である。 第２の実施形態に係るイメージセンサの断面構造例を示す断面図である。 第２の実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図である。 第２の実施形態のオンチップレンズの変形例に係る画素アレイ部の各層の平面レイアウト例を示す図である。 第２の実施形態のカラーフィルタ配列の変形例に係る画素アレイ部の各層の平面レイアウト例を示す図である。 本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　認識システムの機能構成例
　　　１．２　システム構成例
　　　１．３　イメージセンサの構成例
　　　１．４　単位画素の構成例
　　　１．５　単位画素の回路構成例
　　　　１．５．１　回路構成の変形例
　　　１．６　単位画素の断面構造例
　　　１．７　有機材料
　　　１．８　平面構造例
　　　１．９　画素駆動線の配線例
　　　１．１０　イメージセンサの積層構造例
　　　１．１１　認識動作例
　　　１．１２　ＥＶＳ画素の回路構成例
　　　　１．１２．１　回路構成例１
　　　　１．１２．２　回路構成例２
　　　　１．１２．３　回路構成例３
　　　　１．１２．４　回路構成例４
　　　１．１３　レーザ光源とイメージセンサとの同期制御
　　　　１．１３．１　実施例１
　　　　１．１３．２　実施例２
　　　　１．１３．３　実施例３
　　　　１．１３．４　実施例４
　　　　１．１３．５　実施例５
　　　　１．１３．６　実施例６
　　　　１．１３．７　実施例７
　　　１．１４　作用・効果
　　２．第２の実施形態
　　　２．１　単位画素の構成例
　　　２．２　単位画素の回路構成例
　　　２．３　単位画素の断面構造例
　　　２．４　平面構造例
　　　２．５　オンチップレンズの変形例
　　　２．６　カラーフィルタ配列の変形例
　　　２．７　作用・効果
　　３．電子機器の具体例
　　４．移動体への応用例
　１．第１の実施形態
　まず、第１の実施形態に係る固体撮像装置（以下、イメージセンサという）、電子機器及び認識システムについて、図面を参照して詳細に説明する。なお、本実施形態では、ＣＭＯＳ（Complementary　Metal-Oxide　Semiconductor）型のイメージセンサに本実施形態に係る技術を適用した場合を例示するが、これに限定されず、例えば、ＣＣＤ（Charge-Coupled　Device）型のイメージセンサやＴｏＦ（Time-of-Flight）センサなど、光電変換素子を備える種々のセンサに本実施形態に係る技術を適用することが可能である。
　１．１　認識システムの機能構成例
　図１は、第１の実施形態に係る認識システムの機能構成例を示すブロック図である。図１に示すように、認識システム１０００は、ＲＧＢセンサ部１００１とＥＶＳセンサ部１００３との２種類のセンサ部を備える。また、認識システム１０００は、ＲＧＢ画像処理部１００２と、イベント信号処理部１００４と、認識処理部１００５と、インタフェース（Ｉ／Ｆ）部１００６とを備える。ＲＧＢ画像処理部１００２は、ＲＧＢセンサ部１００１を含んでもよく、また、イベント信号処理部１００４は、ＥＶＳセンサ部１００３を含んでもよい。
　ＲＧＢセンサ部１００１は、例えば、ＲＧＢ三原色それぞれの波長成分を透過するカラーフィルタを備える複数の画素（以下、ＲＧＢ画素という）を備え、ＲＧＢ三原色の色成分で構成されたカラー画像（以下、ＲＧＢ画像という）を生成する。なお、ＲＧＢセンサ部１００１に代えて、ＣＭＹ三原色それぞれの波長成分を透過するカラーフィルタを備える複数の画素を備えるセンサ部等が用いられてもよい。
　ＥＶＳセンサ部１００３は、例えば、赤外（ＩＲ）光を透過するＩＲフィルタを備える複数の画素（以下、ＥＶＳ画素という）を備え、各ＥＶＳ画素がＩＲ光を検出したか否か（以下、イベントという）に基づいて、イベントが検出された画素の位置（以下、アドレスという）を示すイベントデータ（イベント情報又は検出信号ともいう）を出力する。なお、本実施形態において、イベントには、ＩＲ光が検出されるようになったことを示すオンイベントと、ＩＲ光が検出されたくなったことを示すオフイベントとが含まれ得る。
　ＲＧＢ画像処理部１００２は、ＲＧＢセンサ部１００１から入力されたＲＧＢ画像データに対し、ノイズ除去やホワイトバランス調整や画素補間等の所定の信号処理を実行する。また、ＲＧＢ画像処理部１００２は、ＲＧＢ画像データを用いた認識処理などを実行してもよい。
　イベント信号処理部１００４は、ＥＶＳセンサ部１００３から入力されたイベントデータに基づいて、イベントが検出された画素を示す画像データ（以下、ＥＶＳ画像データという）を生成する。例えば、イベント信号処理部１００４は、所定期間内に入力されたイベントデータに基づいて、オンイベント及び／又はオフイベントが検出された画素を示すＥＶＳ画像データを生成する。なお、イベント信号処理部１００４は、イベントが検出された画素のアドレスを用いてＥＶＳ画像データを生成してもよいし、イベントが検出された画素から読み出された入射光の輝度を示す階調信号（画素信号）を用いてＥＶＳ画像データを生成してもよい。また、イベント信号処理部１００４は、生成したＥＶＳ画像データに対し、ノイズ除去等の所定の信号処理を実行してもよい。
　認識処理部１００５は、ＲＧＢ画像処理部１００２から入力されたＲＧＢ画像データ及び／又はイベント信号処理部１００４から入力されたＥＶＳ画像データを用いて、ＲＧＢセンサ部１００１及び／又はＥＶＳセンサ部１００３の画角内に存在する物体等の認識処理を実行する。認識処理部１００５による認識処理には、パターン認識などの認識処理や、人工知能（Artificial　Intelligence：ＡＩ）による認識処理などが用いられてよい。ＡＩによる認識処理には、例えば、ＣＮＮ（Convolution　Neural　Network）やＲＮＮ（Recurrent　Neural　Network）などのニューラルネットワークを利用した深層学習が適用されてもよい。また、認識処理部１００５は、認識処理の一部を実行し、その結果（中間データ等）を出力してもよい。
　インタフェース部１００６は、認識処理部１００５により得られた認識結果（中間データ等を含む）や、ＲＧＢセンサ部１００１及び／又はＥＶＳセンサ部１００３で取得された画像データを外部の例えばアプリケーションプロセッサ１１００へ出力する。
　なお、イベント信号処理部１００４は、ＥＶＳ画像データに対して物体の領域判定を実行し、その結果として得られた注目領域（Region　of　Interest：ＲＯＩ）を指定するアドレス等の情報（以下、単にＲＯＩ情報と言いう）をＲＧＢセンサ部１００１及び／又はＲＧＢ画像処理部１００２に入力してもよい。これに対し、ＲＧＢセンサ部１００１は、イベント信号処理部１００４から入力されたＲＯＩ情報に対応する領域のＲＧＢ画像データを取得するように動作してもよい。若しくは、ＲＧＢ画像処理部１００２は、ＲＧＢセンサ部１００１から入力されたＲＧＢ画像データに対し、イベント信号処理部１００４から入力されたＲＯＩ情報に対応する領域のトリミングなどの処理を実行してもよい。
　１．２　システム構成例
　次に、本実施形態に係る認識システムのシステム構成例について説明する。図２は、第１の実施形態に係る認識システムを実現する電子機器の概略構成例を示す模式図であり、図３は、第１の実施形態に係る認識システムを実現する電子機器の概略構成例を示すブロック図である。
　図２に示すように、本実施形態に係る電子機器１は、レーザ光源１０１０と、照射レンズ１０３０と、撮像レンズ１０４０と、イメージセンサ１００と、システム制御部１０５０とを備える。
　レーザ光源１０１０は、図３に示すように、例えば、垂直共振器型面発光レーザ（ＶＣＳＥＬ）１０１２と、ＶＣＳＥＬ１０１２を駆動する光源駆動部１０１１とから構成される。ただし、ＶＣＳＥＬ１０１２に限定されず、ＬＥＤ（Light　Emitting　Diode）などの種々の光源が使用されてもよい。また、レーザ光源１０１０は、点光源、面光源、線光源のいずれであってもよい。面光源又は線光源の場合、レーザ光源１０１０は、例えば、複数の点光源（例えばＶＣＳＥＬ）が１次元又は２次元に配列した構成を備えてもよい。なお、本実施形態において、レーザ光源１０１０は、例えば赤外（ＩＲ）光など、可視光の波長帯とは異なる波長帯の光を出射してよい。
　照射レンズ１０３０は、レーザ光源１０１０の出射面側に配置され、レーザ光源１０１０から出射した光を所定の広がり角の照射光に変換する。
　撮像レンズ１０４０は、イメージセンサ１００の受光面側に配置され、入射光による像をイメージセンサ１００の受光面に結像する。入射光には、レーザ光源１０１０から出射して被写体９０１で反射した反射光も含まれ得る。
　イメージセンサ１００は、その詳細については後述するが、図３に示すように、例えば、ＲＧＢ画素とＥＶＳ画素とが２次元格子状に配列する受光部１０２２と、受光部１０２２を駆動してＲＧＢ画像データとイベントデータとを生成するセンサ制御部１０２１とから構成される。
　システム制御部１０５０は、例えばプロセッサ（ＣＰＵ）によって構成され、光源駆動部１０１１を介してＶＣＳＥＬ１０１２を駆動する。また、システム制御部１０５０は、イメージセンサ１００を制御することで、ＲＧＢ画像を取得するとともに、レーザ光源１０１０に対する制御と同期してイメージセンサ１００を制御することで、レーザ光源１０１０の発光／消光に応じて検出されるイベントデータを取得する。
　このような構成において、図１におけるＲＧＢセンサ部１００１は、イメージセンサ１００及びシステム制御部１０５０を用いて構成され、ＥＶＳセンサ部１００３は、レーザ光源１０１０、イメージセンサ１００及びシステム制御部１０５０を用いて構成されてよい。また、同じく図１におけるＲＧＢ画像処理部１００２、イベント信号処理部１００４及び認識処理部１００５は、それぞれイメージセンサ１００及び／又はアプリケーションプロセッサ１１００を用いて構成されてよい。
　例えば、レーザ光源１０１０から出射した照射光は、照射レンズ１０３０を透して被写体（測定対象物又は物体ともいう）９０１に投影される。この投影された光は、被写体９０１で反射される。そして、被写体９０１で反射された光は、撮像レンズ１０４０を透してイメージセンサ１００に入射する。イメージセンサ１００におけるＥＶＳセンサ部１００３は、被写体９０１で反射した反射光を受光してイベントデータを生成し、生成されたイベントデータに基づいてＥＶＳ画像データを生成する。一方、イメージセンサ１００におけるＲＧＢセンサ部１００１は、入射光における例えば可視光を受光してＲＧＢ画像データを生成する。イメージセンサ１００で生成されたＲＧＢ画像データ及びＥＶＳ画像データは、電子機器１のアプリケーションプロセッサ１１００に供給される。アプリケーションプロセッサ１１００は、イメージセンサ１００から入力されたＲＧＢ画像データ及びＥＶＳ画像データに対して認識処理などの所定の処理を実行する。
　１．３　イメージセンサの構成例
　図４は、第１の実施形態に係るイメージセンサの概略構成例を示すブロック図である。図４に示すように、本実施形態に係るイメージセンサ１００は、例えば、画素アレイ部１０１と、垂直駆動回路１０２Ａと、水平駆動回路１０２Ｂと、Ｘアービタ１０４Ａと、Ｙアービタ１０４Ｂと、ＲＧＢ信号処理回路１０３Ａと、ＥＶＳ信号処理回路１０３Ｂと、システム制御回路１０５と、ＲＧＢデータ処理部１０８Ａと、ＥＶＳデータ処理部１０８Ｂとを備える。
　画素アレイ部１０１、垂直駆動回路１０２Ａ、水平駆動回路１０２Ｂ、ＲＧＢ信号処理回路１０３Ａ及びシステム制御回路１０５は、例えば、図１におけるＲＧＢセンサ部１００１を構成し、画素アレイ部１０１、垂直駆動回路１０２Ａ、水平駆動回路１０２Ｂ、Ｘアービタ１０４Ａ、Ｙアービタ１０４Ｂ、ＥＶＳ信号処理回路１０３Ｂ、水平駆動回路１０２Ｂ及びシステム制御回路１０５は、例えば、図１におけるＥＶＳセンサ部１００３を構成する。また、ＲＧＢ信号処理回路１０３Ａ及びＲＧＢデータ処理部１０８Ａは、例えば、図１におけるＲＧＢ画像処理部１００２を構成し、ＥＶＳ信号処理回路１０３Ｂ及びＥＶＳデータ処理部１０８Ｂは、例えば、図１におけるイベント信号処理部１００４を構成する。なお、図１における認識処理部１００５は、アプリケーションプロセッサ１１００単体で実現されてもよいし、ＲＧＢデータ処理部１０８Ａ及びＥＶＳデータ処理部１０８Ｂとアプリケーションプロセッサ１１００とを連携させることで実現されてもよいし、ＲＧＢデータ処理部１０８ＡとＥＶＳデータ処理部１０８Ｂとを連携させることで実現されてもよい。
　画素アレイ部１０１は、単位画素１１０が行方向及び列方向に、すなわち、２次元格子状（行列状ともいう）に配置された構成を有する。ここで、行方向とは画素行の画素の配列方向（図面中、横方向）をいい、列方向とは画素列の画素の配列方向（図面中、縦方向）をいう。
　各単位画素１１０は、ＲＧＢ画素１０とＥＶＳ画素２０とを備える。本説明において、ＲＧＢ画素１０とＥＶＳ画素２０とは、それぞれ単に画素と称される場合がある。単位画素１１０の具体的な回路構成や画素構造の詳細については後述するが、ＲＧＢ画素１０は、受光した光量に応じた電荷を生成しかつ蓄積する光電変換素子を備え、入射光量に応じた電圧の画素信号を生成する。一方、ＥＶＳ画素２０は、ＲＧＢ画素１０と同様に、受光した光量に応じた電荷を生成しかつ蓄積する光電変換素子を備え、光電変換素子から流れ出した光電流に基づいて光の入射を検出した場合、自身からの読出しを要求するリクエストをＸアービタ１０４Ａ及びＹアービタ１０４Ｂへ出力し、Ｘアービタ１０４Ａ及びＹアービタ１０４Ｂによる調停に従って、イベントを検出したことを示す信号（イベントデータともいう）を出力する。このイベントデータには、イベントが検出された時刻を示すタイムスタンプが付与されていてもよい。
　画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤ１及びＬＤ２が行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬ１及びＶＳＬ２が列方向に沿って配線されている。例えば、画素駆動線ＬＤ１は、各行のＲＧＢ画素１０に接続され、画素駆動線ＬＤ２は、各行のＥＶＳ画素２０に接続される。一方、例えば、垂直信号線ＶＳＬ１は、各列のＲＧＢ画素１０に接続され、垂直信号線ＶＳＬ２は、各列のＥＶＳ画素２０に接続される。ただし、これに限定されず、画素駆動線ＬＤ１及びＬＤ２は、互いに直交するように配線されていてもよい。同様に、垂直信号線ＶＳＬ１及びＶＳＬ２は、互いに直交するように配線されていてもよい。例えば、画素駆動線ＬＤ１が行方向に配線され、画素駆動線ＬＤ２が列方向に配線され、垂直信号線ＶＳＬ１が列方向に配線され、垂直信号線ＶＳＬ２が行方向に配線されてもよい。
　画素駆動線ＬＤ１は、ＲＧＢ画素１０から画素信号を読み出す際の駆動を行うための制御信号を伝送する。画素駆動線ＬＤ２は、ＥＶＳ画素２０をイベント検出が可能なアクティブ状態にするための制御信号を伝送する。図４では、画素駆動線ＬＤ１及びＬＤ２がそれぞれ１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤ１及び画素駆動線ＬＤ２それぞれの一端は、垂直駆動回路１０２Ａの各行に対応した出力端に接続される。
　（ＲＧＢ画素の駆動構成）
　各ＲＧＢ画素１０は、後述において詳細に説明するが、入射光を光電変換して電荷を発生させる光電変換部と、光電変換部に発生した電荷の電荷量に応じた電圧値の画素信号を生成する画素回路とを備え、垂直駆動回路１０２Ａによる制御に従い、垂直信号線ＶＳＬ１に画素信号を出現させる。
　垂直駆動回路１０２Ａは、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１のＲＧＢ画素１０を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動回路１０２Ａは、当該垂直駆動回路１０２Ａを制御するシステム制御回路１０５と共に、画素アレイ部１０１の各ＲＧＢ画素１０の動作を制御する駆動部を構成する。垂直駆動回路１０２Ａは、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
　読出し走査系は、各画素から信号を読み出すために、画素アレイ部１０１の各画素を行単位で順に選択走査する。各画素から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の各画素の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、各画素における電荷の蓄積期間（露光期間ともいう）となる。
　垂直駆動回路１０２Ａによって選択走査された画素行の各ＲＧＢ画素１０から出力される画素信号は、画素列ごとに垂直信号線ＶＳＬ１の各々を通してＲＧＢ信号処理回路１０３Ａに入力される。ＲＧＢ信号処理回路１０３Ａは、画素アレイ部１０１の画素列ごとに、選択行の各ＲＧＢ画素１０から垂直信号線ＶＳＬ１を通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
　具体的には、ＲＧＢ信号処理回路１０３Ａは、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated　Double　Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double　Data　Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。ＲＧＢ信号処理回路１０３Ａは、その他にも、例えば、ＡＤ（アナログ－デジタル）変換機能を備え、光電変換素子から読み出されたアナログの画素信号をデジタル信号に変換して出力する。
　水平駆動回路１０２Ｂは、シフトレジスタやアドレスデコーダなどによって構成され、ＲＧＢ信号処理回路１０３Ａの画素列に対応する読出し回路（以下、画素回路という）を順番に選択する。この水平駆動回路１０２Ｂによる選択走査により、ＲＧＢ信号処理回路１０３Ａにおいて画素回路ごとに信号処理された画素信号が順番に出力される。
　（ＥＶＳ画素の駆動構成）
　各ＥＶＳ画素２０は、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。例えば、各ＥＶＳ画素２０は、輝度変化が所定の閾値を超えたこと、又は、下回ったことをイベントとして検出する。
　ＥＶＳ画素２０は、イベントを検出した際に、イベントの発生を表すイベントデータの出力許可を要求するリクエストをＸアービタ１０４Ａ及びＹアービタ１０４Ｂにそれぞれに出力する。そして、ＥＶＳ画素２０は、イベントデータの出力許可を表す応答をＸアービタ１０４Ａ及びＹアービタ１０４Ｂそれぞれから受け取った場合、垂直駆動回路１０２Ａ及びＥＶＳ信号処理回路１０３Ｂに対してイベントデータを出力する。
　また、イベントを検出したＥＶＳ画素２０は、光電変換によって生成されるアナログの画素信号をＥＶＳ信号処理回路１０３Ｂに対して出力する。すなわち、Ｘアービタ１０４Ａ及びＹアービタ１０４Ｂによる調停の結果、読出しが許可されたＥＶＳ画素２０は、自身の駆動を垂直駆動回路１０２Ａに要求する。これに対し、垂直駆動回路１０２Ａは、調停により読出しが許可されたＥＶＳ画素２０を駆動することで、当該ＥＶＳ画素２０に接続された垂直信号線ＶＳＬ２に画素信号を出現させる。
　Ｘアービタ１０４Ａは、複数のＥＶＳ画素２０それぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を、リクエストを出力したＥＶＳ画素２０に送信する。
　ＥＶＳ信号処理回路１０３Ｂは、ＲＧＢ信号処理回路１０３Ａと同様に、ＡＤ変換機能を備え、光電変換部から読み出されたアナログの画素信号をデジタル信号に変換して出力する。また、ＥＶＳ信号処理回路１０３Ｂは、ＲＧＢ信号処理回路１０３Ａと同様に、例えばＣＤＳ処理やＤＤＳ処理などのノイズ除去機能を備えていてもよい。
　加えて、ＥＶＳ信号処理回路１０３Ｂは、ＡＤ変換により得られたデジタルの画素信号やＥＶＳ画素２０から入力されたイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
　上述したように、ＥＶＳ画素２０で生成される光電流の変化は、ＥＶＳ画素２０の光電変換部に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超えるＥＶＳ画素２０の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生したＥＶＳ画素２０の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
　ＥＶＳ画素２０からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータ同士の間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。
　但し、イベントデータがメモリに記憶されること等により、イベントデータ同士の間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、ＥＶＳ信号処理回路１０３Ｂは、イベントデータ同士の間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等のイベントが発生した相対的な時刻を表す時刻情報を含めてもよい。
　（その他構成）
　システム制御回路１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動回路１０２Ａ、水平駆動回路１０２Ｂ、Ｘアービタ１０４Ａ、Ｙアービタ１０４Ｂ、ＲＧＢ信号処理回路１０３Ａ、及び、ＥＶＳ信号処理回路１０３Ｂなどの駆動制御を行う。
　ＲＧＢデータ処理部１０８Ａ及びＥＶＳデータ処理部１０８Ｂそれぞれは、少なくとも演算処理機能を有し、ＲＧＢ信号処理回路１０３Ａ又はＥＶＳ信号処理回路１０３Ｂから出力される画像信号に対して演算処理等の種々の信号処理を行う。
　ＲＧＢデータ処理部１０８Ａ又はＥＶＳデータ処理部１０８Ｂから出力された画像データは、例えば、イメージセンサ１００を搭載する電子機器１におけるアプリケーションプロセッサ１１００等において所定の処理が実行されたり、所定のネットワークを介して外部へ送信されたりしてもよい。
　なお、イメージセンサ１００は、ＲＧＢデータ処理部１０８Ａ及びＥＶＳデータ処理部１０８Ｂでの信号処理に必要なデータや、ＲＧＢ信号処理回路１０３Ａ、ＥＶＳ信号処理回路１０３Ｂ、ＲＧＢデータ処理部１０８Ａ及びＥＶＳデータ処理部１０８Ｂのうちのいずれか１つ以上で処理されたデータ等を一時的に保持するための記憶部を備えていてもよい。
　１．４　単位画素の構成例
　次に、単位画素１１０の構成例について説明する。なお、ここでは、単位画素１１０が、ＲＧＢ三原色のＲＧＢ画像を取得するＲＧＢ画素１０と、イベントを検出するＥＶＳ画素２０とを含む場合を例示に挙げる。なお、図５及び以下では、ＲＧＢ三原色を構成する各色成分の光を透過させるカラーフィルタ３１ｒ、３１ｇ又は３１ｂを区別しない場合、その符号が３１とされている。
　図５は、第１の実施形態に係る画素アレイ部の概略構成例を示す模式図である。図５に示すように、画素アレイ部１０１は、ＲＧＢ画素１０とＥＶＳ画素２０とからなる単位画素１１０が光の入射方向に沿って配列した構造を備える単位画素１１０が２次元格子状に配列した構成を備える。すなわち、本実施形態では、ＲＧＢ画素１０とＥＶＳ画素２０とが単位画素１１０の配列方向（平面方向）に対して垂直方向に位置されており、入射光の光路における上流側に位置するＲＧＢ画素１０を透過した光が、このＲＧＢ画素１０の下流側に位置するＥＶＳ画素２０に入射するように構成されている。このような構成によれば、ＲＧＢ画素１０の光電変換部ＰＤ１における入射光の入射面と反対側の面側にＥＶＳ画素２０の光電変換部ＰＤ２が配置される。それにより、本実施形態では、光の入射方向に沿って配列するＲＧＢ画素１０とＥＶＳ画素２０との入射光の光軸が一致又は略一致している。
　なお、本実施形態では、ＲＧＢ画素１０を構成する光電変換部ＰＤ１を有機材料で構成し、ＥＶＳ画素２０を構成する光電変換部ＰＤ２をシリコンなどの半導体材料で構成する場合を例示するが、これに限定されるものではない。例えば、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が半導体材料で構成されてもよいし、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が有機材料で構成されてもよいし、光電変換部ＰＤ１が半導体材料で構成され、光電変換部ＰＤ２が有機材料で構成されてもよい。若しくは、光電変換部ＰＤ１と光電変換部ＰＤ２との少なくとも一方が有機材料及び半導体材料とは異なる光電変換材料で構成されてもよい。
　１．５　単位画素の回路構成例
　次に、単位画素１１０の回路構成例について説明する。図６は、第１実施形態に係る単位画素の概略構成例を示す回路図である。図６に示すように、単位画素１１０は、ＲＧＢ画素１０と、ＥＶＳ画素２０とを１つずつ備える。
　（ＲＧＢ画素１０）
　ＲＧＢ画素１０は、例えば、光電変換部ＰＤ１と、転送ゲート１１と、浮遊拡散領域ＦＤと、リセットトランジスタ１２と、増幅トランジスタ１３と、選択トランジスタ１４とを備える。
　選択トランジスタ１４のゲートには、画素駆動線ＬＤ１に含まれる選択制御線が接続され、リセットトランジスタ１２のゲートには、画素駆動線ＬＤ１に含まれるリセット制御線が接続され、転送ゲート１１の後述する蓄積電極（後述において説明する図８の蓄積電極３７参照）には、画素駆動線ＬＤ１に含まれる転送制御線が接続される。また、増幅トランジスタ１３のドレインには、ＲＧＢ信号処理回路１０３Ａに一端が接続される垂直信号線ＶＳＬ１が選択トランジスタ１４を介して接続される。
　以下の説明において、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ及び／又は転送ゲート１１が含まれてもよい。
　光電変換部ＰＤ１は、例えば有機材料で構成され、入射した光を光電変換する。転送ゲート１１は、光電変換部ＰＤ１に発生した電荷を転送する。浮遊拡散領域ＦＤは、転送ゲート１１が転送した電荷を蓄積する。増幅トランジスタ１３は、浮遊拡散領域ＦＤに蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ１に出現させる。リセットトランジスタ１２は、浮遊拡散領域ＦＤに蓄積された電荷を放出する。選択トランジスタ１４は、読出し対象のＲＧＢ画素１０を選択する。
　光電変換部ＰＤ１のアノードは、接地されており、カソ－ドは、転送ゲート１１に接続される。転送ゲート１１は、その詳細については後述において図８を用いて説明するが、例えば、蓄積電極３７と読出し電極３６とを備える。露光時には、光電変換部ＰＤ１に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が、転送制御線を介して蓄積電極３７に印加される。読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が、転送制御線を介して蓄積電極３７に印加される。
　読出し電極３６を介して流出した電荷は、読出し電極３６と、リセットトランジスタ１２のソースと、増幅トランジスタ１３のゲートとを接続する配線構造によって構成される浮遊拡散領域ＦＤに蓄積される。なお、リセットトランジスタ１２のドレインは、例えば、電源電圧ＶＤＤや電源電圧ＶＤＤよりも低いリセット電圧が供給される電源線に接続されてもよい。
　増幅トランジスタ１３のソースは、例えば、不図示の定電流回路等を介して電源線に接続されてよい。増幅トランジスタ１３のドレインは、選択トランジスタ１４のソースに接続され、選択トランジスタ１４のドレインは、垂直信号線ＶＳＬ１に接続される。
　浮遊拡散領域ＦＤは、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤは、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤは、転送ゲート１１のドレインとリセットトランジスタ１２のソースと増幅トランジスタ１３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
　垂直信号線ＶＳＬ１は、ＲＧＢ信号処理回路１０３Ａにおいてカラム毎（すなわち、垂直信号線ＶＳＬ１毎）に設けられたＡＤ（Analog-to-Digital）変換回路１０３ａに接続される。ＡＤ変換回路１０３ａは、例えば、比較器とカウンタとを備え、外部の基準電圧生成回路（ＤＡＣ（Digital-to-Analog　Converter））から入力されたシングルスロープやランプ形状等の基準電圧と、垂直信号線ＶＳＬ１に出現した画素信号とを比較することで、アナログの画素信号をデジタルの画素信号に変換する。なお、ＡＤ変換回路１０３ａは、例えば、ＣＤＳ（Correlated　Double　Sampling）回路などを備え、ｋＴＣノイズ等を低減可能に構成されていてもよい。
　（ＥＶＳ画素２０）
　ＥＶＳ画素２０は、例えば、光電変換部ＰＤ２と、アドレスイベント検出回路２１０とを備える。
　光電変換部ＰＤ２は、光電変換部ＰＤ１と同様に、例えば半導体材料で構成され、入射した光を光電変換する。アドレスイベント検出回路２１０の詳細な回路構成について後述するが、上述したように、光電変換部ＰＤ２から流れ出した光電流の変化に基づいてイベントの有無を検出し、イベントを検出した際に、イベントの発生を表すイベントデータの出力許可を要求するリクエストをＸアービタ１０４Ａ及びＹアービタ１０４Ｂにそれぞれに出力する。そして、アドレスイベント検出回路２１０は、イベントデータの出力許可を表す応答をＸアービタ１０４Ａ及びＹアービタ１０４Ｂそれぞれから受け取った場合、垂直駆動回路１０２Ａ及びＥＶＳ信号処理回路１０３Ｂに対してイベントデータを出力する。その際、アドレスイベント検出回路２１０は、イベントデータに対して、タイムスタンプ等のイベントが発生した相対的な時刻を表す時刻情報を含めてもよい。
　垂直信号線ＶＳＬ２は、垂直信号線ＶＳＬ１と同様、ＥＶＳ信号処理回路１０３Ｂにおいてカラム毎（すなわち、垂直信号線ＶＳＬ２毎）に設けられた信号処理回路１０３ｂに接続される。
　１．５．１　回路構成の変形例
　図７は、第１の実施形態の変形例に係る単位画素の概略構成例を示す回路図である。図７に示すように、単位画素１１０－１は、図６に示す単位画素１１０と同様の構成において、ＲＧＢ画素１０及びＥＶＳ画素２０が共通の垂直信号線ＶＳＬに接続された構造を有する。垂直信号線ＶＳＬは、例えば、周辺回路において分岐され、スイッチ回路１３１又は１３２を介して、ＲＧＢ信号処理回路１０３ＡのＡＤ変換回路１０３ａ又はＥＶＳ信号処理回路１０３Ｂの信号処理回路１０３ｂに接続される。
　スイッチ回路１３１は、例えば、ＲＧＢ信号処理回路１０３Ａ又はＥＶＳ信号処理回路１０３Ｂに含まれる構成であってもよい。また、スイッチ回路１３１は、例えば、ＲＧＢ画素１０及び／又はＥＶＳ画素２０の画素回路と同じ半導体基板に設けられてもよいし、信号処理回路が配置された半導体基板に設けられてもよいし、これらとは異なる半導体基板に設けられてもよい。また、スイッチ回路１３１を制御する制御信号は、垂直駆動回路１０２Ａ又は水平駆動回路１０２Ｂから供給されてもよいし、センサ制御部１０２１（図３参照）から供給されてもよいし、その他の構成から供給されてもよい。
　このような構成によれば、画素アレイ部１０１に配線する垂直信号線ＶＳＬの数を削減することができ、それにより、受光面積の拡大による量子効率の向上や面積効率の向上によるイメージセンサ１００の小型化や高解像度化等が可能となる。
　１．６　単位画素の断面構造例
　次に、図８を参照して、第１の実施形態に係るイメージセンサ１００の断面構造例を説明する。図８は、第１の実施形態に係るイメージセンサの断面構造例を示す断面図である。ここでは、単位画素１１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。
　また、以下の説明では、光の入射面が半導体基板５０の裏面側（素子形成面と反対側）である、いわゆる裏面照射型の断面構造を例示するが、これに限定されず、光の入射面が半導体基板５０の表面側（素子形成面側）である、いわゆる表面照射型の断面構造であってもよい。さらに、本説明では、ＲＧＢ画素１０の光電変換部ＰＤ１に有機材料が用いられた場合を例示するが、上述したように、光電変換部ＰＤ１及びＰＤ２それぞれの光電変換材料には、有機材料及び半導体材料（無機材料ともいう）のうちの一方若しくは両方が用いられてよい。
　なお、光電変換部ＰＤ１の光電変換材料及び光電変換部ＰＤ２の光電変換材料の両方に半導体材料を用いる場合、イメージセンサ１００は、光電変換部ＰＤ１と光電変換部ＰＤ２とが同一の半導体基板５０に作り込まれた断面構造を有してもよいし、光電変換部ＰＤ１が作り込まれた半導体基板と光電変換部ＰＤ２が作り込まれた半導体基板とが貼り合わされた断面構造を有してもよいし、光電変換部ＰＤ１及びＰＤ２のうちの一方が半導体基板５０に作り込まれ、他方が半導体基板５０の裏面又は表面上に形成された半導体層に作り込まれた断面構造を有してもよい。
　図８に示すように、本実施形態では、半導体基板５０にＥＶＳ画素２０の光電変換部ＰＤ２が形成され、半導体基板５０の裏面側（素子形成面と反対側）の面上に、ＲＧＢ画素１０の光電変換部ＰＤ１が設けられた構造を備える。なお、図８では、説明の都合上、半導体基板５０の裏面が紙面中上側に位置し、表面が下側に位置している。
　半導体基板５０には、例えば、シリコン（Ｓｉ）などの半導体材料が用いられてよい。ただし、これに限定されず、ＧａＡｓ、ＩｎＧａＡｓ、ＩｎＰ、ＡｌＧａＡｓ、ＩｎＧａＰ、ＡｌＧａＩｎＰ、ＩｎＧａＡｓＰ等の化合物半導体を含む種々の半導体材料が用いられてよい。
　（ＲＧＢ画素１０）
　ＲＧＢ画素１０の光電変換部ＰＤ１は、絶縁層５３を挟んで、半導体基板５０の裏面側に設けられている。光電変換部ＰＤ１は、例えば、有機材料により構成された光電変換膜３４と、光電変換膜３４を挟むように配置された透明電極３３及び半導体層３５とを備える。光電変換膜３４に対して紙面中上側（以降、紙面中上側を上面側とし、下側を下面側とする）に設けられた透明電極３３は、例えば、光電変換部ＰＤ１のアノードとして機能し、下面側に設けられた半導体層３５は、光電変換部ＰＤ１のカソードとして機能する。
　カソードとして機能する半導体層３５は、絶縁層５３中に形成された読出し電極３６に電気的に接続される。読出し電極３６は、絶縁層５３及び半導体基板５０を貫通する配線６１、６２、６３及び６４に接続することで、半導体基板５０の表面（下面）側にまで電気的に引き出されている。なお、図８には示されていないが、配線６４は、図６に示す浮遊拡散領域ＦＤに電気的に接続されている。
　カソードとして機能する半導体層３５の下面側には、絶縁層５３を挟んで蓄積電極３７が併設される。図８には示されていないが、蓄積電極３７は、画素駆動線ＬＤ１における転送制御線に接続されており、上述したように、露光時には、光電変換部ＰＤ１に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が印加され、読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が印加される。
　読出し電極３６及び蓄積電極３７は、透明電極３３と同様に、透明な導電膜であってよい。透明電極３３並びに読出し電極３６及び蓄積電極３７には、例えば、酸化インジウムスズ（ＩＴＯ）や酸化亜鉛（ＩＺＯ）などの透明導電膜が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ２が検出対象とする波長帯の光を透過させ得る導電膜であれば、種々の導電膜が使用されてよい。
　また、半導体層３５には、例えば、ＩＧＺＯなどの透明な半導体層が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ２が検出対象とする波長帯の光を透過させ得る半導体層であれば、種々の半導体層が使用されてよい。
　さらに、絶縁層５３は、例えば、シリコン酸化膜（ＳｉＯ２）やシリコン窒化膜（ＳｉＮ）などの絶縁膜が使用されてよい。ただし、これらに限定されず、光電変換部ＰＤ２が検出対象とする波長帯の光を透過させ得る絶縁膜であれば、種々の絶縁膜が使用されてよい。
　アノードとして機能する透明電極３３の上面側には、封止膜３２を挟んでカラーフィルタ３１が設けられる。封止膜３２は、例えば、窒化シリコン（ＳｉＮ）などの絶縁材料で構成され、透明電極３３からアルミニウム（Ａｌ）やチタニウム（Ｔｉ）などの原子が拡散することを防止するために、これらの原子を含み得る。
　カラーフィルタ３１の配列については後述において説明するが、例えば、１つのＲＧＢ画素１０に対しては、特定の波長成分の光を選択的に透過させるカラーフィルタ３１が設けられる。ただし、色情報を取得するＲＧＢ画素１０の代わりに輝度情報を取得するモノクロ画素を設ける場合には、カラーフィルタ３１が省略されてもよい。
　（ＥＶＳ画素２０）
　ＥＶＳ画素２０の光電変換部ＰＤ２は、例えば、半導体基板５０におけるｐウェル領域４２に形成されたｐ型半導体領域４３と、ｐ型半導体領域４３の中央付近に形成されたｎ型半導体領域４４とを備える。ｎ型半導体領域４４は、例えば、入射光の光量に応じた電荷を発生させる光電変換領域として機能し、ｐ型半導体領域４３は、光電変換により発生した電荷をｎ型半導体領域４４内に集めるための電位勾配を形成する領域として機能する。
　光電変換部ＰＤ２の光入射面側には、例えば、ＩＲ光を選択的に透過させるＩＲフィルタ４１が配置される。ＩＲフィルタ４１は、例えば、半導体基板５０の裏面側に設けられた絶縁層５３内に配置されてよい。ＩＲフィルタ４１を光電変換部ＰＤ２の光入射面に配置することで、光電変換部ＰＤ２への可視光の入射を抑制することが可能となるため、可視光に対するＩＲ光のＳ／Ｎ比を改善することができる。それにより、ＩＲ光のより正確な検出結果を得ることが可能となる。
　半導体基板５０の光入射面には、入射光（本例ではＩＲ光）の反射を抑制するために、例えば、微細な凹凸構造が設けられている。この凹凸構造は、いわゆるモスアイ構造と称される構造であってもよいし、モスアイ構造とはサイズやピッチが異なる凹凸構造であってもよい。
　半導体基板５０の表面（紙面中下面）側、すなわち、素子形成面側には、光電変換部ＰＤ２に発生した電荷をアドレスイベント検出回路２１０へ流出させる縦型トランジスタ４５が設けられる。縦型トランジスタ４５のゲート電極は、半導体基板５０の表面からｎ型半導体領域４４にまで達しており、層間絶縁膜５６に形成された配線６５及び６６（画素駆動線ＬＤ２の転送制御線の一部）を介してアドレスイベント検出回路２１０に接続されている。
　（画素分離構造）
　半導体基板５０には、複数の単位画素１１０の間を電気的に分離する画素分離部５４が設けられており、この画素分離部５４で区画された各領域内に、光電変換部ＰＤ２が設けられる。例えば、半導体基板５０の裏面（図中上面）側からイメージセンサ１００を見た場合、画素分離部５４は、例えば、複数の単位画素１１０の間に介在する格子形状を有しており、各光電変換部ＰＤ２は、この画素分離部５４で区画された各領域内に形成されている。
　画素分離部５４には、例えば、タングステン（Ｗ）やアルミニウム（Ａｌ）などの光を反射する反射膜が用いられてもよい。それにより、光電変換部ＰＤ２内に進入した入射光を画素分離部５４で反射させることが可能となるため、光電変換部ＰＤ２内での入射光の光路長を長くすることが可能となる。加えて、画素分離部５４を光反射構造とすることで、隣接画素への光の漏れ込みを低減することが可能となるため、画質や測距精度等をより向上させることも可能となる。なお、画素分離部５４を光反射構造とする構成は、反射膜を用いる構成に限定されず、例えば、画素分離部５４に半導体基板５０とは異なる屈折率の材料を用いることでも実現することができる。
　半導体基板５０と画素分離部５４との間には、例えば、固定電荷膜５５が設けられる。固定電荷膜５５は、例えば、半導体基板５０との界面部分において正電荷（ホール）蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜５５が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板１３８との界面に電界が加わり、正電荷（ホール）蓄積領域が形成される。
　固定電荷膜５５は、例えば、ハフニウム酸化膜（ＨｆＯ２膜）で形成することができる。また、固定電荷膜５５は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも１つを含むように形成することができる。
　なお、図８には、画素分離部５４が半導体基板５０の表面から裏面にまで達する、いわゆるＦＴＩ（Full　Trench　Isolation）構造を有する場合が例示されているが、これに限定されず、例えば、画素分離部５４が半導体基板５０の裏面又は表面から半導体基板５０の中腹付近まで形成された、いわゆるＤＴＩ（Deep　Trench　Isolation）構造など、種々の素子分離構造を採用することが可能である。
　（瞳補正）
　カラーフィルタ３１の上面上には、シリコン酸化膜やシリコン窒化膜などによる平坦化膜５２が設けられる。平坦化膜５２の上面上は、例えば、ＣＭＰ（Chemical　Mechanical　Polishing）により平坦化され、この平坦化された上面上には、単位画素１１０ごとのオンチップレンズ５１が設けられる。各単位画素１１０のオンチップレンズ５１は、入射光を光電変換部ＰＤ１及びＰＤ２に集めるような曲率を備えている。なお、各単位画素１１０におけるオンチップレンズ５１、カラーフィルタ３１、ＩＲフィルタ４１、光電変換部ＰＤ２の位置関係は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい（瞳補正）。
　また、図８に示す構造において、斜めに入射した光が隣接画素へ漏れ込むことを防止するための遮光膜が設けられてもよい。遮光膜は、半導体基板５０の内部に設けられた画素分離部５４の上方（入射光の光路における上流側）に位置し得る。ただし、瞳補正をする場合、遮光膜の位置は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい。このような遮光膜は、例えば、封止膜３２内や平坦化膜５２内に設けられてよい。また、遮光膜の材料には、例えば、アルミニウム（Ａｌ）やタングステン（Ｗ）などの遮光材料が用いられてよい。
　１．７　有機材料
　第１の実施形態において、光電変換膜３４の材料に有機系半導体を用いる場合、光電変換膜３４の層構造は、以下のような構造とすることが可能である。ただし、積層構造の場合、その積層順は適宜入れ替えることが可能である。
（１）ｐ型有機半導体の単層構造
（２）ｎ型有機半導体の単層構造
（３－１）ｐ型有機半導体層／ｎ型有機半導体層の積層構造
（３－２）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）／ｎ型有機半導体層の積層構造
（３－３）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（３－４）ｎ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（４）ｐ型有機半導体とｐ型有機半導体との混合層（バルクヘテロ構造）
　ここで、ｐ型有機半導体としては、ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、ピレン誘導体、ペリレン誘導体、テトラセン誘導体、ペンタセン誘導体、キナクリドン誘導体、チオフェン誘導体、チエノチオフェン誘導体、ベンゾチオフェン誘導体、ベンゾチエノベンゾチオフェン誘導体、トリアリルアミン誘導体、カルバゾール誘導体、ペリレン誘導体、ピセン誘導体、クリセン誘導体、フルオランテン誘導体、フタロシアニン誘導体、サブフタロシアニン誘導体、サブポルフィラジン誘導体、複素環化合物を配位子とする金属錯体、ポリチオフェン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を挙げることができる。
　ｎ型有機半導体としては、フラーレン及びフラーレン誘導体〈例えば、Ｃ６０や、Ｃ７０，Ｃ７４等のフラーレン（高次フラーレン、内包フラーレン等）又はフラーレン誘導体（例えば、フラーレンフッ化物やＰＣＢＭフラーレン化合物、フラーレン多量体等）〉、ｐ型有機半導体よりもＨＯＭＯ及びＬＵＭＯが大きい（深い）有機半導体、透明な無機金属酸化物を挙げることができる。
　ｎ型有機半導体として、具体的には、窒素原子、酸素原子、硫黄原子を含有する複素環化合物、例えば、ピリジン誘導体、ピラジン誘導体、ピリミジン誘導体、トリアジン誘導体、キノリン誘導体、キノキサリン誘導体、イソキノリン誘導体、アクリジン誘導体、フェナジン誘導体、フェナントロリン誘導体、テトラゾール誘導体、ピラゾール誘導体、イミダゾール誘導体、チアゾール誘導体、オキサゾール誘導体、イミダゾール誘導体、ベンズイミダゾール誘導体、ベンゾトリアゾール誘導体、ベンズオキサゾール誘導体、ベンズオキサゾール誘導体、カルバゾール誘導体、ベンゾフラン誘導体、ジベンゾフラン誘導体、サブポルフィラジン誘導体、ポリフェニレンビニレン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を分子骨格の一部に有する有機分子、有機金属錯体やサブフタロシアニン誘導体を挙げることができる。
　フラーレン誘導体に含まれる基等として、ハロゲン原子；直鎖、分岐若しくは環状のアルキル基若しくはフェニル基；直鎖若しくは縮環した芳香族化合物を有する基；ハロゲン化物を有する基；パーシャルフルオロアルキル基；パーフルオロアルキル基；シリルアルキル基；シリルアルコキシ基；アリールシリル基；アリールスルファニル基；アルキルスルファニル基；アリールスルホニル基；アルキルスルホニル基；アリールスルフィド基；アルキルスルフィド基；アミノ基；アルキルアミノ基；アリールアミノ基；ヒドロキシ基；アルコキシ基；アシルアミノ基；アシルオキシ基；カルボニル基；カルボキシ基；カルボキソアミド基；カルボアルコキシ基；アシル基；スルホニル基；シアノ基；ニトロ基；カルコゲン化物を有する基；ホスフィン基；ホスホン基；これらの誘導体を挙げることができる。
　以上のような有機系材料から構成された光電変換膜３４の膜厚としては、次の値に限定されるものではないが、例えば、１×１０－８ｍ（メートル）乃至５×１０－７ｍ、好ましくは、２．５×１０－８ｍ乃至３×１０－７ｍ、より好ましくは、２．５×１０－８ｍ乃至２×１０－７ｍ、一層好ましくは、１×１０－７ｍ乃至１．８×１０－７ｍを例示することができる。尚、有機半導体は、ｐ型、ｎ型と分類されることが多いが、ｐ型とは正孔を輸送し易いという意味であり、ｎ型とは電子を輸送し易いという意味であり、無機半導体のように熱励起の多数キャリアとして正孔又は電子を有しているという解釈に限定されるものではない。
　緑色の波長の光を光電変換する光電変換膜３４を構成する材料としては、例えば、ローダミン系色素、メラシアニン系色素、キナクリドン誘導体、サブフタロシアニン系色素（サブフタロシアニン誘導体）等を挙げることができる。
　また、青色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、クマリン酸色素、トリス－８－ヒドリキシキノリアルミニウム（Ａｌｑ３）、メラシアニン系色素等を挙げることができる。
　さらに、赤色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、フタロシアニン系色素、サブフタロシアニン系色素（サブフタロシアニン誘導体）を挙げることができる。
　さらにまた、光電変換膜３４としては、紫外域から赤色域にかけて略全ての可視光に対して感光するパンクロマチックな感光性有機光電変換膜を用いることも可能である。
　１．８　平面構造例
　次に、本実施形態に係る画素アレイ部の平面構造例について説明する。図９は、第１の実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図であり、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。なお、図９において、（Ａ）～（Ｄ）は、半導体基板５０の素子形成面と平行な面の平面レイアウト例を示している。また、本説明では、赤色（Ｒ）の波長成分を選択的に検出する画素（以下、Ｒ画素１０ｒという）と、緑色（Ｇ）の波長成分を選択的に検出する画素（以下、Ｇ画素１０ｇという）と、青色（Ｂ）の波長成分の光を選択的に検出する画素（以下、Ｂ画素１０ｂという）とより構成された２×２画素のベイヤー配列を単位配列とする場合を例示する。
　図９の（Ａ）～（Ｄ）に示すように、本実施形態では、１つの単位画素１１０に対して、オンチップレンズ５１と、カラーフィルタ３１と、蓄積電極３７と、光電変換部ＰＤ２とが１つずつ設けられている。なお、本説明において、１つの蓄積電極３７は１つのＲＧＢ画素１０に相当し、１つの光電変換部ＰＤ２は１つのＥＶＳ画素２０に相当する。
　このように、１つの単位画素１１０において、１つのＲＧＢ画素１０と１つのＥＶＳ画素２０とを入射光の進行方向に沿って配列させることで、ＲＧＢ画素１０とＥＶＳ画素２０との入射光に対する同軸性を向上することが可能となるため、ＲＧＢ画像とＥＶＳ画像との間に発生する空間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（ＲＧＢ画像及びＥＶＳ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　１．９　画素駆動線の配線例
　次に、ＲＧＢ画素１０と垂直駆動回路１０２Ａとを接続する画素駆動線ＬＤ１及びＥＶＳ画素２０と垂直駆動回路１０２Ａとを接続する画素駆動線ＬＤ２との配線例について説明する。図１０は、第１の実施形態に係るＲＧＢ画素に対する画素駆動線の配線例を示す平面図であり、図１１は、第１の実施形態に係るＥＶＳ画素に対する画素駆動線の配線例を示す平面図である。
　図１０及び図１１に示すように、ＲＧＢ画素１０を駆動するための画素駆動線ＬＤ１と、ＥＶＳ画素２０を駆動するための画素駆動線ＬＤ２とは、例えば、直行するように配線されてもよい。ただし、これに限定されず、ＲＧＢ駆動線ＬＤ１とＩＲ駆動線ＬＤ２とは、平行に配線されてもよい。その場合、画素駆動線ＬＤ１と画素駆動線ＬＤ２とは、各種制御信号を、画素アレイ部１０１に対して同一の側から供給してもよいし、異なる側から供給してもよい。
　また、図１２は、第１の実施形態に係るＥＶＳ画素に対する信号線の配線例を示す平面図である。図１２に示すように、Ｘアービタ１０４Ａは、例えば、列方向に延在する信号線を介して各列のＥＶＳ画素２０に接続され、Ｙアービタ１０４Ｂは、例えば、行方向に延在する信号線を介して各行のＥＶＳ画素２０に接続される。
　１．１０　イメージセンサの積層構造例
　図１３は、第１の実施形態に係るイメージセンサの積層構造例を示す図である。図１３に示すように、イメージセンサ１００は、画素チップ１４０と回路チップ１５０とが上下に積層された構造を備える。画素チップ１４０は、例えば、ＲＧＢ画素１０及びＥＶＳ画素２０を含む単位画素１１０が配列する画素アレイ部１０１を備える半導体チップであり、回路チップ１５０は、例えば、図６に示す画素回路及びアドレスイベント検出回路２１０が配列する半導体チップである。
　画素チップ１４０と回路チップ１５０との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅（Ｃｕ）製の電極パッド同士をボンディングする、いわゆるＣｕ－Ｃｕ接合や、その他、バンプ接合などを用いることも可能である。
　また、画素チップ１４０と回路チップ１５０とは、例えば、半導体基板を貫通するＴＳＶ（Through-Silicon　Via）などの接続部を介して電気的に接続される。ＴＳＶを用いた接続には、例えば、画素チップ１４０に設けられたＴＳＶと画素チップ１４０から回路チップ１５０にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、画素チップ１４０から回路チップ１５０まで貫通するＴＳＶで両者を接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。
　ただし、画素チップ１４０と回路チップ１５０との接合にＣｕ－Ｃｕ接合やバンプ接合を用いた場合には、Ｃｕ－Ｃｕ接合部やバンプ接合部を介して両者が電気的に接続されてもよい。
　１．１１　認識動作例
　次に、本実施形態に係る認識システムが実行する認識動作の一例について説明する。なお、ここでは、図２及び図３を用いて説明した電子機器１を参照しつつ、図１を用いて説明した認識システム１０００の認識動作例を説明するが、上述したように、認識動作は、イメージセンサ１００内で完結するように実現されてもよいし、イメージセンサ１００で取得された画像データをアプリケーションプロセッサ１１００内で処理することで実現されてもよし、イメージセンサ１００で取得された画像データに対してイメージセンサ１００内で一部の処理を実行し、残りをアプリケーションプロセッサ１１００内で実行することで実現されてもよい。
　図１４は、第１の実施形態に係る認識動作の一例を示すフローチャートである。図１４に示すように、本動作では、まず、システム制御部１０５０は、所定のサンプリング周期でレーザ光源１０１０を駆動することで、レーザ光源１０１０に所定のサンプリング周期の照射光を出射させる（ステップＳ１１）とともに、レーザ光源１０１０の駆動と同期する形で所定のサンプリング周期でイメージセンサ１００におけるＥＶＳセンサ部１００３（図１参照）を駆動することで、所定のサンプリング周期でＥＶＳ画像データを取得する（ステップＳ１２）。
　また、システム制御部１０５０は、イメージセンサ１００におけるＲＧＢセンサ部１００１（図１参照）を駆動することで、ＲＧＢ画像データを取得する（ステップＳ１３）。
　なお、ＲＧＢ画像データの取得は、ＥＶＳ画像データの取得と並行して実行されてもよいし、ＥＶＳ画像データの取得期間とは別の期間に実行されてもよい。その際、ＲＧＢ画像データの取得とＥＶＳ画像データの取得とは、どちらが先に実行されてもよい。また、ＲＧＢ画像データの取得は、Ｋ回（Ｋは１以上の整数）のＥＶＳ画像データの取得に対して１回実行されてもよい。
　このようにして取得されたＲＧＢ画像データ及びＥＶＳ画像データのうち、ＲＧＢ画像データは、ＲＧＢ画像処理部１００２で所定の処理がなされた後、認識処理部１００５に入力される。なお、ステップＳ１１又はＳ１２において、図１におけるイベント信号処理部１００４からＲＧＢセンサ部１００１又はＲＧＢ画像処理部１００２にＲＯＩ情報が入力されている場合、認識処理部１００５には、ＲＯＩ情報に対応する領域のＲＧＢ画像データ及び／又はＥＶＳ画像データが入力されてもよい。
　次に、認識処理部１００５が、入力されたＲＧＢ画像データを用いて、イメージセンサ１００の画角内に存在する物体の認識処理（第１認識処理）を実行する（ステップＳ１４）。第１認識処理には、第１の実施形態と同様に、パターン認識などの認識処理や人工知能による認識処理などが用いられてよい。
　次に、認識処理部１００５が、第１認識処理の結果と、ＥＶＳ画像データとを用いて、画角内に存在する物体をより正確に認識する認識処理（第２認識処理）を実行する（ステップＳ１５）。第２認識処理には、第１認識処理と同様に、パターン認識などの認識処理や人工知能による認識処理などが用いられてよい。
　次に、認識処理部１００５は、ステップＳ１５で得られた第２認識処理の結果を、例えば、インタフェース部１００６を介して外部へ出力する（ステップＳ１６）。なお、認識処理部１００５は、第１認識処理の一部を実行し、その結果（中間データ等）を外部へ出力してもよいし、第２認識処理の一部を実行し、その結果（中間データ等）を出力してもよい。
　その後、認識システム３７０は、本動作を終了するか否かを判断し（ステップＳ１７）、終了しない場合（ステップＳ１７のＮＯ）、ステップＳ１１へリターンする。一方、終了する場合（ステップＳ１７のＹＥＳ）、認識システム３７０は、本動作を終了する。
　１．１２　ＥＶＳ画素の回路構成例
　続いて、ＥＶＳ画素２０の具体的な回路構成について、いくつか例を挙げて説明する。上述したように、ＥＶＳ画素２０は、輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出機能を有する。
　ＥＶＳ画素２０は、光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータ（イベント情報）は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、ＥＶＳ画素２０については、オンイベントのみについて検出する機能を有する構成とすることもできるし、オフイベントのみについて検出する機能を有する構成とすることもできる。
　１．１２．１　回路構成例１
　回路構成例１に係るＥＶＳ画素２０－１のアドレスイベント検出回路２１０は、１つのコンパレータを用いて、オンイベントの検出、及び、オフイベントの検出を時分割で行う構成を備える。回路構成例１に係るＥＶＳ画素２０の回路図を図１５に示す。回路構成例１に係るＥＶＳ画素２０は、光電変換部ＰＤ２とアドレスイベント検出回路２１０とからなり、アドレスイベント検出回路２１０は、受光回路２１２、メモリ容量２１３、コンパレータ２１４、リセット回路２１５、インバータ２１６、及び、出力回路２１７を有する回路構成となっている。ＥＶＳ画素２０は、センサ制御部１０２１による制御の下に、オンイベント及びオフイベントの検出を行う。
　光電変換部ＰＤ２は、第１電極（アノード電極）が受光回路２１２の入力端に接続され、第２電極（カソード電極）が基準電位ノードであるグランドノードに接続されており、入射光を光電変換して光の強度（光量）に応じた電荷量の電荷を生成する。また、光電変換部ＰＤ２は、生成した電荷を光電流Ｉｐｈｏｔｏに変換する。
　受光回路２１２は、光電変換部ＰＤ２が検出した、光の強度（光量）に応じた光電流Ｉｐｈｏｔｏを電圧Ｖｐｒに変換する。ここで、光の強度に対する電圧Ｖｐｒの関係は、通常、対数の関係である。すなわち、受光回路２１２は、光電変換部ＰＤ２の受光面に照射される光の強度に対応する光電流Ｉｐｈｏｔｏを、対数関数である電圧Ｖｐｒに変換する。但し、光電流Ｉｐｈｏｔｏと電圧Ｖｐｒとの関係は、対数の関係に限られるものではない。
　受光回路２１２から出力される、光電流Ｉｐｈｏｔｏに応じた電圧Ｖｐｒは、メモリ容量２１３を経た後、電圧Ｖｄｉｆｆとしてコンパレータ２１４の第１入力である反転（－）入力となる。コンパレータ２１４は、通常、差動対トランジスタによって構成される。コンパレータ２１４は、センサ制御部１０２１から与えられる閾値電圧Ｖｂを第２入力である非反転（＋）入力とし、オンイベントの検出、及び、オフイベントの検出を時分割で行う。また、オンイベント／オフイベントの検出後は、リセット回路２１５によって、ＥＶＳ画素２０のリセットが行われる。
　センサ制御部１０２１は、閾値電圧Ｖｂとして、時分割で、オンイベントを検出する段階では電圧Ｖｏｎを出力し、オフイベントを検出する段階では電圧Ｖｏｆｆを出力し、リセットを行う段階では電圧Ｖｒｅｓｅｔを出力する。電圧Ｖｒｅｓｅｔは、電圧Ｖｏｎと電圧Ｖｏｆｆとの間の値、好ましくは、電圧Ｖｏｎと電圧Ｖｏｆｆとの中間の値に設定される。ここで、「中間の値」とは、厳密に中間の値である場合の他、実質的に中間の値である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
　また、センサ制御部１０２１は、ＥＶＳ画素２０に対して、オンイベントを検出する段階ではＯＮ選択信号を出力し、オフイベントを検出する段階ではＯＦＦ選択信号を出力し、リセットを行う段階ではグローバルリセット信号（Global　Reset）を出力する。ＯＮ選択信号は、インバータ２１６と出力回路２１７との間に設けられた選択スイッチＳＷｏｎに対してその制御信号として与えられる。ＯＦＦ選択信号は、コンパレータ２１４と出力回路２１７との間に設けられた選択スイッチＳＷｏｆｆに対してその制御信号として与えられる。
　コンパレータ２１４は、オンイベントを検出する段階では、電圧Ｖｏｎと電圧Ｖｄｉｆｆとを比較し、電圧Ｖｄｉｆｆが電圧Ｖｏｎを超えたとき、光電流Ｉｐｈｏｔｏの変化量が上限の閾値を超えた旨を示すオンイベント情報Ｏｎを比較結果として出力する。オンイベント情報Ｏｎは、インバータ２１６で反転された後、選択スイッチＳＷｏｎを通して出力回路２１７に供給される。
　コンパレータ２１４は、オフイベントを検出する段階では、電圧Ｖｏｆｆと電圧Ｖｄｉｆｆとを比較し、電圧Ｖｄｉｆｆが電圧Ｖｏｆｆを下回ったとき、光電流Ｉｐｈｏｔｏの変化量が下限の閾値を下回った旨を示すオフイベント情報Ｏｆｆを比較結果として出力する。オフイベント情報Ｏｆｆは、選択スイッチＳＷｏｆｆを通して出力回路２１７に供給される。
　リセット回路２１５は、リセットスイッチＳＷＲＳ、２入力ＯＲ回路２１５１、及び、２入力ＡＮＤ回路２１５２を有する構成となっている。リセットスイッチＳＷＲＳは、コンパレータ２１４の反転（－）入力端子と出力端子との間に接続されており、オン（閉）状態となることで、反転入力端子と出力端子との間を選択的に短絡する。
　ＯＲ回路２１５１は、選択スイッチＳＷｏｎを経たオンイベント情報Ｏｎ、及び、選択スイッチＳＷｏｆｆを経たオフイベント情報Ｏｆｆを２入力とする。ＡＮＤ回路２１５２は、ＯＲ回路２１５１の出力信号を一方の入力とし、センサ制御部１０２１から与えられるグローバルリセット信号を他方の入力とし、オンイベント情報Ｏｎ又はオフイベント情報Ｏｆｆのいずれかが検出され、グローバルリセット信号がアクティブ状態のときに、リセットスイッチＳＷＲＳをオン（閉）状態とする。
　このように、ＡＮＤ回路２１５２の出力信号がアクティブ状態となることで、リセットスイッチＳＷＲＳは、コンパレータ２１４の反転入力端子と出力端子との間を短絡し、ＥＶＳ画素２０に対して、グローバルリセットを行う。これにより、イベントが検出されたＥＶＳ画素２０だけについてリセット動作が行われる。
　出力回路２１７は、オフイベント出力トランジスタＮＭ１、オンイベント出力トランジスタＮＭ２、及び、電流源トランジスタＮＭ３を有する構成となっている。オフイベント出力トランジスタＮＭ１は、そのゲート部に、オフイベント情報Ｏｆｆを保持するためのメモリ（図示せず）を有している。このメモリは、オフイベント出力トランジスタＮＭ１のゲート寄生容量から成る。
　オフイベント出力トランジスタＮＭ１と同様に、オンイベント出力トランジスタＮＭ２は、そのゲート部に、オンイベント情報Ｏｎを保持するためのメモリ（図示せず）を有している。このメモリは、オンイベント出力トランジスタＮＭ２のゲート寄生容量から成る。
　読出し段階において、オフイベント出力トランジスタＮＭ１のメモリに保持されたオフイベント情報Ｏｆｆ、及び、オンイベント出力トランジスタＮＭ２のメモリに保持されたオンイベント情報Ｏｎは、センサ制御部１０２１から電流源トランジスタＮＭ３のゲート電極に行選択信号が与えられることで、画素アレイ部１０１の画素行毎に、出力ラインｎＲｘＯｆｆ及び出力ラインｎＲｘＯｎを通して読出し回路１３０に転送される。読出し回路１３０は、例えば、ＥＶＳ信号処理回路１０３Ｂ（図４参照）内に設けられる回路である。
　上述したように、回路構成例１に係るＥＶＳ画素２０は、１つのコンパレータ２１４を用いて、センサ制御部１０２１による制御の下に、オンイベントの検出、及び、オフイベントの検出を時分割で行うイベント検出機能を有する構成となっている。
　１．１２．２　回路構成例２
　回路構成例２に係るＥＶＳ画素２０－２のアドレスイベント検出回路２１０は、コンパレータを２つ用いて、オンイベントの検出、及び、オフイベントの検出を並行して（同時に）行う例である。回路構成例２に係るＥＶＳ画素２０の回路図を図１６に示す。
　図１６に示すように、回路構成例２に係るアドレスイベント検出回路２１０は、オンイベントを検出するためのコンパレータ２１４Ａ、及び、オフイベントを検出するためのコンパレータ２１４Ｂを有する構成となっている。このように、２つのコンパレータ２１４Ａ及びコンパレータ２１４Ｂを用いてイベント検出を行うことで、オンイベントの検出動作とオフイベントの検出動作とを並行して実行することができる。その結果、オンイベント及びオフイベントの検出動作について、より速い動作を実現できる。
　オンイベント検出用のコンパレータ２１４Ａは、通常、差動対トランジスタによって構成される。コンパレータ２１４Ａは、光電流Ｉｐｈｏｔｏに応じた電圧Ｖｄｉｆｆを第１入力である非反転（＋）入力とし、閾値電圧Ｖｂとしての電圧Ｖｏｎを第２入力である反転（－）入力とし、両者の比較結果としてオンイベント情報Ｏｎを出力する。オフイベント検出用のコンパレータ２１４Ｂも、通常、差動対トランジスタによって構成される。コンパレータ２１４Ｂは、光電流Ｉｐｈｏｔｏに応じた電圧Ｖｄｉｆｆを第１入力である反転入力とし、閾値電圧Ｖｂとしての電圧Ｖｏｆｆを第２入力である非反転入力とし、両者の比較結果としてオフイベント情報Ｏｆｆを出力する。
　コンパレータ２１４Ａの出力端子と出力回路２１７のオンイベント出力トランジスタＮＭ２のゲート電極との間には、選択スイッチＳＷｏｎが接続されている。コンパレータ２１４Ｂの出力端子と出力回路２１７のオフイベント出力トランジスタＮＭ１のゲート電極との間には、選択スイッチＳＷｏｆｆが接続されている。選択スイッチＳＷｏｎ及び選択スイッチＳＷｏｆｆは、センサ制御部１０２１から出力されるサンプル信号によりオン（閉）／オフ（開）制御が行われる。
　コンパレータ２１４Ａの比較結果であるオンイベント情報Ｏｎは、選択スイッチＳＷｏｎを介して、オンイベント出力トランジスタＮＭ２のゲート部のメモリに保持される。オンイベント情報Ｏｎを保持するためのメモリは、オンイベント出力トランジスタＮＭ２のゲート寄生容量から成る。コンパレータ２１４Ｂの比較結果であるオフイベント情報Ｏｆｆは、選択スイッチＳＷｏｆｆを介して、オフイベント出力トランジスタＮＭ１のゲート部のメモリに保持される。オフイベント情報Ｏｆｆを保持するためのメモリは、オフイベント出力トランジスタＮＭ１のゲート寄生容量から成る。
　オンイベント出力トランジスタＮＭ２のメモリに保持されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ１のメモリに保持されたオフイベント情報Ｏｆｆは、センサ制御部１０２１から電流源トランジスタＮＭ３のゲート電極に行選択信号が与えられることで、画素アレイ部１０１の画素行毎に、出力ラインｎＲｘＯｎ及び出力ラインｎＲｘＯｆｆを通して読出し回路１３０に転送される。
　上述したように、回路構成例２に係るＥＶＳ画素２０は、２つのコンパレータ２１４Ａ及びコンパレータ２１４Ｂを用いて、センサ制御部１０２１による制御の下に、オンイベントの検出と、オフイベントの検出とを並行して（同時に）行うイベント検出機能を有する構成となっている。
　１．１２．３　回路構成例３
　回路構成例３に係るＥＶＳ画素２０－３のアドレスイベント検出回路２１０は、オンイベントのみについて検出を行う例である。回路構成例３に係るＥＶＳ画素２０の回路図を図１７に示す。
　回路構成例３に係るアドレスイベント検出回路２１０は、１つのコンパレータ２１４を有している。コンパレータ２１４は、光電流Ｉｐｈｏｔｏに応じた電圧Ｖｄｉｆｆを第１入力である反転（－）入力とし、センサ制御部１０２１から閾値電圧Ｖｂとして与えられる電圧Ｖｏｎを第２入力である非反転（＋）入力とし、両者を比較することによってオンイベント情報Ｏｎを比較結果として出力する。ここで、コンパレータ２１４を構成する差動対トランジスタとしてＮ型トランジスタを用いることで、回路構成例１（図１７参照）で用いていたインバータ２１６を不要とすることができる。
　コンパレータ２１４の比較結果であるオンイベント情報Ｏｎは、オンイベント出力トランジスタＮＭ２のゲート部のメモリに保持される。オンイベント情報Ｏｎを保持するためのメモリは、オンイベント出力トランジスタＮＭ２のゲート寄生容量から成る。オンイベント出力トランジスタＮＭ２のメモリに保持されたオンイベント情報Ｏｎは、センサ制御部１０２１から電流源トランジスタＮＭ３のゲート電極に行選択信号が与えられることで、画素アレイ部１０１の画素行毎に、出力ラインｎＲｘＯｎを通して読出し回路１３０に転送される。
　上述したように、回路構成例３に係るＥＶＳ画素２０は、１つのコンパレータ２１４を用いて、センサ制御部１０２１による制御の下に、オンイベント情報Ｏｎのみについて検出を行うイベント検出機能を有する構成となっている。
　１．１２．４　回路構成例４
　回路構成例４に係るＥＶＳ画素２０－４のアドレスイベント検出回路２１０は、オフイベントのみの検出を行う例である。回路構成例４に係るＥＶＳ画素２０の回路図を図１８に示す。
　回路構成例４に係るアドレスイベント検出回路２１０は、１つのコンパレータ２１４を有している。コンパレータ２１４は、光電流Ｉｐｈｏｔｏに応じた電圧Ｖｄｉｆｆを第１入力である反転（－）入力とし、センサ制御部１０２１から閾値電圧Ｖｂとして与えられる電圧Ｖｏｆｆを第２入力である非反転（＋）入力とし、両者を比較することによってオフイベント情報Ｏｆｆを比較結果として出力する。コンパレータ２１４を構成する差動対トランジスタとしては、Ｐ型トランジスタを用いることができる。
　コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆは、オフイベント出力トランジスタＮＭ１のゲート部のメモリに保持される。オフイベント情報Ｏｆｆを保持するメモリは、オフイベント出力トランジスタＮＭ１のゲート寄生容量から成る。オフイベント出力トランジスタＮＭ１のメモリに保持されたオフイベント情報Ｏｆｆは、センサ制御部１０２１から電流源トランジスタＮＭ３のゲート電極に行選択信号が与えられることで、画素アレイ部１０１の画素行毎に、出力ラインｎＲｘＯｆｆを通して読出し回路１３０に転送される。
　上述したように、回路構成例４に係るＥＶＳ画素２０は、１つのコンパレータ２１４を用いて、センサ制御部１０２１による制御の下に、オフイベント情報Ｏｆｆのみについて検出を行うイベント検出機能を有する構成となっている。尚、図１８の回路構成では、ＡＮＤ回路２１５２の出力信号でリセットスイッチＳＷＲＳを制御しているが、グローバルリセット信号で直接リセットスイッチＳＷＲＳを制御する構成とすることもできる。
　１．１３　レーザ光源とイメージセンサとの同期制御
　上記の回路構成例１、回路構成例２、回路構成例３、又は、回路構成例４に係るＥＶＳ画素２０を有するイメージセンサ１００を用いる電子機器１において、本実施形態では、システム制御部１０５０による制御の下に、レーザ光源１０１０とイメージセンサ１００とを同期させて制御することを特徴としている。
　レーザ光源１０１０とイメージセンサ１００とを同期させて制御することにより、被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにすることができる。被写体の動きに起因するイベント情報以外のイベント情報としては、例えば、被写体に投影されるパターンの変化や背景光に起因するイベント情報を例示することができる。被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにすることで、被写体の動きに起因するイベント情報をより確実に取得することができるとともに、イベント情報を処理するアプリケーションプロセッサにおいて、混在した状態のイベント情報を分離する処理を不要とすることができる。
　以下に、レーザ光源１０１０とイメージセンサ１００とを同期させて制御するための具体的な実施例について説明する。この同期制御は、図２及び図３に示すシステム制御部１０５０による制御の下に、光源駆動部１０１１及びセンサ制御部１０２１によって行われる。
　１．１３．１　実施例１
　実施例１は、ＥＶＳ画素２０が回路構成例１（即ち、コンパレータを１つ用いて、オンイベント及びオフイベントの検出を時分割で行う例）の場合の同期制御例である。実施例１に係る同期制御の処理のフローチャートを図１９に示す。
　センサ制御部１０２１は、コンパレータ２１４の反転入力である電圧Ｖｄｉｆｆをグローバルリセットするとともに、コンパレータ２１４の非反転入力である閾値電圧Ｖｂを、オンイベント検出用の電圧Ｖｏｎに設定する（ステップＳ１０１）。
　電圧Ｖｄｉｆｆのグローバルリセットについては、読出し回路１３０へのイベント情報の転送後に行うようにしてもよい。また、電圧Ｖｄｉｆｆのグローバルリセットについては、図１５に示すリセット回路２１５におけるリセットスイッチＳＷＲＳをオン（閉）状態にすることによって行われる。これらの点については、後述する各実施例においても同じである。
　次に、光源部であるレーザ光源１０１０から被写体（測定対象物）に対してあらかじめ定められたパターンの光を照射する（ステップＳ１０２）。このレーザ光源１０１０の駆動は、システム制御部１０５０による制御の下に、光源駆動部１０１１によって行われる。この点については、後述する実施例においても同じである。
　次に、センサ制御部１０２１は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ１０３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ２のゲート寄生容量である。
　次に、センサ制御部１０２１は、閾値電圧Ｖｂを、オフイベント検出用の電圧Ｖｏｆｆに設定する（ステップＳ１０４）。次に、光源駆動部１０１１は、被写体への光の照射を終了する（ステップＳ１０５）。次に、センサ制御部１０２１は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ１０６）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ１のゲート寄生容量である。
　しかる後、センサ制御部１０２１は、オンイベント出力トランジスタＮＭ２のゲート寄生容量に格納されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ１のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路１３０に転送する（ステップＳ１０７）。
　その後、システム制御部１０５０は、本動作を終了するか否かを判断し（ステップＳ１０８）、終了する場合（ステップＳ１０８のＹＥＳ）、同期制御のための一連の処理を終了し、終了しない場合（ステップＳ１０８のＮＯ）、ステップＳ１０１へリターンし、以降の動作を実行する。
　１．１３．２　実施例２
　実施例２は、ＥＶＳ画素２０が回路構成例２（即ち、コンパレータを２つ用いて、オンイベント及びオフイベントの検出を並行して行う例）の場合の同期制御例である。実施例２に係る同期制御の処理のフローチャートを図２０に示す。
　センサ制御部１０２１は、コンパレータ２１４の反転入力である電圧Ｖｄｉｆｆをグローバルリセットする（ステップＳ１２１）。次に、光源駆動部１０１１は、光源部であるレーザ光源１０１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ１２２）。
　次に、センサ制御部１０２１は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ１２３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ２のゲート寄生容量である。
　次に、光源駆動部１０１１は、被写体への光の照射を終了する（ステップＳ１２４）。次に、センサ制御部１０２１は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ１２５）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ１のゲート寄生容量である。
　しかる後、センサ制御部１０２１は、オンイベント出力トランジスタＮＭ２のゲート寄生容量に格納されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ１のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路１３０に転送する（ステップＳ１２６）。
　その後、システム制御部１０５０は、本動作を終了するか否かを判断し（ステップＳ１２７）、終了する場合（ステップＳ１２７のＹＥＳ）、同期制御のための一連の処理を終了し、終了しない場合（ステップＳ１２７のＮＯ）、ステップＳ１２１へリターンし、以降の動作を実行する。
　１．１３．３　実施例３
　実施例３は、ＥＶＳ画素２０が回路構成例３（即ち、コンパレータを１つ用いて、オンイベントのみについて検出を行う例）の場合の同期制御例である。実施例３に係る同期制御の処理のフローチャートを図２１に示す。
　センサ制御部１０２１は、コンパレータ２１４の反転入力である電圧Ｖｄｉｆｆをグローバルリセットする（ステップＳ１４１）。次に、光源駆動部１０１１は、光源部であるレーザ光源１０１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ１４２）。
　次に、センサ制御部１０２１は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ１４３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ２のゲート寄生容量である。しかる後、センサ制御部１０２１は、オンイベント出力トランジスタＮＭ２のゲート寄生容量に格納されたオンイベント情報Ｏｎを順次読出し回路１３０に転送する（ステップＳ１４４）。
　その後、システム制御部１０５０は、本動作を終了するか否かを判断し（ステップＳ１４５）、終了する場合（ステップＳ１４５のＹＥＳ）、同期制御のための一連の処理を終了し、終了しない場合（ステップＳ１４５のＮＯ）、ステップＳ１４１へリターンし、以降の動作を実行する。
　１．１３．４　実施例４
　実施例４は、ＥＶＳ画素２０が回路構成例４（即ち、コンパレータを１つ用いて、オフイベントのみについて検出を行う例）の場合の同期制御例である。実施例４に係る同期制御の処理のフローチャートを図２２に示す。
　センサ制御部１０２１は、コンパレータ２１４の反転入力である電圧Ｖｄｉｆｆをグローバルリセットする（ステップＳ１６１）。次に、光源駆動部１０１１は、光源部であるレーザ光源１０１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ１６２）。
　次に、センサ制御部１０２１は、リセットスイッチＳＷＲＳをオン状態にする（ステップＳ１６３）。次に、光源駆動部１０１１は、被写体への光の照射を終了する（ステップＳ１６４）。次に、センサ制御部１０２１は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ１６５）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ１のゲート寄生容量である。
　しかる後、センサ制御部１０２１は、オフイベント出力トランジスタＮＭ１のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路１３０に転送する（ステップＳ１６６）。
　その後、システム制御部１０５０は、本動作を終了するか否かを判断し（ステップＳ１６７）、終了する場合（ステップＳ１６７のＹＥＳ）、同期制御のための一連の処理を終了し、終了しない場合（ステップＳ１６７のＮＯ）、ステップＳ１６１へリターンし、以降の動作を実行する。
　１．１３．５　実施例５
　ここで、実施例５として、画素アレイ部１０１内にＯＮ画素２０ａとＯＦＦ画素２０ｂとが混在する場合の画素配置例を示す。本説明において、「ＯＮ画素２０ａ」は、回路構成例３に係るＥＶＳ画素２０、即ち、オンイベントのみを検出する機能を有する第１の画素である。また、「ＯＦＦ画素２０ｂ」は、回路構成例４に係るＥＶＳ画素２０、即ち、オフイベントのみを検出する機能を有する第２の画素である。
　実施例５に係るＯＮ画素２０ａ及びＯＦＦ画素２０ｂの画素配置例（その１）を図２３及び図２４に示し、画素配置例（その２）を図２５及び図２６に示す。ここでは、図面の簡略化のために、Ｘ方向（行方向／水平方向）４画素×Ｙ方向（列方向／垂直方向）４画素の計１６画素の画素配置（画素配列）を図示している。画素アレイ部１０１におけるＥＶＳ画素２０の配列は、例えば、図２３～図２６に示す画素配列の繰り返しであってよい。
　図２３に示す画素配置例は、Ｘ方向及びＹ方向共に、ＯＮ画素２０ａとＯＦＦ画素２０ｂとが交互に配置された構成となっている。図２４に示す画素配置例は、Ｘ方向２画素×Ｙ方向２画素の計４画素をブロック（単位）とし、Ｘ方向及びＹ方向共に、ＯＮ画素２０ａのブロックとＯＦＦ画素２０ｂのブロックとが交互に配置された構成となっている。
　図２５に示す画素配置例は、計１６画素のうち、真ん中の４画素をＯＦＦ画素２０ｂとし、その周りの１２画素をＯＮ画素２０ａとした配置構成となっている。図２６に示す画素配置例は、計１６画素の画素配置において、奇数列及び偶数行の各画素をＯＮ画素２０ａとし、残りの画素をＯＦＦ画素２０ｂとした配置構成となっている。
　尚、ここで例示したＯＮ画素２０ａ及びＯＦＦ画素２０ｂの画素配置は一例であって、これらの画素配置に限られるものではない。
　１．１３．６　実施例６
　実施例６は、実施例５の場合の同期制御例（その１）、即ち、画素アレイ部１０１内にＯＮ画素２０ａとＯＦＦ画素２０ｂとが混在する画素配置の場合の同期制御例（その１）である。実施例６に係る同期制御の処理のフローチャートを図２７に示す。
　センサ制御部１０２１は、先ず、ＯＮ画素２０ａ及びＯＦＦ画素２０ｂを含む全画素をグローバルリセットする（ステップＳ２０１）。次に、光源駆動部１０１１は、光源部であるレーザ光源１０１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ２０２）。次に、センサ制御部１０２１は、ＯＮ画素２０ａで検出されたオンイベント情報Ｏｎをメモリに格納する（ステップＳ２０３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ２のゲート寄生容量である。
　次に、センサ制御部１０２１は、ＯＦＦ画素２０ｂのリセットスイッチＳＷＲＳをオン状態にする（ステップＳ２０４）。次に、光源駆動部１０１１は、被写体への光の照射を終了する（ステップＳ２０５）。次に、センサ制御部１０２１は、ＯＦＦ画素２０ｂで検出されたオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ２０６）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ１のゲート寄生容量である。
　しかる後、センサ制御部１０２１は、オンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆを順次読出し回路１３０に転送し（ステップＳ２０７）、次いで、イベント検出を行った画素について、コンパレータ２１４の反転入力である電圧Ｖｄｉｆｆをグローバルリセットする（ステップＳ２０８）。
　その後、システム制御部１０５０は、本動作を終了するか否かを判断し（ステップＳ２０９）、終了する場合（ステップＳ２０９のＹＥＳ）、同期制御のための一連の処理を終了し、終了しない場合（ステップＳ２０９のＮＯ）、ステップＳ２０２へリターンし、以降の動作を実行する。
　１．１３．７　実施例７
　実施例７は、実施例５の場合の同期制御例（その２）、即ち、画素アレイ部１０１内にＯＮ画素２０ａとＯＦＦ画素２０ｂとが混在する画素配置の場合の同期制御例（その２）である。実施例７に係る同期制御の処理のフローチャートを図２８に示す。
　センサ制御部１０２１は、先ず、ＯＮ画素２０ａ及びＯＦＦ画素２０ｂを含む全画素をグローバルリセットする（ステップＳ２２１）。次に、光源駆動部１０１１は、光源部であるレーザ光源１０１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ２２２）。次に、センサ制御部１０２１は、ＯＮ画素２０ａで検出されたオンイベント情報Ｏｎをメモリに格納する（ステップＳ２２３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ２のゲート寄生容量である。
　次に、センサ制御部１０２１は、出力回路２１７におけるオンイベント出力トランジスタＮＭ２のゲート寄生容量に格納されたオンイベント情報Ｏｎを順次読出し回路１３０に転送し（ステップＳ２２４）、次いで、ＯＦＦ画素２０ｂのリセットスイッチＳＷＲＳをオン状態にする（ステップＳ２２５）。
　次に、光源駆動部１０１１は、被写体への光の照射を終了する（ステップＳ２２６）。次に、センサ制御部１０２１は、ＯＦＦ画素２０ｂで検出されたオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ２２７）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ１のゲート寄生容量である。
　しかる後、センサ制御部１０２１は、オンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆを順次読出し回路１３０に転送し（ステップＳ２２８）、次いで、イベント検出を行った画素について、コンパレータ２１４の反転入力である電圧Ｖｄｉｆｆをグローバルリセットする（ステップＳ２２９）。
　その後、システム制御部１０５０は、本動作を終了するか否かを判断し（ステップＳ２３０）、終了する場合（ステップＳ２３０のＹＥＳ）、同期制御のための一連の処理を終了し、終了しない場合（ステップＳ２３０のＮＯ）、ステップＳ２２２へリターンし、以降の動作を実行する。
　１．１４　作用・効果
　以上のように、第１の実施形態によれば、ＲＧＢ画素１０により取得されたＲＧＢ画像と、ＥＶＳ画素２０により取得されたＥＶＳ画像との複数のセンサ情報を取得することが可能となるため、これらを用いた認識処理の精度を向上することが可能となる。例えば、上述において説明したように、ＲＧＢ画像データに加えてＥＶＳ画像データを取得することで、顔認証における写真を用いたなりすましなどの不正アクセスをより的確に判別することが可能となる。それにより、よりセキュアな認証を可能にする固体撮像装置及び認識システムを実現することが可能となる。
　また、本実施形態では、複数のセンサ情報を用いて多段の認識処理を実行することで、認識処理の精度をより向上することも可能となる。それにより、さらにセキュアな認証を可能にする固体撮像装置及び認識システムを実現することが可能となる。
　２．第２の実施形態
　次に、第２の実施形態について図面を参照して詳細に説明する。なお、以下の説明では、上述した実施形態と同様の構成については、それらを引用することで、重複する説明を省略する。
　上述した第１の実施形態では、１つのＲＧＢ画素１０に対して１つのＥＶＳ画素２０が対応付けられている場合を例に挙げた。これに対し、第２の実施形態では、１つのＥＶＳ画素２０に対して複数のＲＧＢ画素１０が対応付けられている場合を例に挙げる。
　２．１　単位画素の構成例
　まず、本実施形態に係る単位画素１１０Ａの構成例について説明する。なお、ここでは、第１の実施形態と同様に、単位画素１１０Ａが、ＲＧＢ三原色のＲＧＢ画像を取得するためのＲＧＢ画素と、赤外（ＩＲ）光のＥＶＳ画像を取得するためのＥＶＳ画素とを含む場合を例示に挙げる。また、ＲＧＢ画素１０は、例えば、ベイヤー配列に従って配列しているものとする。
　図２９は、第２の実施形態に係る単位画素の概略構成例を示す模式図である。図２９に示すように、単位画素１１０Ａは、２行２列に配列した４つのＲＧＢ画素１０に対して１つのＥＶＳ画素２０が、光の入射方向に配置された構造を備える。すなわち、本実施形態では、４つのＲＧＢ画素１０に対して１つのＥＶＳ画素２０が、単位画素１１０Ａの配列方向（平面方向）に対して垂直方向に位置されており、入射光の光路における上流側に位置する４つのＲＧＢ画素１０を透過した光が、これら４つのＲＧＢ画素１０の下流側に位置する１つのＥＶＳ画素２０に入射するように構成されている。したがって、本実施形態では、４つのＲＧＢ画素１０で構成されたベイヤー配列の単位配列とＥＶＳ画素２０との入射光の光軸が一致又は略一致している。
　２．２　単位画素の回路構成例
　図３０は、第２の実施形態に係る単位画素の概略構成例を示す回路図である。なお、図３０では、第１の実施形態において図６を用いて説明した第２の変形例に係る単位画素１１０をベースとしているが、これに限定されず、図７に例示した単位画素１１０－３をベースとすることも可能である。
　図３０に示すように、単位画素１１０Ａは、複数のＲＧＢ画素１０－１～１０－Ｎ（図３０では、Ｎは４）と、１つのＥＶＳ画素２０とを備える。このように、１つの単位画素１１０Ａが複数のＲＧＢ画素１０を備える場合、複数のＲＧＢ画素１０で１つの画素回路（リセットトランジスタ１２、浮遊拡散領域ＦＤ、増幅トランジスタ１３及び選択トランジスタ１４）を共有することが可能である（画素共有）。そこで、本実施形態では、複数のＲＧＢ画素１０－１～１０－Ｎが、リセットトランジスタ１２、浮遊拡散領域ＦＤ、増幅トランジスタ１３及び選択トランジスタ１４よりなる画素回路を共有する。すなわち、本実施形態では、共通の浮遊拡散領域ＦＤに複数の光電変換部ＰＤ１及び転送ゲート１１が接続されている。
　２．３　単位画素の断面構造例
　図３１は、第２の実施形態に係るイメージセンサの断面構造例を示す断面図である。なお、本説明では、図２９と同様に、各単位画素１１０Ａが２行２列に配列した４つのＲＧＢ画素１０と、１つのＥＶＳ画素２０とから構成されている場合を例に挙げる。また、以下の説明では、図８と同様に、単位画素１１０Ａにおける光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。さらに、以下の説明において、第１の実施形態において図８を用いて説明したイメージセンサ１００の断面構造と同様の構造については、それらを引用することで、重複する説明を省略する。
　図３１に示すように、本実施形態では、図８に例示した断面構造と同様の断面構造において、オンチップレンズ５１と、カラーフィルタ３１と、蓄積電極３７とが、２行２列の４つ（ただし、図３１では４つのうちの２つが示されている）に分割され、それにより、４つのＲＧＢ画素１０が構成されている。なお、各単位画素１１０Ａにおける４つのＲＧＢ画素１０は、ベイヤー配列の基本配列を構成していてよい。
　２．４　平面構造例
　図３２は、第２の実施形態に係る画素アレイ部の各層の平面レイアウト例を示す図であり、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。なお、図３２において、（Ａ）～（Ｄ）は、半導体基板５０の素子形成面と平行な面の平面レイアウト例を示している。
　図３２の（Ａ）～（Ｄ）に示すように、本実施形態では、１つの単位画素１１０Ａに対して、４つのオンチップレンズ５１と、４つのカラーフィルタ３１と、４つの蓄積電極３７と、１つの光電変換部ＰＤ２とが設けられている。なお、本説明において、１つの蓄積電極３７は１つのＲＧＢ画素１０に相当し、１つの光電変換部ＰＤ２は１つのＥＶＳ画素２０に相当する。
　このように、１つの単位画素１１０において、４つのＲＧＢ画素１０よりなるベイヤー配列の基本配列と１つのＥＶＳ画素２０とを入射光の進行方向に沿って配列させることで、各ＲＧＢ画素１０とＥＶＳ画素２０との入射光に対する同軸性を向上することが可能となるため、ＲＧＢ画像とＥＶＳ画像との間に発生する空間的なズレを抑制することが可能となる。それにより、異なるセンサにより取得された情報（ＲＧＢ画像及びＥＶＳ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　２．５　オンチップレンズの変形例
　上述した第２の実施形態では、１つのＲＧＢ画素１０に対して１つのオンチップレンズ５１を設けた場合を例示したが、これに限定されず、複数のＲＧＢ画素１０に対して１つのオンチップレンズを設けることも可能である。図３３は、第２の実施形態のオンチップレンズの変形例に係る画素アレイ部の各層の平面レイアウト例を示す図であり、図３２と同様に、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。
　図３３に示すオンチップレンズの変形例では、（Ａ）に示すように、複数の単位画素１１０Ａのうちの一部の単位画素１１０Ａにおいて行方向に配列する２つのオンチップレンズ５１が、２つのＲＧＢ画素１０に跨る２×１画素の１つのオンチップレンズ２５１に置き換えられている。また、図３３の（Ｂ）に示すように、オンチップレンズ２５１を共有する２つのＲＧＢ画素１０には、同じ波長成分を選択的に透過させるカラーフィルタ３１が設けられる。図３３の（Ｂ）に示す例では、左上の単位画素１１０Ａにおいて、本来ベイヤー配列における青色（Ｂ）の波長成分を選択的に透過させるカラーフィルタ３１ｂが緑色（Ｇ）の波長成分を選択的に透過させるカラーフィルタ３１ｇに置き換えられ、これにより、オンチップレンズ２５１を共有する２つのＲＧＢ画素１０のカラーフィルタ３１がカラーフィルタ３１ｇに統一されている。
　なお、このようにカラーフィルタ３１が置き換えられたＲＧＢ画素１０については、ベイヤー配列に従って本来検出すべき波長成分の画素値が、例えば、周囲の画素の画素値から補間されてよい。この画素補間には、線形補間など、種々の手法が用いられてよい。
　また、オンチップレンズの変形例では、行方向に並ぶ２つのオンチップレンズ５１が共通化された場合を例示するが、これに限定されず、列方向に並ぶ２つのオンチップレンズ５１が共通化された構成や、１つの単位画素１１０Ａに含まれる４つのオンチップレンズ５１の全てが１つのオンチップレンズに置き換えられた構成など、種々変形することも可能である。その場合、オンチップレンズを共有するＲＧＢ画素１０のカラーフィルタ３１には、同じ波長成分を選択的に透過させるカラーフィルタ３１が用いられてよい。
　さらに、隣接するＲＧＢ画素１０間でのオンチップレンズ５１の共有化は、第２の実施形態に限られず、第１の実施形態に対しても適用することが可能である。
　２．６　カラーフィルタ配列の変形例
　また、上述した実施形態及びその変形例では、カラーフィルタ３１のフィルタ配列として、ベイヤー配列を例示したが、これに限定されない。例えば、Ｘ－Ｔｒａｎｓ（登録商標）ＣＭＯＳセンサで採用されている３×３画素のカラーフィルタ配列や、４×４画素のクアッドベイヤー配列（クワドラ配列ともいう）や、ベイヤー配列にホワイトＲＧＢカラーフィルタを組み合わせた４×４画素のカラーフィルタ配列（ホワイトＲＧＢ配列ともいう）など、種々のフィルタ配列が用いられてよい。
　図３４は、第２の実施形態のカラーフィルタ配列の変形例に係る画素アレイ部の各層の平面レイアウト例を示す図であり、図３２及び図３３と同様に、（Ａ）はオンチップレンズ５１の平面レイアウト例を示し、（Ｂ）はカラーフィルタ３１の平面レイアウト例を示し、（Ｃ）は蓄積電極３７の平面レイアウト例を示し、（Ｄ）は光電変換部ＰＤ２の平面レイアウト例を示している。
　図３４に示すカラーフィルタ配列の変形例では、（Ｂ）に示すように、カラーフィルタ配列として、２×２画素のベイヤー配列における個々のカラーフィルタ３１が２×２画素に分割された、全体で４×４画素のクワドラ配列が例示されている。このようなクワドラ配列では、図３４の（Ａ）に示すように、隣接する２つのＲＧＢ画素１０でオンチップレンズ５１を共通化した場合でも、（Ｂ）に示すように、これらのＲＧＢ画素１０におけるカラーフィルタ３１が元々揃っているため、カラーフィルタ３１の配列に変更を加える必要がなく、そのため、画素補間を行う必要も存在しない。
　２．７　作用・効果
　以上のように、第２の実施形態によれば、光の入射方向に４つのＲＧＢ画素１０の４つの光電変換部ＰＤ１と１つのＥＶＳ画素２０の１つの光電変換部ＰＤ２とが配置される。そのような構成の場合でも、第１の実施形態と同様に、ＲＧＢ画像ＥＶＳ画像との複数のセンサ情報を取得することが可能となるため、これらを用いた認識処理の精度を向上することが可能となる。それにより、よりセキュアな認証を可能にする固体撮像装置及び認識システムを実現することが可能となる。
　また、第１の実施形態と同様に、複数のセンサ情報を用いて多段の認識処理を実行することで、認識処理の精度をより向上することも可能となるため、さらにセキュアな認証を可能にする固体撮像装置及び認識システムを実現することが可能となる。
　その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　３．電子機器の具体例
　ここでは、本開示の認識システムが適用され得る電子機器の具体例として、スマートフォンを例示する。本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図を図３５に示す。
　本具体例に係るスマートフォン３００は、筐体３１０の正面側に表示部３２０を備えている。また、スマートフォン３００は、筐体３１０の正面側の上方部に、発光部３３０及び受光部３４０を備えている。尚、図３５に示す発光部３３０及び受光部３４０の配置例は、一例であって、この配置例に限られるものではない。
　上記の構成のモバイル機器の一例であるスマートフォン３００において、発光部３３０として、先述した実施形態に係る電子機器１におけるレーザ光源１０１０（ＶＣＳＥＬ１０１２）を用い、受光部３４０としてイメージセンサ１００を用いるこができる。すなわち、本具体例に係るスマートフォン３００は、三次元画像取得システムとして、先述した実施形態に係る電子機器１を用いることによって作製される。
　先述した実施形態に係る電子機器１は、光源のアレイドット配置において、光源の数を増やすことなく、距離画像の解像度を上げることができる。従って、本具体例に係るスマートフォン３００は、三次元画像取得システム（顔認証システム）として、先述した実施形態に係る電子機器１を用いることで、精度の高い顔認識機能（顔認証機能）を持つことができる。
　４．移動体への応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３７は、撮像部１２０３１の設置位置の例を示す図である。
　図３７では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図３７に例示する撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等として、車両１２１００に搭載されてよい。撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等に本開示に係る技術を適用することにより、異なるセンサにより取得された情報（例えば、カラー画像及びモノクロ画像）を統合的に処理することで得られた結果の精度を向上することが可能となる。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１面において行列状に配列する複数の第１画素を備え、前記第１画素それぞれに入射した入射光の光量に基づいて画像データを生成する画像処理部と、
　前記第１面と平行な第２面において行列状に配列する複数の第２画素を備え、前記第２画素それぞれに入射した入射光の輝度変化に基づいてイベントデータを生成するイベント信号処理部と、
　を備え、前記複数の第１画素と前記複数の第２画素とは単一のチップに配置されている固体撮像装置。
（２）
　前記複数の第１画素は、有機光電変換膜を含む前記（１）に記載の固体撮像装置。
（３）
　前記複数の第１画素の少なくとも一部は、第１の方向において前記複数の第２画素とオーバーラップする前記（１）又は（２）に記載の固体撮像装置。
（４）
　前記第１の方向は、前記第１画素が配列する平面に対して垂直な方向である前記（３）に記載の固体撮像装置。
（５）
　前記第１画素は、前記入射光を光電変換する第１光電変換部を備え、
　前記第２画素は、前記入射光を光電変換する第２光電変換部を備え、
　前記第２光電変換部は、前記第１光電変換部における前記入射光の入射面と反対側の面側に配置されている
　前記（１）～（４）の何れか１つに記載の固体撮像装置。
（６）
　前記第１画素及び前記第２画素を備える第１チップと、
　前記第１画素及び前記第２画素を駆動する駆動部と、前記第１画素及び前記第２画素から画素信号を読み出す読出し部とを備える第２チップと、
　を備え、
　前記第１チップと前記第２チップとは、互いに接合されることで積層構造を備える前記単一のチップを構成する
　前記（１）～（５）の何れか１つに記載の固体撮像装置。
（７）
　前記画像処理部は、２以上の波長成分の光の光量に基づいて前記画像データを生成し、
　前記イベント信号処理部は、前記入射光の輝度が変化した第２画素の位置を示す前記イベントデータを生成する
　前記（１）～（６）の何れか１つに記載の固体撮像装置。
（８）
　前記第１画素は、前記入射光に含まれる可視光の前記光量を検出し、
　前記第２画素は、前記入射光に含まれる赤外光の輝度変化を検出する
　前記（１）～（７）の何れか１つに記載の固体撮像装置。
（９）
　前記第２画素は、前記入射光の輝度が所定の閾値を超えたことと、前記入射光の輝度が所定の閾値を下回ったこととのうちの少なくとも一方を検出する
　前記（１）～（８）の何れか１つに記載の固体撮像装置。
（１０）
　前記複数の第２画素のうちの少なくとも１つは、前記入射光の輝度が所定の閾値を超えたことを検出し、他の１つは、前記入射光の輝度が所定の閾値を下回ったことを検出する
　前記（１）～（８）の何れか１つに記載の固体撮像装置。
（１１）
　前記イベント信号処理部は、前記画像処理部における１つの前記第２画素に対して複数の前記第１画素を備える
　前記（１）～（１０）の何れか１つに記載の固体撮像装置。
（１２）
　前記（１）～（１１）の何れか１つに記載の固体撮像装置と、
　前記固体撮像装置における前記画像処理部で取得された前記画像データと、前記イベント信号処理部で取得された前記イベントデータとに基づいて認識処理を実行する認識処理部と、
　を備える認識システム。
（１３）
　所定の波長帯の光を出射する光源と、
　前記光源及び前記固体撮像装置を制御する制御部と、
　をさらに備え、
　前記第２画素は、前記所定の波長帯の光を選択的に透過させる波長選択フィルタを備え、
　前記イベント信号処理部は、前記入射光における前記所定の波長帯の光の前記輝度変化に基づいて前記イベントデータを生成し、
　前記制御部は、前記光源の発光タイミングと、前記固体撮像装置における前記イベント信号処理部の駆動タイミングとを同期するように制御する
　前記（１２）に記載の認識システム。
（１４）
　前記認識処理部は、
　　前記画像データ及び前記イベントデータのうちの１つに基づいて第１認識処理を実行し、
　　前記第１認識処理の結果と前記画像データ及び前記イベントデータのうちの他の１つとに基づいて第２認識処理を実行する
　前記（１２）又は（１３）に記載の認識システム。
　１０、１０－１～１０－Ｎ　ＲＧＢ画素
　１１　転送ゲート
　１２　リセットトランジスタ
　１３　増幅トランジスタ
　１４　選択トランジスタ
　２０　ＥＶＳ画素
　２０ａ　ＯＮ画素
　２０ｂ　ＯＦＦ画素
　３１、３１ｒ、３１ｇ、３１ｂ　カラーフィルタ
　３２　封止膜
　３３　透明電極
　３４　光電変換膜
　３５　半導体層
　３６　読出し電極
　３７　蓄積電極
　４１　ＩＲフィルタ
　４２　ｐウェル領域
　４３　ｐ型半導体領域
　４４　ｎ型半導体領域
　４５　縦型トランジスタ
　５１　オンチップレンズ
　５２　平坦化膜
　５３　絶縁層
　５４　画素分離部
　５５　固定電荷膜
　５６　層間絶縁膜
　６１～６６　配線
　１００　イメージセンサ
　１０１　画素アレイ部
　１０２Ａ　垂直駆動回路
　１０２Ｂ　水平駆動回路
　１０３Ａ　ＲＧＢ信号処理回路
　１０３ａ　ＡＣ変換回路
　１０３Ｂ　ＥＶＳ信号処理回路
　１０３ｂ　信号処理回路
　１０４Ａ　Ｘアービタ
　１０４Ｂ　Ｙアービタ
　１０５　システム制御回路
　１０８Ａ　ＲＧＢデータ処理部
　１０８Ｂ　ＥＶＳデータ処理部
　１１０　単位画素
　１３１、１３２　スイッチ回路
　１４０　画素チップ
　１５０　回路チップ
　２１０　アドレスイベント検出回路
　２１２　受光回路
　２１３　メモリ容量
　２１４、２１４Ａ、２１４Ｂ　コンパレータ
　２１５　リセット回路
　２１６　インバータ
　２１７　出力回路
　２１５１　２入力ＯＲ回路
　２１５２　２入力ＡＮＤ回路
　３００　スマートフォン
　３１０　筐体
　３２０　表示部
　３３０　発光部
　３４０　受光部
　９０１　被写体
　１０００　認識システム
　１００１　ＲＧＢセンサ部
　１００２　ＲＧＢ画像処理部
　１００３　ＥＶＳセンサ部
　１００４　イベント信号処理部
　１００５　認識処理部
　１００６　インタフェース部
　１０１０　レーザ光源
　１０１１　光源駆動部
　１０１２　ＶＣＳＥＬ
　１０２１　センサ制御部
　１０２２　受光部
　１０３０　照射レンズ
　１０４０　撮像レンズ
　１０５０　システム制御部
　１１００　アプリケーションプロセッサ
　ＬＤ１、ＬＤ２　画素駆動線
　ＮＭ１　オフイベント出力トランジスタ
　ＮＭ２　オンイベント出力トランジスタ
　ＮＭ３　電流源トランジスタ
　ＰＤ１、ＰＤ２　光電変換部
　ＳＷＲＳ　リセットスイッチ
　ＳＷＯＮ、ＳＷＯＦＦ　選択スイッチ
　ＶＳＬ、ＶＳＬ１、ＶＳＬ２　垂直信号線

Claims (14)

  1. 　第１面において行列状に配列する複数の第１画素を備え、前記第１画素それぞれに入射した入射光の光量に基づいて画像データを生成する画像処理部と、
    　前記第１面と平行な第２面において行列状に配列する複数の第２画素を備え、前記第２画素それぞれに入射した入射光の輝度変化に基づいてイベントデータを生成するイベント信号処理部と、
    　を備え、前記複数の第１画素と前記複数の第２画素とは単一のチップに配置されている固体撮像装置。
  2. 　前記複数の第１画素は、有機光電変換膜を含む請求項１に記載の固体撮像装置。
  3. 　前記複数の第１画素の少なくとも一部は、第１の方向において前記複数の第２画素とオーバーラップする請求項１に記載の固体撮像装置。
  4. 　前記第１の方向は、前記第１画素が配列する平面に対して垂直な方向である請求項３に記載の固体撮像装置。
  5. 　前記第１画素は、前記入射光を光電変換する第１光電変換部を備え、
    　前記第２画素は、前記入射光を光電変換する第２光電変換部を備え、
    　前記第２光電変換部は、前記第１光電変換部における前記入射光の入射面と反対側の面側に配置されている
    　請求項１に記載の固体撮像装置。
  6. 　前記第１画素及び前記第２画素を備える第１チップと、
    　前記第１画素及び前記第２画素を駆動する駆動部と、前記第１画素及び前記第２画素から画素信号を読み出す読出し部とを備える第２チップと、
    　を備え、
    　前記第１チップと前記第２チップとは、互いに接合されることで積層構造を備える前記単一のチップを構成する
    　請求項１に記載の固体撮像装置。
  7. 　前記画像処理部は、２以上の波長成分の光の光量に基づいて前記画像データを生成し、
    　前記イベント信号処理部は、前記入射光の輝度が変化した第２画素の位置を示す前記イベントデータを生成する
    　請求項１に記載の固体撮像装置。
  8. 　前記第１画素は、前記入射光に含まれる可視光の前記光量を検出し、
    　前記第２画素は、前記入射光に含まれる赤外光の輝度変化を検出する
    　請求項１に記載の固体撮像装置。
  9. 　前記第２画素は、前記入射光の輝度が所定の閾値を超えたことと、前記入射光の輝度が所定の閾値を下回ったこととのうちの少なくとも一方を検出する
    　請求項１に記載の固体撮像装置。
  10. 　前記複数の第２画素のうちの少なくとも１つは、前記入射光の輝度が所定の閾値を超えたことを検出し、他の１つは、前記入射光の輝度が所定の閾値を下回ったことを検出する
    　請求項１に記載の固体撮像装置。
  11. 　前記イベント信号処理部は、前記画像処理部における１つの前記第２画素に対して複数の前記第１画素を備える
    　請求項１に記載の固体撮像装置。
  12. 　請求項１に記載の固体撮像装置と、
    　前記固体撮像装置における前記画像処理部で取得された前記画像データと、前記イベント信号処理部で取得された前記イベントデータとに基づいて認識処理を実行する認識処理部と、
    　を備える認識システム。
  13. 　所定の波長帯の光を出射する光源と、
    　前記光源及び前記固体撮像装置を制御する制御部と、
    　をさらに備え、
    　前記第２画素は、前記所定の波長帯の光を選択的に透過させる波長選択フィルタを備え、
    　前記イベント信号処理部は、前記入射光における前記所定の波長帯の光の前記輝度変化に基づいて前記イベントデータを生成し、
    　前記制御部は、前記光源の発光タイミングと、前記固体撮像装置における前記イベント信号処理部の駆動タイミングとを同期するように制御する
    　請求項１２に記載の認識システム。
  14. 　前記認識処理部は、
    　　前記画像データ及び前記イベントデータのうちの１つに基づいて第１認識処理を実行し、
    　　前記第１認識処理の結果と前記画像データ及び前記イベントデータのうちの他の１つとに基づいて第２認識処理を実行する
    　請求項１２に記載の認識システム。
PCT/JP2021/032405 2020-09-16 2021-09-03 固体撮像装置及び認識システム WO2022059515A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/043,956 US20230316693A1 (en) 2020-09-16 2021-09-03 Solid-state imaging device and recognition system
JP2022550467A JPWO2022059515A1 (ja) 2020-09-16 2021-09-03
DE112021004820.1T DE112021004820T5 (de) 2020-09-16 2021-09-03 Festkörperbildgebungsvorrichtung und erkennungssystem
CN202180057018.3A CN116097444A (zh) 2020-09-16 2021-09-03 固体成像装置和识别系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020155690 2020-09-16
JP2020-155690 2020-09-16

Publications (1)

Publication Number Publication Date
WO2022059515A1 true WO2022059515A1 (ja) 2022-03-24

Family

ID=80776966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032405 WO2022059515A1 (ja) 2020-09-16 2021-09-03 固体撮像装置及び認識システム

Country Status (5)

Country Link
US (1) US20230316693A1 (ja)
JP (1) JPWO2022059515A1 (ja)
CN (1) CN116097444A (ja)
DE (1) DE112021004820T5 (ja)
WO (1) WO2022059515A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017208496A (ja) * 2016-05-20 2017-11-24 ソニー株式会社 固体撮像装置、及び、電子機器
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020066433A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
WO2020110743A1 (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389870A (zh) 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
JP7240833B2 (ja) 2018-08-01 2023-03-16 日本放送協会 撮像素子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017208496A (ja) * 2016-05-20 2017-11-24 ソニー株式会社 固体撮像装置、及び、電子機器
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020066433A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
WO2020110743A1 (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法

Also Published As

Publication number Publication date
CN116097444A (zh) 2023-05-09
US20230316693A1 (en) 2023-10-05
DE112021004820T5 (de) 2023-07-27
JPWO2022059515A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
WO2022181215A1 (ja) 固体撮像装置及び撮像システム
US11290668B2 (en) Imaging element and imaging apparatus
WO2021054183A1 (en) Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
WO2021125031A1 (ja) 固体撮像装置及び測距装置
WO2022065153A1 (ja) 固体撮像装置及び電子機器
WO2020246186A1 (ja) 撮像システム
WO2022059515A1 (ja) 固体撮像装置及び認識システム
WO2022059525A1 (ja) 固体撮像装置及び認識システム
US20220375975A1 (en) Imaging device
WO2022059499A1 (ja) 固体撮像装置及び電子機器
WO2022065186A1 (ja) 固体撮像装置及び電子機器
WO2023181657A1 (ja) 光検出装置及び電子機器
WO2023079840A1 (ja) 撮像装置および電子機器
US11997400B2 (en) Imaging element and electronic apparatus
US20230362503A1 (en) Solid imaging device and electronic device
WO2021112150A1 (en) Imaging devices and imaging apparatuses, and methods for the same
US20220021853A1 (en) Imaging element and electronic apparatus
CN118120058A (zh) 光电检测装置、电子设备和光电检测系统
CN114556574A (zh) 固态成像装置和固态成像装置的制造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869202

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550467

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21869202

Country of ref document: EP

Kind code of ref document: A1