WO2024154616A1 - 光検出装置及び電子機器 - Google Patents

光検出装置及び電子機器 Download PDF

Info

Publication number
WO2024154616A1
WO2024154616A1 PCT/JP2024/000210 JP2024000210W WO2024154616A1 WO 2024154616 A1 WO2024154616 A1 WO 2024154616A1 JP 2024000210 W JP2024000210 W JP 2024000210W WO 2024154616 A1 WO2024154616 A1 WO 2024154616A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
luminance
pixels
information
unit
Prior art date
Application number
PCT/JP2024/000210
Other languages
English (en)
French (fr)
Inventor
インディカ ボーゴダ
登志夫 寺野
拓也 工藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024154616A1 publication Critical patent/WO2024154616A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • This disclosure relates to a light detection device and an electronic device.
  • EVS event-based vision sensor
  • CMOS Complementary Metal Oxide Semiconductor
  • CIS Complementary Metal Oxide Semiconductor image sensors
  • EVS has the advantage of being able to detect events quickly and with low power consumption. Due to these characteristics, it has been proposed that EVS can be used in a variety of situations.
  • Patent Document 1 proposes a technology that uses EVS to acquire user position information and camera attitude information, etc., to generate a display image that shows the user's status.
  • EVS Because of its characteristic of detecting changes in brightness, EVS has the problem of being unable to detect objects that do not change in brightness. Specifically, EVS cannot generate grayscale images that show the brightness of stationary objects. For example, when calibrating a camera or tracking a stationary or slow-moving object, both event information from the EVS and grayscale information from the CIS are required, which leads to problems such as larger sensors and increased power consumption.
  • This disclosure was created in light of these circumstances, and provides a light detection device and electronic device that can obtain luminance information using pixels that detect changes in luminance.
  • a method for detecting an event based on an amount of change in illuminance of incident light, and detecting a noise event whose occurrence rate changes according to the illuminance of the incident light a luminance information generating unit configured to generate luminance information for each of the plurality of pixels based on the number of occurrences of the noise events for each of the plurality of pixels;
  • a light detection device is provided.
  • Each of the plurality of pixels has at least one illuminance range in which the occurrence rate of the noise events monotonically increases or decreases depending on the illuminance;
  • the luminance information generating section may generate the luminance information within the illuminance range.
  • the luminance information generating unit may generate the luminance information in a state where the illuminance of the light incident on the plurality of pixels does not change.
  • the luminance information generating section may generate the luminance information based on information on the noise event stored in the storage section for each of the plurality of pixels.
  • the luminance information generating unit may generate the luminance information when the information about the noise event stored in the storage unit satisfies a predetermined storage condition.
  • the accumulation unit counts the number of occurrences of the noise events for each of the plurality of pixels; the accumulation unit accumulates information about the noise events until a total value of the number of occurrences of the noise events counted for each of the plurality of pixels reaches a predetermined number; When the predetermined number is reached, the luminance information generating section may determine that the accumulation condition is satisfied and generate the luminance information.
  • the accumulation unit accumulates information about the noise events until either a maximum value of the number of occurrences of the noise events for each of the plurality of pixels or an average value of the number of occurrences of the noise events for each of the plurality of pixels reaches a predetermined number;
  • the luminance information generating section may determine that the accumulation condition is satisfied and generate the luminance information.
  • the accumulation unit accumulates information about noise events included in the first event frames until a total number of the first event frames reaches a predetermined number, When the predetermined number is reached, the luminance information generating section may determine that the accumulation condition is satisfied and generate the luminance information.
  • each of the plurality of pixels asynchronously detects the noise event;
  • the accumulation unit counts the number of occurrences of the noise events until a predetermined time is reached, When the predetermined time is reached, the luminance information generating section may determine that the accumulation condition is satisfied and generate the luminance information.
  • an event frame generation unit that generates a second event frame including information about the noise event detected by each of the plurality of pixels;
  • the accumulation unit counts the number of occurrences of the noise events until a total number of the second event frames reaches a predetermined number, When the predetermined number is reached, the luminance information generating section may determine that the accumulation condition is satisfied and generate the luminance information.
  • the luminance image data may have a luminance value corresponding to the illuminance for each of the plurality of pixels.
  • the luminance image generating unit may limit the luminance values of each pixel included in the luminance image data that exceed a predetermined threshold to a predetermined luminance value.
  • the luminance image generating unit may limit the luminance values of each pixel included in the luminance image data that are below a predetermined threshold to a predetermined luminance value.
  • the luminance image data may have a luminance value corresponding to the illuminance for each of the plurality of first pixels.
  • the gradation image generating section may generate the gradation image data based on the digital signals corresponding to the respective pixels.
  • the luminance image data may have a lower resolution than the gradation image data, and the luminance image data may include monochrome information, whereas the gradation image data may include at least one of monochrome information and color information.
  • the device may include an image selection unit that selectively selects and outputs the luminance image data or the gradation image data.
  • the image selection unit may select the luminance image data up to the imaging timing of the second pixels, and select the gradation image data at the imaging timing.
  • the present disclosure also provides a light detection device for generating luminance information; an information processing unit that performs a predetermined information processing based on the luminance information,
  • the light detection device includes: a plurality of pixels that detect an event based on an amount of change in illuminance of incident light and detect a noise event whose occurrence rate changes according to the illuminance of the incident light; a luminance information generating unit configured to generate the luminance information for each of the plurality of pixels based on the number of occurrences of the noise events for each of the plurality of pixels,
  • FIG. 1 is a block diagram of an electronic device according to a first embodiment of the present disclosure.
  • FIG. 1 is a block diagram of a light detection device according to a first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the internal configuration of an arbiter-type sensor.
  • FIG. 2 is a block diagram showing the internal configuration of a frame-type sensor.
  • FIG. 2 is a detailed block diagram of an event processing circuit.
  • FIG. 2 is a circuit diagram showing an example of a configuration of a logarithmic response unit, a buffer, a differentiation circuit, and a comparator.
  • FIG. 2 is a diagram showing a first example of a laminated structure of a sensor.
  • FIG. 13 is a diagram showing a second example of a laminated structure of the sensor.
  • FIG. 1 is a block diagram of an electronic device according to a first embodiment of the present disclosure.
  • FIG. 1 is a block diagram of a light detection device according to a first embodiment of the present disclosure
  • FIG. 13 is a diagram showing a third example of a laminated structure of a sensor.
  • FIG. 2 is a block diagram of a light detection device according to a modified example of the first embodiment of the present disclosure.
  • FIG. 13 is a diagram showing a first example of characteristics of a noise event output from an event detection pixel.
  • FIG. 13 is a diagram showing a second example of characteristics of a noise event output from an event detection pixel.
  • 10 is a flowchart showing the processing contents of a noise event processing unit.
  • FIG. 2 is a diagram showing the data structure of an event frame output from a frame-based sensor.
  • FIG. 13 is a diagram showing a plurality of events output from an arbiter-based sensor.
  • 13 is a diagram illustrating the data structure of a stored event frame.
  • FIG. 6 is a diagram showing an example of luminance image data output by a luminance image generating unit
  • FIG. 4A to 4C are diagrams illustrating a calibration process performed by an electronic device including a light detection device according to the first embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a schematic configuration of a hybrid sensor according to a comparative example.
  • FIG. 2 is a diagram showing an example of the configuration of a gradation pixel;
  • FIG. 11 is a block diagram showing a first example of a light detection device according to a second embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a first example of a pixel array unit according to a second embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a schematic configuration of a hybrid sensor according to a comparative example.
  • FIG. 2 is a diagram showing an example of the configuration of a gradation pixel;
  • FIG. 11 is a block diagram showing a first example of a light detection device
  • FIG. 11 is a block diagram showing a second example of a light detection device according to the second embodiment of the present disclosure.
  • FIG. 11 is a diagram showing a second example of a pixel array unit according to the second embodiment of the present disclosure.
  • 10 is a flowchart showing a shooting process of a camera including a light detection device according to a second embodiment of the present disclosure.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system; 4 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit;
  • First Embodiment 1 is a block diagram of an electronic device 1 according to a first embodiment of the present disclosure.
  • the electronic device 1 detects an event based on the amount of change in illuminance of incident light, and includes an imaging lens 11, a light detection device 2, a recording unit 3, and a control unit 4.
  • the electronic device 1 can be applied to, for example, a surveillance camera or a camera mounted on an industrial robot, but the specific use and configuration of the electronic device 1 are arbitrary.
  • the imaging lens 11 focuses the incident light and guides it to the photodetector 2.
  • the photodetector 2 photoelectrically converts the incident light to capture image data.
  • the photodetector 2 is, for example, an EVS, and generates image data including event information (hereinafter, event image data).
  • the electronic device 1 performs predetermined signal processing, such as image recognition, tracking, or analysis, on the event image data, and outputs the processed data to the recording unit 3 via the signal line 12. Alternatively, the electronic device 1 may output the event image data directly to the recording unit 3.
  • the photodetector 2 in FIG. 1 can generate luminance image data including luminance information separately from the event image data, as described below. This luminance image data is also called (pseudo) Intensity image data.
  • the recording unit 3 records the event image data and luminance image data generated by the light detection device 2.
  • the recording unit 3 may be disposed in a server connected via a network.
  • the control unit 4 instructs the light detection device 2 to generate event image data and luminance image data via the control line 13.
  • the light detection device 2 may normally generate event image data, and may generate luminance image data when explicitly instructed by the control unit 4.
  • the light detection device 2 may normally generate luminance image data, and may generate event image data when explicitly instructed by the control unit 4.
  • FIG. 2 is a block diagram of the light detection device 2 in the first embodiment of the present disclosure.
  • the light detection device 2 includes a sensor (light detection element) 20, a noise event processing unit 21, and an image generation unit 22.
  • the sensor 20 is, for example, an EVS.
  • the sensor 20 has a plurality of pixels. Each pixel detects an event based on the amount of change in the illuminance of the incident light. In addition, each pixel detects a noise event whose occurrence rate changes according to the illuminance of the incident light.
  • events based on the amount of change in the illuminance of the incident light and noise events whose occurrence rate changes according to the illuminance of the incident light may be collectively referred to as events.
  • Event information detected at any pixel in the sensor 20 is supplied to the event image generating unit 27, which will be described later, and also to the noise event processing unit 21.
  • the event information includes the pixel position where the event was detected, the polarity of the event, the time the event was detected, etc.
  • the sensor 20 can be of an arbiter type or a frame type.
  • An arbiter type sensor asynchronously outputs event information detected at any pixel of the sensor 20.
  • a frame type sensor detects events for each pixel at any timing, and outputs the detected event information in the form of an event frame on a frame-by-frame basis.
  • the sensor 20 may also compress the event information before outputting it.
  • the noise event processing unit 21 generates luminance information for each pixel based on the noise events that occur in each pixel of the sensor 20. Because the occurrence rate of noise events changes depending on the illuminance of the incident light, the luminance information for each pixel can be generated by counting the number of noise events that occur for each pixel.
  • the noise event processing unit 21 has a noise event accumulation unit (accumulation unit) 23 and a luminance information generation unit 24.
  • the noise event accumulation unit 23 accumulates information about a plurality of noise events for each of a plurality of pixels. For example, the noise event accumulation unit 23 counts the number of noise events that have occurred for each pixel of the sensor 20, and generates an accumulated event frame that includes a count value of the number of noise events that have occurred for each pixel of the sensor 20. Each time a new noise event occurs, the count value of the corresponding pixel in the accumulated event frame is updated.
  • An event frame generating unit 25 may be disposed before the noise event accumulation unit 23.
  • the event frame generating unit 25 generates an event frame (second event frame) including event information based on the noise event supplied from the sensor 20.
  • the luminance information generating unit 24 generates luminance information for each of the multiple pixels based on information about noise events stored in the noise event storage unit 23. Specifically, the luminance information generating unit 24 generates luminance information for each of the multiple pixels based on the number of occurrences of noise events counted for each of the multiple pixels of the sensor 20.
  • the luminance information generating unit 24 generates luminance information under conditions where the illuminance of incident light entering multiple pixels does not change. In this condition, no events based on the amount of change in the illuminance of the incident light occur, and noise events based on the illuminance of the incident light are counted in the accumulated event frame.
  • the luminance information generating unit 24 converts the noise event count value for each pixel into luminance information based on the accumulated event frame.
  • the luminance information for each pixel generated by the luminance information generating unit 24 is supplied to the image generating unit 22.
  • the image generating unit 22 has a luminance image generating unit 26 and an event image generating unit 27.
  • the luminance image generating unit 26 generates luminance image data based on the luminance information for each of the multiple pixels generated by the luminance information generating unit.
  • the luminance image data has a luminance value corresponding to the illuminance for each of the multiple pixels.
  • the luminance image data is generated based on the number of noise events that occur for each pixel.
  • the number of noise events that occur varies depending on the illuminance of the incident light, so the luminance image data can be generated from the number of noise events that occur for each pixel.
  • the event image generating unit 27 generates event image data based on the event detection result based on the amount of change in illuminance of the incident light output from the sensor 20.
  • the event image data is, for example, an image that indicates whether or not an event has been detected for each pixel.
  • the presence or absence of an event detection may be expressed, for example, as brightness so that it is easily visible to humans, or may be optimized for use in machine learning, etc.
  • the event image data may be in a form that allows the occurrence frequency or occurrence time of the event to be identified.
  • the noise event processing unit 21 is provided, for example, in an FPGA (Field Programmable Gate Array) outside the sensor 20.
  • the noise event processing unit 21 may also be provided inside the sensor 20. Details will be described later.
  • FIGS. 3A and 3B are block diagrams showing the internal configuration of the sensor 20 in FIG. 2, with FIG. 3A showing the block configuration of an arbiter-type sensor and FIG. 3B showing the block configuration of a frame-type sensor.
  • the sensor 20 shown in FIG. 3A has a pixel array section 31, a drive circuit 32, an X arbiter 33, a Y arbiter 34, and a system control section 35.
  • the pixel array section 31 has event detection pixels (first pixels) 40 arranged in groups in a first direction X and a second direction Y.
  • first direction X the left-right (horizontal) direction in FIG. 3A (FIG. 3B)
  • second direction Y the up-down (vertical) direction in FIG. 3A (FIG. 3B)
  • Each event detection pixel 40 has a photoelectric conversion element 41 and an event processing circuit 42.
  • the photoelectric conversion element 41 is, for example, a photodiode.
  • the event processing circuit 42 detects a change in the illuminance of incident light as an event based on the time change in the amount of charge photoelectrically converted by the photoelectric conversion element 41.
  • the drive circuit 32 drives each event detection pixel 40.
  • Each event detection pixel 40 performs event detection processing according to the drive signal from the drive circuit 32.
  • the X arbiter 33 determines the priority order for outputting events detected by multiple event detection pixels 40 arranged along the first direction X.
  • the Y arbiter 34 determines the priority order for outputting events detected by multiple event detection pixels 40 arranged along the second direction Y.
  • An event detection pixel 40 that detects an event requests the X arbiter 33 and Y arbiter 34 to output the detected event.
  • the X arbiter 33 and Y arbiter 34 return a signal indicating whether or not to permit the output of the event to the event detection pixel 40 that made the event output request.
  • An event detection pixel 40 that receives permission to output the event outputs the event.
  • the system control unit 35 controls each unit in the sensor 20. For example, the system control unit 35 issues instructions to the drive circuit 32 to start and end imaging.
  • the arbiter-type sensor 20 supplies event information regarding events output asynchronously by each event detection pixel 40 to the noise event processing unit 21 and the event image generation unit 27.
  • the frame-based sensor 20 outputs the event information detected asynchronously by each event detection pixel 40 in the form of an event frame on a frame-by-frame basis.
  • the sensor 20a shown in FIG. 3B has an event frame generator 36 instead of the X arbiter 33 and Y arbiter 34 in FIG. 3A.
  • the event frame generation unit 36 generates an event frame (first event frame) that compiles the event information detected asynchronously by each event detection pixel 40 in frame units.
  • the event frame includes multiple pieces of event information obtained by sequentially scanning all pixels of the pixel array unit 31.
  • the event information includes, for example, the pixel position where the event was detected, the polarity of the event, and the time when the event was detected.
  • the event frame generation unit 36 supplies the event frame to the noise event processing unit 21 and the event image generation unit 27.
  • FIG. 4 is a detailed block diagram of the event processing circuit 42.
  • the event processing circuit 42 has a logarithmic response unit 43, a buffer 44, a differentiation circuit 45, a reset control circuit 46, a comparator 47, and an output circuit 48.
  • the buffer 44, the differentiation circuit 45, the reset control circuit 46, the comparator 47, and the output circuit 48 constitute an event detection unit 49.
  • the logarithmic response unit 43 performs logarithmic conversion on the charge photoelectrically converted by the photoelectric conversion element 41 to generate a voltage signal Vlog.
  • the reason for the logarithmic conversion is to expand the dynamic range of the event detection pixel 40, which detects changes in luminance information.
  • the buffer 44 converts the voltage level of the voltage signal Vlog generated by the logarithmic response unit 43 and outputs the voltage signal Vsf.
  • the differentiation circuit 45 outputs a differentiation signal Vout that indicates the amount of voltage change per unit time of the voltage signal Vsf output from the buffer 44.
  • the reset control circuit 46 supplies the auto-zero signal XAZ to the differentiation circuit 45.
  • the auto-zero signal XAZ is a signal that instructs the differentiation circuit 45 to reset the charge stored therein.
  • the differentiation circuit 45 is initialized by the auto-zero signal XAZ.
  • Comparator 47 compares the differential signal Vout with threshold voltages Vhigh and Vlow, and outputs event detection signals COMP+ and COMP-.
  • the output circuit 48 outputs the event detection signals COMP+ and COMP- output from the comparator 47.
  • FIG. 5 is a circuit diagram showing an example of the configuration of the logarithmic response unit 43, the buffer 44, the differentiation circuit 45, and the comparator 47 in FIG. 4.
  • the logarithmic response unit 43 has a transfer unit 43a and a charge-voltage conversion unit 43b.
  • the photoelectric conversion element 41 has an anode and a cathode. Either the anode or the cathode (e.g., the cathode) is connected to the source of the transfer transistor Q1 in the transfer unit 43a, and the other (e.g., the anode) is connected to a predetermined reference voltage node such as a ground voltage.
  • a predetermined reference voltage node such as a ground voltage.
  • the transfer section 43a in the logarithmic response section 43 has a transfer transistor Q1.
  • the transfer transistor Q1 is used to switch the transfer of photocharges.
  • the source of the transfer transistor Q1 is connected to the cathode of the photoelectric conversion element 41.
  • the transfer transistor Q1 is turned on when, for example, a high-level transfer signal is applied to the gate.
  • the drain of the transfer transistor Q1 is connected to the input node n1 of the charge-voltage conversion section 43b.
  • the charge-voltage conversion unit 43b in the logarithmic response unit 43 converts the charge accumulated in the photoelectric conversion element 41 into a voltage.
  • the charge-voltage conversion unit 43b includes transistors Q2 to Q6.
  • NMOS N-channel Metal-Oxide-Semiconductor
  • PMOS P-channel Metal-Oxide-Semiconductor
  • Transistors Q2 and Q3 are cascode-connected between the power supply voltage node and the transfer transistor Q1.
  • the source of transistor Q2 is connected to the drain of transfer transistor Q1 and the gate of transistor Q4.
  • the gate of transistor Q2 is connected to the drain of transistor Q4 and the source of transistor Q5.
  • the drain of transistor Q2 is connected to the source of transistor Q3 and the gate of transistor Q5.
  • the drain of transistor Q3 is connected to the power supply voltage node.
  • the gate of transistor Q3 is connected to the output node n2 of charge-voltage conversion unit 43b, the drain of transistor Q5, and the drain of transistor Q6.
  • Transistor Q4 and transistor Q5 are cascode-connected between node n2 and the reference voltage (ground) node.
  • the source of transistor Q4 is connected to the reference voltage (ground) node.
  • Transistor Q5 is disposed between transistor Q4 and transistor Q6.
  • the source of transistor Q6 is connected to the power supply voltage node, and a bias voltage Vblog is applied to its gate.
  • Transistor Q6 adjusts the voltage level of output node n2 according to the voltage level of bias voltage Vblog.
  • the voltage signal Vlog logarithmically converted by the charge-to-voltage converter 43b is input to the buffer 44.
  • the buffer 44 includes a transistor Q7 and a transistor Q8 that are cascode-connected between a power supply voltage node and a reference voltage (ground) node.
  • a PMOS transistor for example, is used as the transistor Q7.
  • An NMOS transistor for example, is used as the transistor Q8.
  • Transistor Q7 in buffer 44 forms a source follower circuit.
  • a pixel voltage Vsf corresponding to the voltage signal Vlog output from charge-voltage conversion unit 43b is output from buffer 44.
  • the voltage signal Vlog is input to the gate of transistor Q7 from output node n2 of charge-voltage conversion unit 43b.
  • the source of transistor Q7 is connected to the power supply voltage node.
  • the drain of transistor Q7 is connected to the drain of transistor Q8 and differentiation circuit 45 via output node n3 of buffer 44.
  • the source of transistor Q8 is connected to the reference voltage (ground) node.
  • a bias voltage Vbsf is applied to the gate of transistor Q8.
  • Transistor Q8 adjusts the voltage level of output node n3 according to the voltage level of bias voltage Vbsf.
  • the pixel voltage Vsf output from the buffer 44 is input to the differentiation circuit 45.
  • the buffer 44 can improve the driving force of the pixel voltage Vsf. Furthermore, by providing the buffer 44, it is possible to ensure isolation so that noise generated when the differentiation circuit 45 in the subsequent stage performs a switching operation is not transmitted to the charge-voltage conversion unit 43b.
  • the differentiation circuit 45 generates a differentiation signal Vout according to the change in the pixel voltage Vsf output by the buffer 44.
  • the differentiation circuit 45 includes a capacitor C1 and transistors Q9 to Q11.
  • NMOS transistors are used for the transistors Q9 and Q11, and for example, a PMOS transistor is used for the transistor Q10.
  • Capacitor C1 is disposed between a connection node n4 of the source of transistor Q9 and the gate of transistor Q10, and an output node n3 of buffer 44. Capacitor C1 accumulates charge based on pixel voltage Vsf supplied from buffer 44. Capacitor C1 supplies charge to the gate of transistor Q10 according to the amount of change in pixel voltage Vsf, which is the time derivative of pixel voltage Vsf.
  • Capacitor C2 is placed between the gate of transistor Q10 and the drain of transistor Q11.
  • Transistor Q9 switches whether to short the gate and drain of transistor Q10 according to auto-zero signal XAZ.
  • Auto-zero signal XAZ is a signal that indicates initialization, and for example, goes from high level to low level every time an event detection signal (described below) is output from event detection pixel 40.
  • event detection signal (described below) is output from event detection pixel 40.
  • transistor Q9 turns on, the differential signal Vout is reset to its initial value, and the charge of capacitor C2 is initialized.
  • the source of transistor Q11 is connected to the reference voltage (ground) node, and a bias voltage Vbdiff is applied to its gate.
  • Transistor Q11 adjusts the voltage level of output node n5 of differentiation circuit 45 according to the voltage level of bias voltage Vbdiff.
  • Transistors Q10 and Q11 function as an inverting circuit with connection node n4 on the gate side of transistor Q10 as the input node and connection node n5 of transistors Q10 and Q11 as the output node.
  • the differentiation circuit 45 detects the amount of change in the pixel voltage Vsf by differential calculation.
  • the amount of change in the pixel voltage Vsf indicates the amount of change in the illuminance of the light incident on the event detection pixel 40.
  • the differentiation circuit 45 supplies the differentiation signal Vout to the comparator 47 via the output node n5.
  • Comparator 47 performs a comparison operation to compare the differential signal Vout with a threshold voltage. Based on the result of the comparison operation, comparator 47 detects an event indicating that the absolute value of the amount of change in the illuminance of the incident light has exceeded the threshold voltage, and outputs an event detection signal COMP+ and an event detection signal COMP-. Comparator 47 includes transistors Q12 to Q15 and an inverter K1. For example, PMOS transistors are used as transistors Q12 and Q14. For example, NMOS transistors are used as transistors Q13 and Q15.
  • Transistors Q12 and Q13 are stacked vertically between a power supply voltage node and a reference voltage (ground) node.
  • the source of transistor Q12 is connected to the power supply voltage node.
  • the drain of transistor Q12 is connected to inverter K1 and the drain of transistor Q13.
  • the source of transistor Q13 is connected to the reference voltage (ground) node.
  • a differentiated signal Vout from differentiation circuit 45 is applied to the gate of transistor Q12.
  • a threshold voltage Vhigh is applied to the gate of transistor Q13.
  • Transistors Q12 and Q13 compare the differentiated signal Vout with the threshold voltage Vhigh. Specifically, when the differentiated signal Vout of the differentiation circuit 45 is lower than the threshold voltage Vhigh, the transistor Q12 turns on, and the event detection signal COMP+ output from the drain of the transistor Q12 via the inverter K1 becomes low level.
  • Transistors Q14 and Q15 are stacked vertically between the power supply voltage node and the reference voltage (ground) node.
  • the source of transistor Q14 is connected to the power supply voltage node.
  • the drain of transistor Q14 is connected to the output node of comparator 47 and the drain of transistor Q15.
  • the differentiated signal Vout of differentiation circuit 45 is applied to the gate of transistor Q14.
  • the threshold voltage Vlow is applied to the gate of transistor Q15.
  • Transistors Q14 and Q15 compare the differentiated signal Vout with the threshold voltage Vlow. Specifically, when the differentiated signal Vout of the differentiation circuit 45 is higher than the threshold voltage Vlow, transistor Q14 turns off, and the event detection signal COMP- output from the drain of transistor Q14 becomes low level.
  • the event detection pixel 40 can detect an increase or decrease in the illuminance of incident light as an event.
  • the photoelectric conversion element 41 When the illuminance of light incident on the event detection pixel 40 increases, the photoelectric conversion element 41 generates an electric charge (hereinafter, photocharge) according to the illuminance of the incident light, and the voltage of the input node n1 connected to the cathode of the photoelectric conversion element 41 decreases.
  • the output voltage Vlog of the charge-voltage conversion unit 43b increases and the pixel voltage Vsf of the buffer 44 decreases.
  • the differential signal Vout output from the differentiation circuit 45 increases according to the amount of decrease in the pixel voltage Vsf, and when it exceeds the threshold voltage Vhigh, a low-level event detection signal COMP+ is output.
  • a low-level event detection signal COMP+ indicates that the increase in the illuminance of the incident light exceeds the threshold value determined by the threshold voltage Vhigh.
  • a low-level event detection signal COMP- indicates that the amount of decrease in the illuminance of the incident light is below the threshold value determined by the threshold voltage Vlow.
  • an event has polarity information indicating whether the luminance of the incident light is positive or negative.
  • the event detection signal COMP+ and the event detection signal COMP- are collectively referred to as the event detection signal COMP.
  • the event detection pixel 40 does not need to detect both the event detection signal COMP+ and the event detection signal COMP-, but may detect either one.
  • the transistors Q14 and Q15 may be removed from the comparator 47, and the comparator 47 may be configured to output only the event detection signal COMP+. In this case, only the increase in the illuminance of the light incident on the photoelectric conversion element 41 is detected.
  • the transistors Q12 and Q13 and the inverter K1 may be removed from the comparator 47.
  • the event detection pixel 40 detects only the decrease in the illuminance of the light from the photoelectric conversion element 41, and outputs the event detection signal COMP-.
  • the event detection pixel 40 detects a low-level event detection signal COMP due to an increase or decrease in the illuminance of incident light.
  • a low-level event detection signal COMP may also be detected due to factors other than an increase or decrease in the illuminance of incident light.
  • the transistors Q2 and Q4 in the charge-to-voltage converter 43b form a loop circuit. This loop circuit becomes a negative feedback circuit under certain conditions such as illuminance, and oscillates the voltage signal Vlog. This may result in the detection of a low-level event detection signal COMP.
  • the detection of a low-level event detection signal COMP that is not caused by an increase or decrease in the illuminance of incident light is referred to as the detection of a noise event.
  • the sensor 20 can also be configured, for example, with two stacked chips.
  • FIG. 6A is a diagram showing a first example of the stacked structure of the sensor 20.
  • This sensor 20 comprises a pixel chip 51 and a logic chip 52 stacked on the pixel chip 51. These chips are bonded together by vias or the like. Note that in addition to vias, they can also be bonded together by Cu-Cu bonding or bumps.
  • the pixel chip 51 is provided with, for example, the photoelectric conversion element 41 and part of the event processing circuit 42 (for example, the transfer unit 43a and the charge-voltage conversion unit 43b).
  • the logic chip 52 is provided with, for example, the remaining part of the event processing circuit 42 (for example, the event detection unit 49), the drive circuit 32, the system control unit 35, (in the case of the arbiter method) the X arbiter 33 and Y arbiter 34, and (in the case of the frame method) the event frame generation unit 36.
  • the sensor 20 may be composed of three or more stacked chips.
  • FIG. 6B is a diagram showing a second example of the stacked structure of the sensor 20.
  • a first chip (pixel chip) 53, a second chip 54, and a third chip 55 are stacked.
  • the first chip 53 for example, a photoelectric conversion element 41 and a transfer unit 43a are arranged.
  • the second chip 54 for example, a charge-voltage conversion unit 43b is arranged.
  • the third chip 55 like the logic chip 52 in FIG. 6A, an event detection unit 49, a drive circuit 32, a system control unit 35, an X arbiter 33 and a Y arbiter 34, and an event frame generation unit 36 are arranged.
  • the sensor 20b in FIG. 6B has a configuration in which the charge-voltage conversion unit 43b has been removed from the first chip 53 and placed on the second chip 54. This ensures that the area of the photoelectric conversion element 41 is sufficient in the first chip 53, and that the area of the charge-voltage conversion unit 43b is sufficient in the second chip 54, even when the chip area is miniaturized.
  • the sensor 20 may have a structure in which two or more pixel chips are stacked.
  • FIG. 6C is a diagram showing a third example of a stacked structure of the sensor 20.
  • a first pixel chip 56 and a second pixel chip 57 are stacked instead of the pixel chip 51 of FIG. 6A.
  • An event detection pixel 40 that responds to infrared light is disposed on the second pixel chip 57.
  • a CIS pixel (described below) that responds to visible light is disposed on the first pixel chip 56.
  • the first pixel chip 56 needs to be formed of a material that transmits infrared light.
  • FIG. 2 shows an example in which the noise event processing unit 21 is provided separately from the sensor 20, but the noise event processing unit 21 may be provided inside the sensor 20.
  • FIG. 7 is a block diagram of a light detection device 2 according to a modified example of the first embodiment of the present disclosure.
  • the sensor 20d in the light detection device 2a of FIG. 7 has a sensor main unit 20e and a noise event processing unit 21.
  • the sensor main unit 20e has a block configuration similar to that of FIG. 3A or FIG. 3B.
  • FIG. 8A is a diagram showing a first example of the characteristics of a noise event output from an event detection pixel 40, with the horizontal axis representing the illuminance of incident light and the vertical axis representing the occurrence rate of noise events.
  • the occurrence rate En of noise events in the sensor 20 increases and decreases according to the illuminance.
  • the occurrence rate En of noise events increases monotonically in the first illuminance range A1 until the illuminance reaches a predetermined reference value Lth.
  • the occurrence rate En of noise events decreases monotonically in the second illuminance range A2 where the illuminance exceeds the reference value Lth.
  • the luminance information generating unit 24 can generate luminance information that corresponds to the illuminance of the light incident on the event detection pixel 40.
  • the luminance information generating unit 24 can generate luminance information in an illuminance range (e.g., the first illuminance range A1) in which the noise event occurrence rate changes monotonically.
  • the occurrence rate of noise events in the sensor 20 may have characteristics that are more complex than those shown in FIG. 8A.
  • FIG. 8B is a diagram showing a second example of the characteristics of noise events output from the event detection pixel 40.
  • the illuminance ranges in which the occurrence rate of noise events monotonically decreases with increasing illuminance e.g., the third illuminance range A3 and the fourth illuminance range A4 in FIG. 8B
  • the illuminance can be uniquely identified from the occurrence rate of noise events.
  • each event detection pixel 40 detects noise events at an occurrence rate according to the illuminance, regardless of whether the illuminance of the incident light changes. For example, when the illuminance of the incident light is within the first illuminance range A1, the occurrence rate of noise events at each event detection pixel 40 increases as the illuminance increases. By counting the number of noise events that occur and converting the count value into luminance information, luminance information can be generated from the noise events. Furthermore, luminance image data can be generated from the luminance information of each event detection pixel 40.
  • the noise event accumulation unit 23 in the noise event processing unit 21 accumulates noise events output from each event detection pixel 40 in the sensor 20 to generate an accumulated event frame (step S1). More specifically, the noise event accumulation unit 23 counts the number of occurrences of noise events output from each event detection pixel 40 for each event detection pixel 40. The collection of count numbers corresponding to all event detection pixels 40 in the sensor 20 constitutes the accumulated event frame. In the accumulated event frame, when a new noise event occurs, the count number at the corresponding pixel position is updated.
  • Noise events are output from each event detection pixel 40 when the illuminance does not change, and are therefore essentially unrelated to the polarity of the luminance change.
  • the event detection signals COMP+ and COMP- output from the sensor 20, which is capable of detecting the polarity of the event represent the noise event.
  • the noise event accumulation unit 23 may count the number of noise events based on either the event detection signals COMP+ and COMP-, or may count the number of noise events based on both.
  • the noise event accumulation unit 23 determines whether the accumulation condition is met each time the count number is updated (step S2).
  • the noise event accumulation unit 23 may set the accumulation condition to be that the total number of occurrences of noise events counted for each of the multiple event detection pixels 40 reaches a predetermined number.
  • the accumulation condition may be that either the maximum number of occurrences of noise events for each of the multiple event detection pixels 40 or the average number of occurrences of noise events for each of the multiple event detection pixels 40 reaches a predetermined number.
  • the noise event accumulation unit 23 repeats the processes of steps S1 and S2 until the accumulation condition is met, and updates the count value of the number of noise events that have occurred in each event detection pixel 40 in the accumulated event frame.
  • step S3 the luminance information generation unit 24 generates luminance information for each event detection pixel 40 (step S3).
  • step S3 the count number for each event detection pixel 40 stored in the stored event frame is converted into a luminance value that represents the luminance information.
  • the luminance information generating unit 24 may limit the luminance value generated in step S3 (step S4).
  • the luminance information generated in step S3 may be limited to a predetermined luminance value. This makes it possible to prevent white spots from appearing at pixel positions where events are more likely to occur, improving the image quality of the luminance image data.
  • the luminance information generating unit 24 may also limit the luminance information to a predetermined luminance value for pixels where events are unlikely to occur, to prevent the occurrence of black spots.
  • the luminance information generated in step S3 may be limited to a predetermined luminance value.
  • the luminance image generating unit 26 in the image generating unit 22 generates luminance image data including the luminance value generated in step S3 or S4 for each event detection pixel 40 (step S5).
  • FIG. 10 is a diagram showing the data structure of an event frame output from a frame-based sensor 20.
  • the event frame generating unit 36 in the sensor 20 outputs an event frame 61 shown in FIG. 10 at a predetermined timing.
  • the event frame 61 has multiple event data 61a for each event detection pixel 40, including information about noise events detected asynchronously by the multiple event detection pixels 40.
  • the event frame 61 has m ⁇ n event data 61a. Note that the arrangement of the event data 61a is not limited to that shown in FIG. 10. Since each event data 61a in the event frame 61 is arranged at a corresponding pixel position, the event data 61a does not need to include information about the pixel position, and only needs to include information about the occurrence or non-occurrence of a noise event.
  • the frame-based sensor 20 supplies noise event information to the noise event processing unit 21 in units of event frames 61.
  • the noise event accumulation unit 23 in the noise event processing unit 21 counts the number of noise events that occur for each event detection pixel 40 based on each event data 61a in the event frame 61 sent from the sensor 20, and generates an accumulated event frame.
  • the noise event accumulation unit 23 may set an accumulation condition that the total number of event frames 61 transmitted from the sensor 20 reaches a predetermined number.
  • FIG. 11 is a diagram showing multiple events output from an arbiter-based sensor 20.
  • each of the multiple event detection pixels 40 in the sensor 20 detects a noise event asynchronously.
  • FIG. 11 shows an example in which the arbiter-based sensor outputs, for example, event data 62a, 62b, and 62c.
  • the event data 62a, 62b, and 62c each include the following information: xa, xb, xc: X addresses indicating the detection position (eg, pixel position) of a noise event. ya, yb, yc: Y address indicating the detection position (eg, pixel position) of the noise event. ta, tb, tc: Time information (timestamp) indicating the time when the noise event was detected. pa, pb, pc: Polarity information of the noise event.
  • the noise event accumulation unit 23 updates the count value of the number of occurrences of noise events corresponding to the pixel positions of the event data, and generates accumulated event frame data.
  • the noise event accumulation unit 23 may set the accumulation condition as being that a predetermined time has elapsed since the sensor 20 began to detect a noise event.
  • the noise event processing unit 21 may include an event frame generating unit 25 that generates an event frame based on event data output asynchronously from the arbiter-type sensor 20.
  • the event frame generating unit 25 generates an event frame based on the event data output from the arbiter-type sensor for each predetermined period.
  • the event frame generation unit 25 performs the same process as the event frame generation unit 36 in FIG. 3B. Therefore, the noise event accumulation process performed by the noise event accumulation unit 23 is also the same as steps S1 and S2 in FIG. 9. In addition, the noise event accumulation unit 23 may set the accumulation condition as being that the total number of event frames generated by the event frame generation unit 25 reaches a predetermined number.
  • FIG. 12 is a diagram showing the data structure of an accumulated event frame.
  • the accumulated event frame 63 is divided into multiple pixel data 63a corresponding to each event detection pixel 40 of the sensor 20. That is, if m event detection pixels 40 are arranged in the first direction X and n event detection pixels 40 are arranged in the second direction Y of the pixel array section 31, the accumulated event frame 63 also has m pixel data 63a arranged in the first direction X and n pixel data 63a arranged in the second direction Y.
  • Each pixel data 63a is assigned a count value of the number of noise events that have occurred in the corresponding event detection pixel 40.
  • the count value of the corresponding pixel data 63a is updated each time a new noise event occurs until the accumulation condition is met.
  • the noise event accumulation unit 23 may generate a two-dimensional array of accumulated event frames as shown in FIG. 12 from a one-dimensional array of event frame data as shown in FIG. 10.
  • the event frame generation unit 25 may also convert the one-dimensional array of event frame data as shown in FIG. 10 into a two-dimensional array of event frame data and supply it to the noise event accumulation unit 23.
  • FIG. 13 is a diagram showing an example of luminance image data output by the luminance image generating unit 26. As shown in FIG. 13, the higher the occurrence rate of noise events, the higher the luminance of the image obtained.
  • FIG. 14 is a diagram illustrating the calibration process performed by an electronic device equipped with a light detection device 2 in the first embodiment of the present disclosure.
  • the electronic device 1a shown in FIG. 14 performs a calibration process of the light detection device 2 based on the luminance image data of the object A generated by the light detection device 2.
  • the electronic device 1a includes the light detection device 2 and an information processing unit 71.
  • the information processing unit 71 has a calibration processing unit 72.
  • the calibration processing unit 72 performs a calibration process of the light detection device 2 based on the luminance image data.
  • the light detection device 2 generates luminance image data of the object A based on the noise events generated in each event detection pixel 40 of the sensor 20, and supplies the data to the calibration processing unit 72.
  • the calibration processing unit 72 performs calibration processing of the light detection device 2 based on the luminance image data. Examples of calibration processing include correction processing for distortion of the event image data output by the light detection device 2, adjustment of the angle of view, alignment when attaching a lens to the sensor, adjustment of the lens angle, or adjustment of the focal length.
  • electronic device 1a equipped with light detection device 2 can generate luminance image data in light detection device 2 that originally generates event image data, making it possible to reduce the size and cost of electronic device 1a.
  • FIG. 15 is a block diagram showing a schematic configuration of a hybrid sensor according to a comparative example.
  • the photodetection device 100 shown in FIG. 15 includes a plurality of event detection pixels 40, a plurality of gradation pixels 80, an analog-to-digital conversion unit 83, a gradation image generation unit 26a, and an event image generation unit 27 in a pixel array unit 31a.
  • the gradation pixel 80 includes a photoelectric conversion element 81 and a pixel circuit 82.
  • the pixel circuit 82 generates a pixel signal based on the charge accumulated in the photoelectric conversion element 81.
  • the analog-to-digital conversion unit 83 converts the pixel signal into a digital pixel signal.
  • the gradation image generation unit 26a generates gradation image data based on the digital pixel signal. This gradation image data is also called intensity image data.
  • the photoelectric conversion element 41, the photoelectric conversion element 81, the logarithmic response unit 43, and the pixel circuit 82 are arranged on the pixel chip 51a.
  • the event detection unit 49, the analog-to-digital conversion unit 83, the gradation image generation unit 26a, and the event image generation unit 27 are arranged on the logic chip 52a.
  • the photodetection device 100 of the comparative example uses some of the pixels in the pixel array section 31a to generate event image data, and the remaining pixels to generate gradation image data. This reduces the resolution of both the event image data and the gradation image data. To increase the resolution of the event image data and the gradation image data, the number of pixels in the pixel array section 31a must be increased, making it difficult to reduce the size and cost of the photodetection device 100.
  • an analog-to-digital converter 83 is required to perform analog-to-digital conversion of the pixel signals output from the gradation pixels 80. This increases the area of the logic chip 52a.
  • a configuration in which the event processing circuit 42 and pixel circuit 82 share one photoelectric conversion element is considered.
  • a switch that switches whether the charge photoelectrically converted by the photoelectric conversion element is supplied to the event processing circuit 42 or the pixel circuit 82, and a switching circuit for the switch are required, making the pixel configuration complicated.
  • the event processing circuit 42 and pixel circuit 82 must be provided for each pixel, so as in FIG. 15, it is not possible to improve the resolution of the event image data and gradation image data.
  • an analog-to-digital conversion unit 83 is required downstream of the pixel circuit 82.
  • binning processing is also required.
  • the photodetection device 2 disclosed herein is capable of generating luminance image data in addition to event image data using the event detection pixels 40. This simplifies the pixel configuration and enables luminance image data with higher resolution to be generated at lower cost than existing hybrid sensors. In addition, because the photodetection device 2 disclosed herein does not have a hybrid configuration, there is no need to perform binning processing, and signal processing after event detection can be simplified.
  • the analog-to-digital converter 83 can be omitted. This allows the area of the pixel chip 51 and logic chip 52 to be reduced compared to the photodetector 100 of the comparative example.
  • the photodetection device 2 can also generate gradation image data from pixels for EVS (event detection pixels 40). In this case, the photodetection device 2 can generate gradation image data without analog-to-digital conversion. This allows the photodetection device 2 to generate gradation image data with lower power consumption than the photodetection device 100 of the comparative example that uses pixels for CIS (gradation pixels 80).
  • the first embodiment of the present disclosure focuses on the property of the EVS sensor to output a number of noise events that occur according to the illuminance, even if there is no change in luminance.
  • the light detection device 2 of the first embodiment of the present disclosure counts the number of noise events that occur in each pixel, and generates luminance information for each pixel based on the counting results. This makes it possible to generate luminance image data using only the EVS sensor. Therefore, there is no need to provide an image sensor such as a CIS sensor in addition to the EVS sensor for calibrating the EVS camera, tracking stationary objects, acquiring background images for a surveillance camera, etc., and it is possible to achieve a smaller light detection device, lower costs, and lower power consumption in generating grayscale images.
  • the luminance image data can be generated using only the event detection pixels without the photodetection device 2 being configured as a hybrid, but the photodetection device 2 may be configured as a hybrid, and gradation image data may be generated by the gradation pixels 80 separately from the luminance image data generated by the event detection pixels 40.
  • FIG. 16 is a diagram showing an example of the configuration of a gradation pixel 80.
  • the gradation pixel (second pixel) 80 shown in FIG. 16 outputs a pixel signal based on the illuminance of incident light.
  • the gradation pixel 80 has a photoelectric conversion element 81 and a pixel circuit 82.
  • the photoelectric conversion element 81 generates a photoelectric charge based on light incident on the gradation pixel 80.
  • the pixel circuit 82 outputs a pixel signal according to the illuminance of the incident light based on the photoelectric charge generated in the photoelectric conversion element 81.
  • the pixel circuit 82 has a transfer transistor Q21, a reset transistor Q22, an amplification transistor Q23, and a selection transistor Q24.
  • the transfer transistor Q21, the reset transistor Q22, and the amplification transistor Q23 are connected to a floating diffusion (floating diffusion region/impurity diffusion region) FD.
  • the four transistors in the pixel circuit 82, the transfer transistor Q21, the reset transistor Q22, the amplification transistor Q23, and the selection transistor Q24, are configured, for example, as NMOS transistors.
  • the conductivity type of the four transistors illustrated here is arbitrary. Any of the four transistors may be configured, for example, as a PMOS transistor.
  • FIG. 16 shows an example of a pixel circuit 82 with a 4Tr configuration consisting of four transistors (Tr).
  • the number of transistors constituting the pixel circuit 82 is not limited to four.
  • a 3Tr configuration may be adopted in which the selection transistor Q24 is omitted and the amplification transistor Q23 has the function of the selection transistor Q24, or a 5Tr or more configuration may be adopted in which the number of transistors is increased as necessary.
  • the photoelectric conversion element 81 has either the cathode or the anode (e.g., the cathode) connected to the transfer transistor Q21, and the other (e.g., the anode) connected to a reference voltage node VRLD such as ground.
  • the transfer transistor Q21 is used to switch the transfer of photocharges.
  • the source of the transfer transistor Q21 is connected to the photoelectric conversion element 81, and the drain is connected to the floating diffusion FD.
  • the transfer transistor Q21 is turned on by applying a high-level transfer signal TRG (for example, the high-potential power supply VDD level described below) to the gate. This causes the photocharges accumulated in the photoelectric conversion element 81 to be transferred to the floating diffusion FD.
  • TRG for example, the high-potential power supply VDD level described below
  • the reset transistor Q22 is used to reset the amount of photocharge in the gradation pixel 80.
  • the source of the reset transistor Q22 is connected to the floating diffusion FD, and the drain is connected to a node of the high potential power supply VDD.
  • the reset transistor Q22 is turned on by applying a high level reset signal RST to the gate. This causes the charge in the floating diffusion FD to be discharged to the node of the high potential power supply VDD, resetting the floating diffusion FD.
  • the floating diffusion FD accumulates the photoelectric charge transferred from the photoelectric conversion element 81. This causes the floating diffusion FD to have a potential that corresponds to the accumulated charge.
  • the gate of the amplifier transistor Q23 is at the same potential as the floating diffusion FD and is used as the input of the source follower circuit.
  • the drain of the amplifier transistor Q23 is connected to the node of the high-potential power supply VDD, and the source is connected to the selection transistor Q24.
  • the source voltage of the amplifier transistor Q23 changes according to the potential of the floating diffusion FD.
  • the selection transistor Q24 is used to control the scanning of the gradation pixel 80.
  • a selection control signal SEL is applied to the gate of the selection transistor Q24.
  • the selection control signal SEL is at a high level, the selection transistor Q24 turns on, and a pixel signal Vimg with a voltage level corresponding to the potential of the floating diffusion FD is transmitted from the source of the selection transistor Q24 to the signal line VSL.
  • the pixel signal Vimg output from the pixel circuit 82 is input to an analog-to-digital conversion unit 83 (not shown) or the like via the signal line VSL.
  • the photoelectric conversion element 81 and part or all of the pixel circuit 82 are arranged, for example, on the pixel chip 51.
  • the photoelectric conversion element 81 and transfer transistor Q21 for example, are arranged on the first chip 53.
  • the reset transistor Q22, amplification transistor Q23, and selection transistor Q24 for example, are arranged on the second chip 54.
  • the photoelectric conversion element 81 and part or all of the pixel circuit 82 are arranged on the first pixel chip 56.
  • FIG. 17 is a block diagram showing a first example of a photodetector 2 in the second embodiment of the present disclosure.
  • the photodetector 2b shown in FIG. 17 includes a pixel array section 31b having a hybrid configuration including a plurality of event detection pixels 40 and a plurality of gradation pixels 80.
  • the photodetector 2b also includes a noise event processing section 21 similar to that in FIG. 2, a luminance image generating section 26 similar to that in FIG. 2, a gradation image generating section 26a similar to that in FIG. 15, and an image selecting section 26b.
  • the gradation pixels 80 are arranged in a pixel chip 51b.
  • a shutter control section 92 is arranged in a logic chip 52b.
  • the analog-to-digital converter 83 in FIG. 17 converts the pixel signal Vimg output by the gradation pixel 80 into a digital signal.
  • the gradation image generator 26a generates gradation image data based on the digital signal.
  • the noise event processor 21 counts the number of noise events that occur for each event detection pixel 40 and generates luminance information.
  • the luminance image generator 26 generates luminance image data based on the luminance information for each event detection pixel 40.
  • the image selector 26b alternatively selects and outputs the luminance image data generated by the luminance image generator 26 or the gradation image data generated by the gradation image generator 26a. Specifically, the image selector 26b outputs luminance image data until the imaging timing of the gradation pixel 80, and outputs gradation image data at the imaging timing of the gradation pixel 80.
  • the light detection device 2b may include a shutter operating member 91 and a shutter control unit 92.
  • the shutter operating member 91 indicates the timing of imaging the gradation pixels 80.
  • the shutter control unit 92 generates a control signal in response to the operation of the shutter operating member 91.
  • the image selection unit 26b alternatively selects and outputs either luminance image data or gradation image data based on the control signal from the shutter control unit 92.
  • Brightness image data can be generated with less power consumption than gradation image data.
  • Gradation image data can express gradations with higher resolution than luminance image data.
  • Gradation image data can also include color information as well as monochrome information.
  • the light detection device 2b according to the second embodiment can be applied to surveillance cameras, etc.
  • FIG. 18 is a diagram showing a first example of a pixel array section in the second embodiment of the present disclosure.
  • the pixel array section 31b shown in FIG. 18 is composed of a plurality of event detection pixels 40 and a plurality of gradation pixels 80 arranged to surround the event detection pixels 40.
  • the photodetector 2 in the second embodiment of the present disclosure may be configured to arbitrarily switch one pixel to an event detection pixel 40 or a gradation pixel 80.
  • FIG. 19 is a block diagram showing a second example of a photodetector 2 in the second embodiment of the present disclosure.
  • the photodetector 2c shown in FIG. 19 includes a plurality of pixels 93 in a pixel array section 31c.
  • the pixels 93 include a photoelectric conversion element 41, an event processing circuit 42, a pixel circuit 82, an analog-to-digital conversion section 83, an event readout switch 94, and a gradation readout switch 95.
  • the event readout switch 94 and the gradation readout switch 95 are disposed in a pixel chip 51c.
  • the event readout switch 94 switches whether or not an event is detected.
  • the event readout switch 94 is on, the charge accumulated in the photoelectric conversion element 41 is supplied to the event processing circuit 42.
  • the pixel 93 is used as the event detection pixel 40a.
  • the gradation readout switch 95 switches whether or not to read out the gradation.
  • the gradation readout switch 95 is on, the charge accumulated in the photoelectric conversion element 41 is supplied to the pixel circuit 82.
  • the pixel 93 is used as the gradation pixel 80a.
  • FIG. 20 is a diagram showing a pixel array section in a second embodiment of the present disclosure.
  • the pixel array section 31c shown in FIG. 20 includes a plurality of pixels 93. Each of the plurality of pixels 93 can be switched between being used as an event detection pixel 40a or a gradation pixel 80a.
  • FIG. 21 is a flowchart showing the shooting process of a camera equipped with the light detection device 2c (or the light detection device 2b) in the second embodiment of the present disclosure.
  • the camera waits for shooting (step S11).
  • the noise event processing unit 21 counts the number of noise events generated in each event detection pixel 40, and generates luminance information for each event detection pixel 40.
  • the luminance image generating unit 26 generates luminance image data based on the luminance information for each event detection pixel 40.
  • step S12 it is determined whether it is time to capture an image of the gradation pixel 80 (step S12). If it is not time to capture an image of the gradation pixel 80, the process continues to wait for capture in step S11. Whether it is time to capture an image of the gradation pixel 80 may be determined by whether the shutter operating member 91 is being operated by the photographer. If it is time to capture an image of the gradation pixel 80, the actual capture process is then performed (step S13). In step S13, the gradation image data is selected by the image selection unit 26b and displayed in the viewfinder or the like. This allows the light detection device 2c to output the captured high-definition gradation image.
  • the photodetection device 2c (or the photodetection device 2b) in the second embodiment of the present disclosure can switch between generating luminance image data based on noise events and gradation image data based on the pixel signal Vimg. This makes it possible to display luminance image data up until a specified imaging timing to reduce power consumption, and to display high-quality gradation image data at the imaging timing, thereby reducing power consumption and improving image quality.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving object, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, a robot, a construction machine, or an agricultural machine (tractor).
  • FIG. 22 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units may be, for example, an in-vehicle communication network conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores the programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled.
  • Each control unit includes a network I/F for communicating with other control units via a communication network 7010, and a communication I/F for communicating with devices or sensors inside and outside the vehicle by wired or wireless communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio/image output unit 7670, an in-vehicle network I/F 7680, and a storage unit 7690.
  • Other control units also include a microcomputer, a communication I/F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 functions as a control device for a drive force generating device for generating a drive force for the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the drive system control unit 7100 may also function as a control device such as an ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the drive motor, according to various programs. For example, information such as the battery temperature, battery output voltage, or remaining capacity of the battery is input to the battery control unit 7300 from a battery device equipped with the secondary battery 7310. The battery control unit 7300 performs calculations using these signals, and controls the temperature regulation of the secondary battery 7310 or a cooling device or the like equipped in the battery device.
  • the outside vehicle information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 is connected to the outside vehicle information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside vehicle information detection unit 7420 includes at least one of an environmental sensor for detecting the current weather or climate, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc., around the vehicle equipped with the vehicle control system 7000.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the level of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device in which multiple sensors or devices are integrated.
  • FIG. 23 shows an example of the installation positions of the imaging unit 7410 and the outside vehicle information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and the upper part of the windshield inside the vehicle cabin of the vehicle 7900.
  • the imaging unit 7910 provided on the front nose and the imaging unit 7918 provided on the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided on the side mirrors mainly acquire images of the sides of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918, which is installed on the top of the windshield inside the vehicle is primarily used to detect preceding vehicles, pedestrians, obstacles, traffic signals, traffic signs, lanes, etc.
  • FIG. 23 shows an example of the imaging ranges of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d indicates the imaging range of the imaging unit 7916 provided on the rear bumper or back door.
  • image data captured by the imaging units 7910, 7912, 7914, and 7916 are superimposed to obtain an overhead image of the vehicle 7900.
  • External information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices. These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, etc.
  • the outside-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data.
  • the outside-vehicle information detection unit 7400 also receives detection information from the connected outside-vehicle information detection unit 7420. If the outside-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the outside-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves and receives information on the received reflected waves.
  • the outside-vehicle information detection unit 7400 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface based on the received information.
  • the outside-vehicle information detection unit 7400 may perform environmental recognition processing for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the outside-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the outside vehicle information detection unit 7400 may also perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, or characters on the road surface based on the received image data.
  • the outside vehicle information detection unit 7400 may perform processing such as distortion correction or alignment on the received image data, and may also generate an overhead image or a panoramic image by synthesizing image data captured by different imaging units 7410.
  • the outside vehicle information detection unit 7400 may also perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects information inside the vehicle.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the driver's biometric information, or a microphone that collects sound inside the vehicle.
  • the biosensor is provided, for example, on the seat or steering wheel, and detects the biometric information of a passenger sitting in the seat or a driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or may determine whether the driver is dozing off.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling on the collected sound signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 according to various programs.
  • the input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by voice recognition of a voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and to instruct processing operations.
  • the memory unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc.
  • the memory unit 7690 may also be realized by a magnetic memory device such as a HDD (Hard Disc Drive), a semiconductor memory device, an optical memory device, or a magneto-optical memory device, etc.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices present in the external environment 7750.
  • the general-purpose communication I/F 7620 may implement cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced), or other wireless communication protocols such as wireless LAN (also called Wi-Fi (registered trademark)) and Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 may connect to devices (e.g., application servers or control servers) present on an external network (e.g., the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I/F 7620 may connect to a terminal located near the vehicle (e.g., a driver's, pedestrian's, or store's terminal, or an MTC (Machine Type Communication) terminal) using, for example, P2P (Peer To Peer) technology.
  • P2P Peer To Peer
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol developed for use in a vehicle.
  • the dedicated communication I/F 7630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the higher layer IEEE 1609.
  • the dedicated communication I/F 7630 typically performs V2X communication, which is a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the positioning unit 7640 performs positioning by receiving, for example, GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), and generates position information including the latitude, longitude, and altitude of the vehicle.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 7640 may determine the current position by exchanging signals with a wireless access point, or may obtain position information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • the beacon receiver 7650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current location, congestion, road closures, and travel time.
  • the functions of the beacon receiver 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals in accordance with a specific protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 controls the vehicle control system 7000 according to various programs based on information acquired through at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I/F 7660, and the in-vehicle network I/F 7680.
  • the microcomputer 7610 may calculate the control target value of the driving force generating device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and output a control command to the drive system control unit 7100.
  • the microcomputer 7610 may perform cooperative control for the purpose of realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may control the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby performing cooperative control for the purpose of automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • the microcomputer 7610 may generate three-dimensional distance information between the vehicle and objects such as surrounding structures and people based on information acquired via at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle equipment I/F 7660, and the in-vehicle network I/F 7680, and may create local map information including information about the surroundings of the vehicle's current position.
  • the microcomputer 7610 may also predict dangers such as vehicle collisions, the approach of pedestrians, or entry into closed roads based on the acquired information, and generate warning signals.
  • the warning signals may be, for example, signals for generating warning sounds or turning on warning lights.
  • the audio/image output unit 7670 transmits at least one of audio and image output signals to an output device capable of visually or audibly notifying the vehicle occupants or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by the occupants, projectors, or lamps other than these devices.
  • the display device visually displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Also, if the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced voice data or acoustic data, etc., into an analog signal and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated into one control unit.
  • each control unit may be composed of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by any control unit may be provided by another control unit.
  • a predetermined calculation process may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and multiple control units may transmit and receive detection information to each other via the communication network 7010.
  • a computer program for implementing the functions of the noise event processing unit 21 and the image generating unit 22 according to this embodiment described with reference to FIG. 2 can be implemented in any of the control units, etc.
  • a computer-readable recording medium on which such a computer program is stored can also be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, etc.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the present technology can be configured as follows. (1) a plurality of pixels that detect an event based on an amount of change in illuminance of incident light and detect a noise event whose occurrence rate changes according to the illuminance of the incident light; a luminance information generating unit configured to generate luminance information for each of the plurality of pixels based on the number of occurrences of the noise events for each of the plurality of pixels; Light detection device. (2) each of the plurality of pixels has at least one illuminance range in which the occurrence rate of the noise events monotonically increases or decreases depending on the illuminance; The luminance information generating unit generates the luminance information within the illuminance range.
  • An optical detection device as described in (1).
  • the luminance information generating unit generates the luminance information in a state where an illuminance of light incident on the plurality of pixels does not change.
  • An optical detection device according to (1) or (2).
  • a storage unit that stores information about the noise event for each of the plurality of pixels, the luminance information generating unit generates the luminance information based on information about the noise event stored in the storage unit for each of the plurality of pixels.
  • the optical detection device according to any one of (1) to (3).
  • the luminance information generating unit generates the luminance information when the information on the noise event stored in the storage unit satisfies a predetermined storage condition.
  • An optical detection device according to (4).
  • the accumulation unit counts the number of occurrences of the noise events for each of the plurality of pixels; the accumulation unit accumulates information about the noise events until a total value of the number of occurrences of the noise events counted for each of the plurality of pixels reaches a predetermined number; When the predetermined number is reached, the luminance information generating unit determines that the accumulation condition is satisfied and generates the luminance information.
  • the accumulation unit accumulates information about the noise events until either a maximum value of the number of occurrences of the noise events for each of the plurality of pixels or an average value of the number of occurrences of the noise events for each of the plurality of pixels reaches a predetermined number; When the predetermined number is reached, the luminance information generating unit determines that the accumulation condition is satisfied and generates the luminance information.
  • An optical detection device according to (5).
  • a photodetector element having the plurality of pixels and outputting a first event frame including information about the plurality of noise events asynchronously detected by the plurality of pixels,
  • the accumulation unit accumulates information about noise events included in the first event frames until a total number of the first event frames reaches a predetermined number, When the predetermined number is reached, the luminance information generating unit determines that the accumulation condition is satisfied and generates the luminance information.
  • An optical detection device according to (5).
  • Each of the plurality of pixels asynchronously detects the noise event;
  • the accumulation unit counts the number of occurrences of the noise events until a predetermined time is reached, the luminance information generating unit determines that the accumulation condition is satisfied when the predetermined time is reached, and generates the luminance information.
  • An optical detection device (10) An event frame generation unit that generates a second event frame including information about the noise event detected by each of the plurality of pixels; The accumulation unit counts the number of occurrences of the noise events until a total number of the second event frames reaches a predetermined number, When the predetermined number is reached, the luminance information generating unit determines that the accumulation condition is satisfied and generates the luminance information.
  • An optical detection device (11) A luminance image generating unit that generates luminance image data based on the luminance information for each of the plurality of pixels, The luminance image data has a luminance value corresponding to the illuminance for each of the plurality of pixels.
  • the optical detection device according to any one of (1) to (10).
  • the luminance image generating unit limits a luminance value exceeding a predetermined threshold value among the luminance values of each pixel included in the luminance image data to a predetermined luminance value.
  • An optical detection device (11).
  • the luminance image generating unit limits, among the luminance values of each pixel included in the luminance image data, a luminance value below a predetermined threshold to a predetermined luminance value.
  • the optical detection device (11) or (12).
  • a plurality of first pixels that detect an event based on an amount of change in illuminance of incident light and a noise event whose occurrence rate changes depending on the illuminance; a plurality of second pixels that output pixel signals based on the illuminance of incident light; a gradation image generating unit that generates gradation image data based on the pixel signals output from each of the plurality of second pixels, the luminance information generating unit generates the luminance information for each of the plurality of first pixels, and the luminance image data has a luminance value corresponding to the illuminance for each of the plurality of first pixels.
  • the optical detection device according to any one of (11) to (13).
  • An analog-to-digital conversion unit that converts the pixel signal into a digital signal, the gradation image generating unit generates the gradation image data based on the digital signals corresponding to each of the plurality of pixels;
  • An optical detection device (14).
  • An image selection unit that alternatively selects and outputs the luminance image data or the gradation image data.
  • the image selection unit selects the luminance image data until an imaging timing of the second pixels, and selects the gradation image data at the imaging timing.
  • An optical detection device according to (17).
  • the light detection device includes: a plurality of pixels that detect an event based on an amount of change in illuminance of incident light and detect a noise event whose occurrence rate changes according to the illuminance of the incident light; a luminance information generating unit configured to generate the luminance information for each of the plurality of pixels based on the number of occurrences of the noise events for each of the plurality of pixels, Electronics.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］輝度変化を検出する画素を用いて輝度情報を取得する。 ［解決手段］光検出装置は、入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに輝度情報を生成する輝度情報生成部と、を備える。

Description

光検出装置及び電子機器
　本開示は、光検出装置及び電子機器に関する。
　撮像シーンの中で、輝度変化などの何らかのイベントを検出するＥＶＳ（Event-based Vision Sensor）が提案されている。ＥＶＳは、所定の周期ごとに全画素をスキャンして、各画素の階調情報を取得するフレーム型ビジョンセンサ、具体的にはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ（以下、ＣＩＳ）などに比べて、低電力で高速にイベントを検出できるという特徴を備える。このような特徴から、ＥＶＳは様々な場面での活用が提案されている。例えば、特許文献１では、ＥＶＳを用いてユーザーの位置情報とカメラの姿勢情報などを取得して、ユーザーの状態を表す表示画像を生成する技術が提案されている。
特開２０２２―１６２７０３号公報
　ＥＶＳは、輝度変化を検出するという特性上、輝度変化がない物体を検出できないという課題がある。具体的には、ＥＶＳは、静止している物体の輝度を示す階調画像を生成することができない。例えばカメラのキャリブレーションを行う場合、あるいは静止又は動作が遅い物体のトラッキングを行う場合においては、ＥＶＳによるイベント情報とＣＩＳによる階調情報の両方が必要になり、センサの大型化と消費電力の増大等の問題が発生する。
　本開示はこのような状況に鑑みて生み出されたものであり、輝度変化を検出する画素を用いて輝度情報を取得可能な光検出装置及び電子機器を提供するものである。
　上記の課題を解決するために、本開示によれば、入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、
　前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに輝度情報を生成する輝度情報生成部と、を備える、
　光検出装置が提供される。
　前記複数の画素のそれぞれは、照度に応じて前記ノイズイベントの発生率が単調に増加又は減少する少なくとも１つの照度範囲を有し、
　前記輝度情報生成部は、前記照度範囲で前記輝度情報を生成してもよい。
　前記輝度情報生成部は、前記複数の画素に入射される入射光の照度が変化しない状況で前記輝度情報を生成してもよい。
　前記複数の画素のそれぞれごとに、前記ノイズイベントに関する情報を蓄積する蓄積部をさらに備え、
　前記輝度情報生成部は、前記複数の画素のそれぞれごとに前記蓄積部に蓄積された前記ノイズイベントに関する情報に基づいて、前記輝度情報を生成してもよい。
　前記輝度情報生成部は、前記蓄積部に蓄積された前記ノイズイベントに関する情報が所定の蓄積条件を満たす場合に、前記輝度情報を生成してもよい。
　前記蓄積部は、前記複数の画素のそれぞれごとに、前記ノイズイベントの発生数をカウントし、
　前記蓄積部は、前記複数の画素のそれぞれごとにカウントされた前記ノイズイベントの発生数の合計値が所定の数に達するまで、前記ノイズイベントに関する情報を蓄積し、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成してもよい。
　前記蓄積部は、前記複数の画素のそれぞれごとの前記ノイズイベントの発生数の最大値、又は前記複数の画素のそれぞれごとの前記ノイズイベントの発生数の平均値、のいずれか一方が、所定の数に達するまで前記ノイズイベントに関する情報を蓄積し、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成してもよい。
　前記複数の画素を有するとともに、前記複数の画素が非同期に検出した複数の前記ノイズイベントに関する情報を含む第１イベントフレームを出力する光検出素子を備え、
　前記蓄積部は、前記第１イベントフレームの合計数が所定の数になるまで、前記第１イベントフレームに含まれるノイズイベントに関する情報を蓄積し、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成してもよい。
　前記複数の画素のそれぞれは、前記ノイズイベントを非同期で検出し、
　前記蓄積部は、所定の時間に達するまで、前記ノイズイベントの発生数をカウントし、
　前記輝度情報生成部は、前記所定の時間に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成してもよい。
　前記複数の画素のそれぞれが検出した前記ノイズイベントに関する情報を含む第２イベントフレームを生成するイベントフレーム生成部を備え、
　前記蓄積部は、前記第２イベントフレームの合計数が所定の数になるまで、前記ノイズイベントの発生数をカウントし、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成してもよい。
　前記複数の画素のそれぞれについての前記輝度情報に基づいて輝度画像データを生成する輝度画像生成部をさらに備え、
　前記輝度画像データは、前記複数の画素のそれぞれごとに、前記照度に応じた輝度値を有してもよい。
　前記輝度画像生成部は、前記輝度画像データに含まれる各画素の輝度値のうち、所定の閾値を上回る輝度値を所定の輝度値に制限してもよい。
　前記輝度画像生成部は、前記輝度画像データに含まれる各画素の輝度値のうち、所定の閾値を下回る輝度値を所定の輝度値に制限してもよい。
　入射光の照度の変化量に基づくイベントと照度に応じて発生率が変化するノイズイベントとを検出する複数の第１画素と、
　入射光の照度に基づく画素信号を出力する複数の第２画素と、
　前記複数の第２画素のそれぞれから出力された前記画素信号に基づいて階調画像データを生成する階調画像生成部と、を備え、
　前記輝度情報生成部は、前記複数の第１画素のそれぞれごとに前記輝度情報を生成し、
　前記輝度画像データは、前記複数の第１画素のそれぞれごとに、前記照度に応じた輝度値を有してもよい。
　前記画素信号をデジタル信号に変換するアナログデジタル変換部を備え、
　前記階調画像生成部は、前記複数の画素のそれぞれに対応する前記デジタル信号に基づいて前記階調画像データを生成してもよい。
　前記輝度画像データは、前記階調画像データよりも解像度が低く、かつ
　前記輝度画像データはモノクロ情報を含むのに対し、前記階調画像データはモノクロ情報又は色情報の少なくともいずれかを含んでもよい。
　前記輝度画像データ又は前記階調画像データを択一的に選択して出力する画像選択部を備えてもよい。
　前記画像選択部は、前記複数の第２画素の撮像タイミングまでは前記輝度画像データを選択し、前記撮像タイミングには前記階調画像データを選択してもよい。
　また、本開示によれば、輝度情報を生成する光検出装置と、
　前記輝度情報に基づいて所定の情報処理を行う情報処理部と、を備える電子機器であって、
　前記光検出装置は、
　入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、
　前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに前記輝度情報を生成する輝度情報生成部と、を有する、
電子機器が提供される。
本開示の第１の実施形態における電子機器のブロック図である。 本開示の第１の実施形態における光検出装置のブロック図である。 アービタ方式のセンサの内部構成を示すブロック図である。 フレーム方式のセンサの内部構成を示すブロック図である。 イベント処理回路の詳細なブロック図である。 対数応答部、バッファ、微分回路、及び比較器の一構成例を示す回路図である。 センサの積層構造の第１例を示す図である。 センサの積層構造の第２例を示す図である。 センサの積層構造の第３例を示す図である。 本開示の第１の実施形態の一変形例による光検出装置のブロック図である。 イベント検出画素から出力されるノイズイベントの特性の第１例を示す図である。 イベント検出画素から出力されるノイズイベントの特性の第２例を示す図である。 ノイズイベント処理部の処理内容を示すフローチャートである。 フレーム方式のセンサから出力されるイベントフレームのデータ構成を示す図である。 アービタ方式のセンサから出力される複数のイベントを示す図である。 蓄積イベントフレームのデータ構成を示す図である。 輝度画像生成部が出力する輝度画像データの一例を示す図である。 本開示の第１の実施形態における光検出装置を備える電子機器が行うキャリブレーション処理を説明する図である。 一比較例によるハイブリッドセンサの一概略構成を示すブロック図である。 階調画素の一構成例を示す図である。 本開示の第２の実施形態における光検出装置の第１例を示すブロック図である。 本開示の第２の実施形態における画素アレイ部の第１例を示す図である。 本開示の第２の実施形態における光検出装置の第２例を示すブロック図である。 本開示の第２の実施形態における画素アレイ部の第２例を示す図である。 本開示の第２の実施形態における光検出装置を備えたカメラの撮影処理を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照して、光検出装置及び電子機器の実施形態について説明する。以下では、光検出装置及び電子機器の主要な構成部分を中心に説明するが、光検出装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１は、本開示の第１の実施形態における電子機器１のブロック図である。この電子機器１は、入射光の照度の変化量に基づくイベントを検出するものであり、撮像レンズ１１、光検出装置２、記録部３及び制御部４を備える。電子機器１は、例えば、監視カメラ又は産業用ロボットに搭載されるカメラなどに適用可能であるが、電子機器１の具体的な用途及び構成は任意である。
　撮像レンズ１１は、入射光を集光して光検出装置２に導く。光検出装置２は、入射光を光電変換して画像データを撮像する。光検出装置２は、例えばＥＶＳであり、イベント情報を含む画像データ（以下、イベント画像データ）を生成する。電子機器１は、イベント画像データに対して、画像認識、追跡、又は分析などの所定の信号処理を実行し、その処理後のデータを記録部３に信号線１２を介して出力する。あるいは、電子機器１は、イベント画像データをそのまま記録部３に出力してもよい。また、図１の光検出装置２は、後述するように、イベント画像データとは別個に、輝度情報を含む輝度画像データを生成することができる。この輝度画像データは、（疑似）Intensity画像データとも呼ばれる。
　記録部３は、光検出装置２で生成されたイベント画像データと輝度画像データを記録する。記録部３は、ネットワークを介して接続されるサーバなどに配置されてもよい。制御部４は、制御線１３を介して光検出装置２に対して、イベント画像データと輝度画像データの生成を指示する。光検出装置２は、通常はイベント画像データを生成し、制御部４から明示的な指示があった場合に輝度画像データを生成してもよい。あるいは、光検出装置２は、通常は輝度画像データを生成し、制御部４から明示的な指示があった場合にイベント画像データを生成してもよい。
　図２は、本開示の第１の実施形態における光検出装置２のブロック図である。光検出装置２は、センサ（光検出素子）２０、ノイズイベント処理部２１、及び画像生成部２２を備える。
　センサ２０は、例えばＥＶＳである。センサ２０は、複数の画素を備える。各画素は、入射光の照度の変化量に基づくイベントを検出する。また、各画素は、入射光の照度に応じて発生率が変化するノイズイベントを検出する。本明細書では、以下、入射光の照度の変化量に基づくイベントと入射光の照度に応じて発生率が変化するノイズイベントを総称してイベントと呼ぶことがある。
　センサ２０内の任意の画素で検出されたイベント情報は、後述のイベント画像生成部２７に供給されるとともに、ノイズイベント処理部２１に供給される。イベント情報には、イベントが検出された画素位置、イベントの極性、イベントの検出時刻などが含まれる。
　センサ２０には、アービタ方式とフレーム方式がある。アービタ方式のセンサは、センサ２０の任意の画素で検出されたイベント情報を非同期に出力する。フレーム方式のセンサは、イベントの検出は画素ごとに任意のタイミングで行い、検出されたイベント情報の出力はフレーム単位でイベントフレームの形式で出力する。また、センサ２０はイベント情報を圧縮して出力してもよい。
　ノイズイベント処理部２１は、センサ２０の各画素で発生されたノイズイベントに基づいて画素ごとに輝度情報を生成する。入射光の照度に応じてノイズイベントの発生率が変化するため、画素ごとにノイズイベントの発生数をカウントすることで、画素ごとに輝度情報を生成できる。ノイズイベント処理部２１は、ノイズイベント蓄積部（蓄積部）２３と、輝度情報生成部２４とを有する。
　ノイズイベント蓄積部２３は、複数の画素のそれぞれごとに、複数のノイズイベントに関する情報を蓄積する。例えば、ノイズイベント蓄積部２３は、センサ２０の画素ごとに、ノイズイベントの発生数をカウントし、センサ２０の画素ごとに、ノイズイベントの発生数のカウント値を含む蓄積イベントフレームを生成する。蓄積イベントフレームは、新たにノイズイベントが発生するたびに、対応する画素のカウント値が更新される。
　ノイズイベント蓄積部２３の前段に、イベントフレーム生成部２５が配置されてもよい。イベントフレーム生成部２５は、センサ２０から供給されるノイズイベントに基づいて、イベント情報を含むイベントフレーム（第２イベントフレーム）を生成する。
　輝度情報生成部２４は、複数の画素のそれぞれごとにノイズイベント蓄積部２３に蓄積されたノイズイベントに関する情報に基づいて、輝度情報を生成する。具体的には、輝度情報生成部２４は、センサ２０の複数の画素のそれぞれごとにカウントされたノイズイベントの発生数に基づいて、複数の画素のそれぞれごとに輝度情報を生成する。
　輝度情報生成部２４は、複数の画素に入射される入射光の照度が変化しない状況下で、輝度情報を生成する。当該状況では、入射光の照度の変化量に基づくイベントは発生せず、蓄積イベントフレームには入射光の照度に基づくノイズイベントがカウントされる。輝度情報生成部２４は、蓄積イベントフレームに基づいて、各画素のノイズイベントのカウント値を輝度情報に変換する。輝度情報生成部２４で生成された画素ごとの輝度情報は、画像生成部２２に供給される。
　画像生成部２２は、輝度画像生成部２６とイベント画像生成部２７を有する。輝度画像生成部２６は、輝度情報生成部で生成された複数の画素のそれぞれごとについての輝度情報に基づいて、輝度画像データを生成する。輝度画像データは、複数の画素のそれぞれごとに、照度に応じた輝度値を有する。
　輝度画像データは、各画素のノイズイベントの発生数に基づいて生成されるものであるが、上述したように入射光の照度に応じてノイズイベントの発生数が変化するため、各画素のノイズイベントの発生数から輝度画像データを生成できる。
　イベント画像生成部２７は、センサ２０から出力された入射光の照度の変化量に基づくイベントの検出結果に基づいてイベント画像データを生成する。イベント画像データは、例えば、画素ごとのイベントの検出の有無を表す画像である。イベントの検出の有無は、人間が視認しやすいように、例えば輝度として表現されてもよく、あるいは機械学習等に用いられるために最適化されてもよい。また、イベント画像データは、イベントの発生頻度又は発生時刻が識別できる形態であってもよい。
　ノイズイベント処理部２１は、例えば、センサ２０外部のＦＰＧＡ（Field Programmable Gate Array）に設けられる。また、ノイズイベント処理部２１をセンサ２０内部に設けてもよい。詳しくは後述する。
　図３Ａ及び図３Ｂは図２のセンサ２０の内部構成を示すブロック図であり、図３Ａはアービタ方式のセンサ、図３Ｂはフレーム方式のセンサのブロック構成を示す。図３Ａに示すセンサ２０は、画素アレイ部３１と、駆動回路３２と、Ｘアービタ３３と、Ｙアービタ３４と、システム制御部３５とを有する。
　画素アレイ部３１は、第１方向Ｘ及び第２方向Ｙに複数ずつ配列されるイベント検出画素（第１画素）４０を有する。本明細書では、図３Ａ（図３Ｂ）の左右（水平）方向を第１方向Ｘ、図３Ａ（図３Ｂ）の上下（垂直）方向を第２方向Ｙと呼ぶ。各イベント検出画素４０は、光電変換素子４１とイベント処理回路４２を有する。光電変換素子４１は、例えばフォトダイオードである。イベント処理回路４２は、光電変換素子４１で光電変換された電荷量の時間変化に基づいて、入射光の照度の変化をイベントとして検出する。
　駆動回路３２は、各イベント検出画素４０を駆動する。各イベント検出画素４０は、駆動回路３２からの駆動信号に従って、イベントの検出処理を行う。
　Ｘアービタ３３は、第１方向Ｘに沿って配列される複数のイベント検出画素４０で検出されたイベントを出力するための優先順位を決定する。Ｙアービタ３４は、第２方向Ｙに沿って配列される複数のイベント検出画素４０で検出されたイベントを出力するための優先順位を決定する。イベントを検出したイベント検出画素４０は、Ｘアービタ３３及びＹアービタ３４に対して、検出したイベントの出力を要求する。Ｘアービタ３３及びＹアービタ３４は、イベントの出力要求を行ったイベント検出画素４０に対して、イベントの出力を許可するか否かを示す信号を返す。イベントの出力許可を受け取ったイベント検出画素４０は、イベントを出力する。
　システム制御部３５は、センサ２０内の各部を制御する。例えば、システム制御部３５は、駆動回路３２に対して、撮像の開始や終了等の指示を行う。
　アービタ方式のセンサ２０は、各イベント検出画素４０が非同期に出力するイベントに関するイベント情報をノイズイベント処理部２１とイベント画像生成部２７に供給する。
　一方、フレーム方式のセンサ２０は、各イベント検出画素４０が非同期に検出したイベント情報を、フレーム単位でイベントフレームの形式で出力する。図３Ｂに示すセンサ２０ａは、図３ＡのＸアービタ３３及びＹアービタ３４に代えて、イベントフレーム生成部３６を有する。
　イベントフレーム生成部３６は、各イベント検出画素４０が非同期に検出したイベント情報をフレーム単位にまとめたイベントフレーム（第１イベントフレーム）を生成する。イベントフレームは、画素アレイ部３１の全画素を順次にスキャンして得られる複数のイベント情報を含む。イベント情報は、例えば、イベントが検出された画素位置、イベントの極性、及びイベントの検出時刻などを含む。イベントフレーム生成部３６は、ノイズイベント処理部２１とイベント画像生成部２７にイベントフレームを供給する。
　図４はイベント処理回路４２の詳細なブロック図である。イベント処理回路４２は、対数応答部４３と、バッファ４４と、微分回路４５と、リセット制御回路４６と、比較器４７と、出力回路４８とを有する。バッファ４４と、微分回路４５と、リセット制御回路４６と、比較器４７と、出力回路４８は、イベント検出部４９を構成する。
　対数応答部４３は、光電変換素子４１で光電変換された電荷を、対数変換して電圧信号Ｖlogを生成する。対数変換する理由は、輝度情報の変化を検出するイベント検出画素４０のダイナミックレンジを広げるためである。
　バッファ４４は、対数応答部４３で生成された電圧信号Ｖlogの電圧レベルの変換を行って、電圧信号Ｖsfを出力する。
　微分回路４５は、バッファ４４から出力された電圧信号Ｖsfの単位時間あたりの電圧変化量を示す微分信号Ｖoutを出力する。
　リセット制御回路４６は、微分回路４５にオートゼロ信号ＸＡＺを供給する。オートゼロ信号ＸＡＺは、微分回路４５に蓄積されている電荷をリセットすることを指示する信号である。オートゼロ信号ＸＡＺにより、微分回路４５が初期化される。
　比較器４７は、微分信号Ｖoutを閾値電圧Ｖhigh、Ｖlowと比較して、イベント検出信号ＣＯＭＰ＋、ＣＯＭＰ－を出力する。
　出力回路４８は、比較器４７から出力されたイベント検出信号ＣＯＭＰ＋、ＣＯＭＰ－を出力する。
　図５は、図４の対数応答部４３、バッファ４４、微分回路４５、及び比較器４７の一構成例を示す回路図である。対数応答部４３は、転送部４３ａと、電荷電圧変換部４３ｂとを有する。
　光電変換素子４１は、アノード及びカソードを有する。アノード又はカソードのいずれか一方（例えば、カソード）は転送部４３ａ内の転送トランジスタＱ１のソースに接続され、他方（例えば、アノード）は、接地電圧等の所定の基準電圧ノードに接続される。
　対数応答部４３内の転送部４３ａは、転送トランジスタＱ１を有する。転送トランジスタＱ１は、光電荷の転送をスイッチングするために用いられる。転送トランジスタＱ１のソースは、光電変換素子４１のカソードに接続されている。転送トランジスタＱ１はゲートに、例えばハイレベルの転送信号を印加されることでオンする。転送トランジスタＱ１のドレインは、電荷電圧変換部４３ｂの入力ノードｎ１に接続されている。
　対数応答部４３内の電荷電圧変換部４３ｂは、光電変換素子４１に蓄積された電荷を電圧に変換する。電荷電圧変換部４３ｂは、トランジスタＱ２～Ｑ６を備える。トランジスタＱ２～Ｑ５には、例えばＮＭＯＳ（N channel Metal-Oxide-Semiconductor）トランジスタが用いられる。トランジスタＱ６には、例えばＰＭＯＳ（P channel Metal-Oxide-Semiconductor）トランジスタが用いられる。
　トランジスタＱ２及びＱ３は、電源電圧ノードと転送トランジスタＱ１との間にカスコード接続されている。トランジスタＱ２のソースは、転送トランジスタＱ１のドレインと、トランジスタＱ４のゲートに接続されている。トランジスタＱ２のゲートはトランジスタＱ４のドレインと、トランジスタＱ５のソースに接続されている。トランジスタＱ２のドレインはトランジスタＱ３のソースと、トランジスタＱ５のゲートに接続されている。トランジスタＱ３のドレインは電源電圧ノードに接続されている。トランジスタＱ３のゲートは電荷電圧変換部４３ｂの出力ノードｎ２と、トランジスタＱ５のドレインと、トランジスタＱ６のドレインに接続されている。
　トランジスタＱ４及びトランジスタＱ５は、ノードｎ２と基準電圧（接地）ノードとの間にカスコード接続されている。トランジスタＱ４のソースは基準電圧（接地）ノードに接続されている。トランジスタＱ５は、トランジスタＱ４とトランジスタＱ６の間に配置されている。
　トランジスタＱ６のソースは電源電圧ノードに接続され、ゲートにはバイアス電圧Ｖblogが印加される。トランジスタＱ６は、バイアス電圧Ｖblogの電圧レベルによって、出力ノードｎ２の電圧レベルを調整する。
　電荷電圧変換部４３ｂが対数変換した電圧信号Ｖlogは、バッファ４４に入力される。バッファ４４は、電源電圧ノードと基準電圧（接地）ノードの間にカスコード接続される、トランジスタＱ７及びトランジスタＱ８を備える。トランジスタＱ７には、例えばＰＭＯＳトランジスタが用いられる。トランジスタＱ８には、例えばＮＭＯＳトランジスタが用いられる。
　バッファ４４内のトランジスタＱ７は、ソースフォロワ回路を構成する。電荷電圧変換部４３ｂから出力された電圧信号Ｖlogに応じた画素電圧Ｖsfが、バッファ４４から出力される。トランジスタＱ７のゲートには、電荷電圧変換部４３ｂの出力ノードｎ２から、電圧信号Ｖlogが入力される。トランジスタＱ７のソースは、電源電圧ノードに接続されている。トランジスタＱ７のドレインはバッファ４４の出力ノードｎ３を介し、トランジスタＱ８のドレイン及び微分回路４５に接続されている。
　トランジスタＱ８のソースは基準電圧（接地）ノードに接続されている。トランジスタＱ８のゲートにはバイアス電圧Ｖbsfが印加される。トランジスタＱ８は、バイアス電圧Ｖbsfの電圧レベルに応じて、出力ノードｎ３の電圧レベルを調整する。
　バッファ４４から出力された画素電圧Ｖsfは、微分回路４５に入力される。バッファ４４は、画素電圧Ｖsfの駆動力を向上させることができる。また、バッファ４４を設けることで、後段の微分回路４５がスイッチング動作を行う際に発生するノイズが電荷電圧変換部４３ｂに伝達しないようにするアイソレーションを確保することができる。
　微分回路４５は、バッファ４４の出力する画素電圧Vsfの変化に応じた微分信号Ｖoutを生成する。微分回路４５は、キャパシタＣ１とトランジスタＱ９～Ｑ１１を備える。トランジスタＱ９及びＱ１１には、例えばＮＭＯＳトランジスタが用いられ、トランジスタＱ１０には、例えばＰＭＯＳトランジスタが用いられる。
　キャパシタＣ１は、トランジスタＱ９のソース及びトランジスタＱ１０のゲートの接続ノードｎ４と、バッファ４４の出力ノードｎ３の間に配置されている。キャパシタＣ１は、バッファ４４から供給される画素電圧Ｖsfに基づき、電荷を蓄積する。キャパシタＣ１は、画素電圧Ｖsfを時間微分した、画素電圧Ｖsfの変化量に応じた電荷をトランジスタＱ１０のゲートに供給する。
　キャパシタＣ２は、トランジスタＱ１０のゲート及びトランジスタＱ１１のドレインの間に配置されている。
　トランジスタＱ９は、オートゼロ信号ＸＡＺに従って、トランジスタＱ１０のゲート及びドレインを短絡するか否かを切り替える。オートゼロ信号ＸＡＺは、初期化を指示する信号であり、例えば、イベント検出画素４０から後述のイベント検出信号が出力されるたびにハイレベルからローレベルになる。オートゼロ信号ＸＡＺがローレベルになるとき、トランジスタＱ９はオンし、微分信号Ｖoutを初期値にするとともに、キャパシタＣ２の電荷が初期化される。
　トランジスタＱ１１のソースは基準電圧（接地）ノードに接続され、ゲートにはバイアス電圧Ｖbdiffが印加される。トランジスタＱ１１は、バイアス電圧Ｖbdiffの電圧レベルに応じて、微分回路４５の出力ノードｎ５の電圧レベルを調整する。
　トランジスタＱ１０及びトランジスタＱ１１は、トランジスタＱ１０のゲート側の接続ノードｎ４を入力ノードとし、トランジスタＱ１０及びトランジスタＱ１１の接続ノードｎ５を出力ノードとする反転回路として機能する。
　上述したように、微分回路４５は、微分演算により画素電圧Ｖsfの変化量を検出する。画素電圧Ｖsfの変化量は、イベント検出画素４０の入射光の照度の変化量を示す。微分回路４５は、出力ノードｎ５を介して微分信号Ｖoutを比較器４７に供給する。
　比較器４７は、微分信号Ｖoutを閾値電圧と比較する比較動作を行う。比較器４７は、比較動作を行った結果に基づいて、入射光の照度の変化量の絶対値が閾値電圧を超えたことを示すイベントを検出し、イベント検出信号ＣＯＭＰ＋及びイベント検出信号ＣＯＭＰ－を出力する。比較器４７は、トランジスタＱ１２～Ｑ１５とインバータＫ１を備える。トランジスタＱ１２及びＱ１４として、例えばＰＭＯＳトランジスタが用いられる。また、トランジスタＱ１３及びＱ１５として、例えばＮＭＯＳトランジスタが用いられる。
　トランジスタＱ１２及びＱ１３は、電源電圧ノードと基準電圧（接地）ノードとの間に縦積みされている。トランジスタＱ１２のソースは電源電圧ノードに接続されている。トランジスタＱ１２のドレインは、インバータＫ１及びトランジスタＱ１３のドレインに接続されている。トランジスタＱ１３のソースは基準電圧（接地）ノードに接続されている。トランジスタＱ１２のゲートには、微分回路４５の微分信号Ｖoutが印加されている。トランジスタＱ１３のゲートには閾値電圧Ｖhighが印加されている。
　トランジスタＱ１２及びＱ１３は、微分信号Ｖoutと閾値電圧Ｖhighの比較を行う。具体的には、トランジスタＱ１２は微分回路４５の微分信号Ｖoutが閾値電圧Ｖhighより低いときにオンして、トランジスタＱ１２のドレインから、インバータＫ１を介して出力されるイベント検出信号ＣＯＭＰ＋はローレベルになる。
　トランジスタＱ１４及びＱ１５は、電源電圧ノードと基準電圧（接地）ノードとの間に縦積みされている。トランジスタＱ１４のソースは電源電圧ノードに接続されている。トランジスタＱ１４のドレインは、比較器４７の出力ノード及びトランジスタＱ１５のドレインに接続されている。トランジスタＱ１４のゲートには、微分回路４５の微分信号Ｖoutが印加されている。トランジスタＱ１５のゲートには閾値電圧Ｖlowが印加されている。
　トランジスタＱ１４及びＱ１５は、微分信号Ｖoutと閾値電圧Ｖlowの比較を行う。具体的には、トランジスタＱ１４は微分回路４５の微分信号Ｖoutが閾値電圧Ｖlowより高いときにオフして、トランジスタＱ１４のドレインから出力されるイベント検出信号ＣＯＭＰ－はローレベルになる。
　イベント検出画素４０は、入射光の照度の増加及び減少を、イベントとして検出することができる。イベント検出画素４０に入射する光の照度が増加すると、光電変換素子４１により入射光の照度に応じた電荷（以下、光電荷）が生成され、光電変換素子４１のカソードと接続されている入力ノードｎ１の電圧が下がる。入力ノードｎ１の電圧低下に応じて、電荷電圧変換部４３ｂの出力電圧Ｖlogが上昇し、バッファ４４の画素電圧Ｖsfが低下する。画素電圧Ｖsfの低下量に応じて微分回路４５から出力される微分信号Ｖoutが上昇し、閾値電圧Ｖhighを上回るときに、ローレベルのイベント検出信号ＣＯＭＰ＋が出力される。すなわち、ローレベルのイベント検出信号ＣＯＭＰ＋は、入射光の照度の増加量が閾値電圧Ｖhighにより定められる閾値を上回っていることを示している。
　同様に、イベント検出画素４０に入射する光の照度が減少すると、微分回路４５から出力される微分信号Ｖoutが低下し、閾値電圧Ｖlowを下回るときに、ローレベルのイベント検出信号ＣＯＭＰ－が出力される。すなわち、ローレベルのイベント検出信号ＣＯＭＰ－は、入射光の照度の減少量が閾値電圧Ｖlowにより定められる閾値を下回っていることを示している。
　本明細書では、ローレベルのイベント検出信号ＣＯＭＰ＋又はローレベルのイベント検出信号ＣＯＭＰ－のいずれか一方が検出されることを、イベントの検出と呼ぶ。また、イベントは入射光の輝度の正負を示す極性情報を有する。ローレベルのイベント検出信号ＣＯＭＰ＋が検出される場合は正の極性となり、ローレベルのイベント検出信号ＣＯＭＰ－が検出される場合は負の極性となる。また本明細書では、イベント検出信号ＣＯＭＰ＋及びイベント検出信号ＣＯＭＰ－をまとめて、イベント検出信号ＣＯＭＰと呼ぶ。
　イベント検出画素４０は、イベント検出信号ＣＯＭＰ＋とイベント検出信号ＣＯＭＰ－の両方を検出する必要はなく、いずれか一方を検出してもよい。例えば、比較器４７から、トランジスタＱ１４及びＱ１５を除去し、イベント検出信号ＣＯＭＰ＋のみを出力する構成としてもよい。この場合、光電変換素子４１の入射光の照度の増減のうち、増加のみを検出する。
　同様に、比較器４７からトランジスタＱ１２、Ｑ１３及びインバータＫ１を除去してもよい。この場合、イベント検出画素４０は、光電変換素子４１の光の照度の増減のうち、減少のみを検出し、イベント検出信号ＣＯＭＰ－を出力する。
　上記のように、イベント検出画素４０は、入射光の照度の増減により、ローレベルのイベント検出信号ＣＯＭＰを検出する。しかし、入射光の照度の増減以外の要因で、ローレベルのイベント検出信号ＣＯＭＰが検出されることもある。例えば、電荷電圧変換部４３ｂ内のトランジスタＱ２及びＱ４は、ループ回路を構成している。このループ回路は、照度等の所定の条件下において負帰還回路となり、電圧信号Ｖlogを発振させる。これにより、ローレベルのイベント検出信号ＣＯＭＰが検出される場合がある。本明細書では、入射光の照度の増減に起因しない、ローレベルのイベント検出信号ＣＯＭＰの検出を、ノイズイベントの検出と呼ぶ。
　センサ２０は、例えば２段の積層チップで構成することもできる。図６Ａは、センサ２０の積層構造の第１例を示す図である。このセンサ２０は、画素チップ５１と、画素チップ５１に積層されたロジックチップ５２とを備える。これらのチップは、ビアなどにより接合される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接合することもできる。
　画素チップ５１には、例えば光電変換素子４１と、イベント処理回路４２の一部（例えば、転送部４３ａ及び電荷電圧変換部４３ｂ）が配置される。ロジックチップ５２には、例えばイベント処理回路４２の残り一部（例えば、イベント検出部４９）と、駆動回路３２と、システム制御部３５と、（アービタ方式の場合は）Ｘアービタ３３及びＹアービタ３４と、（フレーム方式の場合は）イベントフレーム生成部３６とが配置される。
　センサ２０は、３段以上の積層チップで構成されてもよい。図６Ｂは、センサ２０の積層構造の第２例を示す図である。図６Ｂのセンサ２０ａには、第１チップ（画素チップ）５３、第２チップ５４及び第３チップ５５が積層される。第１チップ５３には、例えば光電変換素子４１と、転送部４３ａとを配置する。第２チップ５４には、例えば電荷電圧変換部４３ｂが配置される。第３チップ５５には、図６Ａのロジックチップ５２と同様、イベント検出部４９と、駆動回路３２と、システム制御部３５と、Ｘアービタ３３及びＹアービタ３４と、イベントフレーム生成部３６とが配置される。
　図６Ｂのセンサ２０ｂは、第１チップ５３から電荷電圧変換部４３ｂを除去し、第２チップ５４に配置した構成となっている。これにより、チップ面積が微細化する場合においても、第１チップ５３において光電変換素子４１の面積を確保できるとともに、第２チップ５４において電荷電圧変換部４３ｂの面積を確保できる。
　センサ２０は２つ以上の画素チップを積層する構成であってもよい。図６Ｃは、センサ２０の積層構造の第３例を示す図である。図６Ｃのセンサ２０ｃには、図６Ａの画素チップ５１に代わって、第１画素チップ５６及び第２画素チップ５７が積層される。第２画素チップ５７には、赤外線に反応するイベント検出画素４０が配置される。第１画素チップ５６には、可視光に反応する後述のＣＩＳ用画素が配置される。この場合、第１画素チップ５６は、赤外光を透過する材料で形成される必要がある。
　図２では、センサ２０とは別個にノイズイベント処理部２１を設けられる例を示しているが、ノイズイベント処理部２１はセンサ２０の内部に設けられてもよい。図７は本開示の第１の実施形態の一変形例による光検出装置２のブロック図である。図７の光検出装置２ａにおけるセンサ２０ｄは、センサ主要部２０ｅとノイズイベント処理部２１を有する。センサ主要部２０ｅは、図３Ａ又は図３Ｂと同様のブロック構成を有する。
　図８Ａはイベント検出画素４０から出力されるノイズイベントの特性の第１例を示す図であり、横軸は入射光の照度、縦軸はノイズイベントの発生率である。図８Ａで示すように、センサ２０におけるノイズイベントの発生率Ｅnは、照度に応じて増減する。図８Ａでは、ノイズイベントの発生率Ｅnは、照度が所定の基準値Ｌthに到達するまでの第１照度範囲Ａ１においては、単調に増加する。ノイズイベントの発生率Ｅnは、照度が基準値Ｌthを超える第２照度範囲Ａ２においては、単調に減少する。
　センサ２０に入射する光の照度が、第１照度範囲Ａ１内（又は第２照度範囲Ａ２内）で増減する場合、ノイズイベントの発生率Ｅnから、照度を一意に特定することができる。これを用いて、輝度情報生成部２４は、イベント検出画素４０の入射光の照度に対応する、輝度情報を生成することができる。すなわち、輝度情報生成部２４は、ノイズイベントの発生率が単調に変化する照度範囲（例えば、第１照度範囲Ａ１）で、輝度情報を生成することができる。
　センサ２０のノイズイベントの発生率は、図８Ａよりも複雑な特性を有する場合がある。図８Ｂはイベント検出画素４０から出力されるノイズイベントの特性の第２例を示す図である。例えば図８Ｂに示すように、照度の上昇に応じてノイズイベントの発生率が単調に減少する照度範囲が複数存在する場合（例えば、図８Ｂの第３照度範囲Ａ３及び第４照度範囲Ａ４）においても、それぞれのノイズイベントの発生率が単調に減少する照度範囲内で照度が増減する場合は、ノイズイベントの発生率から照度を一意に特定することができる。照度の上昇に応じてノイズイベントの発生率が単調に増加する照度範囲が複数存在する場合においても、同様である。
　上述の通り、各イベント検出画素４０は、入射光の照度が変化するか否かに関係なく、照度に応じた発生率でノイズイベントを検出する。例えば、入射光の照度が第１照度範囲Ａ１内にある場合、各イベント検出画素４０では、照度が高いほどノイズイベントの発生率が高くなる。ノイズイベントの発生数をカウントして、カウント値を輝度情報に変換することで、ノイズイベントから輝度情報を生成できる。また、各イベント検出画素４０の輝度情報から、輝度画像データを生成できる。
　図９は、ノイズイベント処理部２１の処理手順を示すフローチャートである。図９のフローチャートは、図２のブロック構成の光検出装置２に対応したものである。
　まず、ノイズイベント処理部２１内のノイズイベント蓄積部２３は、センサ２０内の各イベント検出画素４０から出力されたノイズイベントを蓄積して、蓄積イベントフレームを生成する（ステップＳ１）。より具体的には、ノイズイベント蓄積部２３は、各イベント検出画素４０から出力されたノイズイベントの発生数をイベント検出画素４０ごとにカウントする。センサ２０の全てのイベント検出画素４０に対応するカウント数の集合体が蓄積イベントフレームである。蓄積イベントフレームでは、新たにノイズイベントが発生すると、対応する画素位置のカウント数が更新される。
　ノイズイベントは、照度が変化しない状況下で各イベント検出画素４０から出力されるため、本来的には輝度変化の極性とは無関係である。ノイズイベントの検出時には、イベントの極性を検出可能なセンサ２０から出力されるイベント検出信号ＣＯＭＰ＋、ＣＯＭＰ－がノイズイベントを表す。その際、ノイズイベント蓄積部２３は、イベント検出信号ＣＯＭＰ＋、ＣＯＭＰ－のいずれか一方に基づいてノイズイベントの発生数をカウントしてもよいし、両方に基づいてノイズイベントの発生数をカウントしてもよい。
　ノイズイベント蓄積部２３は、新たにカウント数を更新するたびに、蓄積条件を満たすか否かを判定する（ステップＳ２）。
　蓄積条件は、様々な条件が考えられる。例えば、ノイズイベント蓄積部２３は、複数のイベント検出画素４０のそれぞれごとにカウントされたノイズイベントの発生数の合計値が所定の数に達することを蓄積条件としてもよい。また、複数のイベント検出画素４０のそれぞれごとのノイズイベントの発生数の最大値、又は複数のイベント検出画素４０のそれぞれごとのノイズイベントの発生数の平均値、のいずれか一方が、所定の数に達することを蓄積条件にしてもよい。
　ノイズイベント蓄積部２３は、蓄積条件を満たすまでは、ステップＳ１とＳ２の処理を繰り返し行って、蓄積イベントフレーム内の各イベント検出画素４０におけるノイズイベントの発生数のカウント値を更新する。
　ノイズイベント蓄積部２３の処理（ステップＳ１及びＳ２）は、センサ２０がフレーム方式かアービタ方式かによって異なる。詳細については後述する。
　ノイズイベント蓄積部２３に蓄積されているノイズイベントが、ステップＳ２の蓄積条件を満たしている場合、輝度情報生成部２４は、イベント検出画素４０ごとに輝度情報を生成する（ステップＳ３）。ステップＳ３においては、蓄積イベントフレームに蓄積されているイベント検出画素４０ごとのカウント数を、輝度情報を表す輝度値に変換する。
　輝度情報生成部２４は、ステップＳ３で生成した輝度値を、制限してもよい（ステップＳ４）。イベント検出画素４０によって、イベントを発生しやすい画素と発生しにくい画素がある。イベントを発生しやすい画素では、輝度画像データに白点が生じるおそれがある。そこで、ステップＳ１でノイズイベントを蓄積したときに、蓄積されたノイズイベントの発生数が飽和値に到達したイベント検出画素４０については、ステップＳ３で生成する輝度情報を所定の輝度値に制限してもよい。これにより、イベントを発生しやすい画素位置に白点が生じるおそれを防止でき、輝度画像データの画質の向上が図れる。
　一方、イベントが発生しにくい画素では、輝度画像データに黒点が生じるおそれがある。輝度情報生成部２４は、イベントが発生しにくい画素についても、輝度情報を所定の輝度値に制限し、黒点の発生を防止してもよい。すなわち、蓄積されたノイズイベントの発生数が所定の閾値に満たないイベント検出画素４０について、ステップＳ３で生成する輝度情報を所定の輝度値に制限してもよい。
　画像生成部２２内の輝度画像生成部２６は、イベント検出画素４０ごとにステップＳ３又はＳ４で生成された輝度値を含む輝度画像データを生成する（ステップＳ５）。
　図１０は、フレーム方式のセンサ２０から出力されるイベントフレームのデータ構成を示す図である。フレーム方式において、センサ２０内のイベントフレーム生成部３６は、所定のタイミングで図１０に示すイベントフレーム６１を出力する。イベントフレーム６１は、複数のイベント検出画素４０が非同期に検出したノイズイベントに関する情報を含む複数のイベントデータ６１ａを、イベント検出画素４０ごとに有する。例えば画素アレイ部３１の第１方向Ｘにｍ個、第２方向Ｙにｎ個のイベント検出画素４０が配列される場合、イベントフレーム６１はｍ×ｎ個のイベントデータ６１ａを有する。なお、イベントデータ６１ａの並びは、図１０に示すものに限定されない。イベントフレーム６１内の各イベントデータ６１ａは、対応する画素位置に配置されるため、イベントデータ６１ａは画素位置の情報を含んでいる必要はなく、ノイズイベントの発生の有無の情報だけを含んでいればよい。
　フレーム方式のセンサ２０は、イベントフレーム６１を単位として、ノイズイベント処理部２１にノイズイベントの情報を供給する。ノイズイベント処理部２１内のノイズイベント蓄積部２３は、センサ２０から送信されるイベントフレーム６１内の各イベントデータ６１ａに基づいて、イベント検出画素４０ごとにノイズイベントの発生数をカウントして蓄積イベントフレームを生成する。
　センサ２０がフレーム方式である場合、ノイズイベント蓄積部２３は、センサ２０から送信されるイベントフレーム６１の合計数が所定の数に達することを蓄積条件としてもよい。
　図１１は、アービタ方式のセンサ２０から出力される複数のイベントを示す図である。アービタ方式において、センサ２０内の複数のイベント検出画素４０のそれぞれは、ノイズイベントを非同期で検出する。図１１は、アービタ方式のセンサが例えばイベントデータ６２ａ、６２ｂ及び６２ｃを出力する例を示す。
　イベントデータ６２ａ、６２ｂ及び６２ｃには、それぞれ下記の情報が含まれる。
　xa、xb、xc：ノイズイベントの検出位置（例えば、画素位置）を示すＸアドレス。
　ya、yb、yc：ノイズイベントの検出位置（例えば、画素位置）を示すＹアドレス。
　ta、tb、tc：ノイズイベントの検出時刻を示す時間情報（タイムスタンプ）。
　pa、pb、pc：ノイズイベントの極性情報。
　アービタ方式のセンサ２０では、ノイズイベント蓄積部２３には、複数のイベントデータが非同期に供給される。ノイズイベント蓄積部２３は、イベントデータの画素位置に対応するノイズイベントの発生数のカウント値を更新し、蓄積イベントフレームデータを生成する。
　センサ２０がアービタ方式である場合、ノイズイベント蓄積部２３は、センサ２０がノイズイベントを検出しはじめてから、所定の時間に達していることを蓄積条件としてもよい。
　あるいは、ノイズイベント処理部２１は、アービタ方式のセンサ２０から非同期に出力されるイベントデータに基づいてイベントフレームを生成するイベントフレーム生成部２５を備えていてもよい。この場合、イベントフレーム生成部２５は、所定の期間ごとに、アービタ方式のセンサから出力されたイベントデータに基づいてイベントフレームを生成する。
　イベントフレーム生成部２５は、図３Ｂのイベントフレーム生成部３６と同様の処理を行う。よって、ノイズイベント蓄積部２３が行うノイズイベントの蓄積処理も図９のステップＳ１、Ｓ２と同様である。また、ノイズイベント蓄積部２３は、イベントフレーム生成部２５が生成するイベントフレームの合計数が所定の数に達することを蓄積条件としてもよい。
　図１２は蓄積イベントフレームのデータ構成を示す図である。蓄積イベントフレーム６３は、センサ２０の各イベント検出画素４０に対応づけて、複数の画素データ６３ａに分かれている。すなわち画素アレイ部３１の第１方向Ｘにｍ個、第２方向Ｙにｎ個のイベント検出画素４０が配列される場合、蓄積イベントフレーム６３においても、第１方向Ｘにｍ個、第２方向Ｙにｎ個の画素データ６３ａが配列される。
　各画素データ６３ａには、対応するイベント検出画素４０におけるノイズイベントの発生数のカウント値が配置される。蓄積イベントフレーム６３では、上記の蓄積条件を満たすまでは、新たなノイズイベントが発生するたびに、対応する画素データ６３ａのカウント数が更新される。
　ノイズイベント蓄積部２３は、図１０に示すような１次元配列のイベントフレームデータから、図１２に示す２次元配列の蓄積イベントフレームを生成してもよい。また、イベントフレーム生成部２５が、図１０に示すような１次元配列のイベントフレームデータを２次元配列のイベントフレームデータに変換し、ノイズイベント蓄積部２３に供給してもよい。
　図１３は、輝度画像生成部２６が出力する輝度画像データの一例を示す図である。図１３に示すように、ノイズイベントの発生率が高いほど、より高い輝度の画像が得られる。
　図１４は、本開示の第１の実施形態における光検出装置２を備える電子機器が行うキャリブレーション処理を説明する図である。図１４に示す電子機器１ａは、光検出装置２で生成される物体Ａの輝度画像データに基づいて、光検出装置２のキャリブレーション処理を行う。電子機器１ａは、光検出装置２及び情報処理部７１を備える。情報処理部７１は、キャリブレーション処理部７２を有する。キャリブレーション処理部７２は、輝度画像データに基づいて光検出装置２のキャリブレーション処理を行う。
　光検出装置２は、センサ２０の各イベント検出画素４０で発生されたノイズイベントに基づいて物体Ａの輝度画像データを生成し、キャリブレーション処理部７２に供給する。キャリブレーション処理部７２は、輝度画像データに基づいて、光検出装置２のキャリブレーション処理を行う。キャリブレーション処理とは、例えば光検出装置２が出力するイベント画像データの歪み等の補正処理、画角の調整、センサにレンズを付けるときのアラインメント、レンズ角度の調整、又は焦点距離の調整などである。
　既存のＥＶＳセンサでキャリブレーション処理を行うには、物体Ａを移動させる、又は物体Ａに照射する光の強弱を変更する等の処理を行い、物体Ａの輝度を変化させる必要がある。また、物体Ａの外観の様子を把握するには、イベント画像データを生成するＥＶＳセンサとは別に、階調画像データを生成するイメージセンサを設ける必要があるため、電子機器の構成が複雑になり、装置コストも高くなる。これに対して、本実施形態による光検出装置２を備える電子機器１ａは、本来的にはイベント画像データを生成する光検出装置２にて、輝度画像データを生成できるため、電子機器１ａを小型化及び低コスト化できる。
　上述したように、イベント検出画素を備える既存のセンサで輝度画像データを生成するには、イベント検出画素以外に、階調画素を備えるハイブリットセンサを用意する必要がある。図１５は、一比較例によるハイブリッドセンサの一概略構成を示すブロック図である。図１５に示す光検出装置１００は、画素アレイ部３１ａ内に、複数のイベント検出画素４０、複数の階調画素８０、アナログデジタル変換部８３、階調画像生成部２６ａ及びイベント画像生成部２７を備える。
　階調画素８０は、光電変換素子８１及び画素回路８２を備える。画素回路８２は、光電変換素子８１に蓄積される電荷に基づき、画素信号を生成する。アナログデジタル変換部８３は、画素信号をデジタル画素信号に変換する。階調画像生成部２６ａは、デジタル画素信号に基づいて階調画像データを生成する。この階調画像データは、Intensity画像データとも呼ばれる。
　光電変換素子４１、光電変換素子８１、対数応答部４３及び画素回路８２は画素チップ５１ａに配置される。イベント検出部４９、アナログデジタル変換部８３、階調画像生成部２６ａ及びイベント画像生成部２７はロジックチップ５２ａに配置される。
　一比較例の光検出装置１００は、画素アレイ部３１ａ内の一部の画素をイベント画像データの生成に利用し、残りの画素を階調画像データの生成に利用する。このため、イベント画像データと階調画像データの解像度がいずれも低下する。イベント画像データと階調画像データを高解像度にするには、画素アレイ部３１ａ内の画素の数を増やさなければならず、光検出装置１００の小型化及び低コスト化が困難になる。
　また、図１５のようなハイブリッドセンサでは、イベント検出画素４０で生成されたイベントデータと、階調画素８０で生成された画素データとを合成するビニング処理を行う必要があり、撮像後の後処理に手間がかかる。
　また、階調画素８０から出力される画素信号をアナログデジタル変換するには、アナログデジタル変換部８３が必要となる。このため、ロジックチップ５２ａの面積が大きくなる。
　図１５の光検出装置１００の一変形例として、イベント処理回路４２と画素回路８２が一つの光電変換素子を共有する構成が考えられる。この場合、光電変換素子で光電変換された電荷をイベント処理回路４２に供給するか、画素回路８２に供給するかを切り替えるスイッチと、スイッチの切替回路が必要となり、画素構成が複雑になる。また、光電変換素子を共有する場合であっても、イベント処理回路４２と画素回路８２を画素ごとに設けなければならないため、図１５と同様に、イベント画像データと階調画像データの解像度を向上させることはできない。また、画素回路８２の後段には、アナログデジタル変換部８３が必要な点も図１５と同様である。さらに、ビニング処理が必要な点も図１５と同様である。
　本開示の光検出装置２は、イベント検出画素４０を用いて、イベント画像データに加えて輝度画像データを生成することが可能である。これにより、画素の構成を単純化でき、既存のハイブリッドセンサよりも高解像度の輝度画像データを低コストで生成できる。また、本開示の光検出装置２は、ハイブリッド構成ではないため、ビニング処理を行う必要もなく、イベント検出後の信号処理を簡略化できる。
　また、光検出装置２は、階調画素８０を持たないため、アナログデジタル変換部８３を省略できる。これにより、比較例の光検出装置１００よりも画素チップ５１及びロジックチップ５２の面積を削減できる。
　また、光検出装置２は、ＥＶＳ用の画素（イベント検出画素４０）から階調画像データを生成できる。この場合、光検出装置２はアナログデジタル変換を用いず階調画像データを生成できる。これにより光検出装置２は、ＣＩＳ用の画素（階調画素８０）を用いる比較例の光検出装置１００よりも低消費電力で階調画像データを生成できる。
　このように、本開示の第１の実施形態では、ＥＶＳセンサの、輝度変化が生じなくても、照度に応じた発生数のノイズイベントを出力するという性質に着目している。本開示の第１の実施形態の光検出装置２は、各画素のノイズイベントの発生数をカウントし、そのカウント結果に基づいて画素ごとの輝度情報を生成する。これにより、ＥＶＳセンサだけで輝度画像データを生成できる。よって、ＥＶＳカメラのキャリブレーション、静止物体のトラッキング、監視カメラの背景画像の取得などのためにＥＶＳセンサの他に、ＣＩＳセンサ等イメージセンサ等を設けなくて済み、光検出装置の小型化、低コスト化、階調画像生成の低消費電力化を実現できる。
　（第２の実施形態）
　第１の実施形態では、光検出装置２をハイブリッド構成にしなくても、イベント検出画素だけで輝度画像データを生成できることを説明しているが、光検出装置２をハイブリッド構成にして、イベント検出画素４０によって生成する輝度画像データとは別個に、階調画素８０によって階調画像データを生成してもよい。
　図１６は、階調画素８０の一構成例を示す図である。図１６に示す階調画素（第２画素）８０は、入射光の照度に基づく画素信号を出力する。
　階調画素８０は、光電変換素子８１及び画素回路８２を有する。光電変換素子８１は、階調画素８０への入射光に基づき、光電荷を生成する。
　画素回路８２は、光電変換素子８１に生成された光電荷に基づき、入射光の照度に応じた画素信号を出力する。画素回路８２は、転送トランジスタＱ２１、リセットトランジスタＱ２２、増幅トランジスタＱ２３、及び選択トランジスタＱ２４を有する。転送トランジスタＱ２１、リセットトランジスタＱ２２、及び増幅トランジスタＱ２３は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤに接続されている。
　本明細書においては、画素回路８２内の転送トランジスタＱ２１、リセットトランジスタＱ２２、増幅トランジスタＱ２３、及び選択トランジスタＱ２４の４つのトランジスタを、例えばＮＭＯＳトランジスタで構成する例を説明する。但し、ここで例示した４つのトランジスタの導電型は任意である。４つのトランジスタのいずれかを、例えばＰＭＯＳトランジスタで構成してもよい。
　図１６は、４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成の画素回路８２の例を示している。画素回路８２を構成するトランジスタの数は、４個に限定されない。例えば、選択トランジスタＱ２４を省略し、増幅トランジスタＱ２３に選択トランジスタＱ２４の機能を持たせる３Ｔｒ構成としてもよいし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。
　光電変換素子８１は、カソード又はアノード（例えば、カソード）のいずれか一方が転送トランジスタＱ２１に接続され、他方（例えば、アノード）は、グランド等の基準電圧ノードＶＲＬＤに接続されている。
　転送トランジスタＱ２１は、光電荷の転送をスイッチングするために用いられる。転送トランジスタＱ２１は、ソースが光電変換素子８１に、ドレインがフローティングディフュージョンＦＤにそれぞれ接続されている。転送トランジスタＱ２１はゲートに、高レベル（例えば、後述の高電位側電源ＶＤＤレベル）の転送信号ＴＲＧを印加することでオンする。これにより、光電変換素子８１に蓄積された光電荷は、フローティングディフュージョンＦＤに転送される。
　リセットトランジスタＱ２２は、階調画素８０内の光電荷量をリセットするために用いられる。リセットトランジスタＱ２２は、ソースがフローティングディフュージョンＦＤに、ドレインが高電位側電源ＶＤＤのノードにそれぞれ接続されている。リセットトランジスタＱ２２はゲートに、高レベルのリセット信号ＲＳＴを印加することでオンする。これにより、フローティングディフュージョンＦＤの電荷が高電位側電源ＶＤＤのノードに排出されることで、フローティングディフュージョンＦＤはリセットされる。
　フローティングディフュージョンＦＤは、光電変換素子８１から転送されてきた光電荷を蓄積する。これにより、フローティングディフュージョンＦＤは、蓄積電荷に応じた電位になる。
　増幅トランジスタＱ２３のゲートは、フローティングディフュージョンＦＤと同電位であり、ソースフォロワ回路の入力部として用いられる。増幅トランジスタＱ２３のドレインは高電位側電源ＶＤＤのノードに、ソースは選択トランジスタＱ２４にそれぞれ接続されている。増幅トランジスタＱ２３のソース電圧は、フローティングディフュージョンＦＤの電位に応じて変化する。
　選択トランジスタＱ２４は階調画素８０の走査制御に用いられる。選択トランジスタＱ２４のゲートには、選択制御信号ＳＥＬが印加される。選択トランジスタＱ２４は、選択制御信号ＳＥＬが高レベルのときにオンし、フローティングディフュージョンＦＤの電位に応じた電圧レベルの画素信号Ｖimgが選択トランジスタＱ２４のソースから信号線ＶＳＬに伝送される。
　例えば、光電変換素子８１に入射する光の照度が大きい場合、光電変換素子８１のカソード側の電圧が低下する。これにより、フローティングディフュージョンＦＤの電位が下がり、選択トランジスタＱ２４がオンのときに、ローレベルの画素信号Ｖimgが信号線ＶＳＬに出力される。画素回路８２から出力された画素信号Ｖimgは、信号線ＶＳＬを介して不図示のアナログデジタル変換部８３等に入力される。
　図１５の光検出装置２ａが図６Ａの積層構造である場合、光電変換素子８１と、画素回路８２の一部又は全ては、例えば画素チップ５１に配置される。また、センサ２０が図６Ｂの積層構造である場合、第１チップ５３には、例えば光電変換素子８１及び転送トランジスタＱ２１が配置される。第２チップ５４には、例えばリセットトランジスタＱ２２、増幅トランジスタＱ２３、及び選択トランジスタＱ２４が配置される。また、センサ２０が図６Ｃの積層構造である場合、光電変換素子８１と、画素回路８２の一部又は全ては、第１画素チップ５６に配置される。
　図１７は、本開示の第２の実施形態における光検出装置２の第１例を示すブロック図である。図１７に示す光検出装置２ｂは、複数のイベント検出画素４０及び複数の階調画素８０を有するハイブリッド構成の画素アレイ部３１ｂを備える。また、光検出装置２ｂは、図２と同様のノイズイベント処理部２１と、図２と同様の輝度画像生成部２６と、図１５と同様の階調画像生成部２６ａと、画像選択部２６ｂとを備える。階調画素８０は画素チップ５１ｂに配置される。シャッタ制御部９２はロジックチップ５２ｂに配置される。
　図１７におけるアナログデジタル変換部８３は、階調画素８０が出力する画素信号Ｖimgをデジタル信号に変換する。階調画像生成部２６ａは、当該デジタル信号に基づいて階調画像データを生成する。ノイズイベント処理部２１は、イベント検出画素４０ごとにノイズイベントの発生数をカウントし、輝度情報を生成する。輝度画像生成部２６は、イベント検出画素４０ごとの輝度情報に基づいて輝度画像データを生成する。画像選択部２６ｂは、輝度画像生成部２６で生成された輝度画像データ、又は階調画像生成部２６ａで生成された階調画像データを択一的に選択して出力する。具体的には、画像選択部２６ｂは階調画素８０の撮像タイミングまでは輝度画像データを出力し、階調画素８０の撮像タイミングには階調画像データを出力する。
　光検出装置２ｂは、シャッタ操作部材９１及びシャッタ制御部９２を備えてもよい。シャッタ操作部材９１は、階調画素８０の撮像タイミングを指示する。シャッタ制御部９２は、シャッタ操作部材９１の操作に応じて制御信号を生成する。画像選択部２６ｂは、シャッタ制御部９２からの制御信号に基づいて、輝度画像データ又は階調画像データを択一的に選択して出力する。
　輝度画像データは、階調画像データよりも、低消費電力で生成することができる。階調画像データは、輝度画像データよりも高精細な階調表現が可能である。また、階調画像データは、モノクロ情報だけでなく、色情報も含めることができる。第２の実施形態による光検出装置２ｂは、監視カメラなどに適用できる。
　図１８は、本開示の第２の実施形態における画素アレイ部の第１例を示す図である。図１８に示す画素アレイ部３１ｂは、複数のイベント検出画素４０と、イベント検出画素４０を囲むように配置される複数の階調画素８０により構成される。
　本開示の第２の実施形態における光検出装置２は、１つの画素をイベント検出画素４０又は階調画素８０に任意に切り替える構成であってもよい。
　図１９は、本開示の第２の実施形態における光検出装置２の第２例を示すブロック図である。図１９に示す光検出装置２ｃは、画素アレイ部３１ｃ内に複数の画素９３を備える。画素９３は、光電変換素子４１、イベント処理回路４２、画素回路８２、アナログデジタル変換部８３、イベント読出スイッチ９４、及び階調読出スイッチ９５を備える。イベント読出スイッチ９４及び階調読出スイッチ９５は、画素チップ５１ｃに配置される。
　イベント読出スイッチ９４は、イベントを検出するか否かを切り替える。イベント読出スイッチ９４がオンであるとき、光電変換素子４１に蓄積される電荷は、イベント処理回路４２に供給される。この場合、画素９３は、イベント検出画素４０ａとして用いられる。
　階調読出スイッチ９５は、階調を読み出すか否かを切り替える。階調読出スイッチ９５がオンであるとき、光電変換素子４１に蓄積される電荷は、画素回路８２に供給される。この場合、画素９３は、階調画素８０ａとして用いられる。
　図２０は、本開示の第２の実施形態における画素アレイ部を示す図である。図２０に示す画素アレイ部３１ｃ内は複数の画素９３を備える。複数の画素９３はそれぞれ、イベント検出画素４０ａとして用いられるか、又は階調画素８０ａとして用いられるか、切り替えることができる。
　図２１は、本開示の第２の実施形態における光検出装置２ｃ（又は、光検出装置２ｂ）を備えたカメラの撮影処理を示すフローチャートである。まず、撮影の待機を行う（ステップＳ１１）。ステップＳ１１では、ノイズイベント処理部２１は、各イベント検出画素４０で発生されたノイズイベントの数をカウントし、イベント検出画素４０ごとに輝度情報を生成する。輝度画像生成部２６は、イベント検出画素４０ごとの輝度情報に基づいて輝度画像データを生成する。
　続いて、階調画素８０の撮像タイミングか否かを判断する（ステップＳ１２）。階調画素８０の撮像タイミングでない場合は、引き続きステップＳ１１で撮影を待機する。なお、階調画素８０の撮像タイミングか否かは、撮影者によってシャッタ操作部材９１が操作されているか否かで判断されてもよい。階調画素８０の撮像タイミングである場合は、次に本撮影処理が行われる（ステップＳ１３）。ステップＳ１３では、画像選択部２６ｂにて階調画像データが選択されて、ファインダ等に表示される。これにより、光検出装置２ｃは、撮影済みの高精細な階調画像を出力することができる。
　このように、本開示の第２の実施形態における光検出装置２ｃ（又は、光検出装置２ｂ）は、ノイズイベントに基づく輝度画像データと、画素信号Ｖimgに基づく階調画像データとを、切り替えて生成できる。これにより、所定の撮像タイミングまでは輝度画像データを表示させて低消費電力化を図り、撮像タイミングには高品質の階調画像データを表示させることが可能となり、低消費電力化、及び画質の向上を図ることができる。
　（応用例）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図２を用いて説明した本実施形態に係るノイズイベント処理部２１及び画像生成部２２の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　なお、本技術は以下のような構成を取ることができる。
（１）入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、
　前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに輝度情報を生成する輝度情報生成部と、を備える、
　光検出装置。
（２）前記複数の画素のそれぞれは、照度に応じて前記ノイズイベントの発生率が単調に増加又は減少する少なくとも１つの照度範囲を有し、
　前記輝度情報生成部は、前記照度範囲で前記輝度情報を生成する、
　（１）に記載の光検出装置。
（３）前記輝度情報生成部は、前記複数の画素に入射される入射光の照度が変化しない状況で前記輝度情報を生成する、
　（１）又は（２）に記載の光検出装置。
（４）前記複数の画素のそれぞれごとに、前記ノイズイベントに関する情報を蓄積する蓄積部をさらに備え、
　前記輝度情報生成部は、前記複数の画素のそれぞれごとに前記蓄積部に蓄積された前記ノイズイベントに関する情報に基づいて、前記輝度情報を生成する、
　（１）乃至（３）のいずれか一項に記載の光検出装置。
（５）前記輝度情報生成部は、前記蓄積部に蓄積された前記ノイズイベントに関する情報が所定の蓄積条件を満たす場合に、前記輝度情報を生成する、
　（４）に記載の光検出装置。
（６）前記蓄積部は、前記複数の画素のそれぞれごとに、前記ノイズイベントの発生数をカウントし、
　前記蓄積部は、前記複数の画素のそれぞれごとにカウントされた前記ノイズイベントの発生数の合計値が所定の数に達するまで、前記ノイズイベントに関する情報を蓄積し、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
　（５）に記載の光検出装置。
（７）前記蓄積部は、前記複数の画素のそれぞれごとの前記ノイズイベントの発生数の最大値、又は前記複数の画素のそれぞれごとの前記ノイズイベントの発生数の平均値、のいずれか一方が、所定の数に達するまで前記ノイズイベントに関する情報を蓄積し、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
　（５）に記載の光検出装置。
（８）前記複数の画素を有するとともに、前記複数の画素が非同期に検出した複数の前記ノイズイベントに関する情報を含む第１イベントフレームを出力する光検出素子を備え、
　前記蓄積部は、前記第１イベントフレームの合計数が所定の数になるまで、前記第１イベントフレームに含まれるノイズイベントに関する情報を蓄積し、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
　（５）に記載の光検出装置。
（９）前記複数の画素のそれぞれは、前記ノイズイベントを非同期で検出し、
　前記蓄積部は、所定の時間に達するまで、前記ノイズイベントの発生数をカウントし、
　前記輝度情報生成部は、前記所定の時間に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
　（５）に記載の光検出装置。
（１０）前記複数の画素のそれぞれが検出した前記ノイズイベントに関する情報を含む第２イベントフレームを生成するイベントフレーム生成部を備え、
　前記蓄積部は、前記第２イベントフレームの合計数が所定の数になるまで、前記ノイズイベントの発生数をカウントし、
　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
　（５）に記載の光検出装置。
（１１）前記複数の画素のそれぞれについての前記輝度情報に基づいて輝度画像データを生成する輝度画像生成部をさらに備え、
　前記輝度画像データは、前記複数の画素のそれぞれごとに、前記照度に応じた輝度値を有する、
　（１）乃至（１０）のいずれか一項に記載の光検出装置。
（１２）前記輝度画像生成部は、前記輝度画像データに含まれる各画素の輝度値のうち、所定の閾値を上回る輝度値を所定の輝度値に制限する、
　（１１）に記載の光検出装置。
（１３）前記輝度画像生成部は、前記輝度画像データに含まれる各画素の輝度値のうち、所定の閾値を下回る輝度値を所定の輝度値に制限する、
　（１１）又は（１２）に記載の光検出装置。
（１４）入射光の照度の変化量に基づくイベントと照度に応じて発生率が変化するノイズイベントとを検出する複数の第１画素と、
　入射光の照度に基づく画素信号を出力する複数の第２画素と、
　前記複数の第２画素のそれぞれから出力された前記画素信号に基づいて階調画像データを生成する階調画像生成部と、を備え、
　前記輝度情報生成部は、前記複数の第１画素のそれぞれごとに前記輝度情報を生成し、　前記輝度画像データは、前記複数の第１画素のそれぞれごとに、前記照度に応じた輝度値を有する、
　（１１）乃至（１３）のいずれか一項に記載の光検出装置。
（１５）前記画素信号をデジタル信号に変換するアナログデジタル変換部を備え、
　前記階調画像生成部は、前記複数の画素のそれぞれに対応する前記デジタル信号に基づいて前記階調画像データを生成する、
　（１４）に記載の光検出装置。
（１６）前記輝度画像データは、前記階調画像データよりも解像度が低く、かつ
　前記輝度画像データはモノクロ情報を含むのに対し、前記階調画像データはモノクロ情報又は色情報の少なくともいずれかを含む
　（１４）又は（１５）に記載の光検出装置。
（１７）前記輝度画像データ又は前記階調画像データを択一的に選択して出力する画像選択部を備える、
　（１６）に記載の光検出装置。
（１８）前記画像選択部は、前記複数の第２画素の撮像タイミングまでは前記輝度画像データを選択し、前記撮像タイミングには前記階調画像データを選択する、
　（１７）に記載の光検出装置。
（１９）輝度情報を生成する光検出装置と、
　前記輝度情報に基づいて所定の情報処理を行う情報処理部と、を備える電子機器であって、
　前記光検出装置は、
　入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、
　前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに前記輝度情報を生成する輝度情報生成部と、を有する、
電子機器。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１、１ａ　電子機器、２、２ａ、２ｂ、２ｃ、１００　光検出装置、３　記録部、４　制御部、１１　撮像レンズ、１２　信号線、１３　制御線、２０、２０ａ、２０ｂ、２０ｃ、２０ｄ　センサ、２０ｅ　センサ主要部、２１　ノイズイベント処理部、２２　画像生成部、２３　ノイズイベント蓄積部、２４　輝度情報生成部、２５　イベントフレーム生成部、２６　輝度画像生成部、２６ａ　階調画像生成部、２６ｂ　画像選択部、２７　イベント画像生成部、３１、３１ａ、３１ｂ、３１ｃ　画素アレイ部、３２　駆動回路、３３　Ｘアービタ、３４　Ｙアービタ、３５　システム制御部、３６　イベントフレーム生成部、４０、４０ａ　イベント検出画素、４１、８１　光電変換素子、４２　イベント処理回路、４３　対数応答部、４３ａ　転送部、４３ｂ　電荷電圧変換部、４４　バッファ、４５　微分回路、４６　リセット制御回路、４７　比較器、４８　出力回路、４９　イベント検出部、５１、５１ａ、５１ｂ、５１ｃ　画素チップ、５２、５２ａ、５２ｂ　ロジックチップ、５３　第１チップ、５４　第２チップ、５５　第３チップ、５６　第１画素チップ、５７　第２画素チップ、６１　イベントフレーム、６１ａ、６２ａ、６２ｂ、６２ｃ　イベントデータ、６３　蓄積イベントフレーム、６３ａ　画素データ、７１　情報処理部、７２　キャリブレーション処理部、８０、８０ａ　階調画素、８２　画素回路、８３　アナログデジタル変換部、９１　シャッタ操作部材、９２　シャッタ制御部、９３　画素、９４　イベント読出スイッチ、９５　階調読出スイッチ

Claims (19)

  1. 　入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、
    　前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに輝度情報を生成する輝度情報生成部と、を備える、
    　光検出装置。
  2. 　前記複数の画素のそれぞれは、照度に応じて前記ノイズイベントの発生率が単調に増加又は減少する少なくとも１つの照度範囲を有し、
    　前記輝度情報生成部は、前記照度範囲で前記輝度情報を生成する、
    　請求項１に記載の光検出装置。
  3. 　前記輝度情報生成部は、前記複数の画素に入射される入射光の照度が変化しない状況で前記輝度情報を生成する、
    　請求項１に記載の光検出装置。
  4. 　前記複数の画素のそれぞれごとに、前記ノイズイベントに関する情報を蓄積する蓄積部をさらに備え、
    　前記輝度情報生成部は、前記複数の画素のそれぞれごとに前記蓄積部に蓄積された前記ノイズイベントに関する情報に基づいて、前記輝度情報を生成する、
    　請求項１に記載の光検出装置。
  5. 　前記輝度情報生成部は、前記蓄積部に蓄積された前記ノイズイベントに関する情報が所定の蓄積条件を満たす場合に、前記輝度情報を生成する、
    　請求項４に記載の光検出装置。
  6. 　前記蓄積部は、前記複数の画素のそれぞれごとに、前記ノイズイベントの発生数をカウントし、
    　前記蓄積部は、前記複数の画素のそれぞれごとにカウントされた前記ノイズイベントの発生数の合計値が所定の数に達するまで、前記ノイズイベントに関する情報を蓄積し、
    　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
    　請求項５に記載の光検出装置。
  7. 　前記蓄積部は、前記複数の画素のそれぞれごとの前記ノイズイベントの発生数の最大値、又は前記複数の画素のそれぞれごとの前記ノイズイベントの発生数の平均値、のいずれか一方が、所定の数に達するまで前記ノイズイベントに関する情報を蓄積し、
    　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
    　請求項５に記載の光検出装置。
  8. 　前記複数の画素を有するとともに、前記複数の画素が非同期に検出した複数の前記ノイズイベントに関する情報を含む第１イベントフレームを出力する光検出素子を備え、
    　前記蓄積部は、前記第１イベントフレームの合計数が所定の数になるまで、前記第１イベントフレームに含まれるノイズイベントに関する情報を蓄積し、
    　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
    　請求項５に記載の光検出装置。
  9. 　前記複数の画素のそれぞれは、前記ノイズイベントを非同期で検出し、
    　前記蓄積部は、所定の時間に達するまで、前記ノイズイベントの発生数をカウントし、
    　前記輝度情報生成部は、前記所定の時間に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
    　請求項５に記載の光検出装置。
  10. 　前記複数の画素のそれぞれが検出した前記ノイズイベントに関する情報を含む第２イベントフレームを生成するイベントフレーム生成部を備え、
    　前記蓄積部は、前記第２イベントフレームの合計数が所定の数になるまで、前記ノイズイベントの発生数をカウントし、
    　前記輝度情報生成部は、前記所定の数に達した場合に、前記蓄積条件を満たすと判断して前記輝度情報を生成する、
    　請求項５に記載の光検出装置。
  11. 　前記複数の画素のそれぞれについての前記輝度情報に基づいて輝度画像データを生成する輝度画像生成部をさらに備え、
    　前記輝度画像データは、前記複数の画素のそれぞれごとに、前記照度に応じた輝度値を有する、
    　請求項１に記載の光検出装置。
  12. 　前記輝度画像生成部は、前記輝度画像データに含まれる各画素の輝度値のうち、所定の閾値を上回る輝度値を所定の輝度値に制限する、
    　請求項１１に記載の光検出装置。
  13. 　前記輝度画像生成部は、前記輝度画像データに含まれる各画素の輝度値のうち、所定の閾値を下回る輝度値を所定の輝度値に制限する、
    　請求項１１に記載の光検出装置。
  14. 　入射光の照度の変化量に基づくイベントと照度に応じて発生率が変化するノイズイベントとを検出する複数の第１画素と、
    　入射光の照度に基づく画素信号を出力する複数の第２画素と、
    　前記複数の第２画素のそれぞれから出力された前記画素信号に基づいて階調画像データを生成する階調画像生成部と、を備え、
    　前記輝度情報生成部は、前記複数の第１画素のそれぞれごとに前記輝度情報を生成し、　前記輝度画像データは、前記複数の第１画素のそれぞれごとに、前記照度に応じた輝度値を有する、
    　請求項１１に記載の光検出装置。
  15. 　前記画素信号をデジタル信号に変換するアナログデジタル変換部を備え、
    　前記階調画像生成部は、前記複数の画素のそれぞれに対応する前記デジタル信号に基づいて前記階調画像データを生成する、
    　請求項１４に記載の光検出装置。
  16. 　前記輝度画像データは、前記階調画像データよりも解像度が低く、かつ
    　前記輝度画像データはモノクロ情報を含むのに対し、前記階調画像データはモノクロ情報又は色情報の少なくともいずれかを含む
    　請求項１４に記載の光検出装置。
  17. 　前記輝度画像データ又は前記階調画像データを択一的に選択して出力する画像選択部を備える、
    　請求項１６に記載の光検出装置。
  18. 　前記画像選択部は、前記複数の第２画素の撮像タイミングまでは前記輝度画像データを選択し、前記撮像タイミングには前記階調画像データを選択する、
    　請求項１７に記載の光検出装置。
  19. 　輝度情報を生成する光検出装置と、
    　前記輝度情報に基づいて所定の情報処理を行う情報処理部と、を備える電子機器であって、
    　前記光検出装置は、
    　入射光の照度の変化量に基づくイベントを検出するとともに、前記入射光の照度に応じて発生率が変化するノイズイベントを検出する複数の画素と、
    　前記複数の画素のそれぞれごとの前記ノイズイベントの発生数に基づいて、前記複数の画素のそれぞれごとに前記輝度情報を生成する輝度情報生成部と、を有する、
    電子機器。
PCT/JP2024/000210 2023-01-17 2024-01-09 光検出装置及び電子機器 WO2024154616A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-005483 2023-01-17
JP2023005483 2023-01-17

Publications (1)

Publication Number Publication Date
WO2024154616A1 true WO2024154616A1 (ja) 2024-07-25

Family

ID=91955901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/000210 WO2024154616A1 (ja) 2023-01-17 2024-01-09 光検出装置及び電子機器

Country Status (1)

Country Link
WO (1) WO2024154616A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093610A (ja) * 2019-12-10 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2021129265A (ja) * 2020-02-17 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 センサ装置、読み出し方法
JP2022108329A (ja) * 2021-01-13 2022-07-26 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093610A (ja) * 2019-12-10 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2021129265A (ja) * 2020-02-17 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 センサ装置、読み出し方法
JP2022108329A (ja) * 2021-01-13 2022-07-26 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US12131552B2 (en) Imaging system, method for controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US20230276141A1 (en) Imaging device and imaging method
WO2021256095A1 (ja) 撮像装置及び撮像方法
US11683606B2 (en) Imaging device and electronic equipment
WO2021153254A1 (ja) 撮像装置及び撮像方法
TWI788818B (zh) 攝像裝置及攝像方法
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
CN113647089B (zh) 成像系统
JP2023072098A (ja) 撮像装置及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2022004502A1 (ja) 撮像装置及び撮像方法
WO2024154616A1 (ja) 光検出装置及び電子機器
WO2024070523A1 (ja) 光検出素子及び電子機器
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2024122394A1 (ja) 光検出素子及び電子機器
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
US12136345B2 (en) Motion vector imaging alert system
WO2024203526A1 (ja) 光検出装置及び電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2024122420A1 (ja) 光検出素子
WO2024075492A1 (ja) 固体撮像装置及び比較装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24744539

Country of ref document: EP

Kind code of ref document: A1