WO2021038751A1 - センサシステム、画像処理装置、画像処理方法およびプログラム - Google Patents

センサシステム、画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021038751A1
WO2021038751A1 PCT/JP2019/033708 JP2019033708W WO2021038751A1 WO 2021038751 A1 WO2021038751 A1 WO 2021038751A1 JP 2019033708 W JP2019033708 W JP 2019033708W WO 2021038751 A1 WO2021038751 A1 WO 2021038751A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
event
event signal
sensitivity
gradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/033708
Other languages
English (en)
French (fr)
Inventor
小泉　誠
淳 堀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2021541868A priority Critical patent/JP7191238B2/ja
Priority to US17/635,301 priority patent/US11653109B2/en
Priority to KR1020227004213A priority patent/KR102746170B1/ko
Priority to PCT/JP2019/033708 priority patent/WO2021038751A1/ja
Publication of WO2021038751A1 publication Critical patent/WO2021038751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present invention relates to a sensor system, an image processing device, an image processing method and a program.
  • Image sensors such as CCD and CMOS are synchronous solid-state image sensors that image image data (frames) in synchronization with synchronization signals such as vertical synchronization signals.
  • image data is acquired only every synchronization signal cycle (for example, 1/60 second), so it is difficult to handle high-speed processing using image data in a moving body, for example. There are cases. Therefore, for example, in Non-Patent Document 1, an asynchronous solid-state image sensor provided with an address event representation (AER: Address Event Representation) circuit for detecting an address event has been proposed.
  • AER Address Event Representation
  • an address event occurs when the amount of light of a pixel fluctuates at a certain pixel address and the amount of fluctuation exceeds a threshold value.
  • the address event includes an on-event that occurs when the light amount of the pixel fluctuates and exceeds a predetermined upper limit, and an off-event that occurs when the light amount falls below a predetermined lower limit.
  • the format of image data that expresses the presence or absence of on-events and off-events for each pixel with 2-bit data is called an AER format.
  • a technique using an asynchronous solid-state image sensor is also described in, for example, Patent Document 1.
  • asynchronous solid-state image sensor (hereinafter, also referred to as an event-driven sensor) as described above can detect the movement of the subject at high speed
  • a synchronous solid-state image sensor capable of detecting gradation is arranged together with an event-driven sensor, and when the movement of the subject is detected by the event-driven sensor, the synchronous solid-state image sensor is exposed.
  • the acquisition cycle of the image data including the gradation is restricted by the cycle of the synchronization signal of the synchronous solid-state image sensor, so that the high speed of the event-driven sensor is increased. It will be damaged.
  • an object of the present invention is to provide a sensor system, an image processing device, an image processing method, and a program that enable high-speed detection of the gradation of a subject using an event-driven sensor.
  • the light amount at the first sensor that detects the fluctuation of the light amount at the first pixel address with the first sensitivity, and the light amount at the second pixel address adjacent to or overlapping the first pixel address.
  • a sensor array containing a second sensor that detects fluctuations with a second sensitivity lower than the first sensitivity, and a second when the first sensor generates a first event signal for a luminance fluctuation event.
  • a sensor system including a gradation determination unit that determines the gradation of a subject that has generated a brightness fluctuation event depending on whether or not the sensor has generated a second event signal for the brightness fluctuation event. ..
  • the first event signal generated by the first sensor that detects the fluctuation of the amount of light at the first pixel address with the first sensitivity for the luminance fluctuation event is the first.
  • An image processing device including an event signal associating unit to be associated and a gradation determination unit for determining the gradation of a subject that has generated a luminance fluctuation event according to the presence or absence of a second event signal associated with the first event signal. Provided.
  • the step of generating the first event signal for the luminance fluctuation event by the first sensor that detects the fluctuation of the amount of light at the first pixel address with the first sensitivity is a second event with respect to a brightness fluctuation event.
  • the step of generating a signal or not generating a second event signal the step of associating the first event signal with the second event signal, and the presence or absence of the second event signal associated with the first event signal.
  • An image processing method including a step of determining the gradation of the subject in which the brightness fluctuation event is generated is provided.
  • the first event signal generated by the first sensor that detects the fluctuation of the amount of light at the first pixel address with the first sensitivity for the luminance fluctuation event is the first.
  • a program is provided for the computer to realize a function of associating the image and a function of determining the gradation of the subject in which the brightness fluctuation event is generated according to the presence or absence of the second event signal associated with the first event signal.
  • FIG. 1 is a diagram showing a schematic configuration of a system according to a first embodiment of the present invention.
  • the sensor system 10A includes a sensor module 100 and an image processing device 200A.
  • the sensor module 100 includes a sensor array including a first sensor 111 and a second sensor 112 arranged for each pixel, and a signal processing circuit 120 (event signal processing unit).
  • the image processor 200A is implemented by, for example, a computer having a communication interface, a processor, and a memory, and the time difference acquisition realized by the processor operating according to a program stored in the memory or received through the communication interface. Includes functional parts of unit 210A and gradation calculation unit 220A.
  • the image processing device 200A may further include functional parts of the image generation unit 230 and the delay time calculation unit 240. Hereinafter, each part will be further described.
  • Both the first sensor 111 and the second sensor 112 are event-driven sensors (EDS: Event Driven Sensor), and an address event occurs when the fluctuation amount of the light amount exceeds the threshold value at each pixel address. Outputs an event signal indicating.
  • the sensor array includes a first sensor 111 and a second sensor 112 arranged in a plane in a predetermined pattern. The first sensor 111 detects the fluctuation of the light amount at the first pixel address with the first sensitivity, and the second sensor 112 detects the fluctuation of the light amount at the second pixel address adjacent to the first pixel address. Detect with a second sensitivity that is lower than the first sensitivity.
  • the sensitivity of the second sensor 112 is p times (1> p> 0) of the sensitivity of the first sensor 111 (first sensitivity).
  • a first sensor 111 and a second sensor 112 are provided with, for example, a filter 115 (for example, a gray filter or a diaphragm) that is superimposed on the sensor array and reduces the amount of light incident on the second sensor 112. Can be achieved by.
  • EDS having the same configuration can be used for the first sensor 111 and the second sensor 112.
  • the filter 115 blocks (1-p) times the amount of light
  • the second sensitivity is p times the first sensitivity.
  • the sensitivity of each sensor may be adjusted by making the bias current different between the first sensor 111 and the second sensor 112.
  • the signal processing circuit 120 includes a memory and a processor, and the first event signal generated by the first sensor 111 and the second generated by the second sensor 112 when the processor operates according to a program stored in the memory. Process the event signal of. Specifically, the signal processing circuit 120 generates time stamps of the first event signal and the second event signal, respectively.
  • the time stamp is an example of information indicating the difference in time when the first sensor 111 and the second sensor 112 generate event signals for the luminance fluctuation event, respectively.
  • the first sensor 111 and the second sensor 112 detect a fluctuation amount of the amount of light when a brightness fluctuation event (hereinafter, also simply referred to as an event) such as a movement of a subject or a change of a light source occurs.
  • An event signal is generated when the threshold value is exceeded.
  • the sensitivity for detecting fluctuations in the amount of light differs between the first sensor 111 and the second sensor 112. Therefore, even when both the first sensor 111 and the second sensor 112 generate an event signal for the same event, the amount of fluctuation in the amount of light detected by each sensor is different.
  • the first sensor 111 and the second sensor utilize the characteristic of the sensor that the delay time from the event to the generation of the event signal is different when the fluctuation amount of the light amount is different.
  • the gradation of the subject is calculated from the difference in time when the event signals are generated for each of the same brightness fluctuation events of 112.
  • FIGS. 2A, 2B and 3 are diagrams for explaining the principle of gradation calculation in the embodiment of the present invention.
  • the luminance variation of an event is relatively large.
  • a delay time d 1 occurs from the occurrence of the event until the EDS generates the event signal.
  • an event is generated by the movement of the dark (low gradation) subject obj 2 , the amount of brightness fluctuation of the event is relatively small.
  • the delay time d 2 that occurs from the occurrence of the event to the generation of the event signal by EDS is longer than the delay time d 1 in the case of the subject obj 1 (d 1 ⁇ d 2 ). That is, the delay time for the EDS to generate the event signal becomes shorter as the gradation of the subject is higher, and becomes longer as the gradation of the subject is lower.
  • the first delay time of the event signal d 1 and the difference between the delay time d 2 of the second event signal generated by the second sensor 112 generated by the first sensor 111 (d 2 - d 1 ) corresponds to 50% of the gradation of the subject. Therefore, if the relationship between the gradation of the subject and the delay time of EDS is measured in advance, the gradation of the subject can be calculated from the difference in delay time, that is, the difference in the time when each sensor generates an event signal. it can.
  • the gradation of the subject is measured in advance by measuring the relationship between the gradation of the subject that causes the event and the delay time of EDS, so that the gradation of the subject is a function g (d) of the delay time d. Identify as.
  • the time difference acquisition unit 210A causes the first sensor and the second sensor to respond to the same luminance fluctuation event based on the time stamp generated by the signal processing circuit 120.
  • Information indicating the difference between the times when the event signals were generated is acquired.
  • the signal processing circuit 120 has a first event signal and a second event signal apart from the time stamps of the first event signal and the second event signal. Information indicating the time difference between the two event signals may be directly acquired.
  • the gradation calculation unit 220A calculates the gradation of the subject in which the luminance fluctuation event has occurred, based on the information indicating the time difference acquired by the time difference acquisition unit 210A. As described above with reference to FIGS. 2A, 2B and 3, if the relationship between the gradation of the subject that generates the event and the delay time of EDS is measured in advance, the time when the event signal is generated The gradation of the subject can be calculated from the difference between the two.
  • the time difference-gradation table 221 is stored in the memory of the image processing device 200A, and the gradation calculation unit 220A calculates the gradation of the subject by referring to the time difference-gradation table 221.
  • the gradation of the subject calculated by the gradation calculation unit 220A by the above processing may be used, for example, in the image generation unit 230 to generate an image of the subject by using the event signal.
  • the first event signal and the second event signal may be synchronized by a process as described later.
  • the gradation of the subject calculated by the gradation calculation unit 220A may be used to select a process for the subject recognized from the event signal.
  • the functional portion that executes the above processing may be mounted inside the image processing device 200A, or may be mounted in an external device that receives information indicating the gradation of the subject from the image processing device 200A.
  • the delay time calculated by the delay time calculation unit 240 as described above may be used, for example, to specify the true occurrence time of the event excluding the delay time.
  • the true occurrence time of the event detected by the first sensor 111 can be specified by subtracting the delay time d 1 from the time stamp of the first event signal generated by the first sensor 111. it can.
  • the image processing device 200A includes both the gradation calculation unit 220A and the delay time calculation unit 240, but in other embodiments, the image processing device is either the gradation calculation unit 220A or the delay time calculation unit 240. May include only.
  • FIGS. 4A to 4D are diagrams for explaining the simultaneous processing in the first embodiment of the present invention.
  • the delay time from the occurrence of the luminance fluctuation event to the generation of the event signal differs between the first sensor 111 and the second sensor 112.
  • the gradation of the subject is calculated by using the difference in the delay time, but on the other hand, the first event signal generated by the first sensor 111 and the second sensor 112 are generated.
  • a difference in time stamp corresponding to the difference in delay time occurs between the signal and the second event signal.
  • the time stamps of the second event signals generated by the second sensor 112A are the average values of the time stamps of the event signals generated by the adjacent first sensors 111A to 111H.
  • the second event signal is synchronized with the first event signal.
  • 4A to 4D show examples of cases where the first sensors 111 that generate event signals adjacent to the second sensor 112A are 2, 4, and 8, respectively.
  • the first pixel address and the first pixel address where the first sensor 111 is arranged and the first sensor 111 are generated.
  • the movement of the subject can be identified based on the events detected in all the pixels of the sensor array including both of the second pixel addresses where the two sensors 112 are located (ie, without reducing the resolution).
  • the simultaneous processing as described above does not necessarily have to be executed.
  • the first pixel in which the first sensor 111 is arranged is based on the first event signal generated by the first sensor 111.
  • the movement of the subject may be specified based only on the event detected by the address.
  • the resolution is reduced by the amount that the event detected at the second pixel address is not used, but the reduction in resolution can be compensated by a known interpolation method such as linear interpolation.
  • only the event signal acquired at the first pixel address may be used for identifying the movement of the subject without performing the simultaneous processing or the interpolation processing.
  • the gradation is calculated with the minimum necessary resolution while calculating the gradation.
  • the resolution for identifying the movement of the subject may be maintained.
  • FIG. 5 is a flowchart showing an example of processing in the first embodiment of the present invention.
  • the first sensor 111 of the sensor module 100 generates a first event signal for the luminance fluctuation event (step S101).
  • the second sensor 112 generates a second event signal for the same luminance variation event (step S102).
  • the time difference between the first event signal and the second event signal is such that the detected luminance fluctuation amount is the first sensor 111 and the second sensor 112 having lower sensitivity. It is caused by the difference between.
  • the time difference acquisition unit 210A provides information indicating the difference in time when the first sensor 111 and the second sensor 112 generate the first event signal and the second event signal, respectively. Acquire (step S103). Specifically, in the time difference acquisition unit 210A, the first sensor and the second sensor have the same brightness based on the time stamps of the first event signal and the second event signal generated by the signal processing circuit 120. Information indicating the difference between the times when the event signals are generated (steps S101 and S102 above) for each variable event is acquired.
  • the gradation calculation unit 220A calculates the gradation of the subject in which the luminance fluctuation event is generated based on the information indicating the time difference acquired by the time difference acquisition unit 210A (step S104). As described with reference to FIG. 1, at this time, the gradation calculation unit 220A may refer to the time difference-gradation table 221 stored in the memory of the image processing device 200A. In the illustrated example, the image generation unit 230 generates an image of the subject using the calculated gradation and the event signal (step S105), but the gradation calculated as described above is combined with the image generation. Alternatively, it may be used for other processing instead of image generation.
  • FIG. 6 is a diagram showing another example of the sensor arrangement in the first embodiment of the present invention.
  • the sensor array of the sensor module 100 includes a first sensor 111, a second sensor 112, a third sensor 113 and a fourth sensor 114 arranged in a plane in a predetermined pattern.
  • the third sensor 113 is adjacent to at least one of the first and second pixel addresses. The fluctuation of the amount of light at the third pixel address is detected with a third sensitivity lower than the second sensitivity.
  • the fourth sensor 114 detects fluctuations in the amount of light at a fourth pixel address adjacent to at least one of the first to third pixel addresses with a fourth sensitivity lower than the third sensitivity.
  • the signal processing circuit 120 (not shown) generates time stamps of event signals generated by the first to fourth sensors 111 to 114, respectively.
  • Such first to fourth sensors 111 to 114 are, for example, a filter 116 (for example, a gray filter or an aperture) that is superposed on the sensor array and reduces the amount of light incident on the second to fourth sensors 112 to 114.
  • the filter 116 blocks 25% of the amount of light incident on the second sensor 112, blocks 50% of the amount of light incident on the third sensor 113, and is incident on the fourth sensor 114. Blocks 75% of the amount of light.
  • the brightness change of the event detected by the second sensor 112 is 75% and 50% of the brightness change of the event detected by the first sensor 111, respectively. % And 25%, and the difference between the delay times d 1 to d 4 of the first to fourth event signals generated by the first to fourth sensors 111 to 114 (d 4- d 1 ), (d). 3- d 1 ) and (d 2- d 1 ) correspond to 75%, 50%, and 25% of the gradation of the subject, respectively.
  • the delay time d 1 satisfying the condition can be accurately searched.
  • the gradation calculation result may be stabilized by averaging the gradations calculated from the time difference from the signal.
  • sensors having different sensitivities for detecting fluctuations in the amount of light are arranged at adjacent pixel addresses, and the gradation of the subject is determined from the time difference of the event signal generated by each sensor. calculate.
  • the gradation of the subject can be detected without impairing the high speed of the event-driven sensor (EDS).
  • EDS event-driven sensor
  • FIG. 7 is a diagram showing a schematic configuration of a system according to a second embodiment of the present invention.
  • the sensor system 10B includes a sensor module 300 and an image processing device 200A.
  • the sensor module 300 includes a sensor array including a stacked sensor 310 arranged for each pixel, and a signal processing circuit 320 (event signal processing unit). Since the configuration of the image processing device 200A is the same as that of the first embodiment described above, duplicate description will be omitted. Hereinafter, each part will be further described.
  • the transmission type first light receiving layer 311 constituting the first sensor and the second light receiving layer 312 constituting the second sensor are laminated, and the first light receiving layer 311 is formed. It is arranged on the incident side of light, that is, on the side closer to the subject. The light from the subject passes through the first light receiving layer 311 and is also incident on the second light receiving layer 312.
  • the first light receiving layer 311 detects the fluctuation of the light amount at the pixel address where the sensor 310 is arranged with the first sensitivity
  • the second light receiving layer 312 detects the fluctuation of the light amount at the same pixel address with the first sensitivity. Detect with a low second sensitivity.
  • a first pixel address in which a first sensor composed of a first light receiving layer 311 is arranged and a second sensor in which a second sensor composed of a second light receiving layer 312 is arranged are arranged. It overlaps with the pixel address of.
  • the sensitivity of the second light receiving layer 312 is p times (1>p> 0) of the sensitivity of the first light receiving layer 311 (first sensitivity).
  • the quantum efficiency of the first light receiving layer 311 is p 1 (1> p 1 > 0)
  • the quantum efficiency of the second light receiving layer 312 is p 2 (((1> p 1> 0)). This can be achieved by 1-p 1 )> p 2> 0).
  • the quantum efficiency means an index indicating the probability of detection per photon.
  • the EDS 310 may have a laminated structure of more than two layers.
  • the signal processing circuit 320 includes a memory and a processor, and the first event signal generated by the first sensor configured by the first light receiving layer 311 by operating the processor according to the program stored in the memory, and the first event signal.
  • the second event signal generated by the second sensor composed of the light receiving layer 312 of 2 is processed.
  • the signal processing circuit 320 generates time stamps for each of the first event signal and the second event signal.
  • the time stamp is the difference between the times when the first sensor composed of the first light receiving layer 311 and the second sensor composed of the second light receiving layer 312 generate event signals for the luminance fluctuation event. This is an example of information indicating.
  • the image generation unit 230 may specify the movement of the subject by using only the first event signal.
  • FIG. 8 is a diagram showing another example of the sensor arrangement in the second embodiment of the present invention.
  • the first light receiving layer 311, the second light receiving layer 312, the third light receiving layer 313, and the fourth light receiving layer 314 are laminated in this order from the light incident side. ..
  • the first to third light receiving layers 311 to 313 are transmission type, and the light from the subject passes through the first light receiving layer 311 and the second light receiving layer 312 and the third light receiving layer 313 to receive the fourth light. It is incident up to layer 314.
  • the first light receiving layer 311 and the second light receiving layer 312 similar to the example described with reference to FIG.
  • the third light receiving layer 313 has the amount of light at the pixel address where the sensor 310 is arranged. Fluctuations are detected with a third sensitivity lower than the second sensitivity to form a third sensor.
  • the fourth light receiving layer 314 detects fluctuations in the amount of light at the same pixel address with a fourth sensitivity lower than the third sensitivity, and constitutes a fourth sensor.
  • the signal processing circuit 120 generates time stamps of event signals generated by sensors composed of the first to fourth light receiving layers 311 to 314, respectively.
  • the sensitivity of the second light receiving layer 312 (second sensitivity), the sensitivity of the third light receiving layer 313 (third sensitivity), and the sensitivity of the fourth light receiving layer 314 (fourth).
  • sensitivity is, p 2 times the respective sensitivities of the first light-receiving layer 311 (first sensitivity), p 3 times, and p 4 times (1> p 2> p 3 > p 4> 0).
  • p 2 0.5
  • p 3 0.25
  • the quantum efficiency of the first light receiving layer 311 is 40%
  • the quantum efficiency of the second light receiving layer 312 is 20%
  • the quantum efficiency of the third light receiving layer 313 is 10%
  • the change in the brightness of the event detected by the second light receiving layer 312, the third light receiving layer 313, and the fourth light receiving layer 314 is the change in the brightness of the event detected by the first light receiving layer 311, respectively. It becomes 50%, 25% and 12.5%, and the difference between the delay times d 1 to d 4 of the first to fourth event signals generated in the first to fourth light receiving layers 311 to 314, respectively (d 4).
  • -D 1 ), (d 3- d 1 ) and (d 2- d 1 ) correspond to 50%, 25% and 12.5% of the gradation of the subject, respectively.
  • the gradation of the subject is determined from the time difference of the event signal generated by each light receiving layer. Is calculated.
  • the gradation of the subject can be detected without impairing the high speed of the event-driven sensor (EDS).
  • EDS event-driven sensor
  • FIG. 9 is a diagram showing a schematic configuration of a system according to a third embodiment of the present invention.
  • the sensor system 10C includes a sensor module 300 including a sensor 310 having a four-layer laminated structure, and an image processing device 200C.
  • the sensor module 300 includes a sensor array including a stacked sensor 310 and a signal processing circuit 320 as in the second embodiment described above.
  • the image processor 200C is implemented by, for example, a computer having a communication interface, a processor, and a memory, and the event signal association realized by the processor operating according to a program stored in the memory or received via the communication interface. Includes functional parts of unit 210C and gradation determination unit 220C.
  • the image processing device 200C may further include a functional portion of the image generation unit 230.
  • each part of the image processing apparatus 200C will be further described.
  • the event signal association unit 210C associates the second to fourth event signals with the first event signal input from the signal processing circuit 320.
  • the first event signal is generated by the first sensor configured by the first light receiving layer 311 for the luminance fluctuation event.
  • the second to fourth sensors composed of the second to fourth light receiving layers 312 to 314 have the same luminance fluctuation as the first sensor. It was generated for the event.
  • the event signal association unit 210C executes the association of event signals based on, for example, the order of each event signal and the interval of time stamps.
  • the second event signal is generated after the first event signal, and the time stamp interval between the first event signal and the second event signal is within a predetermined range.
  • the second event signal is associated with the first event signal. If there is no such second event signal, the event signal association unit 210C does not associate the second event signal with the first event signal.
  • the third event signal is generated after the second event signal, and the time stamp interval between the second event signal and the third event signal is within a predetermined range. In some cases, the third event signal is associated with the first event signal. When there is no such third event signal, and when the second event signal is not associated with the first event signal, the event signal associating unit 210C associates the third event signal with the first event signal. Absent.
  • the gradation determination unit 220C determines the gradation of the subject according to the result of the association of the event signals in the event signal association unit 210C.
  • the first to fourth light receiving layers 311 to 314 of the stacked sensor 310 are configured so that the sensitivity to fluctuations in the amount of light gradually decreases, so that the brightness fluctuates.
  • the fluctuation amount of the light amount does not exceed the threshold value in the light receiving layer having relatively low sensitivity, and the sensor composed of the light receiving layer does not generate an event signal.
  • the second to fourth light receiving layers 312 to 314 also generate the event signal, but the brightness change is small.
  • the fourth light receiving layer 314, which has the lowest sensitivity, does not generate an event signal, and when the brightness change becomes smaller, the third light receiving layer 313 also does not generate an event signal, and the smallest detectable brightness change.
  • the second light receiving layer 312 also does not generate an event signal, and only the first light receiving layer 311 generates an event signal.
  • the gradation determination unit 220C determines the gradation of the subject according to the relationship between the gradation of the subject and the generation of each event signal as described above. Specifically, when all of the second to fourth event signals associated with the first event signal by the event signal association unit 210C are present, the gradation determination unit 220C has the highest level of gradation of the subject. Is determined to be. On the other hand, when the second and third event signals associated with the first event signal are present but the fourth event signal is not present, the gradation determination unit 220C has the gradation of the subject at the second level. Judge that there is.
  • the gradation determination unit 220C determines that the gradation of the subject is the third level. When there is no event signal associated with the first event signal, the gradation determination unit 220C determines that the gradation of the subject is the lowest level.
  • the gradation of the subject determined in this way is used, for example, for generating an image of the subject by the image generation unit 230 and selecting processing for the subject recognized from the event signal, as in the first embodiment. Be done.
  • FIG. 10 is a flowchart showing an example of processing according to the third embodiment of the present invention.
  • FIG. 10 describes the determination using the first event signal and the second event signal, but the same applies to the determination using the third event signal and the fourth event signal.
  • the first light receiving layer 311 constituting the first sensor in the sensor module 300 generates a first event signal for the luminance fluctuation event (step S201).
  • the second light receiving layer 312 constituting the second sensor generates a second event signal for the same luminance fluctuation event (step S202). If the fluctuation amount of the light amount does not exceed the threshold value in the second light receiving layer 312 having a relatively low sensitivity, the second event signal is not generated.
  • the event signal association unit 210C determines whether or not the second event signal is associated with the first event signal (step S203). Specifically, the event signal association unit 210C determines whether or not the association is possible based on the order of the first event signal and the second event signal indicated by the time stamps and the time stamp interval. When the second event signal is associated with the first event signal, the gradation determination unit 220C determines that the gradation of the subject is at a relatively high level (step S204). On the other hand, when the second event signal is not associated with the first event signal, the gradation determination unit 220C determines that the gradation of the subject is at a relatively low level (step S205).
  • the senor 310 has a four-layer laminated structure including the first to fourth light receiving layers 311 to 314, but in the other example, the sensor 310 is similar to the example shown in FIG. It may have a laminated structure of layers, or may have a laminated structure of three layers or more than four layers.
  • the sensor module may include a sensor array in which sensors of different sensitivities are arranged in a plane in a predetermined pattern, as described above with reference to FIGS. 1 and 6.
  • the gradation of the subject is determined depending on which light receiving layer generates the event signal. judge.
  • the gradation of the subject can be detected without impairing the high speed of the event-driven sensor (EDS).
  • the gradation of the subject is detected only at the same stage as the number of sensitivities of the light receiving layer, but it is convenient because it is not necessary to measure the relationship between the gradation of the subject and the delay time of EDS in advance.
  • the gradation of the subject can be stably specified by a simple determination.
  • a game controller for example, a game controller, a smartphone, and various moving objects (automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, etc.) are used to provide information on the surrounding environment. It can be used to acquire, estimate the self-position from the position of the surrounding subject, detect the flying subject, and take an avoidance action.
  • the gradation of the subject can be useful for identifying the subject or identifying the subject in the above-mentioned applications, for example.
  • 10A, 10B, 10C ... sensor system 100 ... sensor module, 111 ... first sensor, 112 ... second sensor, 113 ... third sensor, 114 ... fourth sensor, 115, 116 ... filter, 120 ... Signal processing circuit, 200A, 200C ... Image processing device, 210A ... Time difference acquisition unit, 210C ... Event signal association unit, 220A ... Gradation calculation unit, 220C ... Gradation determination unit, 230 ... Image generation unit, 240 ... Delay time Calculation unit, 300 ... sensor module, 310 ... sensor, 311 ... first light receiving layer, 312 ... second light receiving layer, 313 ... third light receiving layer, 314 ... fourth light receiving layer, 320 ... signal processing circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本発明のある観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサ、および第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサを含むセンサアレイと、第１のセンサが輝度変動イベントに対して第１のイベント信号を生成したときに、第２のセンサが輝度変動イベントに対して第２のイベント信号を生成したか否かに応じて輝度変動イベントを発生させた被写体の階調を判定する階調判定部とを備えるセンサシステムが提供される。

Description

センサシステム、画像処理装置、画像処理方法およびプログラム
　本発明は、センサシステム、画像処理装置、画像処理方法およびプログラムに関する。
　ＣＣＤやＣＭＯＳなどのイメージセンサは、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子である。一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データが取得されないため、例えば移動体における画像データを利用した高速な処理には対応が困難な場合がある。そこで、例えば非特許文献１などにおいて、アドレスイベントを検出するアドレスイベント表現（ＡＥＲ：Address Event Representation）回路を設けた非同期型の固体撮像素子が提案されている。
　上記の非同期型の固体撮像素子において、アドレスイベントは、ある画素アドレスで画素の光量が変動し、変動量が閾値を超えた場合に発生する。具体的には、アドレスイベントは、画素の光量が変動して所定の上限を超えた場合に発生するオンイベントと、光量が所定の下限を下回った場合に発生するオフイベントとを含む。このような非同期型の固体撮像素子において、画素ごとのオンイベントおよびオフイベントの有無を２ビットのデータで表現する画像データの形式はＡＥＲフォーマットと呼ばれる。非同期型の固体撮像素子を用いた技術は、例えば特許文献１にも記載されている。
特開２０１８－１８６４７８号公報
Patrick Lichtsteiner, et al., A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.
　上記のような非同期型の固体撮像素子（以下、イベント駆動型センサともいう）では、被写体の動きを高速に検出することは可能であるものの、画像データとしてオンイベントまたはオフイベントの２通りの情報しか得られないため、被写体の輝度の階調を検出することは困難である。例えば、階調を検出することが可能な同期型の固体撮像素子をイベント駆動型センサとともに配置し、イベント駆動型センサで被写体の動きが検出された場合に同期型の固体撮像素子を露光して階調を検出することも考えられるが、この場合は階調を含めた画像データの取得周期が同期型の固体撮像素子の同期信号の周期に制約されるため、イベント駆動型センサの高速性が損なわれてしまう。
　そこで、本発明は、イベント駆動型センサを用いて高速に被写体の階調を検出することを可能にする、センサシステム、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサ、および第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサを含むセンサアレイと、第１のセンサが輝度変動イベントに対して第１のイベント信号を生成したときに、第２のセンサが輝度変動イベントに対して第２のイベント信号を生成したか否かに応じて輝度変動イベントを発生させた被写体の階調を判定する階調判定部とを備えるセンサシステムが提供される。
　本発明の別の観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサが輝度変動イベントに対して生成した第２のイベント信号を関連付けるイベント信号関連付け部と、第１のイベント信号に関連付けられる第２のイベント信号の有無に応じて輝度変動イベントを発生させた被写体の階調を判定する階調判定部とを備える画像処理装置が提供される。
　本発明のさらに別の観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが、輝度変動イベントに対して第１のイベント信号を生成するステップと、第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサが輝度変動イベントに対して第２のイベント信号を生成するか、または第２のイベント信号を生成しないステップと、第１のイベント信号に第２のイベント信号を関連付けるステップと、第１のイベント信号に関連付けられる第２のイベント信号の有無に応じて輝度変動イベントを発生させた被写体の階調を判定するステップとを含む画像処理方法が提供される。
　本発明のさらに別の観点によれば、第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する第２のセンサが輝度変動イベントに対して生成した第２のイベント信号を関連付ける機能と、第１のイベント信号に関連付けられる第２のイベント信号の有無に応じて輝度変動イベントを発生させた被写体の階調を判定する機能とをコンピュータに実現させるためのプログラムが提供される。
本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。 本発明の実施形態における階調算出の原理について説明するための図である。 本発明の実施形態における階調算出の原理について説明するための図である。 本発明の実施形態における階調算出の原理について説明するための図である。 本発明の第１の実施形態における同時化処理について説明するための図である。 本発明の第１の実施形態における同時化処理について説明するための図である。 本発明の第１の実施形態における同時化処理について説明するための図である。 本発明の第１の実施形態における同時化処理について説明するための図である。 本発明の第１の実施形態における処理の例を示すフローチャートである。 本発明の第１の実施形態におけるセンサ配置の他の例を示す図である。 本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。 本発明の第２の実施形態におけるセンサ配置の他の例を示す図である。 本発明の第３の実施形態に係るシステムの概略的な構成を示す図である。 本発明の第３の実施形態における処理の例を示すフローチャートである。
　以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。図示されているように、センサシステム１０Ａは、センサモジュール１００と、画像処理装置２００Ａとを含む。センサモジュール１００は、画素ごとに配置された第１のセンサ１１１および第２のセンサ１１２を含むセンサアレイと、信号処理回路１２０（イベント信号処理部）とを含む。画像処理装置２００Ａは、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される時刻差分取得部２１０Ａおよび階調算出部２２０Ａの機能部分を含む。画像処理装置２００Ａは、さらに、画像生成部２３０および遅延時間算出部２４０の機能部分を含んでもよい。以下、各部についてさらに説明する。
　第１のセンサ１１１および第２のセンサ１１２は、いずれもイベント駆動型センサ（ＥＤＳ：Event Driven Sensor）であり、それぞれの画素アドレスで光量の変動量が閾値を超えたときに、アドレスイベントの発生を示すイベント信号を出力する。本実施形態において、センサアレイは所定のパターンで平面的に配列された第１のセンサ１１１および第２のセンサ１１２を含む。第１のセンサ１１１は、第１の画素アドレスにおける光量の変動を第１の感度で検出し、第２のセンサ１１２は、第１の画素アドレスに隣接する第２の画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する。
　具体的には、例えば、第２のセンサ１１２の感度（第２の感度）は、第１のセンサ１１１の感度（第１の感度）のｐ倍（１＞ｐ＞０）である。このような第１のセンサ１１１および第２のセンサ１１２は、例えば、センサアレイに重畳され、第２のセンサ１１２に入射する光量を低減させるフィルタ１１５（例えばグレーフィルタ、または絞り）を配置することによって実現できる。この場合、第１のセンサ１１１および第２のセンサ１１２に同じ構成のＥＤＳを用いることができる。フィルタ１１５が光量の（１－ｐ）倍を遮断する場合、第２の感度は第１の感度のｐ倍になる。あるいは、第１のセンサ１１１と第２のセンサ１１２との間でバイアス電流を異ならせることによってそれぞれのセンサの感度を調節してもよい。
　信号処理回路１２０は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによって第１のセンサ１１１が生成した第１のイベント信号、および第２のセンサ１１２が生成した第２のイベント信号を処理する。具体的には、信号処理回路１２０は、第１のイベント信号および第２のイベント信号のそれぞれのタイムスタンプを生成する。タイムスタンプは、第１のセンサ１１１および第２のセンサ１１２が輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報の例である。
　ここで、第１のセンサ１１１および第２のセンサ１１２は、例えば被写体の移動や光源の変化などの輝度変動イベント（以下、単にイベントともいう）が発生したときに、検出する光量の変動量が閾値を超えたことによってイベント信号を生成する。ここで、上述のように、第１のセンサ１１１と第２のセンサ１１２との間では光量の変動を検出する感度が異なる。従って、同一のイベントに対して第１のセンサ１１１および第２のセンサ１１２の両方がイベント信号を生成した場合にも、それぞれのセンサで検出されている光量の変動量は異なる。本実施形態では、以下で説明するように、光量の変動量が異なるとイベントからイベント信号の生成までの遅延時間が異なるというセンサの特性を利用して、第１のセンサ１１１および第２のセンサ１１２が同一の輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分から、被写体の階調を算出する。
　図２Ａ、図２Ｂおよび図３は、本発明の実施形態における階調算出の原理について説明するための図である。図２Ａおよび図２Ｂに示されているように、明るい（高階調の）被写体ｏｂｊ１の動きによってイベントが発生する場合、イベントの輝度変動量は相対的に大きい。この場合、イベントが発生してからＥＤＳがイベント信号を生成するまでに遅延時間ｄ１が生じるとする。一方、暗い（低階調の）被写体ｏｂｊ２の動きによってイベントが発生する場合、イベントの輝度変動量は相対的に小さい。この場合、イベントが発生してからＥＤＳがイベント信号を生成するまでに生じる遅延時間ｄ２は、被写体ｏｂｊ１の場合の遅延時間ｄ１よりも長い（ｄ１＜ｄ２）。つまり、ＥＤＳがイベント信号を生成する遅延時間は、被写体の階調が高いほど短くなり、被写体の階調が低いほど長くなる。
　そこで、例えば、図３に示されているように、第２のセンサ１１２の感度が第１のセンサ１１１の感度の５０％（上述の例においてｐ＝０．５）である場合、第２のセンサ１１２で検出されるイベントの輝度変化は、第１のセンサ１１１で検出されるイベントの輝度変化の５０％になる。つまり、第２のセンサ１１２では、被写体の階調が５０％低減されて検出される。この場合において、第１のセンサ１１１で生成された第１のイベント信号の遅延時間ｄ１と第２のセンサ１１２で生成された第２のイベント信号の遅延時間ｄ２との差分（ｄ２－ｄ１）は、被写体の階調の５０％分に相当する。従って、被写体の階調とＥＤＳの遅延時間との関係を予め測定しておけば、遅延時間の差分、すなわちそれぞれのセンサがイベント信号を生成した時刻の差分から被写体の階調を算出することができる。
　より具体的には、例えば、本実施形態では、イベントを発生させる被写体の階調とＥＤＳの遅延時間との関係を予め測定することによって、被写体の階調を遅延時間ｄの関数ｇ（ｄ）として特定する。これによって、第１のイベント信号および第２のイベント信号の遅延時間ｄ１，ｄ２が未知であっても、遅延時間ｄ１と遅延時間ｄ２との差分ｄＤ＝ｄ２－ｄ１が既知であれば、
　ｇ（ｄ１＋ｄＤ）＝０．５×ｇ（ｄ１）　・・・（式１）
となるような第１のセンサ１１１の遅延時間ｄ１と、第１のセンサ１１１で検出されている被写体の階調ｇ（ｄ１）と算出することができる。
　再び図１を参照して、画像処理装置２００Ａにおいて、時刻差分取得部２１０Ａは、信号処理回路１２０が生成したタイムスタンプに基づいて、第１のセンサおよび第２のセンサが同じ輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報を取得する。他の例として、例えば画像処理装置２００Ａが信号処理回路１２０を含む場合は、信号処理回路１２０が第１のイベント信号および第２のイベント信号のタイムスタンプとは別に、第１のイベント信号および第２のイベント信号の間の時間差を示す情報を直接的に取得してもよい。
　階調算出部２２０Ａは、時刻差分取得部２１０Ａが取得した時刻の差分を示す情報に基づいて、輝度変動イベントを発生させた被写体の階調を算出する。上記で図２Ａ、図２Ｂおよび図３を参照して説明したように、イベントを発生させる被写体の階調とＥＤＳの遅延時間との関係を予め測定しておけば、イベント信号が生成された時刻の差から被写体の階調を算出することができる。本実施形態において、画像処理装置２００Ａのメモリには時間差－階調テーブル２２１が格納され、階調算出部２２０Ａは時間差－階調テーブル２２１を参照することによって被写体の階調を算出する。
　上記のような処理によって階調算出部２２０Ａが算出した被写体の階調は、例えば画像生成部２３０でイベント信号を用いて被写体の画像を生成するのに用いられてもよい。この場合、第１のイベント信号および第２のイベント信号は後述するような処理によって同時化されてもよい。あるいは、階調算出部２２０Ａが算出した被写体の階調は、イベント信号から認識される被写体に対する処理を選択するために用いられてもよい。上記のような処理を実行する機能部分は、画像処理装置２００Ａの内部において実装されてもよいし、画像処理装置２００Ａから被写体の階調を示す情報を受信する外部装置において実装されてもよい。
　遅延時間算出部２４０は、時刻差分取得部２１０Ａが取得した時刻の差分を示す情報から、第１のセンサ１１１における輝度変動イベントからイベント信号の生成までの遅延時間を算出する。上記で図３を参照して説明したように、被写体の階調を遅延時間ｄの関数ｇ（ｄ）として表現した場合、遅延時間ｄ１，ｄ２が未知でも、差分ｄＤ＝ｄ２－ｄ１からｇ（ｄ１＋ｄＤ）＝０．５×ｇ（ｄ１）となる遅延時間ｄ１を算出することができる。遅延時間算出部２４０は、同様にして第２のセンサ１１２における遅延時間ｄ２を算出してもよい。
　上記のように遅延時間算出部２４０が算出した遅延時間は、例えば遅延時間を除いたイベントの真の発生時刻を特定するために用いられてもよい。具体的には、遅延時間ｄ１を第１のセンサ１１１が生成した第１のイベント信号のタイムスタンプから差し引くことによって、第１のセンサ１１１が検出したイベントの真の発生時刻を特定することができる。本実施形態では画像処理装置２００Ａが階調算出部２２０Ａおよび遅延時間算出部２４０の両方を含むが、他の実施形態では画像処理装置が階調算出部２２０Ａまたは遅延時間算出部２４０のいずれか一方のみを含んでもよい。
　図４Ａ～図４Ｄは、本発明の第１の実施形態における同時化処理について説明するための図である。上述のように、第１のセンサ１１１と第２のセンサ１１２との間では、輝度変動イベントが発生してからイベント信号が生成されるまでの遅延時間が異なる。本実施形態ではこの遅延時間の違いを利用して被写体の階調を算出しているが、その一方で、第１のセンサ１１１が生成する第１のイベント信号と第２のセンサ１１２が生成する第２のイベント信号との間では、遅延時間の違いに相当するタイムスタンプの差分が生じる。
　そこで、図示された例では、第２のセンサ１１２Ａで生成された第２のイベント信号のタイムスタンプを、隣接する第１のセンサ１１１Ａ～１１１Ｈのそれぞれで生成されたイベント信号のタイムスタンプの平均値に置き換えることで、第２のイベント信号を第１のイベント信号に同時化している。図４Ａ～図４Ｄには、それぞれ、第２のセンサ１１２Ａに隣接してイベント信号を生成した第１のセンサ１１１が２個、４個および８個の場合の例が示されている。例えば、階調算出部２２０Ａまたは遅延時間算出部２４０に入力されるイベント信号とは別に同時化されたイベント信号を生成することによって、第１のセンサ１１１が配置される第１の画素アドレスおよび第２のセンサ１１２が配置される第２の画素アドレスの両方を含むセンサアレイの全画素で検出されたイベントに基づいて（つまり、解像度を下げることなく）被写体の動きを特定することができる。
　なお、上記のような同時化処理は必ずしも実行されなくてもよく、例えば、第１のセンサ１１１が生成する第１のイベント信号に基づいて、第１のセンサ１１１が配置される第１の画素アドレスで検出されたイベントのみに基づいて被写体の動きを特定してもよい。この場合、第２の画素アドレスで検出されたイベントが用いられない分だけ解像度は低下するが、例えば線形補間などの公知の補間の手法によって解像度の低下を補うことができる。また、高い解像度が必要とされない場合は、同時化処理や補間処理を行わず、第１の画素アドレスで取得されたイベント信号のみを被写体の動きの特定に用いてもよい。あるいは、第１のセンサ１１１および第２のセンサ１１２の配列パターンにおいて、第１のセンサ１１１を第２のセンサ１１２よりも多く配置することによって、必要最低限の解像度で階調を算出しつつ、被写体の動きを特定するための解像度を維持してもよい。
　図５は、本発明の第１の実施形態における処理の例を示すフローチャートである。図示された例では、まず、センサモジュール１００の第１のセンサ１１１が輝度変動イベントに対して第１のイベント信号を生成する（ステップＳ１０１）。その時刻からわずかに遅れて、第２のセンサ１１２が同じ輝度変動イベントに対して第２のイベント信号を生成する（ステップＳ１０２）。上述のように、このような第１のイベント信号と第２のイベント信号との間の時間差は、検出された輝度変動量が第１のセンサ１１１と、より感度が低い第２のセンサ１１２との間で異なることによって生じる。
　次に、画像処理装置２００Ａにおいて、時刻差分取得部２１０Ａが、第１のセンサ１１１および第２のセンサ１１２がそれぞれ第１のイベント信号および第２のイベント信号を生成した時刻の差分を示す情報を取得する（ステップＳ１０３）。具体的には、時刻差分取得部２１０Ａは、信号処理回路１２０によって生成された第１のイベント信号および第２のイベント信号のタイムスタンプに基づいて、第１のセンサおよび第２のセンサが同じ輝度変動イベントに対してそれぞれイベント信号を生成した（上記のステップＳ１０１，Ｓ１０２）時刻の差分を示す情報を取得する。
　さらに、階調算出部２２０Ａが、時刻差分取得部２１０Ａが取得した時刻の差分を示す情報に基づいて、輝度変動イベントを発生させた被写体の階調を算出する（ステップＳ１０４）。上記図１を参照して説明したように、このとき階調算出部２２０Ａは、画像処理装置２００Ａのメモリに格納された時間差－階調テーブル２２１を参照してもよい。図示された例では算出された階調とイベント信号とを用いて画像生成部２３０が被写体の画像を生成しているが（ステップＳ１０５）、上述のように算出された階調は画像生成とともに、または画像生成の代わりに他の処理に利用されてもよい。
　図６は、本発明の第１の実施形態におけるセンサ配置の他の例を示す図である。図示された例において、センサモジュール１００のセンサアレイは所定のパターンで平面的に配列された第１のセンサ１１１、第２のセンサ１１２、第３のセンサ１１３および第４のセンサ１１４を含む。上記で図１を参照して説明した例と同様の第１のセンサ１１１および第２のセンサ１１２に加えて、第３のセンサ１１３は、第１および第２の画素アドレスの少なくともいずれかに隣接する第３の画素アドレスにおける光量の変動を第２の感度よりも低い第３の感度で検出する。第４のセンサ１１４は、第１から第３の画素アドレスの少なくともいずれかに隣接する第４の画素アドレスにおける光量の変動を第３の感度よりも低い第４の感度で検出する。信号処理回路１２０（図示せず）は、第１から第４のセンサ１１１～１１４がそれぞれ生成したイベント信号のタイムスタンプを生成する。
　上記の例において、例えば、第２のセンサ１１２の感度（第２の感度）、第３のセンサ１１３の感度（第３の感度）、および第４のセンサ１１４の感度（第４の感度）は、それぞれ第１のセンサ１１１の感度（第１の感度）のｐ２倍、ｐ３倍、およびｐ４倍である（１＞ｐ２＞ｐ３＞ｐ４＞０）。具体的には、ｐ２＝０．７５、ｐ３＝０．５、ｐ４＝０．２５としてもよい。このような第１から第４のセンサ１１１～１１４は、例えば、センサアレイに重畳され、第２から第４のセンサ１１２～１１４に入射する光量を低減させるフィルタ１１６（例えばグレーフィルタ、または絞り）を配置することによって実現できる。上記の例の場合、フィルタ１１６は、第２のセンサ１１２に入射する光量の２５％を遮断し、第３のセンサ１１３に入射する光量の５０％を遮断し、第４のセンサ１１４に入射する光量の７５％を遮断する。
　上記の場合、第２のセンサ１１２、第３のセンサ１１３および第４のセンサ１１４で検出されるイベントの輝度変化は、それぞれ第１のセンサ１１１で検出されるイベントの輝度変化の７５％、５０％および２５％になり、第１から第４のセンサ１１１～１１４でそれぞれ生成された第１から第４のイベント信号の遅延時間ｄ１～ｄ４の差分（ｄ４－ｄ１）、（ｄ３－ｄ１）および（ｄ２－ｄ１）は、それぞれ被写体の階調の７５％、５０％および２５％に相当する。
　このように、本実施形態において、センサアレイに配列されるセンサの感度を２よりも多い段階で設定した場合、例えば上記の式１のような条件式を複数設定することができるため、被写体の階調を示す関数ｇ（ｄ）がどのようなものであっても、条件を満たす遅延時間ｄ１を正確に探索することができる。あるいは、それぞれのセンサの感度の低下量に生じる誤差（例えば、第２のセンサ１１２の感度が第１のセンサ１１１の感度の正確に０．５倍ではない可能性）を考慮し、第１のイベント信号と第２のイベント信号との時間差から算出される階調、第１のイベント信号と第３のイベント信号との時間差から算出される階調、および第１のイベント信号と第４のイベント信号との時間差から算出される階調を平均することによって階調の算出結果を安定させてもよい。
　以上で説明した本発明の第１の実施形態では、光量の変動を検出する感度が異なるセンサを隣接する画素アドレスに配置し、それぞれのセンサで生成されたイベント信号の時間差から被写体の階調を算出する。これによって、イベント駆動型センサ（ＥＤＳ）の高速性を損なうことなく被写体の階調を検出することができる。また、本実施形態では、感度が異なるセンサがセンサアレイ内で平面的に隣接して配置されるため、例えば感度が均一な通常のＥＤＳにグレーフィルタなどのフィルタを組み合わせることによって容易に階調の検出を実現することができる。
　（第２の実施形態）
　図７は、本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、センサシステム１０Ｂは、センサモジュール３００と、画像処理装置２００Ａとを含む。センサモジュール３００は、画素ごとに配置された積層型のセンサ３１０を含むセンサアレイと、信号処理回路３２０（イベント信号処理部）とを含む。なお、画像処理装置２００Ａの構成は、上記の第１の実施形態と同様であるため重複した説明は省略する。以下、各部についてさらに説明する。
　積層型のセンサ３１０では、第１のセンサを構成する透過型の第１の受光層３１１と、第２のセンサを構成する第２の受光層３１２とが積層され、第１の受光層３１１が光の入射側、すなわち被写体に近い側に配置される。被写体からの光は、第１の受光層３１１を透過して第２の受光層３１２にも入射する。第１の受光層３１１は、センサ３１０が配置された画素アドレスにおける光量の変動を第１の感度で検出し、第２の受光層３１２は同じ画素アドレスにおける光量の変動を第１の感度よりも低い第２の感度で検出する。本実施形態において、第１の受光層３１１によって構成される第１のセンサが配置される第１の画素アドレスと、第２の受光層３１２によって構成される第２のセンサが配置される第２の画素アドレスとは重複している。
　具体的には、例えば、第２の受光層３１２の感度（第２の感度）は、第１の受光層３１１の感度（第１の感度）のｐ倍（１＞ｐ＞０）である。このような積層型のセンサ３１０は、例えば、第１の受光層３１１の量子効率をｐ１とし（１＞ｐ１＞０）、第２の受光層３１２の量子効率をｐ２とする（（１－ｐ１）＞ｐ２＞０）ことによって実現できる。この場合、第２の受光層３１２の感度は、第１の受光層３１１の感度のｐ２／ｐ１倍になる（ｐ＝ｐ２／ｐ１）。なお、量子効率は、光子１個あたり何％の確率で検出できるかを示す指標を意味する。後述する例のように、ＥＤＳ３１０は２層を超える積層構造を有してもよい。
　信号処理回路３２０は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによって第１の受光層３１１によって構成される第１のセンサが生成した第１のイベント信号、および第２の受光層３１２によって構成される第２のセンサが生成した第２のイベント信号を処理する。具体的には、信号処理回路３２０は、第１のイベント信号および第２のイベント信号のそれぞれのタイムスタンプを生成する。タイムスタンプは、第１の受光層３１１によって構成される第１のセンサおよびと第２の受光層３１２によって構成される第２のセンサが輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報の例である。
　上記のように、同じ画素アドレスに配置された第１のセンサおよび第２のセンサが輝度変動イベントに対してそれぞれイベント信号を生成した時刻の差分を示す情報が得られることによって、本実施形態でも、上記の第１の実施形態と同様に画像処理装置２００Ａにおいて輝度変動イベントを発生させた被写体の階調を算出することができる。なお、本実施形態では、センサアレイの全画素で第１のイベント信号および第２のイベント信号の両方が生成可能であるため、例えば画像生成部２３０がイベント信号を用いて被写体の画像を生成するときに、第１のイベント信号と第２のイベント信号とを同時化する処理は行われなくてもよい。画像生成部２３０は、第１のイベント信号のみを用いて被写体の動きを特定してもよい。
　図８は、本発明の第２の実施形態におけるセンサ配置の他の例を示す図である。図示された例において、積層型のセンサ３１０では、光の入射側から順に第１の受光層３１１、第２の受光層３１２、第３の受光層３１３および第４の受光層３１４が積層される。第１から第３の受光層３１１～３１３は透過型であり、被写体からの光は第１の受光層３１１、第２の受光層３１２および第３の受光層３１３を透過して第４の受光層３１４まで入射する。上記で図７を参照して説明した例と同様の第１の受光層３１１および第２の受光層３１２に加えて、第３の受光層３１３は、センサ３１０が配置された画素アドレスにおける光量の変動を第２の感度よりも低い第３の感度で検出し、第３のセンサを構成する。第４の受光層３１４は、同じ画素アドレスにおける光量の変動を第３の感度よりも低い第４の感度で検出し、第４のセンサを構成する。信号処理回路１２０は、第１から第４の受光層３１１～３１４によって構成されるセンサがそれぞれ生成したイベント信号のタイムスタンプを生成する。
　上記の例において、例えば、第２の受光層３１２の感度（第２の感度）、第３の受光層３１３の感度（第３の感度）、および第４の受光層３１４の感度（第４の感度）は、それぞれ第１の受光層３１１の感度（第１の感度）のｐ２倍、ｐ３倍、およびｐ４倍である（１＞ｐ２＞ｐ３＞ｐ４＞０）。具体的には、ｐ２＝０．５、ｐ３＝０．２５、ｐ４＝０．１２５としてもよい。このようなＥＤＳ３１０は、例えば、第１の受光層３１１の量子効率を４０％、第２の受光層３１２の量子効率を２０％、第３の受光層３１３の量子効率を１０％、第４の受光層３１４の量子効率を５％とすることによって実現できる。
　上記の場合、第２の受光層３１２、第３の受光層３１３および第４の受光層３１４で検出されるイベントの輝度変化は、それぞれ第１の受光層３１１で検出されるイベントの輝度変化の５０％、２５％および１２．５％になり、第１から第４の受光層３１１～３１４でそれぞれ生成された第１から第４のイベント信号の遅延時間ｄ１～ｄ４の差分（ｄ４－ｄ１）、（ｄ３－ｄ１）および（ｄ２－ｄ１）は、それぞれ被写体の階調の５０％、２５％および１２．５％に相当する。これによって、上記で図６を参照して説明した例と同様に、例えば条件を満たす遅延時間を正確に探索したり、階調の算出結果を安定させたりすることができる。
　以上で説明した本発明の第２の実施形態では、光量の変動を検出する感度が異なる受光層を同じ画素アドレスに積層し、それぞれの受光層で生成されたイベント信号の時間差から被写体の階調を算出する。これによって、第１の実施形態と同様に、イベント駆動型センサ（ＥＤＳ）の高速性を損なうことなく被写体の階調を検出することができる。また、本実施形態では、感度の異なるセンサが同じ画素アドレスに積層されるため、解像度を下げることなく被写体の階調を算出することができる。
　（第３の実施形態）
　図９は、本発明の第３の実施形態に係るシステムの概略的な構成を示す図である。図９に示された例は、上記で図８を参照して説明した例の変形例として説明される。つまり、本実施形態において、センサシステム１０Ｃは、４層の積層構造を有するセンサ３１０を含むセンサモジュール３００と、画像処理装置２００Ｃとを含む。センサモジュール３００は、上記の第２の実施形態と同様に積層型のセンサ３１０を含むセンサアレイと、信号処理回路３２０とを含む。画像処理装置２００Ｃは、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現されるイベント信号関連付け部２１０Ｃおよび階調判定部２２０Ｃの機能部分を含む。画像処理装置２００Ｃは、さらに、画像生成部２３０の機能部分を含んでもよい。以下、画像処理装置２００Ｃの各部についてさらに説明する。
　イベント信号関連付け部２１０Ｃは、信号処理回路３２０から入力される第１のイベント信号に、第２から第４のイベント信号を関連付ける。ここで、第１のイベント信号は、第１の受光層３１１によって構成される第１のセンサが輝度変動イベントに対して生成したものである。第１のイベント信号に関連付けられる第２から第４のイベント信号は、第２から第４の受光層３１２～３１４によって構成される第２から第４のセンサが、第１のセンサと同じ輝度変動イベントに対して生成したものである。
　なお、上記で図２Ａ、図２Ｂおよび図３を参照して説明したように、センサの感度が異なるとイベントの発生からイベント信号の生成までの遅延時間が異なる。従って、第２から第４のイベント信号は、第１のイベント信号と同じ輝度変動イベントに対応するものであっても、第１のイベント信号よりも遅れて生成される。イベント信号関連付け部２１０Ｃは、例えばそれぞれのイベント信号の順序およびタイムスタンプの間隔に基づいて、イベント信号の関連付けを実行する。
　具体的には、イベント信号関連付け部２１０Ｃは、第２のイベント信号が第１のイベント信号の後に生成され、かつ第１のイベント信号と第２のイベント信号とのタイムスタンプの間隔が所定の範囲内の場合に、第２のイベント信号を第１のイベント信号に関連付ける。そのような第２のイベント信号がない場合、イベント信号関連付け部２１０Ｃは第１のイベント信号に第２のイベント信号を関連付けない。同様に、イベント信号関連付け部２１０Ｃは、第３のイベント信号が第２のイベント信号の後に生成され、かつ第２のイベント信号と第３のイベント信号とのタイムスタンプの間隔が所定の範囲内の場合に、第３のイベント信号を第１のイベント信号に関連付ける。そのような第３のイベント信号がない場合、および第１のイベント信号に第２のイベント信号が関連付けられていない場合、イベント信号関連付け部２１０Ｃは第１のイベント信号に第３のイベント信号を関連付けない。
　階調判定部２２０Ｃは、イベント信号関連付け部２１０Ｃにおけるイベント信号の関連付けの結果に応じて被写体の階調を判定する。図８を参照して説明したように、積層型のセンサ３１０の第１から第４の受光層３１１～３１４は、光量の変動に対する感度が段階的に低下するように構成されるため、輝度変動イベントを発生させた被写体の階調が低い場合には、感度が相対的に低い受光層において光量の変動量が閾値を超えず、その受光層によって構成されるセンサはイベント信号を生成しない。具体的には、イベントの輝度変化が最も大きい場合、第１の受光層３１１がイベント信号を生成したときには第２から第４の受光層３１２～３１４もイベント信号が生成するが、輝度変化が小さくなるにつれて、まず感度が最も低い第４の受光層３１４がイベント信号を生成しなくなり、さらに輝度変化が小さくなると第３の受光層３１３もイベント信号を生成しなくなり、検出可能な最も小さい輝度変化の場合には第２の受光層３１２もイベント信号を生成せず、第１の受光層３１１のみがイベント信号を生成する。
　本実施形態において、階調判定部２２０Ｃは、上記のような被写体の階調と各イベント信号の生成との関係に従って被写体の階調を判定する。具体的には、イベント信号関連付け部２１０Ｃによって第１のイベント信号に関連付けられた第２から第４のイベント信号のすべてが存在する場合に、階調判定部２２０Ｃは被写体の階調が最も高い水準であると判定する。一方、第１のイベント信号に関連付けられた第２および第３のイベント信号は存在するが、第４のイベント信号は存在しない場合、階調判定部２２０Ｃは被写体の階調が２番目の水準であると判定する。第１のイベント信号に関連付けられた第２のイベント信号のみが存在する場合、階調判定部２２０Ｃは被写体の階調が３番目の水準であると判定する。第１のイベント信号に関連付けられたイベント信号がない場合、階調判定部２２０Ｃは被写体の階調が最も低い水準であると判定する。このようにして判定された被写体の階調は、第１の実施形態と同様に、例えば画像生成部２３０による被写体の画像を生成や、イベント信号から認識される被写体に対する処理の選択するために用いられる。
　図１０は、本発明の第３の実施形態における処理の例を示すフローチャートである。簡単のため、図１０では第１のイベント信号および第２のイベント信号を用いた判定について説明するが、第３のイベント信号および第４のイベント信号を用いた判定についても同様である。図示された例では、まず、センサモジュール３００で第１のセンサを構成する第１の受光層３１１が、輝度変動イベントに対して第１のイベント信号を生成する（ステップＳ２０１）。その時刻からわずかに遅れて、第２のセンサを構成する第２の受光層３１２が、同じ輝度変動イベントに対して第２のイベント信号を生成する（ステップＳ２０２）。なお、感度が相対的に低い第２の受光層３１２で光量の変動量が閾値を超えなかった場合は、第２のイベント信号は生成されない。
　次に、画像処理装置２００Ｃにおいて、イベント信号関連付け部２１０Ｃが、第１のイベント信号に第２のイベント信号が関連付けられるか否かを判定する（ステップＳ２０３）。具体的には、イベント信号関連付け部２１０Ｃは、タイムスタンプによって示される第１のイベント信号および第２のイベント信号の順序と、タイムスタンプの間隔とに基づいて関連付けの可否を判定する。第１のイベント信号に第２のイベント信号が関連付けられた場合、階調判定部２２０Ｃは被写体の階調が相対的に高い水準であると判定する（ステップＳ２０４）。一方、第１のイベント信号に第２のイベント信号が関連付けられなかった場合、階調判定部２２０Ｃは被写体の階調が相対的に低い水準であると判定する（ステップＳ２０５）。
　なお、図示された例ではセンサ３１０が第１から第４の受光層３１１～３１４を含む４層の積層構造を有するが、他の例ではセンサ３１０が図７に示された例と同様に２層の積層構造を有してもよく、３層、または４層を超える積層構造を有してもよい。また、他の例において、センサモジュールは、上記で図１および図６を参照して説明したような、異なる感度のセンサが所定のパターンで平面的に配列されたセンサアレイを含んでもよい。
　以上で説明した本発明の第３の実施形態では、光量の変動を検出する感度が異なる受光層を同じ画素アドレスに積層し、どの受光層までがイベント信号を生成したかによって被写体の階調を判定する。これによって、第１の実施形態と同様に、イベント駆動型センサ（ＥＤＳ）の高速性を損なうことなく被写体の階調を検出することができる。本実施形態では、被写体の階調が受光層の感度の数と同じ段階でしか検出されないが、被写体の階調とＥＤＳの遅延時間との関係を予め測定する必要がないため簡便であり、また単純な判定によって安定的に被写体の階調を特定することができる。
　本発明の実施形態は、例えばゲームコントローラ、スマートフォン、各種の移動体（自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなど）で周辺環境の情報を取得したり、周辺の被写体の位置から自己位置を推定したり、飛来する被写体を検出して回避行動をとったりするために利用することができる。被写体の階調は、例えば上記のような用途において被写体を同定したり、被写体を識別したりするために有用でありうる。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０Ａ，１０Ｂ，１０Ｃ…センサシステム、１００…センサモジュール、１１１…第１のセンサ、１１２…第２のセンサ、１１３…第３のセンサ、１１４…第４のセンサ、１１５，１１６…フィルタ、１２０…信号処理回路、２００Ａ，２００Ｃ…画像処理装置、２１０Ａ…時刻差分取得部、２１０Ｃ…イベント信号関連付け部、２２０Ａ…階調算出部、２２０Ｃ…階調判定部、２３０…画像生成部、２４０…遅延時間算出部、３００…センサモジュール、３１０…センサ、３１１…第１の受光層、３１２…第２の受光層、３１３…第３の受光層、３１４…第４の受光層、３２０…信号処理回路。
 

Claims (7)

  1. 　第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサ、および前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサを含むセンサアレイと、
    　前記第１のセンサが輝度変動イベントに対して第１のイベント信号を生成したときに、前記第２のセンサが前記輝度変動イベントに対して第２のイベント信号を生成したか否かに応じて前記輝度変動イベントを発生させた被写体の階調を判定する階調判定部と
    　を備えるセンサシステム。
  2. 　前記センサアレイは、前記第１のセンサを構成する透過型の第１の受光層に前記第２のセンサを構成する第２の受光層が積層された積層型のセンサを含み、
    　前記第２の画素アドレスは、前記第１の画素アドレスに重複する、請求項１に記載のセンサシステム。
  3. 　前記第２の受光層は、透過型であり、
    　前記積層型のセンサでは、前記第１の画素アドレスにおける光量の変動を前記第２の感度よりも低い第３の感度で検出する第３のセンサを構成する第３の受光層がさらに積層され、
    　前記階調判定部は、前記第２のセンサが前記輝度変動イベントに対して前記第２のイベント信号を生成したときに、前記第３のセンサが前記輝度変動イベントに対して第３のイベント信号を生成したか否かによって前記被写体の階調を判定する、請求項２に記載のセンサシステム。
  4. 　第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサが前記輝度変動イベントに対して生成した第２のイベント信号を関連付けるイベント信号関連付け部と、
    　前記第１のイベント信号に関連付けられる前記第２のイベント信号の有無に応じて前記輝度変動イベントを発生させた被写体の階調を判定する階調判定部と
    　を備える画像処理装置。
  5. 　前記イベント信号関連付け部は、前記第１のイベント信号に、前記第１の画素アドレスに隣接または重複する第３の画素アドレスにおける光量の変動を前記第２の感度よりも低い第３の感度で検出する第３のセンサが前記輝度変動イベントに対して生成した第３のイベント信号を関連付け、
    　前記階調判定部は、前記第１のイベント信号に関連付けられる前記第３のイベント信号の有無に応じて前記被写体の階調を判定する、請求項４に記載の画像処理装置。
  6. 　第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが、輝度変動イベントに対して第１のイベント信号を生成するステップと、
    　前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサが前記輝度変動イベントに対して第２のイベント信号を生成するか、または前記第２のイベント信号を生成しないステップと、
    　前記第１のイベント信号に前記第２のイベント信号を関連付けるステップと、
    　前記第１のイベント信号に関連付けられる前記第２のイベント信号の有無に応じて前記輝度変動イベントを発生させた被写体の階調を判定するステップと
    　を含む画像処理方法。
  7. 　第１の画素アドレスにおける光量の変動を第１の感度で検出する第１のセンサが輝度変動イベントに対して生成した第１のイベント信号に、前記第１の画素アドレスに隣接または重複する第２の画素アドレスにおける光量の変動を前記第１の感度よりも低い第２の感度で検出する第２のセンサが前記輝度変動イベントに対して生成した第２のイベント信号を関連付ける機能と、
    　前記第１のイベント信号に関連付けられる前記第２のイベント信号の有無に応じて前記輝度変動イベントを発生させた被写体の階調を判定する機能と
    　をコンピュータに実現させるためのプログラム。
     
PCT/JP2019/033708 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム Ceased WO2021038751A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021541868A JP7191238B2 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム
US17/635,301 US11653109B2 (en) 2019-08-28 2019-08-28 Sensor system, image processing apparatus, image processing method, and program
KR1020227004213A KR102746170B1 (ko) 2019-08-28 2019-08-28 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
PCT/JP2019/033708 WO2021038751A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/033708 WO2021038751A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021038751A1 true WO2021038751A1 (ja) 2021-03-04

Family

ID=74684377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033708 Ceased WO2021038751A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11653109B2 (ja)
JP (1) JP7191238B2 (ja)
KR (1) KR102746170B1 (ja)
WO (1) WO2021038751A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019135411A1 (ja) * 2018-01-05 2019-07-11 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP6373577B2 (ja) * 2013-12-25 2018-08-15 ザインエレクトロニクス株式会社 撮像制御装置
KR102136055B1 (ko) * 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
JP6299299B2 (ja) * 2014-03-14 2018-03-28 オムロン株式会社 事象検出装置および事象検出方法
US10277805B2 (en) * 2014-05-30 2019-04-30 Hitachi Kokusai Electric Inc. Monitoring system and camera device
FR3034204A1 (ja) 2015-03-23 2016-09-30 Stmicroelectronics (Grenoble 2) Sas
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102421141B1 (ko) 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
CN107801425B (zh) * 2016-03-31 2021-05-14 索尼公司 固态摄像器件及其驱动方法和电子设备
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
KR102794753B1 (ko) * 2016-11-24 2025-04-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US20190281238A1 (en) 2018-03-09 2019-09-12 Caeleste Cvba Double source follower hdr pixel
US10598936B1 (en) 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
US11463636B2 (en) * 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
EP3920211B1 (en) * 2019-01-31 2025-10-15 Sony Semiconductor Solutions Corporation Solid-state imaging device, and imaging device
JP2020136958A (ja) * 2019-02-21 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
JP7352637B2 (ja) * 2019-08-28 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019135411A1 (ja) * 2018-01-05 2019-07-11 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
KR102746170B1 (ko) 2024-12-26
JPWO2021038751A1 (ja) 2021-03-04
KR20220074854A (ko) 2022-06-03
JP7191238B2 (ja) 2022-12-16
US11653109B2 (en) 2023-05-16
US20220311957A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
WO2021038749A1 (ja) センサシステム、画像処理装置、画像処理方法およびプログラム
KR102707749B1 (ko) 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
US11678074B2 (en) Sensor control apparatus, sensor control method, and program
US11330219B2 (en) Dynamic vision sensor system
US8643751B2 (en) Method for detecting dead pixels and computer program product thereof
JP2013530466A (ja) ステレオカメラシステムの光学式自己診断
KR20210006106A (ko) 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN109640011A (zh) 固态成像设备和成像系统
US20100110209A1 (en) Fast motion measurement device for gaming
CN109903324B (zh) 一种深度图像获取方法及装置
WO2019026457A1 (ja) 画像監視装置、画像監視方法、画像監視プログラムおよび記録媒体
CN117135482A (zh) 影像感测装置及其影像感测方法
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
EP2944257B1 (en) Radiation imaging apparatus, method of determining radiation irradiation, and storage medium
US8576310B2 (en) Image processing apparatus, camera module, and image processing method
US10628951B2 (en) Distance measurement system applicable to different reflecting surfaces and computer system
JP7191238B2 (ja) センサシステム、画像処理装置、画像処理方法およびプログラム
JP2009017158A (ja) カメラ検査装置
US11546538B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, moving body, and method for checking photoelectric conversion apparatus
KR20240165386A (ko) 이미지 센서, 데이터 구조
JPWO2009107636A1 (ja) 点滅信号検出回路、点滅信号検出方法、物体検知装置、物体検知方法、及び撮像システム
US20260075335A1 (en) Individual spad pixel control for mitigating hot pixels and reducing power consumption
US8054347B2 (en) Image sensor systems having improved noise performance
JP2002330354A (ja) 欠損画素検出補正装置、欠損画素検出補正方法、欠損画素検出補正プログラム、および、映像信号処理装置
US12456176B2 (en) Image signal processor and noise removal method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943111

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541868

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227004213

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943111

Country of ref document: EP

Kind code of ref document: A1