WO2020195769A1 - 物体検出装置、物体検出システム及び物体検出方法 - Google Patents

物体検出装置、物体検出システム及び物体検出方法 Download PDF

Info

Publication number
WO2020195769A1
WO2020195769A1 PCT/JP2020/010189 JP2020010189W WO2020195769A1 WO 2020195769 A1 WO2020195769 A1 WO 2020195769A1 JP 2020010189 W JP2020010189 W JP 2020010189W WO 2020195769 A1 WO2020195769 A1 WO 2020195769A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
flicker
event
unit
pixels
Prior art date
Application number
PCT/JP2020/010189
Other languages
English (en)
French (fr)
Inventor
慶 中川
伸 北野
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to CN202080022969.2A priority Critical patent/CN113615161A/zh
Priority to US17/438,585 priority patent/US11823466B2/en
Publication of WO2020195769A1 publication Critical patent/WO2020195769A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Definitions

  • the present disclosure relates to an object detection device, an object detection system, and an object detection method.
  • traffic signals, electric bulletin boards, vehicle lights, etc. that control traffic have various flicker components according to their light sources, power sources, etc., and by using these flicker components, higher accuracy is achieved. Moreover, it is considered that the object can be detected at high speed.
  • the present disclosure proposes an object detection device, an object detection system, and an object detection method capable of detecting the characteristics of the flicker component and performing object detection at higher speed and with higher accuracy.
  • the object detection device of one form according to the present disclosure includes a plurality of pixels arranged in a matrix, and detects the occurrence of an event of the pixels according to the amount of light incident on each of the pixels.
  • objects such as traffic lights, electric bulletin boards, and vehicle lights emit flicker components that repeatedly blink at high speed.
  • the traffic signal 51 and the preceding vehicles 52 and 53 are present in the angle G1
  • the tail lamps, brake lamps, and blinkers of the preceding vehicles 52 and 53 emit a flicker component that repeatedly blinks at high speed.
  • Characteristics such as the frequency and duty ratio of the flicker component emitted by such an object are synchronous types that acquire image data at a fixed frame rate synchronized with a synchronization signal such as a vertical synchronization signal. It is difficult to obtain with the image sensor of.
  • an asynchronous image sensor (hereinafter referred to as DVS (Dynamic Vision Sensor)) provided with a detection circuit for detecting in real time as an address event that the amount of received light exceeds the threshold value is used. , Acquire the characteristics of the flicker component emitted by the object.
  • the unit pixel in the present description is the minimum unit of a pixel configured including one photoelectric conversion element (also referred to as a light receiving element), and corresponds to each dot in the image data read from the image sensor, for example.
  • the address event is an event that occurs for each address assigned to each of a plurality of unit pixels arranged in a two-dimensional lattice, and is, for example, a current based on the electric charge generated by the photoelectric conversion element (hereinafter referred to as photocurrent). ) The current value or the amount of change thereof exceeds a certain threshold value.
  • FIG. 2 is a block diagram showing a schematic configuration example of the object detection device (or object detection system; hereinafter referred to as an object detection device) according to the first embodiment. ..
  • the object detection device 1 includes, for example, an image pickup lens 11, a DVS (first solid-state image pickup device) 200, and a data processing unit 120, and is in the DVS 200 based on an instruction from an external control unit 130. The occurrence of address events is monitored.
  • the image pickup lens 11 is an example of an optical system that collects incident light and forms an image on the light receiving surface of the DVS 200.
  • the light receiving surface may be a surface on which the photoelectric conversion elements in the DVS 200 are arranged.
  • the DVS200 detects the occurrence of an address event based on the amount of incident light, and generates address information for identifying the unit pixel in which the occurrence of the address event is detected as event detection data.
  • the event detection data may include time information such as a time stamp indicating the timing at which the occurrence of the address event is detected.
  • the generated event detection data is output to the data processing unit 120 via the signal line 209.
  • the data processing unit 120 includes, for example, a memory 121 and a DSP (Digital Signal Processor) 122.
  • DSP Digital Signal Processor
  • the memory 121 is composed of, for example, a flash memory, a DRAM (Dynamic Random Access Memory), a SRAM (Static Random Access Memory), or the like, and records data input from the DVS 200.
  • a flash memory for example, a DRAM (Dynamic Random Access Memory), a SRAM (Static Random Access Memory), or the like.
  • the DSP 122 is an area in which a flicker component is detected based on, for example, the number of event detection data (corresponding to the number of event detection N described later) input from the DVS 200 within a unit time, a duty ratio, or the like. Identify (corresponding to the flicker detection area described later) (function as a flicker detection unit). Then, the DSP 122 executes, for example, an object detection process for the object that caused the occurrence of the address event based on the specified flicker detection area (function as an object detection unit).
  • the control unit 130 is composed of, for example, a CPU (Central Processing Unit) or the like, and controls each unit in the object detection device 1 such as the DVS 200 by outputting various instructions via the signal line 139.
  • a CPU Central Processing Unit
  • a plurality of unit pixels are arranged in a two-dimensional grid in the pixel array unit 300.
  • the unit pixel will be described in detail later. For example, whether or not the current value of the photocurrent due to the photoelectric conversion element such as a photodiode and the electric charge generated by the photoelectric conversion element or the amount of change thereof exceeds a predetermined threshold value.
  • a pixel circuit (corresponding to the address event detection unit 400 described later in this embodiment) for detecting the presence or absence of an address event.
  • the pixel circuit can be shared by a plurality of photoelectric conversion elements.
  • each unit pixel is configured to include one photoelectric conversion element and a shared pixel circuit.
  • each unit pixel When the occurrence of an address event is detected in the pixel circuit, each unit pixel outputs a request to read a signal from the unit pixel to the arbiter 213.
  • the arbiter 213 arbitrates the request from one or more unit pixels, and based on the arbitration result, transmits a predetermined response to the unit pixel that issued the request.
  • the unit pixel that receives this response outputs a detection signal indicating the occurrence of an address event to the drive circuit 211 and the signal processing unit 212.
  • FIG. 9 is a diagram showing an example of the installation position of the DVS according to the first embodiment with respect to the vehicle.
  • the image pickup unit 12031 a total of five image pickup units 12101, 12102, 12103, 12104, and 12105 are provided for the vehicle 12100. At least one of these imaging units 12101 to 12105 is composed of DVS200.
  • the DVS 200 is used for the imaging unit 12101 that images the front of the vehicle 12100.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • FIG. 10 is a flowchart showing an example of an object detection operation executed by the object detection device according to the first embodiment. In the following description, attention will be paid to the operation of the data processing unit 120.
  • FIG. 12 is a block diagram showing a schematic configuration example of the object detection device (or system) according to the second embodiment.
  • the object detection device 2 includes an image pickup lens 110, a DVS 200, a flicker detection unit 12, an image pickup lens 13, an image sensor (second solid-state image sensor) 14, an object detection unit 15. It includes an action pattern determination unit 16, a storage unit 17, and an interface (I / F) unit 18.
  • the image pickup lens 11 and the DVS 200 may be the same as the image pickup lens 11 and the DVS 200 according to the first embodiment.
  • the object detection unit 15 detects an object captured in each flicker detection area by using the flicker detection area detected by the flicker detection unit 12 and the image data input from the image sensor 14.
  • FIG. 13 is a flowchart showing an example of an object detection operation executed by the object detection device according to the second embodiment.
  • the duplicate description will be omitted by quoting the operation.
  • the object detection unit 15 into which the area information of the flicker detection area has been input inputs image data from the image sensor 14 (step S201).
  • the image sensor 14 may periodically output image data at a predetermined frame rate, or output image data at a timing instructed by the object detection unit 15 or the control unit 130 (see FIG. 1). You may.
  • the object detection unit 15 is based on the edge shape of the object included in the object detection area in the image data specified in step S202 and the event detection number N of the flicker detection area superimposed on the object detection area.
  • the object copied in each object detection area is detected (step S203).
  • putter matching or machine learning can be used as in step S106 in FIG.
  • the object detection unit 15 outputs the object detection result to the integrated control unit 12050 via, for example, the communication network 12001 (step S107), as in steps S107 and subsequent steps in FIG. 10, and then in step S108, It is determined whether or not to end this operation.
  • the flicker information (for example, the flicker detection area and / or the number of event detections N) obtained from the event detection data is converted into the object information (for example, an object) obtained from the image data.
  • the object information for example, an object obtained from the image data.
  • the erroneous detection reduction / avoidance method by combining the flicker information and the object information is not limited to such a method. For example, by supporting object detection for image data using flicker information, it is possible to reduce or avoid erroneous detection.
  • the object detection unit 15 copies the image to each object detection area based on the edge shape of the object included in the object detection area in the image data specified in step S222 and the number of event detections N in the object detection area.
  • the object is detected (step S224).
  • putter matching or machine learning can be used as in step S106 in FIG.
  • the object detection unit 15 outputs the object detection result to the integrated control unit 12050 via, for example, the communication network 12001 (step S107), as in steps S107 and subsequent steps in FIG. 10, and then in step S108, It is determined whether or not to end this operation.
  • the object detection for the image data is supported by using the flicker information, the object is detected on the road surface or the like where nothing originally exists, as in the second embodiment. It is possible to reduce or avoid the occurrence of erroneous detection and perform object detection with higher accuracy.
  • an object that emits a flicker component such as a traffic signal, an electric bulletin board, or a vehicle light
  • a flicker component such as a traffic signal, an electric bulletin board, or a vehicle light
  • most of the false positives output from the DVS 200 are very small areas of one or several points.
  • the configuration example of the object detection device (or system) according to the present embodiment may be the same as, for example, the object detection device 1 exemplified in the first embodiment or the object detection device 2 exemplified in the second embodiment. ..
  • FIG. 15 is a flowchart showing an example of an object detection operation executed by the object detection device according to the third embodiment.
  • the same operation as that of the above-described embodiment will be referred to, and the duplicated description will be omitted.
  • a case based on the operation described with reference to FIG. 13 in the second embodiment will be illustrated, but the base embodiment is not limited to the second embodiment, and other embodiments are used. It is also possible to use the above-mentioned or later-described embodiment or a modification thereof.
  • the object detection operation according to the present embodiment is, for example, in the same operation as the operation described with reference to FIG. 13 in the second embodiment, between steps S104 and step S105. S301 has been added.
  • the flicker detection unit 12 determines whether or not there are a certain number of pixels (that is, addresses) having an event detection number N equal to or greater than the threshold value Nth in each event detection area specified in step S102.
  • the fixed number may be, for example, a number corresponding to a size larger than the area size due to false detection of an address event.
  • the occurrence of the address event was monitored in the flicker detection area and the other areas without changing the resolution. Further, in the second and third embodiments, image data having the same resolution was read from the flicker detection area and the other areas.
  • the resolution for monitoring the occurrence of the address event and / or the resolution of the image data read from the image sensor 14 are changed between the flicker detection area and the other areas.
  • the configuration example of the object detection device (or system) according to the present embodiment may be the same as, for example, the object detection device 1 exemplified in the first embodiment or the object detection device 2 exemplified in the second embodiment. ..
  • FIG. 16 is a flowchart showing an example of an object detection operation executed by the object detection device according to the fourth embodiment.
  • the same operation as that of the above-described embodiment will be referred to, and the duplicated description will be omitted.
  • a case where the operation described with reference to FIG. 15 in the third embodiment is used as a base is illustrated, but the base embodiment is not limited to the third embodiment, and other embodiments are used. It is also possible to use the above-mentioned or later-described embodiment or a modification thereof.
  • the object detection operation according to the present embodiment is, for example, in the same operation as the operation described with reference to FIG. 15 in the third embodiment, between steps S107 and step S108. S401 has been added.
  • step S401 the flicker detection unit 12 sets an area other than the flicker detection area specified in step S105 as a low resolution area.
  • the setting of the low resolution area may be executed for the control unit 130, for example.
  • control unit 130 sets the resolution for monitoring the occurrence of the address event to be low with respect to the low resolution area in the DVS 200. For example, the control unit 130 stops monitoring the occurrence of an address event for the unit pixel 310 in the odd-numbered rows for the low-resolution area in the DVS 200, and monitors the occurrence of the address event only for the unit pixel 310 in the even-numbered rows. As such, the DVS200 is controlled.
  • control unit 130 lowers the resolution of the image data read from the low resolution area of the image sensor 14. For example, the control unit 130 reads the pixel signal only from the pixels in the odd-numbered rows to generate image data for the low-resolution area in the image sensor 14.
  • the behavior pattern determination operation executed by the microcomputer 12051 or the behavior pattern determination unit 16 in the above-described embodiment will be described with some examples. In the following description, for the sake of clarification, it is assumed that the action pattern determination unit 16 executes the action pattern determination operation.
  • FIG. 17 is a flowchart showing an action pattern determination operation according to the first example.
  • a traffic signal is detected by the object detection device 1 or 2 according to the above-described embodiment while the vehicle 12100 is stopped waiting for a signal will be illustrated. At that time, it is assumed that the engine is automatically stopped by the idling stop system mounted on the vehicle 12100.
  • the action pattern determination unit 16 first waits for the input of the object detection result from the object detection device 1 or 2 (NO in step S501), and then inputs the object detection result. (YES in step S501), it is recognized that the traffic signal has been detected based on the object detection result (step S502).
  • the action pattern determination unit 16 identifies the color currently lit in the traffic signal from the object detection result (step S503). Then, when the color currently lit is blue (YES in step S504), the action pattern determination unit 16 starts the engine (step S505) and proceeds to step S507. At that time, if the automatic driving function of the vehicle 12100 is active, the action pattern determining unit 16 may start the vehicle 12100 moving forward or the like at the same time as starting the engine.
  • step S504 when the currently lit color is a color other than blue, for example, red (NO in step S504), the action pattern determination unit 16 continues to stop (step S506) and proceeds to step S507.
  • step S507 the action pattern determination unit 16 determines whether or not to end the main operation, and if it ends (YES in step S507), ends the main operation. On the other hand, when continuing (NO in step S507), the action pattern determination unit 16 returns to step S501 and executes the subsequent operations.
  • FIG. 18 is a flowchart showing an action pattern determination operation according to the second example.
  • a case where an oncoming vehicle is detected by the object detection device 1 or 2 according to the above-described embodiment while the vehicle 12100 is traveling is illustrated.
  • the action pattern determination unit 16 when the action pattern determination unit 16 first inputs the object detection result from the object detection device 1 or 2 (YES in step S521), the action pattern determination unit 16 faces the object based on the object detection result.
  • the headlight of the car which is a car, is detected (step S522).
  • the behavior pattern determination unit 16 detects an oncoming vehicle from the region including the headlight in the object detection result (step S523).
  • FIG. 19 is a flowchart showing an action pattern determination operation according to the third example.
  • another action pattern determination operation when an oncoming vehicle is detected by the object detection device 1 or 2 according to the above-described embodiment while the vehicle 12100 is traveling is illustrated.
  • the action pattern determining unit 16 first executes an operation similar to the operation described using steps S521 to S523 of FIG. 18 in the second example, thereby performing an oncoming vehicle. Is detected.
  • the action pattern determination unit 16 calculates the movement vector of the oncoming vehicle from the object detection result continuously input within a predetermined period (step S531).
  • step S531 for example, the center of gravity or the center of the object detection area corresponding to the oncoming vehicle is calculated, and the movement vector of the oncoming vehicle is calculated from the movement amount and the movement direction of the center of gravity or the center per unit time. Good.
  • the action pattern determination unit 16 determines whether or not the movement vector calculated in step S531 is directed to the own vehicle (vehicle 12100) (step S532). When the movement vector does not face the own vehicle 12100 (NO in step S532), the action pattern determination unit 16 determines that the risk of collision is low or no, and proceeds to step S525.
  • the action pattern determination unit 16 sets a threshold value set in advance by the magnitude M of the movement vector of the oncoming vehicle. It is determined whether or not it is Mth or more (step S533). When the magnitude M of the movement vector is less than the threshold value Mth (step S533), the action pattern determination unit 16 determines that the risk of collision is low or no, and proceeds to step S525.
  • the action pattern determination unit 16 detects the risk of collision (step S534). Then, the action pattern determination unit 16 executes automatic braking control by controlling the drive system control unit 12010 in FIG. 8, for example, and drives the audio image output unit 12052 in FIG. 8, for example, to perform audio.
  • the speaker 12061 notifies the driver of the risk of collision with the oncoming vehicle, and / or an alert for displaying the risk of collision with the oncoming vehicle is executed on the display unit 12062 (step S535), and the process proceeds to step S525.
  • step S525 as in the second example, the action pattern determination unit 16 determines whether or not to end the main operation, and when it ends (YES in step S525), when it ends while continuing the main operation. (NO in step S525), return to step S521, and execute the subsequent operations.
  • FIG. 20 is a flowchart showing an action pattern determination operation according to the fourth example.
  • the fourth example a case where it is detected that the blinker of the preceding vehicle starts blinking by the object detection device 1 or 2 according to the above-described embodiment while the vehicle 12100 is running is illustrated.
  • the action pattern determination unit 16 when the action pattern determination unit 16 inputs the object detection result from the object detection device 1 or 2 (YES in step S541), the action pattern determination unit 16 is in the preceding vehicle based on the object detection result. The blinker of a certain vehicle is detected (step S542). Subsequently, the action pattern determination unit 16 detects the preceding vehicle from the region including the blinker in the object detection result (step S543).
  • the action pattern determination unit 16 identifies the center of the object detection area corresponding to the detected preceding vehicle (step S544), and precedes from the positional relationship between the position of this center and the flicker detection area corresponding to the blinker.
  • the direction of change of course indicated by the blinker of the vehicle is specified (step S546).
  • the action pattern determination unit 16 notifies the driver of the change of course of the preceding vehicle from the audio speaker 12061 by driving the audio image output unit 12052 in FIG. 8, and / or precedes the display unit 12062.
  • An alert for displaying the change of course of the vehicle is executed (step S546), and the process proceeds to step S525.
  • step S525 the action pattern determination unit 16 determines whether or not to end the main operation, and if it ends (YES in step S525), ends the main operation. On the other hand, when continuing (NO in step S525), the action pattern determination unit 16 returns to step S521 and executes the subsequent operations.
  • the present technology can also have the following configurations.
  • a first solid-state image sensor that includes a plurality of pixels arranged in a matrix and detects the occurrence of an event of the pixels according to the amount of light incident on each of the pixels.
  • a flicker detection unit that generates flicker information based on the occurrence of the event detected by the first solid-state image sensor, and An object detection unit that detects an object based on the flicker information detected by the first solid-state image sensor, and an object detection unit.
  • An object detection device comprising.
  • the flicker detection unit identifies an event detection area in which the occurrence of the event is detected in the plurality of pixels, and obtains the flicker information based on the number of events detected per predetermined time in the event detection area.
  • the object detection device according to (1) above.
  • the flicker detection unit generates the flicker information based on the maximum value or the average value of the number of occurrences of the event detected in each of the pixels belonging to the event detection area per predetermined time.
  • the object detection device described.
  • the flicker detection unit defines an area in the event detection area where pixels in which the number of events detected per predetermined time is equal to or greater than the first threshold value is arranged as the flicker detection area.
  • the object detection device according to any one of (2) to (4) above, wherein the object detection unit detects the object copied in the flicker detection area based on the flicker information.
  • the flicker detection unit refers to an area in the event detection area where the number of pixels in which the number of occurrences of the event detected per predetermined time is equal to or greater than the first threshold value is equal to or greater than the second threshold value.
  • the flicker detection unit identifies an event detection area in which the occurrence of the event is detected in the plurality of pixels, and obtains the flicker information based on the number of events detected in the event detection area per predetermined time.
  • the object detection unit specifies an object detection area that includes an area on the image data corresponding to the event detection area and corresponds to the object, and determines the object based on the object detection area and the flicker information.
  • the object detection device according to (7) above.
  • the object detection unit identifies an object detection area corresponding to the object from the image data, and determines the object detection area.
  • the flicker detection unit generates the flicker information for the area corresponding to the object detection area in the plurality of pixels based on the number of events detected per predetermined time.
  • the object detection device according to (7), wherein the object detection unit detects the object based on the object detection area and the flicker information.
  • a control unit for controlling reading to the first solid-state image sensor is provided.
  • the object detection device wherein the control unit lowers the resolution for monitoring the occurrence of the event in an area in which pixels other than the pixels included in the event detection area are arranged among the plurality of pixels. .. (11) Further, a control unit for controlling reading to the second solid-state image sensor is provided. The object detection device according to (7), wherein the control unit reduces the resolution of the image data read from the area corresponding to the event detection area in the second solid-state image sensor. (12) A first solid-state image sensor that includes a plurality of pixels arranged in a matrix and detects the occurrence of an event of the pixels according to the amount of light incident on each of the pixels.
  • a flicker detection unit that generates flicker information based on the occurrence of the event detected by the first solid-state image sensor, and An object detection unit that detects an object based on the flicker information detected by the first solid-state image sensor, and an object detection unit.
  • An object detection system equipped with. (13) A plurality of pixels arranged in a matrix are provided, and flicker information is generated based on the occurrence of the event detected by the solid-state imaging device that detects the occurrence of the event of the pixel according to the amount of light incident on each of the pixels.
  • An object detection method including detecting an object based on the flicker information.

Abstract

フリッカ成分の特性を検出してより高速且つ高精度に物体検出を行なう。実施形態に係る物体検出装置は、行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する固体撮像装置（２００）と、前記固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成するフリッカ検出部（１２）と、前記固体撮像装置で検出された前記フリッカ情報に基づいて物体を検出する物体検出部（１５）とを備える。

Description

物体検出装置、物体検出システム及び物体検出方法
　本開示は、物体検出装置、物体検出システム及び物体検出方法に関する。
　近年、車両周囲を撮像した画像から車両周囲に存在する物体を検出し、その検出結果に基づいて、車両を自律走行させる自動運転やドライバによる運転をアシストする技術の開発が盛んになっている。
特表２０１６－５３３１４０号公報
　ここで、交通制御をしている交通信号機や電光掲示板や車両のライト等は、その光源や電源等に応じた様々なフリッカ成分を持っており、このフリッカ成分を利用することで、より高精度且つ高速に物体検出を行なうことができるものと考えられる。
　しかしながら、ある決められたフレームレートで画像データを取得する一般的なイメージセンサでは、交通信号機や電光掲示板や車両のライト等が発するフリッカ成分の周波数等の特性を計測することが困難である。
　そこで本開示では、フリッカ成分の特性を検出してより高速且つ高精度に物体検出を行なうことが可能な物体検出装置、物体検出システム及び物体検出方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の物体検出装置は、行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する固体撮像装置と、前記固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成するフリッカ検出部と、前記固体撮像装置で検出された前記フリッカ情報に基づいて物体を検出する物体検出部とを備える。
画角内でフリッカ成分が検出される物体を説明するための図である。 第１の実施形態に係る物体検出装置（システム）の概略構成例を示すブロック図である。 第１の実施形態に係るＤＶＳの機能構成例を示すブロック図である。 第１の実施形態に係る単位画素の概略構成例を示す回路図である。 第１の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。 第１の実施形態に係る電流電圧変換部の他の一例を示す回路図である。 第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 第１の実施形態に係る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 第１の実施形態に係るＤＶＳの車両に対する設置位置の例を示す図である。 第１の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。 画角内で検出されるフリッカ成分を説明するための図である。 第２の実施形態に係る物体検出装置（又はシステム）の概略構成例を示すブロック図である。 第２の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。 第２の実施形態の変形例に係る物体検出動作の一例を示すフローチャートである。 第３の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。 第４の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。 第５の実施形態の第１例に係る行動パターン決定動作を示すフローチャートである。 第５の実施形態の第２例に係る行動パターン決定動作を示すフローチャートである。 第５の実施形態の第３例に係る行動パターン決定動作を示すフローチャートである。 第５の実施形態の第４例に係る行動パターン決定動作を示すフローチャートである。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　物体検出装置（又はシステム）の構成例
　　　１．２　ＤＶＳの構成例
　　　１．３　単位画素の構成例
　　　１．４　アドレスイベント検出部の構成例
　　　　１．４．１　電流電圧変換部の構成例
　　　　１．４．２　減算器及び量子化器の構成例
　　　１．５　移動体への応用例
　　　１．６　ＤＶＳの配置例
　　　１．７　物体検出動作例
　　　１．８　作用・効果
　　２．第２の実施形態
　　　２．１　物体検出装置（又はシステム）の構成例
　　　２．２　物体検出動作例
　　　２．３　作用・効果
　　　２．４　変形例
　　３．第３の実施形態
　　　３．１　物体検出動作例
　　　３．２　作用・効果
　　４．第４の実施形態
　　　４．１　物体検出動作例
　　　４．２　作用・効果
　　５．第５の実施形態
　　　５．１　第１例
　　　５．２　第２例
　　　５．３　第３例
　　　５．４　第４例
　１．第１の実施形態
　まず、第１の実施形態について、図面を参照して詳細に説明する。
　上述したように、交通信号機や電光掲示板や車両のライト等の物体は、高速に点滅を繰り返すフリッカ成分を発している。例えば、図１に示すように、画角Ｇ１内に、交通信号機５１や先行車両５２及び５３が存在する場合、交通信号機５１における点灯しているライトや矢印式信号機における点灯している矢印、及び、先行車両５２及び５３におけるテールランプやブレーキランプやウインカーは、高速に点滅を繰り返すフリッカ成分を発している。
　このような物体が発するフリッカ成分の周波数やデューティ比などの特性（以下、フリッカ特性という）は、垂直同期信号などの同期信号に同期してある決められたフレームレートで画像データを取得する同期型のイメージセンサで取得することが困難である。
　そこで、本実施形態では、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型のイメージセンサ（以下、ＤＶＳ（Dynamic　Vision　Sensor）という）を用いて、物体が発するフリッカ成分の特性を取得する。
　一般的なＤＶＳには、単位画素ごとにアドレスイベントの発生の有無を検出し、アドレスイベントの発生が検出された場合、このアドレスイベントが発生した単位画素から画素信号を読み出すという、いわゆるイベントドリブン型の駆動方式が採用されている。
　また、一般的なＤＶＳでは、アドレスイベントの発生が検出された単位画素に対して読出し動作が実行されるため、全ての単位画素に対して読出し動作が実行される同期型のイメージセンサよりも非常に高速な読出しが可能であるという特徴を備える。
　このような特徴を備えるＤＶＳを用いることで、物体のフリッカ特性を高精度に検出することが可能となる。それにより、より高速且つ高精度な物体検出が可能な物体検出システム及び物体検出方法を実現することが可能となる。
　なお、本説明における単位画素とは、１つの光電変換素子（受光素子ともいう）を含んで構成された画素の最小単位であり、例えば、イメージセンサから読み出した画像データにおける各ドットに対応するものである。また、アドレスイベントとは、二次元格子状に配列する複数の単位画素それぞれに割り当てられたアドレスごとに発生するイベントであり、例えば、光電変換素子で発生した電荷に基づく電流（以下、光電流という）の電流値又はその変化量がある一定の閾値を超えたことなどである。
　１．１　物体検出装置（又はシステム）の構成例
　図２は、第１の実施形態に係る物体検出装置（又は物体検出システム。以下、物体検出装置という）の概略構成例を示すブロック図である。図２に示すように、物体検出装置１は、例えば、撮像レンズ１１、ＤＶＳ（第１固体撮像装置）２００及びデータ処理部１２０を備え、外部の制御部１３０からの指示に基づいて、ＤＶＳ２００におけるアドレスイベントの発生が監視される。
　撮像レンズ１１は、入射光を集光してその像をＤＶＳ２００の受光面に結像する光学系の一例である。受光面とは、ＤＶＳ２００における光電変換素子が配列する面であってよい。
　ＤＶＳ２００は、入射光量に基づいてアドレスイベントの発生を検出し、アドレスイベントの発生が検出された単位画素を特定するためのアドレス情報をイベント検出データとして生成する。このイベント検出データには、アドレスイベントの発生が検出されたタイミングを示すタイムスタンプなどの時間情報が含まれていてもよい。
　生成されたイベント検出データは、信号線２０９を介してデータ処理部１２０に出力される。
　データ処理部１２０は、例えば、メモリ１２１とＤＳＰ（Digital　Signal　Processor）１２２とを備える。
　メモリ１２１は、例えば、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）やＳＲＡＭ（Static　Random　Access　Memory）等で構成され、ＤＶＳ２００から入力されたデータを記録する。
　ＤＳＰ１２２は、例えば、ＤＶＳ２００から入力されたイベント検出データに対して所定の信号処理を実行することで、アドレスイベントの発生原因となった物体に対する物体検出処理を実行する。
　より具体的には、ＤＳＰ１２２は、例えば、単位時間内にＤＶＳ２００から入力されたイベント検出データの数（後述するイベント検出数Ｎに相当）やデューティ比等に基づいて、フリッカ成分が検出されたエリア（後述するフリッカ検出エリアに相当）を特定する（フリッカ検出部としての機能）。そして、ＤＳＰ１２２は、例えば、特定したフリッカ検出エリアに基づいて、アドレスイベントの発生原因となった物体に対する物体検出処理を実行する（物体検出部としての機能）。
　その際、ＤＳＰ１２２は、例えば、メモリ１２１に格納されているプログラムを実行することで、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習部として動作してもよい。その場合、ＤＳＰ１２２は、メモリ１２１に記憶されている学習済みモデルのプログラムを実行することで、メモリ１２１に記憶されている辞書係数とイベント検出データとを掛け合わせる処理を実行する。なお、機械学習の手法としては、ＲＮＮ（Recurrent　Neural　Network）やＣＮＮ（Convolution　Neural　Network）など、種々の手法を利用することが可能である。
　なお、ＤＳＰ１２２は、物体検出処理の全てのステップを実行する必要はなく、少なくとも一部を実行してもよい。例えば、ＣＮＮを利用してイベント検出データから物体を検出する場合、ＤＳＰ１２２は、隠れ層の一部の畳み込み層及び／又はプーリング層を実行してもよい。
　このような物体検出処理により得られた結果（ＤＳＰ１２２が物体検出処理の一部を実行することで得られた結果も含む）は、例えば、外部の情報処理装置（後述する車外情報検出ユニット１２０３０及び／又はマイクロコンピュータ１２０５１に相当）等に出力される。
　制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）等で構成され、信号線１３９を介して種々の指示を出力することで、ＤＶＳ２００など、物体検出装置１における各部を制御する。
　以上の構成において、ＤＶＳ２００とデータ処理部１２０とは、例えば、単一の半導体チップで構成されていてもよい。また、この半導体チップは、複数のダイが貼り合わされた積層チップであってもよい。
　１．２　ＤＶＳの構成例
　つづいて、ＤＶＳ２００の構成例について、図面を参照して詳細に説明する。図３は、第１の実施形態に係るＤＶＳの機能構成例を示すブロック図である。図３に示すように、ＤＶＳ２００は、駆動回路２１１と、信号処理部２１２と、アービタ２１３と、画素アレイ部３００とを備える。
　画素アレイ部３００には、複数の単位画素が二次元格子状に配列される。単位画素とは、後述において詳細に説明するが、例えば、フォトダイオードなどの光電変換素子と、この光電変換素子で発生した電荷による光電流の電流値又はその変化量が所定の閾値を超えたか否かに基づき、アドレスイベントの発生の有無を検出する画素回路（本実施形態では、後述するアドレスイベント検出部４００に相当）とから構成される。ここで、画素回路は、複数の光電変換素子で共有され得る。その場合、各単位画素は、１つの光電変換素子と、共有される画素回路とを含んで構成される。
　画素アレイ部３００の複数の単位画素は、それぞれが所定数の単位画素からなる複数の画素ブロックにグループ化されていてもよい。以下、水平方向に配列する単位画素又は画素ブロックの集合を「行」と称し、行に垂直な方向に配列された単位画素又は画素ブロックの集合を「列」と称する。
　各単位画素は、画素回路においてアドレスイベントの発生が検出されると、当該単位画素から信号を読み出すことのリクエストを、アービタ２１３に出力する。
　アービタ２１３は、１つ以上の単位画素からのリクエストを調停し、この調停結果に基づいて、リクエストを発行した単位画素に所定の応答を送信する。この応答を受け取った単位画素は、アドレスイベントの発生を示す検出信号を駆動回路２１１及び信号処理部２１２に出力する。
　駆動回路２１１は、検出信号を出力した単位画素を順に駆動することで、アドレスイベントの発生が検出された単位画素から信号処理部２１２へ、例えば、受光量に応じた信号を出力させる。なお、ＤＶＳ２００には、後述する光電変換素子３３３から読み出された信号をその電荷量に応じたデジタル値の信号に変換するためのアナログ・デジタル変換器が、例えば、１つ又は複数の単位画素ごと若しくは列ごとに設けられていてもよい。
　信号処理部２１２は、単位画素から入力された信号に対して所定の信号処理を実行し、この信号処理の結果を、イベント検出データとして、信号線２０９を介してデータ処理部１２０に供給する。なお、イベント検出データには、上述したように、アドレスイベントの発生が検出された単位画素のアドレス情報と、アドレスイベントが発生したタイミングを示すタイムスタンプ等の時間情報とが含まれ得る。
　１．３　単位画素の構成例
　つづいて、単位画素３１０の構成例について説明する。図４は、第１の実施形態に係る単位画素の概略構成例を示す回路図である。図４に示すように、単位画素３１０は、例えば、受光部３３０と、アドレスイベント検出部４００とを備える。なお、図４におけるロジック回路２１０は、例えば、図３における駆動回路２１１と、信号処理部２１２と、アービタ２１３とからなるロジック回路であってよい。
　受光部３３０は、例えば、フォトダイオードなどの光電変換素子３３３を備え、その出力は、アドレスイベント検出部４００に接続される。
　アドレスイベント検出部４００は、例えば、電流電圧変換部４１０と、減算器４３０とを備える。ただし、アドレスイベント検出部４００は、その他にも、バッファや量子化器や転送部を備える。アドレスイベント検出部４００の詳細については、後述において図５等を用いて説明する。
　このような構成において、受光部３３０の光電変換素子３３３は、入射光を光電変換して電荷を発生させる。光電変換素子３３３で発生した電荷は、その電荷量に応じた電流値の光電流として、アドレスイベント検出部４００に入力される。
　１．４　アドレスイベント検出部の構成例
　図５は、第１の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。図５に示すように、アドレスイベント検出部４００は、図５にも示した電流電圧変換部４１０、減算器４３０と及び量子化器４４０に加え、バッファ４２０と、転送部４５０とを備える。
　電流電圧変換部４１０は、受光部３３０からの光電流を、その対数の電圧信号に変換し、これにより生成された電圧信号をバッファ４２０に出力する。
　バッファ４２０は、電流電圧変換部４１０からの電圧信号を補正し、補正後の電圧信号を減算器４３０に出力する。
　減算器４３０は、駆動回路２１１からの行駆動信号に従ってバッファ４２０からの電圧信号の電圧レベルを低下させ、低下後の電圧信号を量子化器４４０に出力する。
　量子化器４４０は、減算器４３０からの電圧信号をデジタル信号に量子化し、これにより生成されたデジタル信号を検出信号として転送部４５０に出力する。
　転送部４５０は、量子化器４４０からの検出信号を信号処理部２１２等に転送する。この転送部４５０は、例えば、アドレスイベントの発生が検出された際に、転送部４５０から駆動回路２１１及び信号処理部２１２へのアドレスイベントの検出信号の送信を要求するリクエストをアービタ２１３に出力する。そして、転送部４５０は、リクエストに対する応答をアービタ２１３から受け取ると、検出信号を駆動回路２１１及び信号処理部２１２に出力する。
　１．４．１　電流電圧変換部の構成例
　図５に示す構成における電流電圧変換部４１０は、例えば、図４に示すように、ＬＧトランジスタ４１１と、増幅トランジスタ４１２と、定電流回路４１５とを備えた、所謂ソースフォロア型の電流電圧変換部であってよい。ただし、これに限定されず、例えば、図６に例示するような、２つのＬＧトランジスタ４１１及び４１３と、２つの増幅トランジスタ４１２及び４１４と、定電流回路４１５とを備えた、所謂ゲインブースト型の電流電圧変換器であってもよい。
　図４に示すように、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１２のゲートは、例えば、受光部３３０の光電変換素子３３３におけるカソードに接続される。ＬＧトランジスタ４１１のドレインは、例えば、電源端子ＶＤＤに接続される。
　また、例えば、増幅トランジスタ４１２のソースは接地され、ドレインは定電流回路４１５を介して電源端子ＶＤＤに接続される。定電流回路４１５は、例えば、Ｐ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどの負荷ＭＯＳトランジスタで構成されてもよい。
　一方、ゲインブースト型の場合、図６に示すように、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１２のゲートは、例えば、受光部３３０の光電変換素子３３３におけるカソードに接続される。また、ＬＧトランジスタ４１１のドレインは、例えば、ＬＧトランジスタ４１３のソース及び増幅トランジスタ４１２のゲートに接続される。ＬＧトランジスタ４１３のドレインは、例えば、電源端子ＶＤＤに接続される。
　また、例えば、増幅トランジスタ４１４のソースはＬＧトランジスタ４１１のゲート及び増幅トランジスタ４１２のドレインに接続される。増幅トランジスタ４１４のドレインは、例えば、定電流回路４１５を介して電源端子ＶＤＤに接続される。
　図４又は図６に示すような接続関係とすることで、ループ状のソースフォロア回路が構成される。これにより、受光部３３０からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。なお、ＬＧトランジスタ４１１及び４１３と、増幅トランジスタ４１２及び４１４とは、それぞれ例えばＮＭＯＳトランジスタで構成されてよい。
　１．４．２　減算器及び量子化器の構成例
　図７は、第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。図７に示すように、減算器４３０は、コンデンサ４３１及び４３３と、インバータ４３２と、スイッチ４３４とを備える。また、量子化器４４０は、コンパレータ４４１を備える。
　コンデンサ４３１の一端は、バッファ４２０の出力端子に接続され、他端は、インバータ４３２の入力端子に接続される。コンデンサ４３３は、インバータ４３２に並列に接続される。スイッチ４３４は、コンデンサ４３３の両端を接続する経路を行駆動信号に従って開閉する。
　インバータ４３２は、コンデンサ４３１を介して入力された電圧信号を反転する。このインバータ４３２は反転した信号をコンパレータ４４１の非反転入力端子（＋）に出力する。
　スイッチ４３４をオンした際、コンデンサ４３１のバッファ４２０側には、電圧信号Ｖｉｎｉｔが入力される。また、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ４３１に蓄積されている電位Ｑｉｎｉｔは、コンデンサ４３１の容量をＣ１とすると、次の式（１）により表される。一方、コンデンサ４３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　　（１）
　次に、スイッチ４３４がオフされて、コンデンサ４３１のバッファ４２０側の電圧が変化してＶａｆｔｅｒになった場合を考えると、コンデンサ４３１に蓄積される電荷Ｑａｆｔｅｒは、次の式（２）により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　　（２）
　一方、コンデンサ４３３に蓄積される電荷Ｑ２は、出力電圧をＶｏｕｔとすると、次の式（３）により表される。
Ｑ２＝－Ｃ２×Ｖｏｕｔ　　（３）
　このとき、コンデンサ４３１及び４３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　　（４）
　式（４）に式（１）乃至式（３）を代入して変形すると、次の式（５）が得られる。
Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）　　（５）
　式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、単位画素ごとに減算器４３０を含むアドレスイベント検出部４００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。
　コンパレータ４４１は、減算器４３０からの電圧信号と、反転入力端子（－）に印加された所定の閾値電圧Ｖｔｈとを比較する。コンパレータ４４１は、比較結果を示す信号を検出信号として転送部４５０に出力する。
　また、上述のアドレスイベント検出部４００全体のゲインＡは、電流電圧変換部４１０の変換ゲインをＣＧｌｏｇとし、バッファ４２０のゲインを‘１’とすると、次の式（６）により表される。
Figure JPOXMLDOC01-appb-M000001
　式（６）において、ｉｐｈｏｔｏ＿ｎは、ｎ番目の単位画素の光電流であり、その単位は、例えばアンペア（Ａ）である。Ｎは、画素ブロック内の単位画素３１０の数であり、本実施形態では‘１’である。
　１．５　移動体への応用例
　上述した物体検出装置１は、様々な製品へ応用することができる。例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載することが可能である。
　図８は、第１の実施形態に係る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　図８に示すように、車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウインカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の情報を取得させるとともに、取得されたデータを受信する。車外情報検出ユニット１２０３０は、受信したデータに基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、電気信号を画像として出力するイメージセンサであってもよいし、測距の情報として出力する測距センサであってもよい。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　撮像部１２０３１は、例えば、後述する複数の撮像部１２１０１乃至１２１０５を備える（図９参照）。複数の撮像部１２１０１乃至１２１０５のうちの少なくとも１つには、上述したＤＶＳ２００が用いられる。ＤＶＳ２００とこれに接続された車外情報検出ユニット１２０３０とは、第１の実施形態に係る物体検出装置１を構成する。その場合、車外情報検出ユニット１２０３０及び又はマイクロコンピュータ１２０５１は、データ処理部１２０としての役割を果たす。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図７２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　１．６　ＤＶＳの配置例
　図９は、第１の実施形態に係るＤＶＳの車両に対する設置位置の例を示す図である。図９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５の計５つの撮像部が、車両１２１００に対して設けられている。これら撮像部１２１０１乃至１２１０５のうちの少なくとも１つは、ＤＶＳ２００で構成されている。例えば、車両１２１００の前方を撮像する撮像部１２１０１には、ＤＶＳ２００が用いられる。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２及び１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、交通信号機、交通標識又は車線等の検出に用いられる。
　また、図９には、撮像部１２１０１乃至１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２及び１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２及び１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１乃至１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１乃至１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１乃至１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１（図８参照）は、撮像部１２１０１乃至１２１０４から得られた距離情報を基に、撮像範囲１２１１１乃至１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１乃至１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１乃至１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　１．７　物体検出動作例
　次に、第１の実施形態に係る物体検出装置１の動作例を説明する。図１０は、第１の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。なお、以下の説明では、データ処理部１２０の動作に着目する。
　図１０に示すように、本動作では、まず、データ処理部１２０は、ＤＶＳ２００からイベント検出データを入力する（ステップＳ１０１）。なお、ＤＶＳ２００は、上述したように、ＤＶＳ２００は、非同期で動作するため、データ処理部１２０には、アドレスイベントの発生が検出された際に、随時、ＤＶＳ２００からイベント検出データが入力される。
　これに対し、データ処理部１２０は、入力されたイベント検出データに含まれるアドレス情報に基づいて、アドレスイベントの発生が検出された１つ以上のエリア（以下、イベント検出エリアという）を特定する（ステップＳ１０２）。例えば、ＤＶＳ２００の画角内に図１に例示した物体が含まれている場合、データ処理部１２０は、交通信号機５１の領域Ｒ１と、先行車両５２及び５３におけるテールランプやブレーキランプ等の領域Ｒ２及びＲ３とを特定する。なお、ステップＳ１０２では、例えば、所定時間（例えば、１ｍｓ（ミリ秒））内に入力された１つ以上のイベント検出データに基づいて、アドレスイベントの発生が検出された１つ以上のイベント検出エリアが特定されてよい。
　次に、データ処理部１２０は、ステップＳ１０２で特定した各イベント検出エリアについて、単位時間あたり（例えば、１秒）に発生が検出されたアドレスイベントの数（以下、イベント検出数という）Ｎを計測する（ステップＳ１０３）。なお、イベント検出数Ｎは、各イベント検出エリアがフリッカ成分を含んでいるか否かを判定するために用いられる値であって、フリッカ成分の周波数に相当する特性値である。このイベント検出数Ｎには、各イベント検出エリアに属するアドレス（すなわち、画素）ごとに計測された値が用いられてもよいし、アドレスごとに計測された値のイベント検出エリアごとの最大値や平均値等が用いられてもよい。
　次に、データ処理部１２０は、イベント検出数Ｎが予め設定しておいた閾値Ｎｔｈ以上のイベント検出エリアが存在するか否かを判定する（ステップＳ１０４）。イベント検出数Ｎが閾値Ｎｔｈ以上のイベント検出エリアが存在しない場合（ステップＳ１０４のＮＯ）、データ処理部１２０は、フリッカしている物体が検出されなかったと判断して、ステップＳ１０８へ進む。
　一方、イベント検出数Ｎが閾値Ｎｔｈ以上のイベント検出エリアが存在する場合（ステップＳ１０４のＹＥＳ）、データ処理部１２０は、上記１つ以上のイベント検出エリアからフリッカが検出されたエリア（以下、フリッカ検出エリアという）を特定する（ステップＳ１０５）。
　次に、データ処理部１２０は、ステップＳ１０５で特定したフリッカ検出エリアのエッジ形状と、フリッカ検出エリアについて計測されたイベント検出数Ｎとに基づいて、各フリッカ検出エリアに写された物体を検出する（ステップＳ１０６）。
　なお、各フリッカ検出エリアの物体は、例えば、アドレス情報から特定される物体のエッジ形状や、イベント検出数Ｎから特定されるフリッカ成分の周波数やデューティ比などの特性等に基づいて、検出することが可能である。例えば、エッジ形状やフリッカ特性等と物体との対応関係をメモリ１２１に登録しておき、検出されたエッジ形状及びフリッカ特性等と登録されている物体のエッジ形状及びフリッカ特性等とをパターマッチングすることで、物体を検出することが可能である。若しくは、エッジ形状やフリッカ特性等を入力とした機械学習により、物体を検出することも可能である。
　次に、データ処理部１２０は、以上のように実行された物体検出処理の結果を、例えば、通信ネットワーク１２００１を介して統合制御ユニット１２０５０へ出力し（ステップＳ１０７）、ステップＳ１０８へ進む。
　ステップＳ１０８では、データ処理部１２０は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１０８のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ１０８のＮＯ）、データ処理部１２０は、ステップＳ１０１へリターンし、以降の動作を実行する。
　１．８　作用・効果
　以上のように、本実施形態によれば、物体のエッジ形状のみならず、その物体が発するフリッカの特性等も考慮して、物体を検出することが可能となる。それにより、より高速且つ高精度に物体検出を行なうことが可能となる。
　２．第２の実施形態
　次に、第２の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、第１の実施形態と同様の構成及び動作については、それを引用することで、その重複する説明を省略する。
　上述した第１の実施形態では、ＤＶＳ２００から得られたイベント検出データを用いてフリッカ成分を発する物体を検出する場合を例示した。これに対し、第２の実施形態では、イベント検出データに加え、通常のイメージセンサで取得された画像データを用いて、フリッカ成分を発する物体を検出する場合について、例を挙げて説明する。
　例えば、図１１に示すように、路面が雨等で濡れている場合などでは、対向車５５のヘッドライトから出力された光が路面で反射することとなるが、その場合、画角Ｇ２内において、ヘッドライトの領域Ｒ５のみならず、ヘッドライトの光を反射した路面上の領域Ｒ５ａも、フリッカ成分を持つこととなる。そのため、フリッカ成分のみに基づいた物体検出では、本来何も存在しない路面上に物体を検出してしまうといった誤検出が発生する可能性がある。なお、図１１には、街灯に対応する領域Ｒ４も、フリッカ成分を持つ領域として検出されている。
　そこで本実施形態では、イベント検出データと画像データとを組み合わせることで、誤検出の発生を抑制してより正確な物体検出を可能にする。
　２．１　物体検出装置（又はシステム）の構成例
　図１２は、第２の実施形態に係る物体検出装置（又はシステム）の概略構成例を示すブロック図である。図１２に示すように、物体検出装置２は、撮像レンズ１１０と、ＤＶＳ２００と、フリッカ検出部１２と、撮像レンズ１３と、イメージセンサ（第２固体撮像装置）１４と、物体検出部１５と、行動パターン決定部１６と、記憶部１７と、インタフェース（Ｉ／Ｆ）部１８とを備える。この構成において、撮像レンズ１１及びＤＶＳ２００は、第１の実施形態に係る撮像レンズ１１及びＤＶＳ２００と同様であってよい。
　撮像レンズ１３は、撮像レンズ１１と同様に、入射光を集光してその像をイメージセンサ１４の受光面に結像する光学系の一例である。受光面とは、イメージセンサ１４における光電変換素子が配列する面であってよい。
　イメージセンサ１４は、例えば、ＣＣＤ（Charge　Coupled　Device）型のイメージセンサやＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）型のイメージセンサなど、画像データを取得することが可能な種々のイメージセンサであってよい。このイメージセンサ１４は、例えば、図８における撮像部１２０３１に含まれる構成であって、ＤＶＳ２００と略同じ画角を撮像するように、車両１２１００に搭載されている。
　フリッカ検出部１２は、例えば、ＤＶＳ２００から入力されたイベント検出データに基づいて、１つ以上のフリッカ検出エリアを特定する。このフリッカ検出部１２は、例えば、第１の実施形態におけるデータ処理部１２０であってもよい。その場合、フリッカ検出部１２は、フリッカ検出エリアを特定することのみならず、各フリッカ検出エリアに写された物体を検出してもよい。
　物体検出部１５は、フリッカ検出部１２で検出されたフリッカ検出エリアと、イメージセンサ１４から入力された画像データとを用いて、各フリッカ検出エリアに写された物体を検出する。
　行動パターン決定部１６は、例えば、フリッカ検出部１２で検出された物体や物体検出部１５で検出された物体に基づいて、車両１２１００の行動パターンを決定する。この行動パターン決定部１６は、例えば、図８におけるマイクロコンピュータ１２０５１であってもよいし、マイクロコンピュータ１２０５１とは別のコンピュータであってもよい。
　記憶部１７は、行動パターン決定部１６が車両１２１００の行動パターンを決定する上で必要となる各種プログラムやデータを記憶する。
　Ｉ／Ｆ部１８は、例えば、行動パターン決定部１６がマイクロコンピュータ１２０５１とは別のコンピュータであれば、通信ネットワーク１２００１を介して統合制御ユニット１２０５０とデータの送受信を行なうためのインタフェースである。ただし、行動パターン決定部１６がマイクロコンピュータ１２０５１である場合には、Ｉ／Ｆ部１８は、例えば、車載ネットワークＩ／Ｆ１２０５３に相当する。
　２．２　物体検出動作例
　次に、第２の実施形態に係る物体検出装置２の動作例を説明する。図１３は、第２の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。なお、以下の説明において、第１の実施形態において図１０を用いて説明した動作と同様の動作については、それを引用することで、その重複する説明を省略する。
　図１３に示すように、本動作では、まず、第１の実施形態において図１０のステップＳ１０１～Ｓ１０５を用いて説明した動作と同様の動作をフリッカ検出部１２が実行することで、１つ以上のフリッカ検出エリアが特定される。なお、各フリッカ検出エリアを特定するための領域情報（例えば、アドレス情報）は、フリッカ検出部１２から物体検出部１５に入力される。
　次に、フリッカ検出エリアの領域情報が入力された物体検出部１５は、イメージセンサ１４から画像データを入力する（ステップＳ２０１）。なお、イメージセンサ１４は、所定のフレームレートで定期的に画像データを出力していてもよいし、物体検出部１５又は制御部１３０（図１参照）から指示されたタイミングで画像データを出力してもよい。
　画像データが入力された物体検出部１５は、入力した画像データにおいて、フリッカ検出エリアを含む物体のエリア（以下、物体検出エリアという）を特定する（ステップＳ２０２）。例えば、図１１に示す例では、フリッカ検出エリアに相当する領域Ｒ５を含む車両５５の領域を物体検出エリアＲ６として特定する。一方で、フリッカ検出エリアに相当する領域Ｒ５ａは、ある特定の物体に含まれていないため、物体検出部１５は、領域Ｒ５ａに対しては、物体検出エリアを特定しない。
　次に、物体検出部１５は、ステップＳ２０２で特定した画像データ中の物体検出エリアに含まれる物体のエッジ形状と、この物体検出エリアに重畳するフリッカ検出エリアのイベント検出数Ｎとに基づいて、各物体検出エリアに写された物体を検出する（ステップＳ２０３）。なお、物体の検出には、例えば、図１０におけるステップＳ１０６と同様に、パターマッチングや機械学習を用いることが可能である。
　次に、物体検出部１５は、図１０におけるステップＳ１０７以降と同様に、物体検出結果を、例えば、通信ネットワーク１２００１を介して統合制御ユニット１２０５０へ出力し（ステップＳ１０７）、その後、ステップＳ１０８において、本動作を終了するか否かを判定する。
　２．３　作用・効果
　以上のように、本実施形態によれば、フリッカ成分が検出されたフリッカ検出エリアが、画像データから特定された物体検出エリアによりマスクされる。それにより、本来何も存在しない路面上等に物体を検出してしまうといった誤検出の発生を低減又は回避することが可能となるため、より高精度に物体検出を行なうことが可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　２．４　変形例
　上述した第２の実施形態では、イベント検出データから得られたフリッカ情報（例えば、フリッカ検出エリア及び／又はイベント検出数Ｎ）を画像データから得られた物体情報（例えば、物体検出エリア）でマスクすることで誤検出の発生を低減又は回避する場合が例示された。ただし、フリッカ情報と物体情報との組合せによる誤検出低減／回避方法は、このような方法に限定されない。例えば、画像データに対する物体検出をフリッカ情報を用いてサポートすることで、誤検出を低減又は回避することも可能である。
　図１４は、第２の実施形態の変形例に係る物体検出動作の一例を示すフローチャートである。図１４に示すように、本変形例では、まず、物体検出部１５に画像データが入力される（ステップＳ２２１）。画像データが入力された物体検出部１５は、入力した画像データに対して物体検出処理を実行することで、画像データに含まれる１つ以上の物体のエリア（物体検出エリア）を特定する（ステップＳ２２２）。例えば、図１１に示す例では、物体検出部１５は、車両５５を含む物体検出エリアＲ６を特定する。なお、各物体検出エリアを特定するための領域情報（例えば、アドレス情報）は、物体検出部１５からフリッカ検出部１２に入力される。
　次に、フリッカ検出部１２は、物体検出エリアそれぞれの単位時間あたりのイベント検出数Ｎを計測する（ステップＳ２２３）。なお、イベント検出数Ｎは、各物体検出エリアに属するアドレス（すなわち、画素）ごとに計測された値が用いられてもよいし、アドレスごとに計測された値のエリアごとの最大値や平均値等が用いられてもよい。なお、物体検出エリアごとのイベント検出数Ｎは、フリッカ検出部１２から物体検出部１５に入力される。
　次に、物体検出部１５は、ステップＳ２２２で特定した画像データ中の物体検出エリアに含まれる物体のエッジ形状と、この物体検出エリアのイベント検出数Ｎとに基づいて、各物体検出エリアに写された物体を検出する（ステップＳ２２４）。なお、物体の検出には、例えば、図１０におけるステップＳ１０６と同様に、パターマッチングや機械学習を用いることが可能である。
　次に、物体検出部１５は、図１０におけるステップＳ１０７以降と同様に、物体検出結果を、例えば、通信ネットワーク１２００１を介して統合制御ユニット１２０５０へ出力し（ステップＳ１０７）、その後、ステップＳ１０８において、本動作を終了するか否かを判定する。
　以上のような動作によれば、画像データに対する物体検出がフリッカ情報を用いてサポートされるため、第２の実施形態と同様に、本来何も存在しない路面上等に物体を検出してしまうといった誤検出の発生を低減又は回避して、より高精度に物体検出を行なうことが可能となる。
　３．第３の実施形態
　次に、第３の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成及び動作については、それを引用することで、その重複する説明を省略する。
　例えば、交通信号機や電光掲示板や車両のライト等のフリッカ成分を発している物体は、点ではなく、ある程度の領域を持っている。これに対し、ＤＶＳ２００から出力される誤検出の多くは、１点又は数点の非常に小さいエリアである。
　そこで本実施形態では、フリッカ検出エリアとして特定する領域のサイズに下限を設け、この下限を下回るエリアは、フリッカ検出エリアとしないことで、物体の誤検出を低減するとともに、物体検出処理で処理すべきデータ量を低減する。
　本実施形態に係る物体検出装置（又はシステム）の構成例は、例えば、第１の実施形態で例示した物体検出装置１又は第２の実施形態で例示した物体検出装置２と同様であってよい。
　３．１　物体検出動作例
　図１５は、第３の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。なお、以下の説明において、上述した実施形態と同様の動作については、それを引用することで、その重複する説明を省略する。また、以下の説明では、第２の実施形態において図１３を用いて説明した動作をベースとした場合を例示するが、ベースとする実施形態は、第２の実施形態に限定されず、その他の上述又は後述する実施形態若しくはその変形例とすることも可能である。
　図１５に示すように、本実施形態に係る物体検出動作は、例えば、第２の実施形態において図１３を用いて説明した動作と同様の動作において、ステップＳ１０４とステップＳ１０５との間に、ステップＳ３０１が追加されている。
　ステップＳ３０１では、フリッカ検出部１２は、ステップＳ１０２で特定した各イベント検出エリア内に、イベント検出数Ｎが閾値Ｎｔｈ以上の画素（すなわち、アドレス）が一定数以上存在するか否かを判定する。なお、一定数とは、例えば、アドレスイベントの誤検出によるエリアサイズよりも大きさなサイズに相当する数であってよい。
　イベント検出数Ｎが閾値Ｎｔｈ以上の画素が一定数以上存在するイベント検出エリアが存在しない場合（ステップＳ３０１のＮＯ）、本動作は、ステップＳ１０８へ進む。一方、存在する場合（ステップＳ３０１のＹＥＳ）、フリッカ検出部１２は、イベント検出数Ｎが閾値Ｎｔｈ以上の画素が一定数以上存在するイベント検出エリアをフリッカ検出エリアとして特定し（ステップＳ１０５）、以降の動作を実行する。
　３．２　作用・効果
　以上のように、本実施形態によれば、ある一定以上のサイズのイベント検出エリアがフリッカ検出エリアとして特定されるため、物体の誤検出が低減されてより高精度な物体検出が可能になるとともに、物体検出処理で処理すべきデータ量が低減されてより高速な物体検出が可能になる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　４．第４の実施形態
　次に、第４の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成及び動作については、それを引用することで、その重複する説明を省略する。
　上述した実施形態では、フリッカ検出エリアとそれ以外のエリアとで、解像度を代えずに、アドレスイベントの発生が監視されていた。また、第２及び第３の実施形態では、フリッカ検出エリアとそれ以外のエリアとから同じ解像度の画像データが読み出されていた。
　これに対し、第３の実施形態では、フリッカ検出エリアとそれ以外のエリアとで、アドレスイベントの発生を監視する解像度及び／又はイメージセンサ１４から読み出す画像データの解像度を変更する。
　それにより、例えば、フリッカ検出エリア以外のエリアに対するデータ処理量を削減することが可能となるため、より高速な物体検出が可能となる。
　本実施形態に係る物体検出装置（又はシステム）の構成例は、例えば、第１の実施形態で例示した物体検出装置１又は第２の実施形態で例示した物体検出装置２と同様であってよい。
　４．１　物体検出動作例
　図１６は、第４の実施形態に係る物体検出装置が実行する物体検出動作の一例を示すフローチャートである。なお、以下の説明において、上述した実施形態と同様の動作については、それを引用することで、その重複する説明を省略する。また、以下の説明では、第３の実施形態において図１５を用いて説明した動作をベースとした場合を例示するが、ベースとする実施形態は、第３の実施形態に限定されず、その他の上述又は後述する実施形態若しくはその変形例とすることも可能である。
　図１６に示すように、本実施形態に係る物体検出動作は、例えば、第３の実施形態において図１５を用いて説明した動作と同様の動作において、ステップＳ１０７とステップＳ１０８との間に、ステップＳ４０１が追加されている。
　ステップＳ４０１では、フリッカ検出部１２は、ステップＳ１０５で特定したフリッカ検出エリア以外のエリアを、低解像度エリアに設定する。低解像度エリアの設定は、例えば、制御部１３０に対して実行されてよい。
　これに対し、制御部１３０は、ＤＶＳ２００における低解像度エリアに対し、アドレスイベントの発生を監視する解像度を低く設定する。例えば、制御部１３０は、ＤＶＳ２００における低解像度エリアに対し、奇数行の単位画素３１０に対するアドレスイベント発生の監視を停止し、偶数行の単位画素３１０に対してのみ、アドレスイベントの発生が監視されるように、ＤＶＳ２００を制御する。
　また、制御部１３０は、イメージセンサ１４における低解像度エリアから読み出される画像データの解像度を低下する。例えば、制御部１３０は、イメージセンサ１４における低解像度エリアについては、奇数行の画素からのみ画素信号を読み出して画像データを生成する。
　４．２　作用・効果
　以上のように、本実施形態によれば、フリッカ検出エリア以外のエリアに対するデータ処理量を削減することが可能となるため、より高速な物体検出が可能となる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第５の実施形態
　次に、第５の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成及び動作については、それを引用することで、その重複する説明を省略する。
　第５の実施形態では、上述した実施形態におけるマイクロコンピュータ１２０５１又は行動パターン決定部１６が実行する行動パターン決定動作について、幾つか例を挙げて説明する。なお、以下の説明では、明確化のため、行動パターン決定部１６が行動パターン決定動作を実行するものとする。
　５．１　第１例
　図１７は、第１例に係る行動パターン決定動作を示すフローチャートである。なお、第１例では、車両１２１００が信号待ちで停止している最中に、上述した実施形態に係る物体検出装置１又は２よって交通信号機が検出された場合を例示する。また、その際に、車両１２１００が搭載するアイドリングストップシステムにより自動的にエンジンが停止しているものとする。
　図１７に示すように、第１例では、行動パターン決定部１６は、まず、物体検出装置１又は２からの物体検出結果の入力を待機し（ステップＳ５０１のＮＯ）、物体検出結果を入力すると（ステップＳ５０１のＹＥＳ）、物体検出結果に基づいて、交通信号機が検出されたことを認識する（ステップＳ５０２）。
　次に、行動パターン決定部１６は、物体検出結果から、交通信号機において現在点灯している色を特定する（ステップＳ５０３）。そして、行動パターン決定部１６は、現在点灯している色が青色である場合（ステップＳ５０４のＹＥＳ）、エンジンを始動し（ステップＳ５０５）、ステップＳ５０７へ進む。その際、行動パターン決定部１６は、車両１２１００の自動運転機能がアクティブであれば、エンジンの始動とともに、車両１２１００の前進等を開始してもよい。
　一方、現在点灯している色が青以外の色、例えば、赤である場合（ステップＳ５０４のＮＯ）、行動パターン決定部１６は、停止を継続し（ステップＳ５０６）、ステップＳ５０７へ進む。
　ステップＳ５０７では、行動パターン決定部１６は、本動作を終了するか否かを判定し、終了する場合（ステップＳ５０７のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ５０７のＮＯ）、行動パターン決定部１６は、ステップＳ５０１へリターンし、以降の動作を実行する。
　５．２　第２例
　図１８は、第２例に係る行動パターン決定動作を示すフローチャートである。なお、第２例では、車両１２１００が走行中に、上述した実施形態に係る物体検出装置１又は２よって対向車が検出された場合を例示する。
　図１８に示すように、第２例では、行動パターン決定部１６は、まず、物体検出装置１又は２から物体検出結果を入力すると（ステップＳ５２１のＹＥＳ）、この物体検出結果に基づいて、対向車である車のヘッドライトを検出する（ステップＳ５２２）。つづいて、行動パターン決定部１６は、物体検出結果におけるヘッドライトを含む領域から、対向車を検出する（ステップＳ５２３）。
　このように対向車の存在を検出すると、行動パターン決定部１６は、例えば、図８における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から対向車の存在をドライバへ報知する、及び／又は、表示部１２０６２に対向車の存在を表示するアラートを実行し（ステップＳ５２４）、ステップＳ５２５へ進む。
　ステップＳ５２５では、行動パターン決定部１６は、本動作を終了するか否かを判定し、終了する場合（ステップＳ５２５のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ５２５のＮＯ）、行動パターン決定部１６は、ステップＳ５２１へリターンし、以降の動作を実行する。
　５．３　第３例
　図１９は、第３例に係る行動パターン決定動作を示すフローチャートである。なお、第３例では、車両１２１００が走行中に、上述した実施形態に係る物体検出装置１又は２よって対向車が検出された場合の他の行動パターン決定動作を例示する。
　図１９に示すように、第３例では、行動パターン決定部１６は、まず、第２例において図１８のステップＳ５２１～Ｓ５２３を用いて説明した動作と同様の動作を実行することで、対向車を検出する。
　次に、行動パターン決定部１６は、所定期間内に継続して入力される物体検出結果から、対向車の移動ベクトルを算出する（ステップＳ５３１）。なお、ステップＳ５３１では、例えば、対向車に相当する物体検出エリアの重心又は中心を算出し、この重心又は中心の単位時間あたりの移動量及び移動方向から、対向車の移動ベクトルが算出されてもよい。
　次に、行動パターン決定部１６は、ステップＳ５３１で算出した移動ベクトルが自車両（車両１２１００）へ向いているか否かを判定する（ステップＳ５３２）。移動ベクトルが自車両１２１００へ向いていない場合（ステップＳ５３２のＮＯ）、行動パターン決定部１６は、衝突のリスクが低い又は無いと判断して、ステップＳ５２５へ進む。
　一方、対向車の移動ベクトルが自車両１２１００へ向いている場合（ステップＳ５３２のＹＥＳ）、行動パターン決定部１６は、次に、対向車の移動ベクトルの大きさＭが予め設定しておいた閾値Ｍｔｈ以上であるか否かを判定する（ステップＳ５３３）。移動ベクトルの大きさＭが閾値Ｍｔｈ未満である場合（ステップＳ５３３）、行動パターン決定部１６は、衝突のリスクが低い又は無いと判断して、ステップＳ５２５へ進む。
　また、移動ベクトルの大きさＭが閾値Ｍｔｈ以上である場合（ステップＳ５３３のＹＥＳ）、行動パターン決定部１６は、衝突のリスクを検出する（ステップＳ５３４）。そして、行動パターン決定部１６は、例えば、図８における駆動系制御ユニット１２０１０を制御することで、自動ブレーキ制御を実行するとともに、例えば、図８における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から対向車との衝突のリスクをドライバへ報知する、及び／又は、表示部１２０６２に対向車との衝突のリスクを表示するアラートを実行し（ステップＳ５３５）、ステップＳ５２５へ進む。
　ステップＳ５２５では、第２例と同様に、行動パターン決定部１６は、本動作を終了するか否かを判定し、終了する場合（ステップＳ５２５のＹＥＳ）、本動作を終了する一方、継続する場合（ステップＳ５２５のＮＯ）、ステップＳ５２１へリターンし、以降の動作を実行する。
　５．４　第４例
　図２０は、第４例に係る行動パターン決定動作を示すフローチャートである。なお、第４例では、車両１２１００が走行中に、上述した実施形態に係る物体検出装置１又は２よって先行車両のウインカーが点滅し始めたことが検出された場合を例示する。
　図２０に示すように、第４例では、行動パターン決定部１６は、物体検出装置１又は２から物体検出結果を入力すると（ステップＳ５４１のＹＥＳ）、この物体検出結果に基づいて、先行車両である車のウインカーを検出する（ステップＳ５４２）。つづいて、行動パターン決定部１６は、物体検出結果におけるウインカーを含む領域から、先行車両を検出する（ステップＳ５４３）。
　次に、行動パターン決定部１６は、検出した先行車両に相当する物体検出エリアの中心を特定し（ステップＳ５４４）、この中心の位置と、ウインカーに相当するフリッカ検出エリアとの位置関係から、先行車両がウインカーで意思表示している進路変更方向を特定する（ステップＳ５４６）。
　次に、行動パターン決定部１６は、例えば、図８における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から先行車両の進路変更をドライバへ報知する、及び／又は、表示部１２０６２に先行車両の進路変更を表示するアラートを実行し（ステップＳ５４６）、ステップＳ５２５へ進む。
　ステップＳ５２５では、行動パターン決定部１６は、本動作を終了するか否かを判定し、終了する場合（ステップＳ５２５のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ５２５のＮＯ）、行動パターン決定部１６は、ステップＳ５２１へリターンし、以降の動作を実行する。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
　前記第１固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成するフリッカ検出部と、
　前記第１固体撮像装置で検出された前記フリッカ情報に基づいて物体を検出する物体検出部と、
　を備える物体検出装置。
（２）
　前記フリッカ検出部は、前記複数の画素における前記イベントの発生が検出されたイベント検出エリアを特定し、当該イベント検出エリアについて所定時間あたりに検出されたイベントの発生数に基づいて、前記フリッカ情報を生成する前記（１）に記載の物体検出装置。
（３）
　前記フリッカ検出部は、前記イベント検出エリアに属する前記画素それぞれで前記所定時間あたりに検出された前記イベントの発生数の最大値又は平均値に基づいて、前記フリッカ情報を生成する前記（２）に記載の物体検出装置。
（４）
　前記フリッカ情報は、前記イベント検出エリアのエッジ形状と、前記所定時間あたりに検出されたイベントの発生数とを含む前記（２）又は（３）に記載の物体検出装置。
（５）
　前記フリッカ検出部は、前記イベント検出エリアのうち、前記所定時間あたりに検出されたイベントの発生数が第１閾値以上である画素が配列するエリアをフリッカ検出エリアとし、
　前記物体検出部は、前記フリッカ検出エリアに写された前記物体を、前記フリッカ情報に基づいて検出する
　前記（２）～（４）の何れか１項に記載の物体検出装置。
（６）
　前記フリッカ検出部は、前記イベント検出エリアのうち、前記所定時間あたりに検出された前記イベントの発生数が前記第１閾値以上である画素の数が第２閾値以上であるエリアを前記フリッカ検出エリアとする
　前記（５）に記載の物体検出装置。
（７）
　画像データを取得する第２固体撮像装置をさらに備え、
　前記物体検出部は、前記フリッカ情報と前記画像データとに基づいて、前記物体を検出する
　前記（２）に記載の物体検出装置。
（８）
　前記フリッカ検出部は、前記複数の画素における前記イベントの発生が検出されたイベント検出エリアを特定し、当該イベント検出エリアについて所定時間あたりに検出されたイベントの発生数に基づいて、前記フリッカ情報を生成し、
　前記物体検出部は、前記イベント検出エリアに対応する前記画像データ上のエリアを含み且つ前記物体に対応する物体検出エリアを特定し、前記物体検出エリアと前記フリッカ情報とに基づいて、前記物体を検出する
　前記（７）に記載の物体検出装置。
（９）
　前記物体検出部は、前記画像データから前記物体に対応する物体検出エリアを特定し、
　前記フリッカ検出部は、前記複数の画素において前記物体検出エリアに対応するエリアについて、所定時間あたりに検出されたイベントの発生数に基づいて、前記フリッカ情報を生成し、
　前記物体検出部は、前記物体検出エリアと前記フリッカ情報とに基づいて、前記物体を検出する
　前記（７）に記載の物体検出装置。
（１０）
　前記第１固体撮像装置に対する読出しを制御する制御部をさらに備え、
　前記制御部は、前記複数の画素のうち前記イベント検出エリアに含まれる画素以外の画素が配列するエリアに対し、前記イベントの発生を監視する解像度を低下させる
　前記（２）に記載の物体検出装置。
（１１）
　前記第２固体撮像装置に対する読出しを制御する制御部をさらに備え、
　前記制御部は、前記第２固体撮像装置のうち、前記イベント検出エリアに対応するエリアから読み出される前記画像データの解像度を低下させる
　前記（７）に記載の物体検出装置。
（１２）
　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
　前記第１固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成するフリッカ検出部と、
　前記第１固体撮像装置で検出された前記フリッカ情報に基づいて物体を検出する物体検出部と、
　を備える物体検出システム。
（１３）
　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成し、
　前記フリッカ情報に基づいて物体を検出する
　ことを含む物体検出方法。
　１、２　物体検出装置（システム）
　１１、１３　撮像レンズ
　１２　フリッカ検出部
　１４　イメージセンサ
　１５　物体検出部
　１６　行動パターン決定部
　１７　記憶部
　１８　Ｉ／Ｆ部
　１２０　データ処理部
　１２１　メモリ
　１２２　ＤＳＰ
　１３０　制御部
　２００　ＤＶＳ
　２１０　ロジック回路
　２１１　駆動回路
　２１２　信号処理部
　２１３　アービタ
　３００　画素アレイ部
　３１０　単位画素
　３３０　受光部
　３３３　光電変換素子
　４００　アドレスイベント検出部
　４１０　電流電圧変換部
　４１１、４１３　ＬＧトランジスタ
　４１２、４１４　増幅トランジスタ
　４１５　定電流回路
　４２０　バッファ
　４３０　減算器
　４３１、４３３　コンデンサ
　４３２　インバータ
　４３４　スイッチ
　４４０　量子化器
　４４１　コンパレータ
　４５０　転送部
　１２００１　通信ネットワーク
　１２０１０　駆動系制御ユニット
　１２０３０　車外情報検出ユニット
　１２０３１、１２１０１～１２１０５　撮像部
　１２０５０　統合制御ユニット
　１２０５１　マイクロコンピュータ
　１２０５２　音声画像出力部
　１２０５３　車載ネットワークＩ／Ｆ
　１２０６１　オーディオスピーカ
　１２０６２　表示部
　１２１００　車両

Claims (13)

  1. 　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
    　前記第１固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成するフリッカ検出部と、
    　前記第１固体撮像装置で検出された前記フリッカ情報に基づいて物体を検出する物体検出部と、
    　を備える物体検出装置。
  2. 　前記フリッカ検出部は、前記複数の画素における前記イベントの発生が検出されたイベント検出エリアを特定し、当該イベント検出エリアについて所定時間あたりに検出されたイベントの発生数に基づいて、前記フリッカ情報を生成する請求項１に記載の物体検出装置。
  3. 　前記フリッカ検出部は、前記イベント検出エリアに属する前記画素それぞれで前記所定時間あたりに検出された前記イベントの発生数の最大値又は平均値に基づいて、前記フリッカ情報を生成する請求項２に記載の物体検出装置。
  4. 　前記フリッカ情報は、前記イベント検出エリアのエッジ形状と、前記所定時間あたりに検出されたイベントの発生数とを含む請求項２に記載の物体検出装置。
  5. 　前記フリッカ検出部は、前記イベント検出エリアのうち、前記所定時間あたりに検出されたイベントの発生数が第１閾値以上である画素が配列するエリアをフリッカ検出エリアとし、
    　前記物体検出部は、前記フリッカ検出エリアに写された前記物体を、前記フリッカ情報に基づいて検出する
    　請求項２に記載の物体検出装置。
  6. 　前記フリッカ検出部は、前記イベント検出エリアのうち、前記所定時間あたりに検出された前記イベントの発生数が前記第１閾値以上である画素の数が第２閾値以上であるエリアを前記フリッカ検出エリアとする
    　請求項５に記載の物体検出装置。
  7. 　画像データを取得する第２固体撮像装置をさらに備え、
    　前記物体検出部は、前記フリッカ情報と前記画像データとに基づいて、前記物体を検出する
    　請求項２に記載の物体検出装置。
  8. 　前記フリッカ検出部は、前記複数の画素における前記イベントの発生が検出されたイベント検出エリアを特定し、当該イベント検出エリアについて所定時間あたりに検出されたイベントの発生数に基づいて、前記フリッカ情報を生成し、
    　前記物体検出部は、前記イベント検出エリアに対応する前記画像データ上のエリアを含み且つ前記物体に対応する物体検出エリアを特定し、前記物体検出エリアと前記フリッカ情報とに基づいて、前記物体を検出する
    　請求項７に記載の物体検出装置。
  9. 　前記物体検出部は、前記画像データから前記物体に対応する物体検出エリアを特定し、
    　前記フリッカ検出部は、前記複数の画素において前記物体検出エリアに対応するエリアについて、所定時間あたりに検出されたイベントの発生数に基づいて、前記フリッカ情報を生成し、
    　前記物体検出部は、前記物体検出エリアと前記フリッカ情報とに基づいて、前記物体を検出する
    　請求項７に記載の物体検出装置。
  10. 　前記第１固体撮像装置に対する読出しを制御する制御部をさらに備え、
    　前記制御部は、前記複数の画素のうち前記イベント検出エリアに含まれる画素以外の画素が配列するエリアに対し、前記イベントの発生を監視する解像度を低下させる
    　請求項２に記載の物体検出装置。
  11. 　前記第２固体撮像装置に対する読出しを制御する制御部をさらに備え、
    　前記制御部は、前記第２固体撮像装置のうち、前記イベント検出エリアに対応するエリアから読み出される前記画像データの解像度を低下させる
    　請求項７に記載の物体検出装置。
  12. 　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
    　前記第１固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成するフリッカ検出部と、
    　前記第１固体撮像装置で検出された前記フリッカ情報に基づいて物体を検出する物体検出部と、
    　を備える物体検出システム。
  13. 　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する固体撮像装置で検出された前記イベントの発生に基づいてフリッカ情報を生成し、
    　前記フリッカ情報に基づいて物体を検出する
    　ことを含む物体検出方法。
PCT/JP2020/010189 2019-03-27 2020-03-10 物体検出装置、物体検出システム及び物体検出方法 WO2020195769A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080022969.2A CN113615161A (zh) 2019-03-27 2020-03-10 对象检测装置、对象检测系统以及对象检测方法
US17/438,585 US11823466B2 (en) 2019-03-27 2020-03-10 Object detection device, object detection system, and object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-060216 2019-03-27
JP2019060216 2019-03-27

Publications (1)

Publication Number Publication Date
WO2020195769A1 true WO2020195769A1 (ja) 2020-10-01

Family

ID=72610116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010189 WO2020195769A1 (ja) 2019-03-27 2020-03-10 物体検出装置、物体検出システム及び物体検出方法

Country Status (3)

Country Link
US (1) US11823466B2 (ja)
CN (1) CN113615161A (ja)
WO (1) WO2020195769A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163277A1 (ja) 2021-02-01 2022-08-04 ソニーグループ株式会社 データ処理装置および方法、並びに、データ処理システム
WO2023210330A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 データ生成装置、データ生成方法、プログラム、解析装置
US11863369B2 (en) 2020-06-26 2024-01-02 Sony Group Corporation Network control method and data processing system
CN117409328A (zh) * 2023-12-14 2024-01-16 城云科技（中国）有限公司 用于道路病害检测的无因果性目标检测模型、方法及应用

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270137B2 (en) * 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
CN115769250A (zh) * 2020-07-15 2023-03-07 安致尔软件公司 用于机动车的视觉系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521746A (ja) * 2014-04-30 2017-08-03 サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） 非同期光センサーによって観測されたシーン内の形状を追跡する方法
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20190096068A1 (en) * 2017-09-28 2019-03-28 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112739A (ja) * 2002-07-25 2004-04-08 Fujitsu Ltd 固体イメージセンサ
JP4134894B2 (ja) * 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
JP2009212909A (ja) * 2008-03-05 2009-09-17 Sharp Corp 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
JP5099701B2 (ja) * 2008-06-19 2012-12-19 シャープ株式会社 信号処理装置、信号処理方法、制御プログラム、可読記録媒体、固体撮像装置および電子情報機器
US9619720B2 (en) * 2013-08-19 2017-04-11 Gentex Corporation Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
CA2923701A1 (en) 2013-09-16 2015-03-19 Chronocam Dynamic, single photodiode pixel circuit and operating method thereof
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
JP6447289B2 (ja) * 2015-03-20 2019-01-09 株式会社リコー 撮像装置、撮像方法、プログラム、車両制御システム、および車両
CN108536134B (zh) * 2017-03-02 2019-12-20 比亚迪股份有限公司 车辆行驶自动控制方法和装置
JP2018186478A (ja) 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
EP3744084B1 (en) * 2018-01-26 2023-10-25 Prophesee Method and apparatus of processing a signal from an event-based sensor
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
JP7449663B2 (ja) * 2018-10-30 2024-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020136958A (ja) * 2019-02-21 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
US10944912B2 (en) * 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
US20210067679A1 (en) * 2019-08-28 2021-03-04 Semiconductor Components Industries, Llc Event sensors with flicker analysis circuitry
GB2586802B (en) * 2019-09-03 2023-04-05 Jaguar Land Rover Ltd System and method for identifying light emitting flicker
DE102019126812A1 (de) * 2019-10-07 2021-04-08 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Erkennung einer gepulst betriebenen Lichtquelle
WO2021111891A1 (ja) * 2019-12-05 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2021111929A (ja) * 2020-01-15 2021-08-02 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
EP4094180A1 (en) * 2020-03-25 2022-11-30 Huawei Technologies Co., Ltd. Determination of illumination sections

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521746A (ja) * 2014-04-30 2017-08-03 サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） 非同期光センサーによって観測されたシーン内の形状を追跡する方法
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20190096068A1 (en) * 2017-09-28 2019-03-28 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11863369B2 (en) 2020-06-26 2024-01-02 Sony Group Corporation Network control method and data processing system
WO2022163277A1 (ja) 2021-02-01 2022-08-04 ソニーグループ株式会社 データ処理装置および方法、並びに、データ処理システム
WO2023210330A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 データ生成装置、データ生成方法、プログラム、解析装置
CN117409328A (zh) * 2023-12-14 2024-01-16 城云科技（中国）有限公司 用于道路病害检测的无因果性目标检测模型、方法及应用
CN117409328B (zh) * 2023-12-14 2024-02-27 城云科技（中国）有限公司 用于道路病害检测的无因果性目标检测模型、方法及应用

Also Published As

Publication number Publication date
CN113615161A (zh) 2021-11-05
US20220172486A1 (en) 2022-06-02
US11823466B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
WO2020195769A1 (ja) 物体検出装置、物体検出システム及び物体検出方法
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019150786A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
WO2020090460A1 (ja) センサ及び制御方法
WO2020195934A1 (ja) データ処理装置、データ処理方法、及び、プログラム
CN112640428A (zh) 固态成像装置、信号处理芯片和电子设备
JP7227926B2 (ja) 固体撮像素子、撮像装置および固体撮像素子の制御方法
US11330202B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US20220159201A1 (en) Event detection device, system including event detection device, and event detection method
WO2020195770A1 (ja) 状態検出装置、状態検出システム及び状態検出方法
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
US11937001B2 (en) Sensor and control method
WO2020246186A1 (ja) 撮像システム
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
US20220191417A1 (en) Solid-state imaging device and imaging device
CN113396579B (zh) 事件信号检测传感器和控制方法
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
WO2022137993A1 (ja) コンパレータ及び固体撮像素子
WO2024080226A1 (ja) 光検出素子及び電子機器
WO2021100593A1 (ja) 測距装置及び測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20779196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP