WO2021111891A1 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021111891A1
WO2021111891A1 PCT/JP2020/043215 JP2020043215W WO2021111891A1 WO 2021111891 A1 WO2021111891 A1 WO 2021111891A1 JP 2020043215 W JP2020043215 W JP 2020043215W WO 2021111891 A1 WO2021111891 A1 WO 2021111891A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
roi
sensor
information processing
image
Prior art date
Application number
PCT/JP2020/043215
Other languages
English (en)
French (fr)
Inventor
祐介 鈴木
隆浩 小山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202080082626.5A priority Critical patent/CN114746321A/zh
Priority to DE112020005952.9T priority patent/DE112020005952T5/de
Priority to US17/780,381 priority patent/US20230009479A1/en
Priority to JP2021562563A priority patent/JPWO2021111891A1/ja
Publication of WO2021111891A1 publication Critical patent/WO2021111891A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This technology relates to a technology for recognizing an object for, for example, automatic driving control.
  • the automatic driving level of automobiles is classified into 6 levels from level 0 to 5, and it is expected that the level will gradually develop from manual driving at level 0 to fully automatic driving at level 5.
  • level 2 partially automatic operation has already been put into practical use, and the next stage, level 3 conditional automatic operation, is being put into practical use.
  • Patent Document 1 discloses a technique for monitoring the road surface on which a vehicle is going to travel by using an event-based (visual) sensor.
  • This event-based sensor is a sensor that can detect a change in brightness on a pixel-by-pixel basis, and can output only information on a portion where the brightness has changed at the timing when the change occurs.
  • a normal image sensor that outputs an entire image at a fixed frame rate is also called a frame-based sensor, and in comparison with this frame-based sensor, this type of sensor is called an event-based sensor.
  • this type of sensor is called an event-based sensor.
  • the event-based sensor the change in brightness is captured as an event.
  • the purpose of this technology is to provide a technology that can recognize an object quickly and accurately.
  • the information processing device includes a control unit.
  • the control unit recognizes an object based on the event information detected by the event-based sensor, and transmits the recognition result to a sensor device including a sensor unit capable of acquiring information about the object.
  • the object can be recognized quickly and accurately by acquiring the information of the part corresponding to the object recognized by the event information from the sensor device.
  • control unit recognizes the object, identifies the ROI (Region of Interest) position corresponding to the object, and transmits the ROI position to the sensor device as the recognition result. May be good.
  • the sensor device may cut out ROI information corresponding to the ROI position from the information acquired by the sensor unit and transmit the ROI information to the information processing device.
  • control unit may recognize the object based on the ROI information acquired from the sensor device.
  • control unit may formulate an automatic operation plan based on the information of the object recognized based on the ROI information.
  • control unit may formulate an automatic operation plan based on the information of the object recognized based on the event information.
  • control unit may determine whether or not it is possible to formulate an automatic operation plan based only on the information of the object recognized based on the event information.
  • the control unit acquires the ROI information and based on the information of the object recognized based on the ROI information, the automatic operation plan. May be planned.
  • the control unit when the automatic operation plan can be drafted, the control unit does not acquire ROI information, but based on the information of the object recognized based on the event information, the automatic operation plan. May be planned.
  • the sensor unit includes an image sensor capable of acquiring an image of the object, and the ROI information may be an ROI image.
  • the sensor unit may include a complementary sensor capable of acquiring complementary information which is information about an object that cannot be recognized by the control unit based on the event information.
  • control unit may acquire the complementary information from the sensor device and recognize an object that cannot be recognized by the event information based on the complementary information.
  • control unit may formulate an automatic operation plan based on the information of the object recognized based on the complementary information.
  • the control unit acquires information on the movement of a moving body that is the target of the automatic operation plan, and changes the recognition cycle of the object based on the complementary information based on the movement information. You may let me.
  • control unit may shorten the cycle as the movement of the moving body becomes slower.
  • the sensor device may correct the cutout position of the ROI information based on the amount of deviation of the object in the ROI information.
  • the information processing system includes an information processing device and a sensor device.
  • the information processing device has a control unit.
  • the control unit recognizes an object based on the event information detected by the event-based sensor, and transmits the recognition result to a sensor device including a sensor unit capable of acquiring information about the object.
  • the information processing method recognizes an object based on the event information detected by the event-based sensor, and transmits the recognition result to a sensor device including a sensor unit capable of acquiring information about the object. including.
  • the program according to the present technology recognizes an object based on the event information detected by the event-based sensor, and transmits the recognition result to a sensor device including a sensor unit capable of acquiring information about the object by a computer. To execute.
  • FIG. 1 is a diagram showing an automatic driving control system 100 according to a first embodiment of the present technology.
  • FIG. 2 is a block diagram showing an internal configuration of the automatic operation control system 100.
  • the moving body (whether manned or unmanned) on which the automatic driving control system 100 is mounted is not limited to an automobile, but may be a motorcycle, a train, an airplane, a helicopter, or the like.
  • the automatic operation control system 100 includes a DVS (Dynamic Vision Sensor) 10, a sensor device 40, an automatic operation control device (information processing device) 30, and automatic operation.
  • the operation execution device 20 is included.
  • the automatic driving control device 30 is configured to be able to communicate with the DVS 10, the sensor device 40, and the automatic driving execution device 20 by wire or wirelessly.
  • the DVS 10 is an event-based sensor.
  • the DVS 10 is capable of detecting a change in the brightness of incident light in pixel units, and is configured to be able to output coordinate information of a pixel portion where the brightness has changed and corresponding time information at the timing when the change occurs. Has been done.
  • the DVS 10 generates time-series data including coordinate information of luminance change on the order of microseconds, and transmits this data to the automatic operation control device 30.
  • the time series data including the coordinate information of the luminance change acquired by the DVS 10 is simply referred to as event information.
  • the DVS 10 Since the DVS 10 outputs only the information of the portion where the brightness has changed, it has the features that the amount of data is small and the output is high speed (microsecond order) as compared with a frame-based normal image sensor. Further, the DVS 10 is a Log scale output and has a wide dynamic range. Therefore, the DVS 10 is capable of detecting a change in brightness without overexposure even when it is bright and backlit, and conversely, it is possible to detect a change in brightness appropriately even when it is dark.
  • FIG. 3 is a diagram showing a state when a vehicle equipped with the DVS 10 is traveling on a general road.
  • a vehicle 1 (hereinafter, own vehicle 1) equipped with a DVS 10 (automatic driving control system 100) is traveling in the left lane, and another vehicle 1 is in front of the own vehicle 1 in the same lane.
  • Vehicle 2 (hereinafter referred to as the vehicle in front 2) is running.
  • another vehicle 3 (hereinafter referred to as an oncoming vehicle 3) is traveling with the oncoming lane directed from the opposite side to this side.
  • the DVS 10 can detect the change in brightness, it is basically possible to detect the edge of an object having a speed difference with respect to the own vehicle 1 (DVS 10) as event information.
  • the front vehicle 2, the oncoming vehicle 3, the traffic light 4, the sign 5, the pedestrian 6, and the pedestrian crossing 7 have a speed difference with respect to the own vehicle 1, so that the edge of these objects is an event. It is detected by DVS10 as information.
  • FIG. 4 shows the edge information of the front vehicle 2 acquired by the DVS 10.
  • FIG. 5 shows an example of an image of the vehicle in front 2 acquired by the image sensor.
  • the edge of the front vehicle 2 as shown in FIG. 4 and the edge of the oncoming vehicle 3, the traffic light 4, the sign 5, the pedestrian 6, the pedestrian crossing 7, etc. are detected by the DVS 10 as event information.
  • the DVS 10 can detect an object whose brightness changes due to light emission or the like regardless of the presence or absence of a speed difference with respect to the own vehicle 1 (DVS 10). For example, the light portion 4a that is lit in the traffic light 4 repeatedly blinks at a cycle that cannot be felt by a person. Therefore, the light portion 4a that is lit in the traffic light 4 can be detected by the DVS 10 as a portion where the brightness has changed regardless of the presence or absence of a speed difference with respect to the own vehicle 1.
  • the lane marking 8 becomes Seen from the own vehicle 1, there is no change in appearance and no change in brightness. Therefore, in such a case, the lane marking 8 may not be detected by the DVS 10 as a change in brightness. If the lane marking 8 is not parallel to the traveling direction of the own vehicle 1, it can be detected by the DVS 10 as usual.
  • the lane marking 8 and the like may not be able to be changed in brightness even if there is a speed difference with respect to the own vehicle 1. Therefore, in the first embodiment, an object that cannot be detected by the DVS 10 is subjected to a complementary sensor described later. Completion based on the acquired complement information is executed.
  • the edge of the object may not be detected.
  • the edge of the front vehicle 2 cannot be detected.
  • the edges of the traffic light 4 and the sign 5 cannot be detected.
  • the object that cannot be detected by the DVS 10 is complemented based on the complement information acquired by the complement sensor described later.
  • the automatic operation control device 30 includes a control unit 31.
  • the control unit 31 executes various calculations based on various programs stored in the storage unit (not shown), and controls the automatic operation control device 30 in an integrated manner.
  • the storage unit stores various programs and various data necessary for processing of the control unit 31 of the automatic operation control device 30.
  • the control unit 31 of the automatic operation control device 30 is realized by hardware or a combination of hardware and software.
  • the hardware is configured as a part or all of the control unit 31, and the hardware includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), and an FPGA (Field Programmable Gate Array). , ASIC (Application Specific Integrated Circuit), or a combination of two or more of these.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the control unit 31 of the automatic operation control device 30 corresponds to the recognition process of the object based on the DVS 10, the identification process of the ROI position (ROI: Region of Interest: region of interest) corresponding to the object recognized by the DVS 10, and the ROI position.
  • the acquisition request of the ROI image to be performed is executed.
  • the control unit 31 of the automatic operation control device 30 has an object recognition process based on the ROI image, an operation plan planning process based on the object recognized based on the ROI image, and operation control data based on the drafted operation plan. Executes the generation process of.
  • the sensor device 40 includes a control unit 41 and a sensor unit 42 (sensor unit).
  • the sensor unit 42 is capable of acquiring information on an object necessary for an operation plan.
  • the sensor unit 42 has a sensor other than the DVS 10, and specifically, the sensor unit 42 has an image sensor 43, a lidar 44, a millimeter wave radar 45, and an ultrasonic sensor 46.
  • the control unit 41 of the sensor device 40 executes various calculations based on various programs stored in the storage unit (not shown), and controls the sensor device 40 in an integrated manner.
  • the storage unit stores various programs and various data necessary for processing of the control unit 41 of the sensor device 40.
  • the control unit 41 of the sensor device 40 executes an ROI cutout process for cutting out a portion corresponding to the ROI position, a correction process for correcting the ROI cutout position, and the like from the entire image acquired by the image sensor 43.
  • control unit 41 of the sensor device 40 The processing in the control unit 41 of the sensor device 40 will be described in detail later in the column of operation explanation.
  • the image sensor 43 includes an image sensor such as a CCD (Charge Coupled Device) sensor and a CMOS (Complemented Metal Oxide Semiconductor) sensor, and an optical system such as an imaging lens.
  • the image sensor 43 is a frame-based sensor that outputs an entire image at a predetermined frame rate.
  • the Lidar44 includes a light emitting unit that emits laser light in a pulse shape and a light receiving unit that can receive a reflected wave from an object.
  • the Lidar44 detects the distance to the object, the direction of the object, and the like by measuring the time from when the laser beam is emitted by the light emitting unit to when it is reflected by the object and received by the light receiving unit. Is possible.
  • the Lidar 44 is capable of recording the direction and distance of reflection of the pulsed laser beam as points in the three-dimensional point cloud, and acquires the environment around the own vehicle 1 as information in the three-dimensional point cloud. It is possible.
  • the millimeter wave radar 45 includes a transmitting antenna capable of transmitting millimeter waves (electromagnetic waves) having a wavelength of milliorders and a receiving antenna capable of receiving reflected waves from an object.
  • the millimeter wave radar 45 determines the distance to the object, the direction of the object, and the like based on the difference between the millimeter wave transmitted from the transmitting antenna and the millimeter wave reflected by the object and received by the receiving antenna. It is configured to be detectable.
  • the ultrasonic sensor 46 includes a transmitter capable of transmitting ultrasonic waves and a receiver capable of receiving reflected waves from an object.
  • the ultrasonic sensor 46 measures the time from when an ultrasonic wave is transmitted by a transmitter to when it is reflected by an object and received by a receiver, thereby measuring the distance to the object, the direction of the object, and the like. It is possible to detect it.
  • the four sensors 43, 44, 45, 46 in the sensor unit 42 and the five sensors including the DVS 10 are synchronized on the order of microseconds by, for example, a protocol such as PTP (Precision Time Protocol).
  • PTP Precision Time Protocol
  • the entire image captured by the image sensor 43 is output to the control unit 41 of the sensor device 40. Further, the entire image captured by the image sensor 43 is transmitted to the automatic luck control device as sensor information. Similarly, the information acquired by the Lidar 44, the millimeter wave radar 45, and the ultrasonic sensor 46 is output to the automatic operation control device 30 as sensor information.
  • Each sensor information by the four sensors 43, 44, 45, 46 is information for recognizing an object that cannot be recognized by the event information by DVS10, and in this sense, the sensor information by each sensor is complementary. Information.
  • the sensor that acquires the information to be cut out of the ROI is called the ROI target sensor.
  • a sensor that acquires information (complementary information) for recognizing an object that cannot be recognized by the event information by the DVS 10 is called a complementary sensor.
  • the image sensor 43 is the ROI target sensor because it has acquired the image information to be the target of the ROI cutout. Further, since the image sensor 43 acquires image information as complementary information, it is also a complementary sensor. That is, the image sensor 43 is a ROI target sensor and a complementary sensor.
  • the Lidar 44, the millimeter wave radar 45, and the ultrasonic sensor 46 are complementary sensors because they acquire the sensor information as complementary information.
  • the ROI target sensor is not limited to the image sensor 43.
  • a Lidar 44, a millimeter wave radar 45, or an ultrasonic sensor 46 may be used instead of the image sensor 43.
  • the ROI cutting process may be executed on the information acquired by the Lidar 44, the millimeter wave radar 45, or the ultrasonic sensor 46, and the ROI information may be acquired.
  • the ROI target sensor two or more of the four sensors of the image sensor 43, the lidar 44, the millimeter wave radar 45, and the ultrasonic sensor 46 may be used.
  • sensors an image sensor 43, a lidar 44, a millimeter wave radar 45, and an ultrasonic sensor 46, are used as complementary sensors, but typically one or more of these four sensors.
  • Sensor may be used as a complementary sensor.
  • Two or more of these four sensors may be used as the ROI target sensor and complementary sensor.
  • the automatic driving execution device 20 executes automatic driving by controlling the accelerator mechanism, the brake mechanism, the steering mechanism, and the like based on the operation control data from the automatic driving control device 30.
  • FIG. 6 is a flowchart showing the processing of the control unit 31 of the automatic operation control device 30.
  • FIG. 7 is a flowchart showing the processing of the control unit 41 of the sensor device 40.
  • the control unit 31 of the automatic operation control device 30 acquires event information (time-series data including coordinate information of brightness change: for example, edge information shown in FIG. 4) from the DVS 10. Step 101).
  • the control unit 31 of the automatic operation control device 30 recognizes an object necessary for the operation plan based on the event information (step 102). Examples of the objects required for the driving plan include a front vehicle 2, an oncoming vehicle 3, a traffic light 4 (including the light portion 4a), a sign 5, a pedestrian 6, a pedestrian crossing 7, a lane marking 8, and the like.
  • the vehicle in front 2, the oncoming vehicle 3, the traffic light 4, the pedestrian 6, the pedestrian crossing 7, the lane marking 8, etc. are basically from the DVS 10 when there is a speed difference with respect to the own vehicle 1 (DVS 10). It can be recognized by the control unit 31 of the automatic operation control device 30 based on the event information of. On the other hand, the lane marking 8 and the like may not be recognized by the control unit 31 of the automatic driving control device 30 based on the event information from the DVS 10, even if there is a speed difference with respect to the own vehicle 1 (DVS 10). There is.
  • the light portion 4a lit in the traffic light 4 can be recognized by the control unit 31 of the automatic driving control device 30 based on the event information from the DVS 10 regardless of the presence or absence of a speed difference with respect to the own vehicle 1 (DVS 10).
  • step 102 the control unit 31 of the automatic driving control device 30 recognizes the object by comparing it with the first recognition model stored in advance.
  • FIG. 8 is a diagram showing a state when the recognition model is generated.
  • teacher data of the object necessary for the operation plan is prepared.
  • teacher data teacher data based on event information when the object is photographed with the DVS 10 is used.
  • data in which motion information on the time axis in time-series data including coordinate information (for example, an edge) of a change in brightness of an object is stored as a library is used as teacher data.
  • This teacher data is learned by machine learning such as a neural network, and a first recognition model is generated.
  • the control unit 31 of the automatic driving control device 30 recognizes the object necessary for the operation plan based on the event information of the DVS 10, the target recognized by the event information of the DVS 10 does not need to be acquired next. It is determined whether or not the operation plan can be made only by the information of the object (step 103).
  • the control unit 31 of the automatic driving control device 30 causes the pedestrian 6 to jump out in front of the own vehicle 1 from the event information.
  • the edge showing the pedestrian 6 tries to cross in front of the own vehicle 1).
  • control unit 31 of the automatic operation control device 30 does not transmit the ROI image acquisition request to the sensor device 40, and formulates an automatic operation plan only with the information of the object recognized by the DVS 10 (step 110). .. Then, the control unit 31 of the automatic driving control device 30 generates motion control data according to the automatic driving plan based on the drafted automatic driving plan (step 111), and the motion control data is generated by the automatic driving execution device 20. (Step 112).
  • the emergency situation can be avoided by quickly formulating the operation plan only with the information of the object recognized based on the event information.
  • step 103 when the automatic operation plan cannot be made only by the information of the object recognized by the event information of DVS 10 (NO in step 103), the control unit 31 of the automatic operation control device 30 is next. Step 104 of. It should be noted that, typically, except in the case of an emergency as described above, it is determined that the automatic operation plan cannot be formulated.
  • the control unit 31 of the automatic driving control device 30 specifies a certain area corresponding to the object as the ROI position in the coordinate position of the event information in the DVS 10.
  • the ROI position identified as corresponding to the object may be one or two or more. For example, when there is one object recognized based on the event information of DVS10, the ROI position is also set to one, but the number of objects recognized based on the event information of DVS10 is two or more. In that case, the ROI position is also set to 2 or more.
  • control unit 31 of the automatic operation control device 30 transmits a ROI image acquisition request including the ROI position information to the sensor device 40 (step 105).
  • the control unit 41 of the sensor device 40 determines whether or not the ROI image acquisition request has been received from the automatic operation control device 30 (step 201). When the ROI image acquisition request is not received (NO in step 201), the control unit 41 of the sensor device 40 again determines whether or not the ROI image acquisition request has been received from the automatic operation control device 30. That is, the control unit 41 of the sensor device 40 is in a state of waiting for reception of the ROI image acquisition request.
  • the control unit 41 of the sensor device 40 acquires the entire image from the image sensor 43 (step 202). Next, the control unit 41 of the sensor device 40 selects one ROI position from the ROI positions included in the ROI image acquisition request (step 203).
  • control unit 41 of the sensor device 40 sets the cutout position of the ROI image with respect to the entire image (step 204), and cuts out the ROI image corresponding to the ROI position from the entire image (step 205).
  • control unit 41 of the sensor device 40 analyzes the ROI image and determines the amount of deviation of the object in the ROI image (step 206). That is, the control unit 41 of the sensor device 40 determines whether or not the object is properly contained in the ROI image.
  • the control unit 41 of the sensor device 40 determines whether or not the deviation amount is equal to or less than a predetermined threshold value (step 207). When the deviation amount exceeds a predetermined threshold value (NO in step 207), the sensor device 40 control unit corrects the ROI cutout position according to the deviation amount (step 208). Then, the control unit 41 of the sensor device 40 again cuts out the ROI image from the entire image at the corrected ROI cutout position.
  • step 207 when the deviation amount is equal to or less than a predetermined threshold value (YES in step 207), the control unit 41 of the sensor device 40 determines whether or not another ROI position for which the ROI image has not yet been cut out remains. (Step 209). If another ROI position remains (YES in step 209), the control unit 41 of the sensor device 40 returns to step 203, selects one ROI position from the remaining ROI positions, and sets the ROI position to that ROI position. Cut out the corresponding ROI image from the whole image.
  • the ROI image (ROI information) is a partial image cut out as a portion corresponding to the ROI position from the entire image acquired by the image sensor 43.
  • the vehicle in front 2, the oncoming vehicle 3, the traffic light 4 (including the light portion 4a), the sign 5, the pedestrian 6, the pedestrian crossing 7, the lane marking 8 and the like are recognized as objects based on the event information of the DVS 10.
  • the position corresponding to these objects is determined as the ROI position.
  • the vehicle in front 2, the oncoming vehicle 3, the traffic light 4 (including the light portion 4a), the sign 5, the pedestrian 6, the pedestrian crossing 7, the lane marking 8, etc. are cut out from the entire image by the image sensor 43, and the ROI image is obtained. Is generated.
  • One ROI image corresponds to one object (ROI position).
  • the control unit 41 of the sensor device 40 not only determines the amount of deviation of the object in the ROI image, but also determines the amount of exposure when the image that is the source of the ROI image is captured by the image sensor 43. May be good. In this case, the control unit 41 of the sensor device 40 analyzes the ROI image and determines whether or not the exposure amount when the image that is the source of the ROI image is captured is within an appropriate range. Then, when the exposure amount is not within an appropriate range, the control unit 41 of the sensor device 40 generates the exposure amount information for correcting the exposure amount and adjusts the exposure amount of the image sensor 43. To do.
  • the control unit 41 of the sensor device 40 determines whether or not there are a plurality of generated ROI images. (Step 210). When there are a plurality of ROI images (NO in step 210), the control unit 41 of the sensor device 40 generates ROI-related information (step 211), and proceeds to the next step 212.
  • ROI related information When there are a plurality of ROI images, these ROI images are combined and transmitted to the automatic operation control device 30 as one composite image.
  • the ROI-related information is information for distinguishing which part of the one composite image corresponds to each ROI image.
  • step 210 when there is only one ROI image (NO in step 210), the control unit 41 of the sensor device 40 proceeds to the next step 212 without generating ROI-related information.
  • step 212 the control unit 41 of the sensor device 40 executes image processing on the ROI image. This image processing is executed in step 109 (see FIG. 6) described later so that the control unit 31 of the automatic driving control device 30 can accurately recognize the object.
  • Image processing includes digital gain, white balance, LUT (Look Up Table), color matrix conversion, defect correction, shooting correction, noise removal, ⁇ correction, demosaicing (for example, returning RGB from the output of the Bayer array image sensor). ) Etc. can be mentioned.
  • the control unit 41 of the sensor device 40 When image processing is executed on the ROI image, the control unit 41 of the sensor device 40 then transmits the information of the ROI image to the automatic operation control device 30 (step 213).
  • the control unit 41 of the sensor device 40 has one ROI image
  • the control unit 41 transmits the one ROI image to the automatic operation control device 30 as the information of the ROI image.
  • these plurality of ROI images are used as one composite image, and the composite image is transmitted to the automatic operation control device 30 as information on the ROI image.
  • the ROI image information includes ROI-related information.
  • the control unit 41 of the sensor device 40 returns to step 201 again and determines whether or not the ROI image acquisition request has been received from the automatic driving control device 30.
  • control unit 31 of the automatic operation control device 30 determines whether or not the ROI image information has been received from the sensor device 40 after transmitting the ROI image acquisition request to the sensor device 40. (Step 106).
  • the control unit 31 of the automatic operation control device 30 again determines whether or not the ROI image information has been received. That is, the control unit 31 of the automatic operation control device 30 is placed in a state of waiting for reception of the ROI image information after the ROI image acquisition request.
  • the control unit 31 of the automatic operation control device 30 determines whether the received ROI image information is a composite image of a plurality of ROI images (YES in step 106). Step 107).
  • the control unit 31 of the automatic operation control device 30 uses the composite image as each ROI image based on the ROI-related information. (Step 108), and the process proceeds to the next step 109.
  • the control unit 31 of the automatic operation control device 30 does not execute the separation process, and the next step 109 Proceed to.
  • step 109 the control unit 31 of the automatic operation control device 30 recognizes an object necessary for the operation plan based on the ROI image.
  • the recognition process of the object in this case is executed by comparison with the second recognition model stored in advance.
  • the second recognition model is also generated based on the same concept as the first recognition model.
  • data based on the event information when the object was photographed with the DVS 10 was used as the teacher data
  • the object was used as the teacher data.
  • the second recognition model is generated by learning teacher data based on such image information by machine learning such as a neural network.
  • the control unit 31 of the automatic driving control device 30 can recognize the object in more detail than the recognition of the object based on the event information by the recognition process of the object based on the ROI image.
  • the control unit may use the license plate numbers of the front vehicle 2 and the oncoming vehicle 3, the color of the brake lamp, the color of the light portion 4a of the traffic light 4, the characters written on the sign 5, and the direction of the face of the pedestrian 6. , The color of the lane marking 8 and the like can be recognized.
  • the control unit 31 of the automatic driving control device 30 After recognizing the object based on the ROI image, the control unit 31 of the automatic driving control device 30 determines the information of the object recognized based on the ROI image (and the information of the object recognized based on the event information). To make an automatic operation plan based on (step 110). Then, the control unit 31 of the automatic driving control device 30 generates motion control data according to the automatic driving plan based on the drafted automatic driving plan (step 111), and the motion control data is generated by the automatic driving execution device 20. (Step 112).
  • a method is adopted in which the ROI position of the object required for the operation plan is specified based on the event information of the DVS 10, the ROI image is acquired, and the object is recognized by the ROI image. ..
  • the ROI image is acquired instead of the whole image for the recognition of the object, the amount of data is smaller than the case where the whole image is acquired every time, and the image is acquired. It has the advantage that the time required for is short.
  • the recognition of the object is more effective than the case where the whole image is analyzed as a whole to recognize the object. There is an advantage that the time required is short. Further, in the present embodiment, since the object is recognized based on the ROI image, the object can be recognized accurately. That is, in the present embodiment, the object can be recognized quickly and accurately.
  • the control unit 31 of the automatic operation control device 30 recognizes the object necessary for the operation plan based on not only the ROI image but also the complementary information from the sensor unit 42 in the sensor device 40. ..
  • the control unit 31 of the automatic driving control device 30 identifies the ROI position from the event information, acquires the ROI image, and recognizes the object necessary for the driving plan based on the ROI image.
  • the process is repeatedly executed at a predetermined cycle (steps 101 to 109 in FIG. 6). In the following, this series of processes will be referred to as a series of recognition processes based on the ROI image.
  • control unit 31 of the automatic operation control device 30 acquires complementary information from the sensor device 40 in parallel with a series of recognition processes based on the ROI image, and based on the complementary information, obtains an object necessary for the operation plan.
  • a series of processes such as recognition are repeatedly executed at a predetermined cycle. In the following, this series of processes will be referred to as a series of recognition processes based on complementary information.
  • the control unit 31 of the automatic operation control device 30 analyzes each complementary information from the four sensors in the sensor unit 42 as a whole and recognizes the object. As a result, the control unit 31 of the automatic driving control device 30 can appropriately recognize an object that cannot be recognized by the event information and the ROI image.
  • the cycle of the series of recognition processes based on the complementary information is longer than the cycle of the series of recognition processes based on the ROI image, and the cycle of the series of recognition processes based on the complementary information is the cycle of the series of recognition processes based on the ROI image. It is said to be several times the cycle.
  • a series of recognition processes based on complementary information is executed once. That is, in a series of recognition processes based on the ROI image, when the object is recognized based on the ROI image (see step 109), the object is recognized based on the complementary information once every few times. At this time, the information of the object recognized based on the ROI image and the information of the object recognized based on the complementary information (and the information of the object recognized based on the event information) are used. An automated operation plan is created (see step 110).
  • the object when the own vehicle 1 is stopped, the object often has no speed difference with respect to the own vehicle 1 as compared with when the own vehicle 1 is running. Therefore, when the own vehicle 1 is stopped, it becomes more difficult to recognize the object in the event information than when the own vehicle 1 is traveling.
  • Information on the movement of the own vehicle 1 can be obtained from, for example, information on a speedometer or information such as GPS (Global Positioning System).
  • the cycle of a series of recognition processes based on the complementary information may be shortened.
  • an object that cannot be captured as a change in brightness by the DVS 10 due to the slow movement of the own vehicle 1 can be appropriately recognized by the complementary information.
  • FIG. 9 is a diagram showing an example of a specific block configuration in the automatic operation control system 100.
  • the lidar 44, the millimeter wave radar 45, and the ultrasonic sensor 46 are omitted, and only the image sensor 43 is shown. Further, in FIG. 9, the flow of sensor information (complementary information) in the sensor unit 42 in FIG. 2 is also omitted, and only the flow of the ROI image is shown.
  • the automatic operation control device 30 includes an object recognition unit 32, an automatic operation planning unit 33, an operation control unit 34, a synchronization signal generation unit 35, an image data reception unit 36, and a decoding unit. It has 37 and.
  • the sensor device 40 has a sensor block 47 and a signal processing block 48.
  • the sensor block 47 includes an image sensor 43, a central processing unit 49, an ROI cutting unit 50, an ROI analysis unit 51, an encoding unit 52, and an image data transmitting unit 53.
  • the signal processing block 48 is encoded by the central processing unit 54, the information extraction unit 55, the ROI image generation unit 56, the image analysis unit 57, the image processing unit 58, the image data receiving unit 59, the decoding unit 60, and the encoding unit.
  • a unit 61 and an image data transmission unit 62 are included.
  • the control unit 31 of the automatic operation control device 30 shown in FIG. 2 corresponds to the object recognition unit 32, the automatic operation planning unit 33, the operation control unit 34, the synchronization signal generation unit 35, and the like shown in FIG.
  • the control unit 41 of the sensor device 40 shown in FIG. 2 includes a central processing unit 49 of the sensor block 47 shown in FIG. 9, an ROI cutting unit 50, an ROI analysis unit 51, and a central processing unit 54 of the signal processing block 48. It corresponds to the information extraction unit 55, the ROI image generation unit 56, the image analysis unit 57, the image processing unit 58, and the like.
  • the synchronization signal generation unit 35 generates a synchronization signal according to a protocol such as PTP (Precision Time Protocol), and outputs the synchronization signal to a DVS 10, an image sensor 43, a lidar 44, a millimeter wave radar 45, and an ultrasonic sensor 46. It is configured as follows. As a result, the five sensors including the DVS 10, the image sensor 43, the Lidar 44, the millimeter wave radar 45 and the ultrasonic sensor 46 are synchronized, for example, on the order of microseconds.
  • PTP Precision Time Protocol
  • the object recognition unit 32 is configured to acquire event information from the DVS 10 and recognize the object required for the operation plan based on the event information (see steps 101 to 102).
  • the object recognition unit 32 is configured to output the information of the object recognized based on the event information to the automatic operation planning unit 33.
  • the object recognition unit 32 is configured to determine whether or not the information of the ROI image is a composite image of a plurality of ROI images after the information of the ROI image is received from the sensor device 40 (). See step 107). When the information of the ROI image is a composite image of a plurality of ROI images, the object recognition unit 32 is configured to separate the composite image into the respective ROI images based on the ROI-related information (step 108). reference).
  • the object recognition unit 32 is configured to recognize an object necessary for the automatic operation plan based on the ROI image (see step 109). Further, the object recognition unit 32 is configured to output the information of the object recognized based on the ROI image to the automatic operation planning unit 33.
  • the object recognition unit 32 is configured to recognize the object necessary for the automatic operation plan based on the complementary information acquired by the sensor device 40.
  • the object recognition unit 32 is configured to output the information of the object recognized based on the complementary information to the automatic operation planning unit 33.
  • the automatic driving planning unit 33 does not need to acquire the ROI image after acquiring the information of the object recognized based on the event information from the object recognition unit 32, and the information of the object recognized by the event information. It is configured to determine whether an operation plan can be made only by itself (see step 103).
  • the automatic operation planning unit 33 can make an operation plan only with the information of the object recognized by the event information
  • the automatic operation planning unit 33 is configured to make an automatic operation plan only with this information (YES in step 103 ⁇ See step 110).
  • the automatic operation planning unit 33 specifies a certain area corresponding to the object as the ROI position in the coordinate position of the event information acquired from the DVS 10. (See step 104).
  • the automatic operation planning unit 33 is configured to transmit the acquisition request of the ROI image including the information of the ROI position to the sensor device 40 after specifying the ROI position (see step 105). Further, the automatic operation planning unit 33 is configured to transmit a request for acquisition of complementary information to the sensor device 40.
  • the automatic operation planning unit 33 acquires the information of the object recognized based on the ROI image from the object recognition unit 32, and then the information of the object recognized based on the ROI image (and the event information). It is configured to make an automatic operation plan based on the information of the object recognized based on the above (see step 109 ⁇ step 110).
  • the automatic operation planning unit 33 acquires the information of the object recognized based on the complementary information from the object recognition unit 32, and then the information of the object recognized based on the ROI image, and the complementary information. It is configured to make an automatic driving plan based on the information of the object recognized based on (and the information of the object recognized based on the event information).
  • the automatic operation planning unit 33 is configured to output the drafted automatic operation plan to the operation control unit 34.
  • the operation control unit 34 generates operation control data according to the automatic operation plan based on the automatic operation plan acquired from the automatic operation planning unit 33 (see step 111), and generates the operation control data in the automatic operation execution device 20. It is configured to output to (see step 112).
  • the image data receiving unit is configured to receive the ROI image information transmitted from the sensor device 40 and output the received information to the decoding unit.
  • the decoding unit is configured to decode the information of the ROI image and output it to the object recognition unit 32.
  • the central processing unit 49 of the sensor block 47 is configured to set the ROI cutout position based on the ROI position information included in the ROI acquisition request transmitted from the automatic operation control device 30 (see step 204). .. Further, the central processing unit 49 of the sensor block 47 is configured to output the set ROI cutting position to the ROI cutting unit 50.
  • the central processing unit 49 of the sensor block 47 is configured to correct the ROI cutout position based on the amount of deviation of the object with respect to the ROI image analyzed by the image analysis unit 57 of the signal processing block 48. (See steps 207 and 208).
  • the central processing unit 49 of the sensor block 47 is configured to output the corrected ROI cutting position to the ROI cutting unit 50.
  • the central processing unit 49 of the sensor block 47 is an image sensor 43 based on the exposure amount when the image that is the source of the ROI image is captured, which is analyzed by the image analysis unit 57 of the signal processing unit block. It is configured to adjust the amount of exposure.
  • the ROI cutting unit 50 is configured to acquire an entire image from the image sensor 43, cut out a position corresponding to the ROI cutting position in the entire image, and generate an ROI image (see step 205). Further, the ROI cutting unit 50 is configured to output the information of the generated ROI image to the encoding unit 52.
  • the ROI cutting unit 50 synthesizes these ROI images to generate a composite image, and uses this composite image as the information of the ROI image. It is configured to output to the encoding unit 52. At this time, the ROI cutting unit 50 is configured to generate ROI-related information (see step 211) and output it to the ROI analysis unit 51.
  • the ROI analysis unit 51 is configured to convert the ROI-related information acquired from the ROI cut-out unit 50 into ROI-related information for encoding, and output the ROI-related information for encoding to the encoding unit 52. ..
  • the encoding unit 52 is configured to encode the information of the ROI image and output the information of the encoded ROI image to the image data transmitting unit 53. Further, when the ROI-related information for encoding exists, the encoding unit 52 encodes the ROI-related information for encoding, includes the ROI-related information for encoding in the encoded ROI image information, and the image data transmission unit 53. It is configured to output to.
  • the image data transmission unit 53 is configured to transmit the encoded ROI image information to the signal processing block 48.
  • the image data receiving unit 59 is configured to receive the encoded ROI image information and output it to the decoding unit 60.
  • the decoding unit 60 is configured to decode the information of the encoded ROI image. Further, the decoding unit 60 is configured to output the information of the decoded ROI image to the ROI image generation unit 56. Further, when the ROI image information includes ROI-related information (when the ROI image information is a composite image of a plurality of ROI images), the decoding unit 60 generates ROI-related information for decoding. , Is configured to be output to the information extraction unit 55.
  • the information extraction unit 55 is configured to convert ROI-related information for decoding into ROI-related information and output it to the ROI image generation unit 56.
  • the ROI image generation unit 56 is configured to separate the composite image into the respective ROI images based on the ROI-related information when the information of the ROI image is a composite image of a plurality of ROI images. Further, the ROI image generation unit 56 is configured to output the ROI image to the image analysis unit 57.
  • the image analysis unit 57 is configured to analyze the ROI image, determine the amount of deviation of the object in the ROI image (see step 206), and output the amount of deviation to the central processing unit 54. Further, the image analysis unit 57 is configured to analyze the ROI image, determine the exposure amount when the image that is the source of the ROI image is captured, and output this exposure amount to the central processing unit 54. Has been done. Further, the image analysis unit 57 is configured to output the ROI image to the image processing unit 58.
  • the image processing unit 58 is configured to execute image processing on the ROI image based on the image processing control information from the central processing unit 54 (see step 212). Further, the image processing unit 58 is configured to output the ROI image to the encoding unit.
  • the central processing unit 54 is configured to receive the ROI acquisition request including the ROI position from the automatic operation control device 30 and transmit the ROI acquisition request to the sensor block 47. Further, the central processing unit 54 is configured to transmit the deviation information of the object and the exposure amount information analyzed by the image analysis unit 57 to the sensor block 47.
  • the central processing unit 54 is configured to output image processing control information to the image processing unit 58.
  • image processing control information for example, image processing such as digital gain, white balance, LUT (Look Up Table), color matrix conversion, defect correction, shooting correction, noise removal, ⁇ correction, and demosaicing is executed by the image processing unit 58. It is information to let you.
  • the central processing unit 54 is configured to acquire the complementary information from the sensor unit 42 and transmit the complementary information to the automatic operation control device 30 in response to the acquisition request of the complementary information from the automatic operation control device 30. There is.
  • the encoding unit 61 is configured to encode the information of the ROI image and output the information of the encoded ROI image to the image data transmitting unit 62. Further, when the ROI-related information for encoding exists, the encoding unit 61 encodes the ROI-related information for encoding and includes the ROI-related information for encoding in the encoded ROI image information, so that the image data transmission unit 62 It is configured to output to.
  • the image data transmission unit 62 is configured to transmit the encoded ROI image information to the automatic operation control device 30.
  • FIG. 10 is a diagram showing another example of a specific block configuration in the automatic operation control system 100.
  • the points different from the example shown in FIG. 9 will be mainly described.
  • the ROI cutting unit 50 and the ROI analysis unit 51 are provided in the sensor block 47 of the sensor device 40, whereas in the example shown in FIG. 10, each of these parts is a signal of the sensor device 40. It is provided in the processing block 48.
  • the information extraction unit 55, the ROI image generation unit 56, the image analysis unit 57, and the image processing unit 58 are provided in the signal processing block 48 of the sensor device 40, whereas in FIG. In the example shown in, each of these parts is provided in the automatic operation control device 30.
  • control unit 31 of the automatic operation control device 30 shown in FIG. 2 includes the synchronization signal generation unit 35, the object recognition unit 32, the automatic operation planning unit 33, the operation control unit 34, and the information extraction unit 55 shown in FIG. It corresponds to the ROI image generation unit 56, the image analysis unit 57, and the image processing unit 58.
  • control unit 41 of the sensor device 40 shown in FIG. 2 is connected to the central processing unit 49 of the sensor block 47 shown in FIG. 10, the central processing unit 49 of the signal processing block 48, the ROI cutting unit 50, and the ROI analysis unit 51. It corresponds.
  • the image analysis unit 57 and the image processing unit 58 are provided not on the sensor device 40 side but on the automatic operation control device 30 side. Therefore, the determination of the deviation amount of the object in the ROI image, the determination of the exposure amount of the image sensor 43, and the image processing for the ROI image are executed not on the sensor side but on the automatic operation control device 30 side. That is, these processes may be executed on the sensor device 40 side or on the automatic operation control device 30 side.
  • the ROI image is not cut out on the sensor block 47, but the ROI image is cut out on the signal processing block 48 side. Therefore, the sensor block 47 transmits the entire image, not the ROI image, to the signal processing block 48.
  • the signal processing block 48 is configured to receive the entire image from the sensor block 47 and generate an ROI image corresponding to the ROI position from the entire image. Further, the signal processing block 48 is configured to output the generated ROI image as information of the ROI image to the automatic operation control device 30.
  • the signal processing block 48 is configured to generate ROI-related information when a plurality of ROI images are generated from one whole image, and to generate a composite image of the plurality of ROI images.
  • the signal processing block 48 is configured to use the composite image as the ROI image information and transmit the ROI image information including the ROI-related information to the automatic operation control device 30.
  • the central processing unit 54 of the signal processing block 48 is configured to set the ROI cutting position based on the ROI position information included in the ROI acquisition request transmitted from the automatic operation control device 30. Further, the central processing unit 54 of the signal processing block 48 is configured to output the set ROI cutting position to the ROI cutting unit 50.
  • the central processing unit 54 of the signal processing block 48 is configured to correct the ROI cutout position based on the amount of deviation of the object with respect to the ROI image analyzed by the image analysis unit 57 of the automatic operation control device 30. .. Then, the central processing unit 54 of the signal processing block 48 is configured to output the corrected ROI cutting position to the ROI cutting unit 50.
  • the automatic operation control device 30 is basically the same as FIG. 9 except that the information extraction unit 55, the ROI image generation unit 56, the image analysis unit 57, and the image processing unit 58 are added. Is. However, in the example shown in FIG. 10, in the example shown in FIG. 9, a part of the processing executed by the central processing unit 54 of the signal processing block 48 in the sensor device 40 is the automatic operation planning unit of the automatic operation control device 30. Performed by 33.
  • the automatic operation planning unit 33 is configured to transmit the deviation information of the object and the exposure amount information analyzed by the image analysis unit 57 to the sensor device 40. Further, the automatic operation planning unit 33 is configured to output image processing control information to the image processing unit 58.
  • the ROI image is acquired instead of the entire image for the recognition of the object, the amount of data is smaller than the case where the entire image is acquired every time, and it is necessary to acquire the image. There is an advantage that the time is short.
  • the recognition of the object is more effective than the case where the whole image is analyzed as a whole to recognize the object. There is an advantage that the time required is short. Further, in the present embodiment, since the object is recognized based on the ROI image, the object can be recognized accurately. That is, in the present embodiment, the object can be recognized quickly and accurately.
  • a process of acquiring the event information of the DVS 10 and specifying the ROI position is added. Has been done. Therefore, in order to compare the time between the two, it is necessary to consider the time required for acquiring event information and specifying the ROI position.
  • the output of the event information by the DVS 10 is high speed as described above, and since the amount of data of the event information is small, it takes less time to specify the ROI position corresponding to the object.
  • the entire image is acquired and the entire image is analyzed as a whole to recognize the object.
  • the required time can be shortened as compared with the case of recognizing.
  • the automatic driving plan can be made based on the information of the object recognized quickly and accurately based on the ROI image, the safety and reliability in the automatic driving can be improved. ..
  • the ROI position is set based on the event information of the DVS 10, it is possible to generate an ROI image by cutting out an appropriate position corresponding to the object in the vertical and horizontal directions for each whole image. ..
  • the cutout position of the ROI image is corrected based on the amount of deviation of the object in the ROI image. This makes it possible to generate an ROI image in which the object is appropriately cut out.
  • the automatic driving plan when it is possible to formulate an automatic driving plan only with the information of the object recognized by the event information of DVS10 without acquiring the ROI image, the automatic driving plan is drafted only with this information. Will be done.
  • the entire image from the image sensor 43 is analyzed as a whole to recognize the object. It takes less time to recognize the object than when it is done. Therefore, for example, in an emergency such as when another vehicle is likely to collide with the own vehicle 1 or when a pedestrian 6 is likely to pop out, a quick driving plan is made only with the information of the object recognized by the event information. By planning, it is possible to avoid an emergency situation.
  • the complementary information is acquired from the complementary sensor, and the object is recognized based on the complementary information.
  • an object that cannot be recognized by the event information and the ROI image for example, a lane marking 8 parallel to the running own vehicle 1 or an object that cannot be grasped as a brightness change due to the stop of the own vehicle 1). You can also properly recognize things).
  • the automatic driving plan can be made based on the information of the object accurately recognized based on the complementary information, the safety and reliability in the automatic driving can be further improved. ..
  • the recognition cycle of the object based on the complementary information is changed based on the movement information of the own vehicle 1, this cycle is appropriately changed according to the movement of the own vehicle 1. be able to.
  • this cycle by shortening the cycle as the movement of the own vehicle 1 becomes slower, for example, an object that cannot be captured as a change in brightness by the DVS 10 due to the slow movement of the own vehicle 1 can be obtained by supplementary information. Can be recognized properly.
  • the object recognition technology according to the present technology can be used for applications other than automatic driving control.
  • the object recognition technology according to the present technology may be used for detecting defects in products on a production line, or may be used for recognizing an object to be superimposed on AR (Augmented Reality).
  • AR Augmented Reality
  • the object recognition technology according to the present technology can be applied to any application as long as it is used for recognizing an object.
  • the present technology can also have the following configurations.
  • Information processing including a control unit that recognizes an object based on event information detected by an event-based sensor and transmits the recognition result to a sensor device including a sensor unit that can acquire information about the object. apparatus.
  • the control unit is an information processing device that recognizes the object, identifies an ROI (Region of Interest) position corresponding to the object, and transmits the ROI position as the recognition result to the sensor device.
  • the sensor device is an information processing device that cuts out ROI information corresponding to the ROI position from the information acquired by the sensor unit and transmits the ROI information to the information processing device.
  • the control unit is an information processing device that recognizes the object based on the ROI information acquired from the sensor device. (5) The information processing device according to (4) above.
  • the control unit is an information processing device that formulates an automatic operation plan based on information on an object recognized based on the ROI information.
  • the control unit is an information processing device that formulates an automatic operation plan based on information on an object recognized based on the event information.
  • the control unit is an information processing device that determines whether or not it is possible to formulate an automatic driving plan based only on information on an object recognized based on the event information. (8) The information processing device according to (7) above.
  • the control unit acquires the ROI information and formulates an automatic operation plan based on the information of the object recognized based on the ROI information. .. (9) The information processing device according to (7) or (9) above.
  • the control unit is an information processing device that makes an automatic operation plan based on the information of the object recognized based on the event information without acquiring the ROI information. .. (10) The information processing device according to any one of (3) to (9) above.
  • the sensor unit includes an image sensor capable of acquiring an image of the object.
  • the ROI information is an information processing device according to any one of (11) (5) to (10) above, which is an ROI image.
  • the sensor unit is an information processing device including a complementary sensor capable of acquiring complementary information which is information about an object that cannot be recognized by the control unit based on the event information.
  • the control unit is an information processing device that acquires the complementary information from the sensor device and recognizes an object that cannot be recognized by the event information based on the complementary information.
  • the control unit is an information processing device that formulates an automatic operation plan based on information on an object recognized based on the complementary information.
  • the control unit is an information processing device that acquires information on the movement of a moving body that is the target of the automatic driving plan, and changes the recognition cycle of an object based on the complementary information based on the movement information.
  • the control unit is an information processing device that shortens the period as the movement of the moving body becomes slower.
  • the sensor device is an information processing device that corrects a cutting position of ROI information based on the amount of deviation of an object in the ROI information.
  • An information processing system including the sensor device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】対象物を素早く正確に認識することができる技術を提供すること。 【解決手段】本技術に係る情報処理装置は、制御部を具備する。前記制御部は、イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する。

Description

情報処理装置、情報処理システム、情報処理方法及びプログラム
　本技術は、例えば、自動運転制御などのために対象物を認識する技術に関する。
　自動車の自動運転レベルは、レベル０～５までの６段階に分類されており、レベル０の手動運転からレベル５の完全自動運転まで段階的に発展することが期待されている。現在においては、レベル２の部分自動運転までは既に実用化されており、次の段階であるレベル３の条件付き自動運転の実用化が進められている。
　自動運転制御においては、自車両の周りの環境（他車両、人、信号機、標識等）を認識する必要がある。自車両の周りの環境のセンシングには、カメラ、Ｌｉｄａｒ（Light detection and ranging）、ミリ波レーダ、超音波センサ等の各種のセンサが用いられる。
　下記特許文献１には、イベントベース（視覚）センサによって、車両が走行しようとする路面をモニタリングする技術が開示されている。このイベントベースセンサは、輝度の変化をピクセル単位で検出可能なセンサであり、輝度が変化した部分の情報のみを、その変化が起きたタイミングで出力可能とされている。
　ここで、固定のフレームレートで全体画像を出力する通常のイメージセンサは、フレームベースセンサとも呼ばれ、このフレームベースセンサとの比較で、このタイプのセンサは、イベントベースセンサと呼ばれる。イベントベースセンサでは、輝度の変化がイベントとして捉えられている。
特開２０１３－７９９３７号公報
　このような分野において、対象物を素早く正確に認識することができる技術が求められている。
　以上のような事情に鑑み、本技術の目的は、対象物を素早く正確に認識することができる技術を提供することにある。
　本技術に係る情報処理装置は、制御部を具備する。
　前記制御部は、イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する。
　これにより、例えば、イベント情報により認識された対象物に対応する箇所の情報をセンサ装置から取得することで、対象物を素早く正確に認識することができる。
　上記情報処理装置において、前記制御部は、前記対象物を認識して前記対象物に対応するＲＯＩ（Region of Interest）位置を特定し、前記ＲＯＩ位置を前記認識結果として前記センサ装置に送信してもよい。
　上記情報処理装置において、前記センサ装置は、前記センサ部によって取得された情報から前記ＲＯＩ位置に対応するＲＯＩ情報を切り出し、前記ＲＯＩ情報を前記情報処理装置に送信してもよい。
　上記情報処理装置において、前記制御部は、前記センサ装置から取得されたＲＯＩ情報に基づいて、前記対象物を認識してもよい。
　上記情報処理装置において、前記制御部は、前記ＲＯＩ情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案してもよい。
　上記情報処理装置において、前記制御部は、前記イベント情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案してもよい。
　上記情報処理装置において、前記制御部は、前記イベント情報に基づいて認識された対象物の情報のみに基づいて自動運転計画を立案可能であるかどうかを判定してもよい。
　上記情報処理装置において、前記制御部は、前記自動運転計画が立案不能である場合、前記ＲＯＩ情報を取得して、前記ＲＯＩ情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案してもよい。
　上記情報処理装置において、前記制御部は、前記自動運転計画が立案可能である場合、ＲＯＩ情報を取得せずに、前記イベント情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案してもよい。
　上記情報処理装置において、前記センサ部は、前記対象物の画像を取得可能なイメージセンサを含み、前記ＲＯＩ情報は、ＲＯＩ画像であってもよい。
　上記情報処理装置において、前記センサ部は、前記制御部が前記イベント情報により認識不能な対象物に関する情報である補完情報を取得可能な補完センサを含んでいてもよい。
　上記情報処理装置において、前記制御部は、前記補完情報を前記センサ装置から取得し、前記補完情報に基づいて、前記イベント情報により認識不能な対象物を認識してもよい。
　上記情報処理装置において、前記制御部は、前記補完情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案してもよい。
　上記情報処理装置において、前記制御部は、前記自動運転計画の対象となる移動体の動きの情報を取得し、前記動きの情報に基づいて、前記補完情報に基づく対象物の認識の周期を変化させてもよい。
　上記情報処理装置において、前記制御部は、前記移動体の動きが遅くなるにしたがって、前記周期を短くしてもよい。
　上記情報処理装置において、前記センサ装置は、前記ＲＯＩ情報内における対象物のずれ量に基づいて、ＲＯＩ情報の切り出し位置を修正してもよい。
　本技術に係る情報処理システムは、情報処理装置と、センサ装置とを具備する。前記情報処理装置は、制御部を有する。前記制御部は、イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する。
　本技術に係る情報処理方法は、イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信することを含む。
　本技術に係るプログラムは、イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する処理をコンピュータに実行させる。
本技術の第１実施形態に係る自動運転制御システムを示す図である。 自動運転制御システムの内部的な構成を示すブロック図である。 ＤＶＳが搭載された車両が一般道を走行しているときの様子を示す図である。 ＤＶＳによって取得された前方車両のエッジの情報を示す図である。 イメージセンサによって取得された前方車両の画像を示す図である。 自動運転制御装置の制御部の処理を示すフローチャートである。 センサ装置の制御部の処理を示すフローチャートである。 認識モデルが生成されるときの様子を示す図である。 自動運転制御システムにおける具体的なブロック構成の一例を示す図である。 自動運転制御システムにおける具体的なブロック構成における他の一例を示す図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
≪第１実施形態≫
＜全体構成及び各部の構成＞
　図１は、本技術の第１実施形態に係る自動運転制御システム１００を示す図である。図２は、自動運転制御システム１００の内部的な構成を示すブロック図である。
　第１実施形態では、自動運転制御システム１００（情報処理システム）が自動車に搭載され、自動車が運転制御される場合について説明する。なお、自動運転制御システム１００が搭載される移動体（有人、無人を問わない）は、自動車に限られず、自動二輪車、電車、飛行機、ヘリコプターなどであってもよい。
　図１及び図２に示すように、第１実施形態に係る自動運転制御システム１００は、ＤＶＳ（Dynamic Vision Sensor）１０と、センサ装置４０と、自動運転制御装置（情報処理装置）３０と、自動運転実行装置２０とを含む。自動運転制御装置３０は、有線または無線により、ＤＶＳ１０、センサ装置４０、及び自動運転実行装置２０と通信可能に構成されている。
　［ＤＶＳ］
　ＤＶＳ１０は、イベントベースセンサである。ＤＶＳ１０は、入射された光の輝度変化をピクセル単位で検出することが可能とされており、輝度が変化したピクセル部分の座標情報や対応する時間情報を、変化が起きたタイミングで出力可能に構成されている。このＤＶＳ１０は、輝度変化の座標情報を含む時系列データをマイクロ秒のオーダで発生させ、このデータを自動運転制御装置３０に対して送信する。なお、以降の説明では、ＤＶＳ１０によって取得された、輝度変化の座標情報を含む時系列データを単にイベント情報と呼ぶ。
　ＤＶＳ１０は、輝度変化があった部分の情報のみを出力するので、フレームベースの通常のイメージセンサに比べて、データ量が少なく、かつ出力が高速（マイクロ秒オーダ）であるといった特徴がある。また、ＤＶＳ１０は、Ｌｏｇスケール出力であり、広いダイナミックレンジを持っている。このため、ＤＶＳ１０は、明るく逆光であっても白飛びせずに輝度変化を検出可能とされ、また、逆に暗くても適切に輝度変化を検出可能とされる。
　「ＤＶＳから取得されるイベント情報の例」
　（自車両走行時）
　ここで、ＤＶＳ１０が車両に搭載された場合、ＤＶＳ１０からどのようなイベント情報が取得されるかについて説明する。図３は、ＤＶＳ１０が搭載された車両が一般道を走行しているときの様子を示す図である。
　図３に示す例では、ＤＶＳ１０（自動運転制御システム１００）が搭載された車両１（以下、自車両１）が左車線内を走行しており、同一車線内において自車両１の前方を他の車両２（以下、前方車両２）が走行している。また、図３に示す例では、対向車線を反対側からこちら側に向けて他の車両３（以下、対向車両３）走行してきている。また、図３では、信号機４、標識５、歩行者６、横断歩道７、車線を区切る区画線８等が存在している。
　ＤＶＳ１０は、輝度変化を検出することができるので、基本的に、自車両１（ＤＶＳ１０）に対して速度差のある対象物のエッジをイベント情報として検出可能とされている。図３に示す例では、前方車両２、対向車両３、信号機４、標識５、歩行者６、横断歩道７は、自車両１に対して速度差があるので、これらの対象物のエッジがイベント情報としてＤＶＳ１０により検出される。
　図４には、ＤＶＳ１０によって取得された前方車両２のエッジの情報が示されている。図５には、イメージセンサによって取得された前方車両２の画像の一例が示されている。
　図３に示す例では、図４に示すような前方車両２のエッジや、対向車両３、信号機４、標識５、歩行者６、横断歩道７等のエッジがイベント情報としてＤＶＳ１０により検出される。
　また、ＤＶＳ１０は、自車両１（ＤＶＳ１０）に対する速度差の有無にかかわらず、発光等によって輝度変化する対象物を検出することが可能である。例えば、信号機４において点灯しているライト部分４ａは、人が感じとれないような周期で点滅を繰り返している。従って、信号機４にいて点灯しているライト部分４ａは、自車両１に対する速度差の有無にかかわらず、輝度変化が有った箇所としてＤＶＳ１０によって検出可能である。
　一方、自車両１（ＤＶＳ１０）に対して速度差があっても例外的に輝度変化として捉えられない対象物があり、このような対象物については、ＤＶＳ１０によって検出できない場合がある。
　例えば、図３に示されているように、直線状の区画線８が存在している場合において、その区画線８に対して自車両１が平行に走行しているとき、区画線８は、自車両１から見て、見た目上の変化がなく、輝度変化がない。従って、このような場合、区画線８は、輝度変化としてＤＶＳ１０により検出できない場合がある。なお、区画線８が自車両１の走行方向に対して平行ではない場合には、通常通りＤＶＳ１０によって検出可能とされる。
　例えば、区画線８等は、自車両１に対する速度差があっても輝度変化としてできない場合があるので、第１実施形態では、このようなＤＶＳ１０によって検出できない対象物については、後述の補完センサによって取得された補完情報に基づく補完が実行される。
　（自車両停止時）
　次に、例えば、図３において、信号待ちで自車両１が停止した場合を想定する。この場合、自車両１に対して速度差のある対象物、つまり、対向車両３、歩行者６（動いている場合）のエッジがイベント情報としてＤＶＳ１０により検出される。また、自車両１に対する速度差の有無にかかわらず、信号機４において点灯しているライト部分４ａが、イベント情報としてＤＶＳ１０により検出される。
　一方、自車両１が停止することによって自車両１（ＤＶＳ１０）との速度差がなくなった対象物については、対象物のエッジが検出できなくなる場合がある。例えば、前方車両２が自車両１と同じく信号待ちで停止した場合、この前方車両２のエッジは検出できなくなる。また、信号機４や標識５のエッジなども検出できなくなる。
　なお、第１実施形態では、ＤＶＳ１０によって検出できない対象物については、後述の補完センサによって取得された補完情報に基づく補完が実行される。
　[自動運転制御装置３０]
　再び図２を参照して、自動運転制御装置３０は、制御部３１を含む。制御部３１は、例えば、記憶部（不図示）に記憶された各種のプログラムに基づき種々の演算を実行し、自動運転制御装置３０を統括的に制御する。記憶部は、自動運転制御装置３０の制御部３１の処理に必要な各種のプログラムや各種のデータを記憶する。
　自動運転制御装置３０の制御部３１は、ハードウェア、又は、ハードウェア及びソフトウェアの組合せにより実現される。ハードウェアは、制御部３１の一部又は全部として構成され、このハードウェアとしては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、あるいは、これらのうち２以上の組合せなどが挙げられる。なお、これについては、後述のセンサ装置４０の制御部４１についても同様である。
　自動運転制御装置３０の制御部３１は、ＤＶＳ１０に基づく対象物の認識処理、ＤＶＳ１０により認識された対象物に対応するＲＯＩ位置（ＲＯＩ：Region of Interest：関心領域）の特定処理、ＲＯＩ位置に対応するＲＯＩ画像の取得要求などを実行する。また、自動運転制御装置３０の制御部３１は、ＲＯＩ画像に基づく対象物の認識処理、ＲＯＩ画像に基づいて認識された対象物に基づく運転計画立案処理、立案された運転計画に基づく動作制御データの生成処理などを実行する。
　なお、自動運転制御装置３０の制御部３１における処理については、動作説明の欄において後に詳述する。
　[センサ装置４０]
　センサ装置４０は、制御部４１と、センサユニット４２（センサ部）とを含む。センサユニット４２は、運転計画に必要な対象物に関する情報を取得可能とされる。センサユニット４２は、ＤＶＳ１０以外のセンサを有しており、具体的には、センサユニット４２は、イメージセンサ４３、Ｌｉｄａｒ４４、ミリ波レーダ４５、及び超音波センサ４６を有している。
　センサ装置４０の制御部４１は、例えば、記憶部（不図示）に記憶された各種のプログラムに基づき種々の演算を実行し、センサ装置４０を統括的に制御する。記憶部は、センサ装置４０の制御部４１の処理に必要な各種のプログラムや各種のデータを記憶する。
　センサ装置４０の制御部４１は、イメージセンサ４３によって取得された全体画像から、ＲＯＩ位置に対応する箇所を切り出すＲＯＩ切り出し処理、ＲＯＩ切り出し位置を修正する修正処理等を実行する。
　なお、センサ装置４０の制御部４１における処理については動作説明の欄において後に詳述する。
　イメージセンサ４３は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complemented Metal Oxide Semiconductor）センサ等の撮像素子と、結像レンズなど等の光学系とを含む。イメージセンサ４３は、全体画像を所定のフレームレートで出力するフレームベースセンサである。
　Ｌｉｄａｒ４４は、レーザ光をパルス状に発光させる発光部と、対象物からの反射波を受光可能な受光部とを含む。Ｌｉｄａｒ４４は、レーザ光が、発光部によって発光されてから対象物で反射されて受光部で受光されるまでの時間を計測することで、対象物までの距離、対象物の方向等を検出することが可能とされている。このＬｉｄａｒ４４は、パルス状のレーザ光が反射した方向と距離を３次元点群における点として記録することが可能とされており、自車両１の周りの環境を３次元点群の情報として取得することが可能とされている。
　ミリ波レーダ４５は、波長がミリオーダのミリ波（電磁波）を発信可能な発信用アンテナと、対象物からの反射波を受信可能な受信用アンテナとを含む。ミリ波レーダ４５は、発信用アンテナから発信されたミリ波と、対象物によって反射され、受信用アンテナで受信されたミリ波との差に基づき、対象物までの距離、対象物の方向等を検出可能に構成されている。
　超音波センサ４６は、超音波を発信可能な発信器と、対象物からの反射波を受信可能な受信器とを含む。超音波センサ４６は、超音波が、発信器によって発信されてから対象物で反射されて受信器で受信されるまでの時間を計測することで、対象物までの距離、対象物の方向等を検出することが可能とされている。
　センサユニット４２における４つのセンサ４３、４４、４５、４６と、ＤＶＳ１０とを含む５つのセンサは、例えば、ＰＴＰ（Precision Time Protocol）等のプロトコルより、マイクロ秒のオーダで同期されている。
　イメージセンサ４３によって撮像された全体画像は、センサ装置４０の制御部４１に出力される。また、イメージセンサ４３によって撮像された全体画像は、センサ情報として自動運制御装置へと送信される。同様に、Ｌｉｄａｒ４４、ミリ波レーダ４５、超音波センサ４６により取得された情報は、センサ情報として自動運転制御装置３０へと出力される。
　４つのセンサ４３、４４、４５、４６によるそれぞれのセンサ情報は、ＤＶＳ１０によるイベント情報では認識することができない対象物の認識のための情報であり、この意味で、各センサによるセンサ情報は、補完情報である。
　ここでの説明では、ＲＯＩの切り出しの対象となる情報を取得するセンサを、ＲＯＩ対象センサと呼ぶ。また、ＤＶＳ１０によるイベント情報では認識することができない対象物の認識のための情報（補完情報）を取得するセンサを補完センサと呼ぶ。
　第１実施形態において、イメージセンサ４３は、ＲＯＩ切り出しの対象となる画像情報を取得しているので、ＲＯＩ対象センサである。また、イメージセンサ４３は、画像情報を補完情報として取得しているので、補完センサでもある。つまり、イメージセンサ４３は、ＲＯＩ対象センサ兼補完センサである。
　また、第１実施形態では、Ｌｉｄａｒ４４、ミリ波レーダ４５、超音波センサ４６は、センサ情報を補完情報として取得しているので、補完センサである。
　なお、ＲＯＩ対象センサは、イメージセンサ４３に限られない。例えば、ＲＯＩ対象センサとして、イメージセンサ４３の代わりに、Ｌｉｄａｒ４４、ミリ波レーダ４５または超音波センサ４６が用いられてもよい。この場合、Ｌｉｄａｒ４４、ミリ波レーダ４５または超音波センサ４６によって取得された情報に対してＲＯＩ切り出し処理が実行されて、ＲＯＩ情報が取得されてもよい。
　ＲＯＩ対象センサとして、イメージセンサ４３、Ｌｉｄａｒ４４、ミリ波レーダ４５及び超音波センサ４６の４つのセンサのうち、２以上のセンサが用いられてもよい。
　第１実施形態では、イメージセンサ４３、Ｌｉｄａｒ４４、ミリ波レーダ４５及び超音波センサ４６の４つのセンサが補完センサとして用いられているが、典型的には、これらの４つのセンサのうち１つ以上のセンサが補完センサとして用いられればよい。なお、これらの４つのセンサのうち２以上のセンサが、ＲＯＩ対象センサ兼補完センサとして用いられてもよい。
　[自動運転実行装置２０]
　自動運転実行装置２０は、自動運転制御装置３０からの動作制御データに基づいて、アクセル機構、ブレーキ機構、ステアリング機構などを制御することで、自動運転を実行する。
　＜動作説明＞
　次に、自動運転制御装置３０の制御部３１、並びに、センサ装置４０の制御部４１の処理について説明する。図６は、自動運転制御装置３０の制御部３１の処理を示すフローチャートである。図７は、センサ装置４０の制御部４１の処理を示すフローチャートである。
　図６を参照して、まず、自動運転制御装置３０の制御部３１は、ＤＶＳ１０からイベント情報（輝度変化の座標情報を含む時系列データ：例えば、図４に示すエッジの情報）を取得する（ステップ１０１）。次に、自動運転制御装置３０の制御部３１は、イベント情報に基づいて、運転計画に必要な対象物を認識する（ステップ１０２）。運転計画に必要な対象物としては、前方車両２、対向車両３、信号機４（ライト部分４ａを含む）、標識５、歩行者６、横断歩道７、区画線８等が挙げられる。
　ここで、前方車両２、対向車両３、信号機４、歩行者６、横断歩道７、区画線８等は、基本的に、自車両１（ＤＶＳ１０）に対して速度差がある場合に、ＤＶＳ１０からのイベント情報に基づいて自動運転制御装置３０の制御部３１により認識され得る。一方、区画線８等は、例外的に、自車両１（ＤＶＳ１０）に対して速度差があっても、ＤＶＳ１０からのイベント情報に基づいて自動運転制御装置３０の制御部３１により認識できない可能性がある。なお、信号機４において点灯しているライト部分４ａは、自車両１（ＤＶＳ１０）に対する速度差の有無に関わらず、ＤＶＳ１０からイベント情報に基づいて自動運転制御装置３０の制御部３１により認識され得る。
　自動運転制御装置３０の制御部３１は、ステップ１０２において、予め記憶された第１の認識モデルとの比較により対象物を認識する。図８は、認識モデルが生成されるときの様子を示す図である。
　図８に示すように、まず、運転計画に必要な対象物の教師データが用意される。この教師データとしては、対象物をＤＶＳ１０で撮影したときのイベント情報に基づく教師データが用いられる。例えば、対象物の輝度変化の座標情報（例えば、エッジ）を含む時系列データにおける時間軸での動き情報がライブラリ化されたデータが、教師データとして用いられる。この教師データがニューラルネットワークなどの機械学習により学習され、第１の認識モデルが生成される。
　自動運転制御装置３０の制御部３１は、ＤＶＳ１０のイベント情報に基づいて運転計画に必要な対象物を認識すると、次に、ＲＯＩ画像を取得するまでもなく、ＤＶＳ１０のイベント情報により認識された対象物の情報のみで運転計画立案が可能かどうかを判定する（ステップ１０３）。
　例えば、図２において、前方車両２が急ブレーキをかけて自車両１と衝突しそうな場合、自動運転制御装置３０の制御部３１は、イベント情報から前方車両２が自車両１に衝突しりそうなことを理解することができる（前方車両２を示すエッジが自車両１に近づいてくるので）。
　また、例えば、図２において、歩行者６が自車両１の前に飛び出してきそうな場合、自動運転制御装置３０の制御部３１は、イベント情報から歩行者６が自車両１の前に飛び出してきそうなことを理解することができる（歩行者６を示すエッジが自車両１の前を横切ろうとするので）。
　例えば、このような緊急時の場合、ＲＯＩ画像を取得するまでもなく、ＤＶＳ１０のイベント情報により認識された対象物の情報のみで自動運転計画の立案が可能であると判定する（ステップ１０３のＹＥＳ）。
　この場合、自動運転制御装置３０の制御部３１は、ＲＯＩ画像の取得要求をセンサ装置４０に送信せずに、ＤＶＳ１０により認識された対象物の情報のみで自動運転計画を立案する（ステップ１１０）。そして、自動運転制御装置３０の制御部３１は、立案された自動運転計画に基づいて、この自動運転計画に沿った動作制御データを生成し(ステップ１１１)、動作制御データを自動運転実行装置２０へと送信する(ステップ１１２)。
　ここで、ＤＶＳ１０によるイベント情報の出力は、上述のように高速であり、かつ、イベント情報はデータ量も少ないので、例えば、イメージセンサ４３からの全体画像を全体的に解析して対象物を認識する場合に比べて、対象物を認識するまでにかかる時間が短い。従って、例えば上述のような緊急時において、イベント情報に基づいて認識された対象物の情報のみで素早く運転計画を立案することで、緊急事態を回避することができる。
　ステップ１０３の判定において、ＤＶＳ１０のイベント情報により認識された対象物の情報のみでは、自動運転計画が立案不能とされる場合（ステップ１０３のＮＯ）、自動運転制御装置３０の制御部３１は、次のステップ１０４へ進む。なお、典型的には、上述のような緊急時の場合を除いて、自動運転計画が立案不能であると判定される。
　ステップ１０４では、自動運転制御装置３０の制御部３１は、ＤＶＳ１０におけるイベント情報の座標位置において、対象物に対応する一定の領域をＲＯＩ位置として特定する。対象物に対応するとして特定されるＲＯＩ位置は、１つである場合もあり、２以上である場合もある。例えば、ＤＶＳ１０のイベント情報に基づいて認識された対象物が１つである場合、対応してＲＯＩ位置も１つとされるが、ＤＶＳ１０のイベント情報に基づいて認識された対象物が２以上である場合、対応してＲＯＩ位置も２以上とされる。
　次に、自動運転制御装置３０の制御部３１は、このＲＯＩ位置の情報を含むＲＯＩ画像の取得要求をセンサ装置４０へと送信する（ステップ１０５）。
　図７を参照して、センサ装置４０の制御部４１は、自動運転制御装置３０からＲＯＩ画像の取得要求が受信されたかどうかを判定する（ステップ２０１）。ＲＯＩ画像の取得要求が受信されなかった場合（ステップ２０１のＮＯ）、センサ装置４０の制御部４１は、再び、自動運転制御装置３０からＲＯＩ画像の取得要求が受信されたかどうかを判定する。つまり、センサ装置４０の制御部４１は、ＲＯＩ画像の取得要求の受信待ちの状態とされる。
　自動運転制御装置３０からＲＯＩ画像の取得要求が受信された場合（ステップ２０１のＹＥＳ）、センサ装置４０の制御部４１は、イメージセンサ４３から全体画像を取得する（ステップ２０２）。次に、センサ装置４０の制御部４１は、ＲＯＩ画像の取得要求に含まれるＲＯＩ位置の中からＲＯＩ位置を１つ選択する（ステップ２０３）。
　次に、センサ装置４０の制御部４１は、全体画像に対してＲＯＩ画像の切り出し位置を設定し（ステップ２０４）、全体画像からＲＯＩ位置に対応するＲＯＩ画像を切り出す（ステップ２０５）。
　次に、センサ装置４０の制御部４１は、ＲＯＩ画像を解析して、ＲＯＩ画像内における対象物のずれ量を判定する（ステップ２０６）。つまり、センサ装置４０の制御部４１は、ＲＯＩ画像内に対象物が適切に収まっているかどうかを判定する。
　次に、センサ装置４０の制御部４１は、ずれ量が所定の閾値以下であるかどうかを判定する（ステップ２０７）。ずれ量が所定の閾値を超える場合（ステップ２０７のＮＯ）、センサ装置４０制御部は、そのずれ量に応じてＲＯＩ切り出し位置を修正する（ステップ２０８）。そして、センサ装置４０の制御部４１は、再び、修正されたＲＯＩ切り出し位置で全体画像からＲＯＩ画像を切り出す。
　ステップ２０７において、ずれ量が所定の閾値以下である場合（ステップ２０７のＹＥＳ）、センサ装置４０の制御部４１は、ＲＯＩ画像がいまだ切り出されていない他のＲＯＩ位置が残っているかどうかを判定する（ステップ２０９）。他のＲＯＩ位置が残っている場合(ステップ２０９のＹＥＳ)、センサ装置４０の制御部４１は、ステップ２０３へ戻り、残りのＲＯＩ位置の中からＲＯＩ位置を１つ選択して、そのＲＯＩ位置に対応するＲＯＩ画像を全体画像から切り出す。
　なお、ここでの説明から理解されるように、ＲＯＩ画像（ＲＯＩ情報）は、イメージセンサ４３によって取得された全体画像からＲＯＩ位置に対応する箇所として切り出された部分画像である。
　例えば、前方車両２、対向車両３、信号機４（ライト部分４ａを含む）、標識５、歩行者６、横断歩道７、区画線８等がＤＶＳ１０のイベント情報に基づいて対象物として認識された場合において、これらの対象物に対応する位置がＲＯＩ位置として決定された場合を想定する。この場合、イメージセンサ４３による全体画像から前方車両２、対向車両３、信号機４（ライト部分４ａを含む）、標識５、歩行者６、横断歩道７、区画線８等が切り出されて、ＲＯＩ画像が生成される。なお、１つのＲＯＩ画像は、１つの対象物（ＲＯＩ位置）に対応している。
　なお、センサ装置４０の制御部４１は、ＲＯＩ画像における対象物のずれ量の判定だけでなく、ＲＯＩ画像の元となった画像がイメージセンサ４３により撮像されたときの露光量の判定を行ってもよい。この場合、センサ装置４０の制御部４１は、ＲＯＩ画像を解析して、ＲＯＩ画像の元となった画像が撮像されたときの露光量が適切な範囲におさまっているかどうかを判定する。そして、センサ装置４０の制御部４１は、露光量が適切な範囲内に収まっていない場合には、露光量を修正するための露光量の情報を生成して、イメージセンサ４３の露光量を調整する。
　ステップ２０９において、全てのＲＯＩ位置に対応するＲＯＩ画像が切り出された場合（ステップ２０９のＮＯ）、次に、センサ装置４０の制御部４１は、生成されたＲＯＩ画像が複数であるかどうかを判定する（ステップ２１０）。ＲＯＩ画像が複数である場合（ステップ２１０のＮＯ）、センサ装置４０の制御部４１は、ＲＯＩ関連情報を生成し（ステップ２１１）、次のステップ２１２へ進む。
　ＲＯＩ関連情報について説明する。ＲＯＩ画像が複数である場合、これらのＲＯＩ画像は合成されて１枚の合成画像として自動運転制御装置３０へと送信される。ＲＯＩ関連情報は、この１枚の合成画像のうちどの部分がそれぞれのＲＯＩ画像に対応する部分であるかを区別するための情報である。
　ステップ２１０において、ＲＯＩ画像が１枚である場合（ステップ２１０のＮＯ）、センサ装置４０の制御部４１は、ＲＯＩ関連情報を生成せずに、次のステップ２１２へ進む。
　ステップ２１２では、センサ装置４０の制御部４１は、ＲＯＩ画像に対して画像処理を実行する。この画像処理は、後述のステップ１０９（図６参照）において、自動運転制御装置３０の制御部３１が対象物を正確に認識することができるようにするために実行される。
　画像処理としては、デジタルゲイン、ホワイトバランス、ＬＵＴ（Look Up Table）、カラーマトリクス変換、欠陥補正、シューティング補正、ノイズ除去、γ補正、デモザイク（例えば、Ｂａｙｅｒ配列の撮像素子の出力からＲＧＢの並びに戻す）等の処理が挙げられる。
　ＲＯＩ画像に対して画像処理を実行すると、次に、センサ装置４０の制御部４１は、ＲＯＩ画像の情報を自動運転制御装置３０へと送信する（ステップ２１３）。なお、センサ装置４０の制御部４１は、ＲＯＩ画像が１枚である場合には、この１枚のＲＯＩ画像をＲＯＩ画像の情報として、自動運転制御装置３０へと送信する。一方、ＲＯＩ画像が複数枚である場合には、これらの複数枚のＲＯＩ画像を１枚の合成画像とし、この１枚の合成画像をＲＯＩ画像の情報として自動運転制御装置３０へと送信する。この場合、ＲＯＩ画像の情報にはＲＯＩ関連情報が含められる。
　ＲＯＩ画像の情報を自動運転制御装置３０へと送信すると、センサ装置４０の制御部４１は、再びステップ２０１へ戻り、自動運転制御装置３０からＲＯＩ画像の取得要求が受信されたかどうかを判定する。
　再び図６を参照して、自動運転制御装置３０の制御部３１は、ＲＯＩ画像の取得要求をセンサ装置４０へと送信した後、センサ装置４０からＲＯＩ画像の情報が受信されたかどうかを判定する（ステップ１０６）。
　ＲＯＩ画像の情報が受信されていない場合（ステップ１０６のＮＯ）、自動運転制御装置３０の制御部３１は、再び、ＲＯＩ画像の情報が受信されたかどうかを判定する。つまり、自動運転制御装置３０の制御部３１は、ＲＯＩ画像の取得要求の後、ＲＯＩ画像の情報の受信待ちの状態とされる。
　ＲＯＩ画像の情報が受信された場合（ステップ１０６のＹＥＳ）、自動運転制御装置３０の制御部３１は、受信されたＲＯＩ画像の情報が複数のＲＯＩ画像の合成画像であるかどうかを判定する（ステップ１０７）。
　受信されたＲＯＩ画像の情報が複数のＲＯＩ画像の合成画像である場合（ステップ１０７のＹＥＳ）、自動運転制御装置３０の制御部３１は、ＲＯＩ関連情報に基づいて、合成画像をそれぞれのＲＯＩ画像に分離し（ステップ１０８）、次のステップ１０９へ進む。一方、受信されたＲＯＩ画像の情報が１枚のＲＯＩ画像である場合（ステップ１０７のＮＯ）、自動運転制御装置３０の制御部３１は、その分離の処理を実行せずに、次のステップ１０９へ進む。
　ステップ１０９では、自動運転制御装置３０の制御部３１は、ＲＯＩ画像に基づいて、運転計画に必要な対象物を認識する。この場合の対象物の認識処理は、予め記憶された第２の認識モデルとの比較により実行される。
　図８を参照して、第２の認識モデルも、第１の認識モデルと基本的に同様の考え方に基づいて生成される。但し、第１の認識モデルでは、教師データとして、対象物をＤＶＳ１０で撮影したときのイベント情報に基づくデータが用いられていたのに対して、第２の認識モデルでは、教師データとして、対象物をイメージセンサ４３で撮像したときの画像情報に基づくデータが用いられる点で異なっている。第２の認識モデルは、このような画像情報に基づく教師データがニューラルネットワークなどの機械学習により学習されることで生成される。
　自動運転制御装置３０の制御部３１は、ＲＯＩ画像に基づく対象物の認識処理により、イベント情報に基づく対象物の認識よりも、詳細に対象物を認識可能とされる。例えば、制御部は、前方車両２、対向車両３のナンバープレートの番号や、ブレーキランプの色、信号機４におけるライト部分４ａの色、標識５に書かれている文字、歩行者６の顔の向き、区画線８の色などを認識することができる。
　ＲＯＩ画像に基づいて対象物を認識した後、自動運転制御装置３０の制御部３１は、ＲＯＩ画像に基づいて認識された対象物の情報（及びイベント情報に基づいて認識された対象物の情報）に基づいて自動運転計画を立案する(ステップ１１０)。そして、自動運転制御装置３０の制御部３１は、立案された自動運転計画に基づいて、この自動運転計画に沿った動作制御データを生成し(ステップ１１１)、動作制御データを自動運転実行装置２０へと送信する(ステップ１１２)。
　つまり、本実施形態では、ＤＶＳ１０のイベント情報に基づいて運転計画に必要な対象物のＲＯＩ位置を特定してＲＯＩ画像を取得し、このＲＯＩ画像により対象物を認識するといった手法が採用されている。
　このように、本実施形態では、対象物の認識のために、全体画像ではなくＲＯＩ画像を取得しているので、全体画像を毎回取得する場合に比べてデータ量が少なく、画像を取得するのに必要な時間が短いといった利点がある。
　また、ＲＯＩ処理によりデータ量が削減されたＲＯＩ画像が用いられて、対象物が認識されるので、全体画像を全体的に解析して対象物を認識する場合に比べて、対象物の認識にかかる時間が短いといった利点がある。また、本実施形態においては、ＲＯＩ画像に基づいて対象物を認識しているので、対象物を正確に認識することもできる。つまり、本実施形態では、対象物を素早く正確に認識することができる。
　ここで、自車両１（ＤＶＳ１０）に対して速度差がないような対象物は、ＤＶＳ１０からのイベント情報では認識することができない場合があるので、このような対象物については、ＲＯＩ画像では認識できない可能性がある。このため、本実施形態では、自動運転制御装置３０の制御部３１は、ＲＯＩ画像だけでなく、センサ装置４０におけるセンサユニット４２からの補完情報に基づいて、運転計画に必要な対象物を認識する。
　例えば、走行している自車両１と平行な区画線８や、自車両１の停止により輝度変化として捉えることができなくなった対象物については、センサユニット４２からの補完情報に基づいて自動運転制御装置３０の制御部３１により認識される。
　上述のように、自動運転制御装置３０の制御部３１は、イベント情報からＲＯＩ位置を特定して、ＲＯＩ画像を取得し、ＲＯＩ画像に基づいて運転計画に必要な対象物を認識するといった一連の処理を所定の周期で繰り返し実行している（図６のステップ１０１～１０９）。なお、この一連の処理を以降では、ＲＯＩ画像に基づく一連の認識処理と呼ぶ。
　また、自動運転制御装置３０の制御部３１は、このＲＯＩ画像に基づく一連の認識処理と並行して、センサ装置４０から補完情報の取得し、補完情報に基づいて運転計画に必要な対象物を認識するといった一連の処理を所定の周期で繰り返し実行している。なお、この一連の処理を以降では、補完情報に基づく一連の認識処理と呼ぶ。
　補完情報に基づく一連の認識処理では、自動運転制御装置３０の制御部３１は、センサユニット４２における４つのセンサからのそれぞれの補完情報を、それぞれ全体的に解析して対象物を認識する。これにより、自動運転制御装置３０の制御部３１は、イベント情報及びＲＯＩ画像により認識することができない対象物についても適切に認識することができる。
　補完情報に基づく一連の認識処理では、センサからの補完情報を全体的に解析する必要があるので、ＲＯＩ画像の解析よりも時間がかかる。このため、補完情報に基づく一連の認識処理の周期は、ＲＯＩ画像に基づく一連の認識処理の周期よりも長く、補完情報に基づく一連の認識処理の周期は、ＲＯＩ画像に基づく一連の認識処理の周期の数倍程度とされている。
　例えば、ＲＯＩ画像に基づく一連の認識処理が、数回繰り返されたときに、補完情報に基づく一連の認識処理が１回実行される。つまり、ＲＯＩ画像に基づく一連の認識処理において、ＲＯＩ画像に基づいて対象物が認識されるとき（ステップ１０９参照）、数回に一回、補完情報に基づいて対象物が認識される。このとき、ＲＯＩ画像に基づいて認識された対象物の情報、並びに、補完情報に基づいて認識された対象物の情報（及びイベント情報に基づいて認識された対象物の情報）が用いられて、自動運転計画が立案される（ステップ１１０参照）。
　ここで、自車両１が停止しているとき、自車両１が走行しているときよりも、対象物が自車両１に対して速度差がないことが多い。従って、自車両１が停止しているとき、自車両１が走行しているときよりも、イベント情報において対象物を認識し難くなる。
　従って、自動運転制御装置３０の制御部３１は、自車両１の動きの情報を取得し、自車両１の動きの情報に基づいて、補完情報に基づく一連の認識処理の周期を変化させてもよい。自車両１の動きの情報は、例えば、速度メータの情報や、ＧＰＳ（Global Positioning System）などの情報から取得することができる。
　この場合、例えば、自車両１の動きが遅くなるにしたがって、補完情報に基づく一連の認識処理の周期が短くされてもよい。これにより、例えば、自車両１の動きが遅くなったことでＤＶＳ１０により輝度変化として捉えられなくなった対象物を、補完情報により適切に認識することができる。
　なお、逆に、自車両１の動きが速くなるにしたがって、補完情報に基づく一連の認識処理の周期が短くされてもよい。これは、自車両１の動きが速い方が、対象物を正確に認識する必要があるという考え方に基づく。
＜具体的なブロック構成：第１実施例＞
　次に、自動運転制御システム１００における具体的なブロック構成について説明する。図９は、自動運転制御システム１００における具体的なブロック構成の一例を示す図である。
　なお、図９では、図２でのセンサユニット４２における４つのセンサのうち、Ｌｉｄａｒ４４、ミリ波レーダ４５及び超音波センサ４６は、省略されており、イメージセンサ４３のみが示されている。また、図９では、図２でのセンサユニット４２におけるセンサ情報（補完情報）の流れについても省略されおり、ＲＯＩ画像の流れのみが示されている。
　図９に示すように、自動運転制御装置３０は、対象物認識部３２と、自動運転計画部３３と、動作制御部３４と、同期信号生成部３５と、画像データ受信部３６と、デコード部３７とを有している。
　また、センサ装置４０は、センサブロック４７と、信号処理ブロック４８とを有している。センサブロック４７は、イメージセンサ４３と、中央処理部４９と、ＲＯＩ切り出し部５０と、ＲＯＩ解析部５１と、エンコード部５２と、画像データ送信部５３とを有している。信号処理ブロック４８は、中央処理部５４と、情報抽出部５５と、ＲＯＩ画像生成部５６と、画像解析部５７と、画像処理部５８と、画像データ受信部５９と、デコード部６０と、エンコード部６１と、画像データ送信部６２とを含む。
　なお、図２に示す自動運転制御装置３０の制御部３１は、図９に示す対象物認識部３２、自動運転計画部３３、動作制御部３４、同期信号生成部３５などに対応している。また、図２に示すセンサ装置４０の制御部４１は、図９に示すセンサブロック４７の中央処理部４９、ＲＯＩ切り出し部５０、ＲＯＩ解析部５１、並びに、信号処理ブロック４８の中央処理部５４、情報抽出部５５、ＲＯＩ画像生成部５６、画像解析部５７、画像処理部５８などに対応している。
　「自動運転制御装置」
　まず、自動運転制御装置３０について説明する。同期信号生成部３５は、例えば、ＰＴＰ（Precision Time Protocol）等のプロトコルに従って同期信号を生成し、この同期信号をＤＶＳ１０、イメージセンサ４３、Ｌｉｄａｒ４４、ミリ波レーダ４５、及び超音波センサ４６に出力するように構成されている。これにより、ＤＶＳ１０、イメージセンサ４３、Ｌｉｄａｒ４４、ミリ波レーダ４５及び超音波センサ４６を含む５つのセンサは、例えば、マイクロ秒のオーダで同期される。
　対象物認識部３２は、ＤＶＳ１０からイベント情報を取得し、イベント情報に基づいて運転計画に必要な対象物を認識するように構成されている（ステップ１０１～１０２参照）。対象物認識部３２は、イベント情報に基づいて認識された対象物の情報を自動運転計画部３３へと出力するように構成されている。
　また、対象物認識部３２は、センサ装置４０からＲＯＩ画像の情報が受信された後、ＲＯＩ画像の情報が、複数のＲＯＩ画像の合成画像であるかどうかを判定するように構成されている（ステップ１０７参照）。対象物認識部３２は、ＲＯＩ画像の情報が、複数のＲＯＩ画像の合成画像である場合、ＲＯＩ関連情報に基づいて、合成画像をそれぞれのＲＯＩ画像に分離するように構成されている（ステップ１０８参照）。
　また、対象物認識部３２は、ＲＯＩ画像に基づいて、自動運転計画に必要な対象物を認識するように構成されている（ステップ１０９参照）。また、対象物認識部３２は、ＲＯＩ画像に基づいて認識された対象物の情報を自動運転計画部３３へと出力するように構成されている。
　また、対象物認識部３２は、センサ装置４０によって取得された補完情報に基づいて、自動運転計画に必要な対象物を認識するように構成されている。対象物認識部３２は、補完情報に基づいて認識された対象物の情報を自動運転計画部３３へと出力するように構成されている。
　自動運転計画部３３は、イベント情報に基づいて認識された対象物の情報を、対象物認識部３２から取得した後、ＲＯＩ画像を取得するまでもなく、イベント情報により認識された対象物の情報のみで運転計画を立案可能であるかどうかを判断するように構成されている（ステップ１０３参照）。
　自動運転計画部３３は、イベント情報により認識された対象物の情報のみで運転計画を立案可能である場合、この情報のみで自動運転計画を立案するように構成されている（ステップ１０３のＹＥＳ→ステップ１１０参照）。
　また、自動運転計画部３３は、この情報のみでは運転計画の立案が不能である場合、ＤＶＳ１０から取得されたイベント情報の座標位置において、対象物に対応する一定の領域をＲＯＩ位置として特定するように構成されている（ステップ１０４参照）。
　また、自動運転計画部３３は、ＲＯＩ位置を特定した後、ＲＯＩ位置の情報を含む、ＲＯＩ画像の取得要求をセンサ装置４０へ送信するように構成されている（ステップ１０５参照）。また、自動運転計画部３３は、補完情報の取得要求をセンサ装置４０へ送信するように構成されている。
　また、自動運転計画部３３は、ＲＯＩ画像に基づいて認識された対象物の情報を、対象物認識部３２から取得した後、ＲＯＩ画像に基づいて認識された対象物の情報（及びイベント情報に基づいて認識された対象物の情報）に基づいて、自動運転計画を立案するように構成されている（ステップ１０９→ステップ１１０参照）。
　また、自動運転計画部３３は、補完情報に基づいて認識された対象物の情報を、対象物認識部３２から取得した後、ＲＯＩ画像に基づいて認識された対象物の情報、並びに、補完情報に基づいて認識された対象物の情報（及びイベント情報に基づいて認識された対象物の情報）に基づいて、自動運転計画を立案するように構成されている。
　また、自動運転計画部３３は、立案された自動運転計画を動作制御部３４に対して出力するように構成されている。
　動作制御部３４は、自動運転計画部３３から取得された自動運転計画に基づいて、この自動運転計画に沿った動作制御データを生成し(ステップ１１１参照)、動作制御データを自動運転実行装置２０へと出力するように構成されている(ステップ１１２参照)。
　画像データ受信部は、センサ装置４０から送信されたＲＯＩ画像の情報を受信し、受信された情報をデコード部へ出力するように構成されている。デコード部は、ＲＯＩ画像の情報を復号化して対象物認識部３２へ出力するように構成されている。
　「センサ装置」
　（センサブロック）
　次に、センサ装置４０のセンサブロック４７について説明する。センサブロック４７の中央処理部４９は、自動運転制御装置３０から送信されたＲＯＩ取得要求に含まれるＲＯＩ位置の情報に基づいて、ＲＯＩ切り出し位置を設定するように構成されている（ステップ２０４参照）。また、センサブロック４７の中央処理部４９は、設定されたＲＯＩ切り出し位置を、ＲＯＩ切り出し部５０へと出力するように構成されている。
　また、センサブロック４７の中央処理部４９は、信号処理ブロック４８の画像解析部５７によって解析された、ＲＯＩ画像に対する対象物のずれ量に基づいて、ＲＯＩ切り出し位置を修正するように構成されている（ステップ２０７、２０８参照）。そして、センサブロック４７の中央処理部４９は、修正されたＲＯＩ切り出し位置を、ＲＯＩ切り出し部５０へと出力するように構成されている。
　また、センサブロック４７の中央処理部４９は、信号処理部ブロックの画像解析部５７によって解析された、ＲＯＩ画像の元となった画像が撮像されたときの露光量に基づいて、イメージセンサ４３の露光量を調整するように構成されている。
　ＲＯＩ切り出し部５０は、イメージセンサ４３から全体画像を取得し、全体画像においてＲＯＩ切り出し位置に対応する位置を切り出して、ＲＯＩ画像を生成するように構成されている（ステップ２０５参照）。また、ＲＯＩ切り出し部５０は、生成されたＲＯＩ画像の情報をエンコード部５２に対して出力するように構成されている。
　また、ＲＯＩ切り出し部５０は、１枚の全体画像から複数枚のＲＯＩ画像が生成された場合には、これらのＲＯＩ画像を合成して合成画像を生成し、この合成画像をＲＯＩ画像の情報としてエンコード部５２に出力するように構成されている。このとき、ＲＯＩ切り出し部５０は、ＲＯＩ関連情報を生成して（ステップ２１１参照）、ＲＯＩ解析部５１に出力するように構成されている。
　ＲＯＩ解析部５１は、ＲＯＩ切り出し部５０から取得されたＲＯＩ関連情報をエンコード用のＲＯＩ関連情報に変換して、このエンコード用のＲＯＩ関連情報をエンコード部５２へと出力するように構成されている。
　エンコード部５２は、ＲＯＩ画像の情報を符号化して、符号化されたＲＯＩ画像の情報を画像データ送信部５３へ出力するように構成されている。また、エンコード部５２は、エンコード用のＲＯＩ関連情報が存在する場合には、エンコード用のＲＯＩ関連情報を符号化し、これを符号化されたＲＯＩ画像の情報に含ませて、画像データ送信部５３へと出力するように構成されている。
　画像データ送信部５３は、符号化されたＲＯＩ画像の情報を信号処理ブロック４８へと送信するように構成されている。
　（信号処理ブロック）
　次に、センサ装置４０における信号処理ブロック４８について説明する。画像データ受信部５９は、符号化されたＲＯＩ画像の情報を受信し、デコード部６０に出力するように構成されている。
　デコード部６０は、符号化されたＲＯＩ画像の情報を復号化するように構成されている。また、デコード部６０は、復号化されたＲＯＩ画像の情報をＲＯＩ画像生成部５６に出力するように構成されている。また、デコード部６０は、ＲＯＩ画像の情報にＲＯＩ関連情報が含まれる場合（ＲＯＩ画像の情報が、複数のＲＯＩ画像の合成画像である場合）には、デコード用のＲＯＩ関連情報を生成して、情報抽出部５５に出力するように構成されている。
　情報抽出部５５は、デコード用のＲＯＩ関連情報をＲＯＩ関連情報に変換して、ＲＯＩ画像生成部５６に出力するように構成されている。ＲＯＩ画像生成部５６は、ＲＯＩ画像の情報が、複数のＲＯＩ画像の合成画像である場合に、ＲＯＩ関連情報に基づいて、合成画像をそれぞれのＲＯＩ画像に分離するように構成されている。また、ＲＯＩ画像生成部５６は、ＲＯＩ画像を画像解析部５７に出力するように構成されている。
　画像解析部５７は、ＲＯＩ画像を解析して、ＲＯＩ画像における対象物のずれ量を判定し（ステップ２０６参照）、ずれ量を中央処理部５４へと出力するように構成されている。また、画像解析部５７は、ＲＯＩ画像を解析して、ＲＯＩ画像の元となった画像が撮像されたときの露光量を判定し、この露光量を中央処理部５４へと出力するように構成されている。また、画像解析部５７は、ＲＯＩ画像を画像処理部５８へと出力するように構成さている。
　画像処理部５８は、中央処理部５４からの画像処理制御情報に基づいて、ＲＯＩ画像に対して画像処理を実行するように構成されている（ステップ２１２参照）。また、画像処理部５８は、ＲＯＩ画像をエンコード部へと出力するように構成されている。
　中央処理部５４は、ＲＯＩ位置を含むＲＯＩ取得要求を自動運転制御装置３０から受信し、このＲＯＩ取得要求をセンサブロック４７へと送信するように構成されている。また、中央処理部５４は、画像解析部５７によって解析された、対象物のずれの情報及び露光量の情報をセンサブロック４７へ送信するように構成されている。
　また、中央処理部５４は、画像処理部５８に対して画像処理制御情報を出力するように構成されている。画像処理制御情報は、例えば、デジタルゲイン、ホワイトバランス、ＬＵＴ（Look Up Table）、カラーマトリクス変換、欠陥補正、シューティング補正、ノイズ除去、γ補正、デモザイク等の画像処理を、画像処理部５８に実行させるための情報である。
　また、中央処理部５４は、自動運転制御装置３０からの補完情報の取得要求に応じて、補完情報をセンサユニット４２から取得し、補完情報を自動運転制御装置３０に送信するように構成されている。
　エンコード部６１は、ＲＯＩ画像の情報を符号化して、符号化されたＲＯＩ画像の情報を画像データ送信部６２へ出力するように構成されている。また、エンコード部６１は、エンコード用のＲＯＩ関連情報が存在する場合には、エンコード用のＲＯＩ関連情報を符号化し、これを符号化されたＲＯＩ画像の情報に含ませて、画像データ送信部６２へと出力するように構成されている。
　画像データ送信部６２は、符号化されたＲＯＩ画像の情報を自動運転制御装置３０へと送信するように構成されている。
＜具体的なブロック構成：第２実施例＞
　次に、自動運転制御システム１００における具体的なブロック構成についての他の例について説明する。図１０は、自動運転制御システム１００における具体的なブロック構成における他の一例を示す図である。
　図１０に示す例では、図９に示す例と異なる点を中心に説明する。図９に示す例では、ＲＯＩ切り出し部５０及びＲＯＩ解析部５１がセンサ装置４０のセンサブロック４７に設けられていたのに対して、図１０に示す例では、これらの各部がセンサ装置４０の信号処理ブロック４８に設けられている。
　また、図９に示す例では、情報抽出部５５、ＲＯＩ画像生成部５６、画像解析部５７、画像処理部５８がセンサ装置４０の信号処理ブロック４８に設けられていたのに対して、図１０に示す例では、これらの各部が自動運転制御装置３０に設けられている。
　ここで、図２に示す自動運転制御装置３０の制御部３１は、図１０に示す同期信号生成部３５、対象物認識部３２、自動運転計画部３３、動作制御部３４、情報抽出部５５、ＲＯＩ画像生成部５６、画像解析部５７、画像処理部５８に対応している。また、図２に示すセンサ装置４０の制御部４１は、図１０に示すセンサブロック４７の中央処理部４９、並びに、信号処理ブロック４８の中央処理部４９、ＲＯＩ切り出し部５０、ＲＯＩ解析部５１に対応している。
　図１０に示す例では、画像解析部５７と、画像処理部５８がセンサ装置４０側ではではなく、自動運転制御装置３０側に設けられている。従って、ＲＯＩ画像における対象物のずれ量の判定や、イメージセンサ４３の露光量の判定、ＲＯＩ画像に対する画像処理が、センサ側でなく、自動運転制御装置３０側で実行される。つまり、これらの処理は、センサ装置４０側で実行されてもよいし、自動運転制御装置３０側で実行されてもよい。
　図１０に示す例では、センサブロック４７ではＲＯＩ画像の切り出しが行われずに、信号処理ブロック４８側でＲＯＩ画像の切り出しが行われる。このため、センサブロック４７からは、ＲＯＩ画像ではなく、全体画像が信号処理ブロック４８に対して送信される。
　信号処理ブロック４８は、センサブロック４７から全体画像を受信して、全体画像からＲＯＩ位置に対応するＲＯＩ画像を生成するように構成されている。また、信号処理ブロック４８は、生成されたＲＯＩ画像をＲＯＩ画像の情報として自動運転制御装置３０へ出力するように構成されている。
　また、信号処理ブロック４８は、１枚の全体画像から複数のＲＯＩ画像が生成された場合、ＲＯＩ関連情報を生成し、また、複数のＲＯＩ画像の合成画像を生成するように構成されている。この場合、信号処理ブロック４８は、合成画像をＲＯＩ画像の情報とし、ＲＯＩ画像の情報にＲＯＩ関連情報を含めて自動運転制御装置３０へと送信するように構成されている。
　図１０に示す例では、図９に示す例においてセンサブロック４７の中央処理部４９が実行していた処理の一部が、信号処理ブロック４８の中央処理部５４によって実行される。
　つまり、信号処理ブロック４８の中央処理部５４は、自動運転制御装置３０から送信されたＲＯＩ取得要求に含まれるＲＯＩ位置の情報に基づいて、ＲＯＩ切り出し位置を設定するように構成されている。また、信号処理ブロック４８の中央処理部５４は、設定されたＲＯＩ切り出し位置を、ＲＯＩ切り出し部５０へと出力するように構成されている。
　また、信号処理ブロック４８の中央処理部５４は、自動運転制御装置３０の画像解析部５７によって解析された、ＲＯＩ画像に対する対象物のずれ量に基づいて、ＲＯＩ切り出し位置を修正する構成されている。そして、信号処理ブロック４８の中央処理部５４は、修正されたＲＯＩ切り出し位置を、ＲＯＩ切り出し部５０へと出力するように構成されている。
　図１０に示す例において、自動運転制御装置３０は、情報抽出部５５、ＲＯＩ画像生成部５６、画像解析部５７、画像処理部５８が付加されている点を除いて図９と基本的に同様である。但し、図１０に示す例では、図９に示す例において、センサ装置４０における信号処理ブロック４８の中央処理部５４が実行していた処理の一部が、自動運転制御装置３０の自動運転計画部３３によって実行される。
　つまり、自動運転計画部３３は、画像解析部５７によって解析された、対象物のずれの情報及び露光量の情報をセンサ装置４０へ送信するように構成されている。また、自動運転計画部３３は、画像処理部５８に対して画像処理制御情報を出力するように構成されている。
　＜作用等＞
　以上説明したように、本実施形態では、ＤＶＳ１０のイベント情報に基づいて運転計画に必要な対象物のＲＯＩ位置を特定してＲＯＩ画像を取得し、このＲＯＩ画像により対象物を認識するといった手法が採用されている。
　つまり、本実施形態では、対象物の認識のために、全体画像ではなくＲＯＩ画像を取得しているので、全体画像を毎回取得する場合に比べてデータ量が少なく、画像を取得するのに必要な時間が短いといった利点がある。
　また、ＲＯＩ処理によりデータ量が削減されたＲＯＩ画像が用いられて、対象物が認識されるので、全体画像を全体的に解析して対象物を認識する場合に比べて、対象物の認識にかかる時間が短いといった利点がある。また、本実施形態においては、ＲＯＩ画像に基づいて対象物を認識しているので、対象物を正確に認識することもできる。つまり、本実施形態では、対象物を素早く正確に認識することができる。
　なお、全体画像を取得して、全体画像を全体的に解析して対象物を認識する場合に比べて、本実施形態では、ＤＶＳ１０のイベント情報を取得してＲＯＩ位置を特定するといった処理が付加されている。従って、両者での時間を比較するには、イベント情報の取得やＲＯＩ位置の特定に掛かる時間を考慮する必要がある。しかし、ＤＶＳ１０によるイベント情報の出力は、上述のように高速であり、かつ、イベント情報はデータ量も少ないので対象物に対応するＲＯＩ位置を特定するのに掛かる時間も少ない。従って、この点を考慮しても、ＲＯＩ画像を取得してＲＯＩ画像を解析して対象物を認識する本実施形態の場合、全体画像を取得して全体画像を全体的に解析して対象物を認識する場合に比べて、必要な時間を短縮することができる。
　また、本実施形態では、ＲＯＩ画像に基づいて素早く正確に認識された対象物の情報に基づいて自動運転計画を立案することができるので、自動運転における安全性及び信頼性を向上させることができる。
　また、本実施形態では、ＤＶＳ１０のイベント情報に基づいてＲＯＩ位置が設定されているので、全体画像毎に、上下左右で対象物に対応する適切な位置を切り出してＲＯＩ画像を生成することができる。
　また、本実施形態では、ＲＯＩ画像内における対象物のずれ量に基づいて、ＲＯＩ画像の切り出し位置が修正される。これにより、対象物を適切に切り出したＲＯＩ画像を生成することができる。
　また、本実施形態では、ＲＯＩ画像を取得するまでもなく、ＤＶＳ１０のイベント情報により認識された対象物の情報のみで自動運転計画の立案が可能である場合、この情報のみで自動運転計画が立案される。
　ここで、ＤＶＳ１０によるイベント情報の出力は、上述のように高速であり、かつ、イベント情報はデータ量も少ないので、例えば、イメージセンサ４３からの全体画像を全体的に解析して対象物を認識する場合に比べて、対象物を認識するまでにかかる時間が短い。従って、例えば、自車両１に対して他の車両が衝突しそうな場合や、歩行者６が飛び出してきそうな場合などの緊急時において、イベント情報により認識された対象物の情報のみで素早く運転計画を立案することで、緊急事態を回避することができる。
　また、本実施形態では、補完センサから補完情報が取得され、補完情報に基づいて対象物が認識される。これより、イベント情報及びＲＯＩ画像により認識することができない対象物（例えば、走行している自車両１と平行な区画線８や、自車両１の停止により輝度変化として捉えることができなくなった対象物）についても適切に認識することができる。
　また、本実施形態では、補完情報に基づいて正確に認識された対象物の情報に基づいて自動運転計画を立案することができるので、自動運転における安全性及び信頼性をさらに向上させることができる。
　また、本実施形態では、自車両１の動きの情報に基づいて、補完情報に基づく対象物の認識の周期が変化されるので、自車両１の動きに合わせて、この周期を適切に変化させることができる。この場合、自車両１の動きが遅くなるのに従って、周期を短くすることで、例えば、自車両１の動きが遅くなったことでＤＶＳ１０により輝度変化として捉えられなくなった対象物を、補完情報により適切に認識することができる。
　≪各種変形例≫
　以上の説明では、本技術に係る対象物認識技術が、自動運転制御における対象物の認識に用いられる場合について説明した。一方、本技術に係る対象物認識技術は、自動運転制御以外の用途にも用いることができる。例えば、本技術に係る対象物認識技術は、製造ラインにおける製品の欠陥検出に用いられてもよいし、ＡＲ（Augmented Reality）の重畳対象となる対象物の認識に用いられてもよい。典型的には、本技術に係る対象物認識技術は、対象物を認識する用途であれば、どのような用途にも適用可能である。
　本技術は、以下の構成をとることもできる。
（１）イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する制御部
　を具備する情報処理装置。
（２）　上記（１）に記載の情報処理装置であって、
　前記制御部は、前記対象物を認識して前記対象物に対応するＲＯＩ（Region of Interest）位置を特定し、前記ＲＯＩ位置を前記認識結果として前記センサ装置に送信する
　情報処理装置。
（３）　上記（２）に記載の情報処理装置であって、
　前記センサ装置は、前記センサ部によって取得された情報から前記ＲＯＩ位置に対応するＲＯＩ情報を切り出し、前記ＲＯＩ情報を前記情報処理装置に送信する
　情報処理装置。
（４）　上記（３）に記載の情報処理装置であって、
　前記制御部は、前記センサ装置から取得されたＲＯＩ情報に基づいて、前記対象物を認識する
　情報処理装置。
（５）　上記（４）に記載の情報処理装置であって、
　前記制御部は、前記ＲＯＩ情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
　情報処理装置。
（６）　上記（５）に記載の情報処理装置であって、
　前記制御部は、前記イベント情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
　情報処理装置。
（７）　上記（６）に記載の情報処理装置であって、
　前記制御部は、前記イベント情報に基づいて認識された対象物の情報のみに基づいて自動運転計画を立案可能であるかどうかを判定する
　情報処理装置。
（８）　上記（７）に記載の情報処理装置であって、
　前記制御部は、前記自動運転計画が立案不能である場合、前記ＲＯＩ情報を取得して、前記ＲＯＩ情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
　情報処理装置。
（９）　上記（７）または（９）に記載の情報処理装置であって、
　前記制御部は、前記自動運転計画が立案可能である場合、ＲＯＩ情報を取得せずに、前記イベント情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
　情報処理装置。
（１０）　上記（３）～（９）のうちいずれか１つに記載の情報処理装置であって、
　前記センサ部は、前記対象物の画像を取得可能なイメージセンサを含み、
　前記ＲＯＩ情報は、ＲＯＩ画像である
（１１）　上記（５）～（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記センサ部は、前記制御部が前記イベント情報により認識不能な対象物に関する情報である補完情報を取得可能な補完センサを含む
　情報処理装置。
（１２）　上記（１１）に記載の情報処理装置であって、
　前記制御部は、前記補完情報を前記センサ装置から取得し、前記補完情報に基づいて、前記イベント情報により認識不能な対象物を認識する
　情報処理装置。
（１３）　上記（１２）に記載の情報処理装置であって、
　前記制御部は、前記補完情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
　情報処理装置。
（１４）　上記（１３）に記載の情報処理装置であって、
　前記制御部は、前記自動運転計画の対象となる移動体の動きの情報を取得し、前記動きの情報に基づいて、前記補完情報に基づく対象物の認識の周期を変化させる
　情報処理装置。
（１５）　上記（１４）に記載の情報処理装置であって、
　前記制御部は、前記移動体の動きが遅くなるにしたがって、前記周期を短くする
　情報処理装置。
（１６）　上記（３）～（１５）のうちいずれ１つに記載の情報処理装置であって、
　前記センサ装置は、前記ＲＯＩ情報内における対象物のずれ量に基づいて、ＲＯＩ情報の切り出し位置を修正する
　情報処理装置。
（１７）イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する制御部を有する情報処理装置と、
　前記センサ装置と
　を具備する情報処理システム。
（１８）　イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する情報処理方法。
（１９）　イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する処理をコンピュータに実行させるプログラム。
　１０…ＤＶＳ
　２０…自動運転実行装置
　３０…自動運転制御装置
　３１…自動運転制御装置の制御部
　４０…センサ装置
　４１…センサ装置の制御部
　４２…センサユニット
　４３…イメージセンサ
　４４…Ｌｉｄａｒ
　４５…ミリ波レーダ
　４６…超音波センサ
　１００…自動運転制御システム

Claims (19)

  1. 　イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する制御部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記対象物を認識して前記対象物に対応するＲＯＩ（Region of Interest）位置を特定し、前記ＲＯＩ位置を前記認識結果として前記センサ装置に送信する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記センサ装置は、前記センサ部によって取得された情報から前記ＲＯＩ位置に対応するＲＯＩ情報を切り出し、前記ＲＯＩ情報を前記情報処理装置に送信する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記制御部は、前記センサ装置から取得されたＲＯＩ情報に基づいて、前記対象物を認識する
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、前記ＲＯＩ情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記制御部は、前記イベント情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記制御部は、前記イベント情報に基づいて認識された対象物の情報のみに基づいて自動運転計画を立案可能であるかどうかを判定する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記制御部は、前記自動運転計画が立案不能である場合、前記ＲＯＩ情報を取得して、前記ＲＯＩ情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
    　情報処理装置。
  9. 　請求項７に記載の情報処理装置であって、
    　前記制御部は、前記自動運転計画が立案可能である場合、ＲＯＩ情報を取得せずに、前記イベント情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
    　情報処理装置。
  10. 　請求項３に記載の情報処理装置であって、
    　前記センサ部は、前記対象物の画像を取得可能なイメージセンサを含み、
    　前記ＲＯＩ情報は、ＲＯＩ画像である
  11. 　請求項５に記載の情報処理装置であって、
    　前記センサ部は、前記制御部が前記イベント情報により認識不能な対象物に関する情報である補完情報を取得可能な補完センサを含む
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記制御部は、前記補完情報を前記センサ装置から取得し、前記補完情報に基づいて、前記イベント情報により認識不能な対象物を認識する
    　情報処理装置。
  13. 　請求項１２に記載の情報処理装置であって、
    　前記制御部は、前記補完情報に基づいて認識された対象物の情報に基づいて、自動運転計画を立案する
    　情報処理装置。
  14. 　請求項１３に記載の情報処理装置であって、
    　前記制御部は、前記自動運転計画の対象となる移動体の動きの情報を取得し、前記動きの情報に基づいて、前記補完情報に基づく対象物の認識の周期を変化させる
    　情報処理装置。
  15. 　請求項１４に記載の情報処理装置であって、
    　前記制御部は、前記移動体の動きが遅くなるにしたがって、前記周期を短くする
    　情報処理装置。
  16. 　請求項３に記載の情報処理装置であって、
    　前記センサ装置は、前記ＲＯＩ情報内における対象物のずれ量に基づいて、ＲＯＩ情報の切り出し位置を修正する
    　情報処理装置。
  17. 　イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する制御部を有する情報処理装置と、
    　前記センサ装置と
    　を具備する情報処理システム。
  18. 　イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、
    　認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する
    　情報処理方法。
  19. 　イベントベースセンサによって検出されたイベント情報に基づいて対象物を認識し、
    　認識結果を、前記対象物に関する情報を取得可能なセンサ部を含むセンサ装置に送信する
    　処理をコンピュータに実行させるプログラム。
PCT/JP2020/043215 2019-12-05 2020-11-19 情報処理装置、情報処理システム、情報処理方法及びプログラム WO2021111891A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080082626.5A CN114746321A (zh) 2019-12-05 2020-11-19 信息处理装置、信息处理系统、信息处理方法及程序
DE112020005952.9T DE112020005952T5 (de) 2019-12-05 2020-11-19 Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm
US17/780,381 US20230009479A1 (en) 2019-12-05 2020-11-19 Information processing apparatus, information processing system, information processing method, and program
JP2021562563A JPWO2021111891A1 (ja) 2019-12-05 2020-11-19

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019220579 2019-12-05
JP2019-220579 2019-12-05

Publications (1)

Publication Number Publication Date
WO2021111891A1 true WO2021111891A1 (ja) 2021-06-10

Family

ID=76222131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043215 WO2021111891A1 (ja) 2019-12-05 2020-11-19 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20230009479A1 (ja)
JP (1) JPWO2021111891A1 (ja)
CN (1) CN114746321A (ja)
DE (1) DE112020005952T5 (ja)
WO (1) WO2021111891A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
WO2023188004A1 (ja) * 2022-03-29 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11823466B2 (en) * 2019-03-27 2023-11-21 Sony Group Corporation Object detection device, object detection system, and object detection method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295846A (ja) * 2005-04-14 2006-10-26 Sharp Corp 複数の記録媒体ドライブを備えた監視装置
JP2013079937A (ja) * 2011-09-30 2013-05-02 Honda Research Inst Europe Gmbh 路面分析
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
WO2020003776A1 (ja) * 2018-06-29 2020-01-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891960B2 (en) * 2000-08-12 2005-05-10 Facet Technology System for road sign sheeting classification
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
KR20180025591A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
KR101988563B1 (ko) * 2017-10-26 2019-09-30 주식회사 만도 차량 충돌 방지 제어 장치, 차량 충돌 방지 제어 시스템 및 차량 충돌 방지 제어 방법
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
WO2020090251A1 (ja) * 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295846A (ja) * 2005-04-14 2006-10-26 Sharp Corp 複数の記録媒体ドライブを備えた監視装置
JP2013079937A (ja) * 2011-09-30 2013-05-02 Honda Research Inst Europe Gmbh 路面分析
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
WO2020003776A1 (ja) * 2018-06-29 2020-01-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
WO2023188004A1 (ja) * 2022-03-29 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Also Published As

Publication number Publication date
DE112020005952T5 (de) 2022-11-17
US20230009479A1 (en) 2023-01-12
CN114746321A (zh) 2022-07-12
JPWO2021111891A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
WO2021111891A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
US11328444B2 (en) Signal processing apparatus, signal processing method, program, mobile object, and signal processing system
EP3872688A1 (en) Obstacle identification method and device, storage medium, and electronic device
EP2910971B1 (en) Object recognition apparatus and object recognition method
US11592831B2 (en) Traffic light occlusion detection for autonomous vehicle
US20210403015A1 (en) Vehicle lighting system, vehicle system, and vehicle
US20180348369A1 (en) Ranging module, ranging system, and method of controlling ranging module
JP2019191118A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US10812745B2 (en) Bit depth reduction of image pixels
US20190122055A1 (en) Method and apparatus for detecting at least one concealed object in road traffic for a vehicle using a passive vehicle sensor
US11269059B2 (en) Locating and/or classifying objects based on radar data, with improved reliability at different distances
EP3553556A1 (en) Light modulating lidar apparatus
WO2020250526A1 (ja) 外部環境認識装置
CN117173666A (zh) 一种针对非结构化道路的自动驾驶目标识别方法及系统
JP2019191119A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US20230113547A1 (en) Recognition processing system, recognition processing device, and recognition processing method
KR102662730B1 (ko) 운전자 보조 장치 및 그 제어 방법
US11247647B2 (en) Vehicle and control method thereof
US20240118394A1 (en) Light output control device, light output control method, and program
JP7276304B2 (ja) 物体検出装置
US20220404499A1 (en) Distance measurement apparatus
EP4016475A1 (en) Distance detection system and distance detection method
WO2020250528A1 (ja) 外部環境認識装置
US20220153185A1 (en) Hybrid Digital Micromirror Device (DMD) Headlight

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897486

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562563

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20897486

Country of ref document: EP

Kind code of ref document: A1