WO2020009060A1 - 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 - Google Patents

情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 Download PDF

Info

Publication number
WO2020009060A1
WO2020009060A1 PCT/JP2019/026097 JP2019026097W WO2020009060A1 WO 2020009060 A1 WO2020009060 A1 WO 2020009060A1 JP 2019026097 W JP2019026097 W JP 2019026097W WO 2020009060 A1 WO2020009060 A1 WO 2020009060A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
data
unit
processing
fusion
Prior art date
Application number
PCT/JP2019/026097
Other languages
English (en)
French (fr)
Inventor
信之 五十嵐
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/255,253 priority Critical patent/US11959999B2/en
Priority to EP19831260.5A priority patent/EP3819668A4/en
Priority to CN201980043386.5A priority patent/CN112368598A/zh
Priority to JP2020528851A priority patent/JPWO2020009060A1/ja
Priority to KR1020207036118A priority patent/KR20210025523A/ko
Publication of WO2020009060A1 publication Critical patent/WO2020009060A1/ja
Priority to US18/407,375 priority patent/US20240142607A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/646—

Definitions

  • the technology disclosed in this specification mainly relates to an information processing apparatus and an information processing method for processing detection information of a plurality of sensors for recognizing the outside world, a computer program, and a mobile device.
  • ADAS Advanced Driver Assistance System
  • ADAS Advanced Driver Assistance System
  • Objects need to be detected in various environments. Therefore, many different types of external recognition sensors, such as cameras, millimeter-wave radars, and laser radars, have begun to be mounted on vehicles.
  • Each sensor has its strengths and weaknesses, and the recognition performance of the sensor may be degraded depending on the type and size of the recognition target, the distance to the target, or the weather at the time of detection.
  • an on-vehicle radar has a high distance accuracy and a high relative speed accuracy, but has a low angle accuracy and does not have an identification function for identifying the type of an object or has low accuracy.
  • the camera has relatively low distance accuracy and relative speed accuracy, but has good angle accuracy and identification accuracy.
  • the purpose of the technology disclosed in this specification is to provide an information processing apparatus and an information processing method, a computer program, and a mobile device that mainly perform fusion processing on a plurality of sensors for recognizing the outside world.
  • a recognition unit that recognizes and processes an object based on a detection signal of the sensor;
  • a processing unit that performs a fusion process on the first data and other data before recognition by the recognition unit; It is an information processing apparatus including:
  • the sensor is, for example, a millimeter wave radar.
  • the recognition unit performs each process of distance detection, speed detection, angle detection, and tracking of the object based on the detection signal of the sensor before recognition, and the first data is the detection signal. , At least one of a distance detection result, a speed detection result, an angle detection result, and a tracking result of the object.
  • the processing unit performs a fusion process of the third data before the recognition by the second recognition unit and the first data, the fourth data after the recognition by the second recognition unit, and the first data. At least one of a fusion process with the first data and the fusion process between the first data and the second data after recognition by the recognition unit, or a fusion process with the fourth data and the second data.
  • One fusion process may be performed.
  • the information processing apparatus further includes a second recognition unit that includes at least one of a camera and a LiDAR and that recognizes and processes an object based on a detection signal of a second sensor. Then, the processing unit executes the fusion processing of the first data when the recognition result by the second recognition unit is good but the recognition result by the recognition unit is not good. Alternatively, the processing unit executes the fusion processing of the first data when the recognition result by the second recognition unit is not good.
  • a second aspect of the technology disclosed in the present specification is as follows.
  • An information processing method having the following.
  • fusion processing of the third data before the recognition by the second recognition unit and the first data, the fourth data after the recognition by the second recognition unit, and the first data At least one of fusion processing of the first data and the second data recognized by the recognition unit, or fusion processing of the fourth data and the second data.
  • the processing may be performed.
  • a third aspect of the technology disclosed in the present specification is as follows.
  • a recognition unit that recognizes and processes an object based on a detection signal of the sensor;
  • a processing unit that performs a fusion process on the first data and other data before recognition by the recognition unit;
  • the processing unit is configured to perform a fusion process of the third data and the first data before the recognition by the second recognition unit, the fourth data and the first data after the recognition by the second recognition unit; At least one of fusion processing of the first data and the second data recognized by the recognition unit, or fusion processing of the fourth data and the second data.
  • the processing may be performed.
  • the computer program according to the third aspect defines a computer program described in a computer-readable format so as to realize a predetermined process on a computer.
  • a cooperative action is exerted on the computer, and the same effect as the information processing apparatus according to the first aspect can be obtained. .
  • a fourth aspect of the technology disclosed in the present specification is as follows. Means of transportation; Sensors and A recognition unit that recognizes and processes an object based on a detection signal of the sensor, A processing unit that performs a fusion process on the first data and other data before recognition by the recognition unit; A control unit that controls the moving unit based on a processing result by the processing unit; A mobile device comprising: The processing unit is configured to perform a fusion process of the third data and the first data before the recognition by the second recognition unit, the fourth data and the first data after the recognition by the second recognition unit; At least one of fusion processing of the first data and the second data recognized by the recognition unit, or fusion processing of the fourth data and the second data. The processing may be performed.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of functions of the vehicle control system 100.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus 1000.
  • FIG. 3 is a diagram exemplifying an image captured by a camera.
  • FIG. 4 is a diagram illustrating a scene detected by a millimeter wave radar.
  • FIG. 5 is a diagram illustrating a result of detecting the scene illustrated in FIG. 4 with a millimeter wave radar.
  • FIG. 6 is a diagram illustrating an example of the internal configuration of the radar recognition processing unit 1020.
  • FIG. 7 is a diagram illustrating an example of a scene to be recognized.
  • FIG. 8 is a diagram illustrating data before the scene recognition processing illustrated in FIG. 7.
  • FIG. 7 is a diagram illustrating a schematic configuration example of functions of the vehicle control system 100.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus 1000.
  • FIG. 3 is a diagram exempl
  • FIG. 9 is a diagram illustrating data after the scene recognition processing illustrated in FIG. 7.
  • FIG. 10 is a diagram showing another example of a scene to be recognized.
  • FIG. 11 is a diagram illustrating data before the scene recognition processing illustrated in FIG. 10.
  • FIG. 12 is a diagram showing data after the scene recognition processing shown in FIG.
  • FIG. 13 is a diagram illustrating an example of a fusion processing result (only the LATE fusion processing) by the information processing apparatus 1000.
  • FIG. 14 is a diagram illustrating an example of a fusion processing result (including an early fusion processing) by the information processing apparatus 1000.
  • FIG. 15 is a diagram illustrating an example in which the result differs between the late fusion processing and the early fusion processing.
  • FIG. 15 is a diagram illustrating an example in which the result differs between the late fusion processing and the early fusion processing.
  • FIG. 16 is a diagram illustrating an example in which the result differs between the late fusion processing and the early fusion processing.
  • FIG. 17 is a diagram illustrating a configuration example of an information processing apparatus 1000 configured to adaptively execute an early fusion process.
  • FIG. 18 is a flowchart illustrating a processing procedure for performing target recognition in the information processing apparatus 1000 illustrated in FIG.
  • FIG. 19 is a diagram illustrating another configuration example of the information processing apparatus 1000 configured to adaptively execute the early fusion processing.
  • FIG. 20 is a flowchart illustrating a processing procedure for performing target recognition in the information processing apparatus 1000 illustrated in FIG.
  • FIG. 21 is a diagram illustrating a process of recognizing an object that cannot be recognized by the recognizer 1023 based on the RAW data of the millimeter wave radar 1080.
  • FIG. 22 is a diagram illustrating a process of recognizing an object that cannot be recognized by the recognizer 1023 based on the RAW data of the millimeter wave radar 1080.
  • FIG. 23 is a diagram illustrating a process of recognizing an object that cannot be recognized by the recognizer 1023 based on the RAW data of the millimeter wave radar 1080.
  • FIG. 1 is a block diagram showing a schematic configuration example of functions of a vehicle control system 100 which is an example of a mobile object control system to which the present technology can be applied.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, the vehicle is referred to as own vehicle or own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • a system system 110, a storage unit 111, and an automatic operation control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 Interconnected.
  • the communication network 121 may be, for example, an in-vehicle communication network or a bus that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate via the communication network 121, it is simply described that the input unit 101 and the automatic operation control unit 112 perform communication.
  • the input unit 101 includes a device used by a passenger to input various data, instructions, and the like.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than a manual operation using a voice, a gesture, or the like.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine speed, A sensor or the like for detecting a motor rotation speed, a wheel rotation speed, or the like is provided.
  • IMU inertial measurement device
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a Time of Flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the surrounding information detection sensor includes, for example, an ultrasonic sensor, a millimeter-wave radar, a LiDAR (Light Detection and Ranging, a Laser Imaging and a Detection and Ranging), a sonar, and the like.
  • an ultrasonic sensor for example, an ultrasonic sensor, a millimeter-wave radar, a LiDAR (Light Detection and Ranging, a Laser Imaging and a Detection and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS (Global Navigation / Satellite / System) satellite GNSS receiver that receives a GNSS signal from a satellite.
  • GNSS Global Navigation / Satellite / System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sounds in the vehicle compartment, and the like.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104, various devices outside the vehicle, a server, a base station, and the like, and transmits data supplied from each unit of the vehicle control system 100, and transmits received data to the vehicle control system. 100 parts.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 using a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the communication unit 103 may be connected via a connection terminal (and a cable if necessary), not shown, to a USB (Universal Serial Bus), an HDMI (High-Definition Multimedia Interface), or an MHL (Mobile High-definition). Link) or the like to perform wired communication with the in-vehicle device 104.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Perform communication. Further, for example, the communication unit 103 communicates with a terminal (for example, a terminal of a pedestrian or a store, or a terminal of a MTC (Machine Type Communication)) using a P2P (Peer To Peer) technology, for example, with a terminal existing near the own vehicle. Perform communication.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to a business operator
  • the communication unit 103 communicates with a terminal (for example, a terminal of a pedestrian or a store, or a terminal of a MTC (Machine Type Communication)) using a P2P (Peer To Peer) technology, for example, with
  • the communication unit 103 communicates between vehicles (Vehicle to Vehicle), road to vehicle (Vehicle to Infrastructure) communication, communication between own vehicle and home (Vehicle to Home), and between vehicles (Vehicle to Vehicle). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. I do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device possessed by the passenger, an information device carried or attached to the own vehicle, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the occupant of the vehicle or to the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates sound data including a warning sound or a warning message for a danger such as collision, contact, or entry into a dangerous zone, and outputs an output signal including the generated sound data to the output unit 106.
  • Supply for example, the output control unit 105 generates sound data including a warning sound or a warning message for a danger such as collision, contact, or entry into a dangerous zone
  • the output unit 106 includes a device capable of outputting visual information or auditory information to a passenger of the own vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 can display visual information in a driver's visual field such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display.
  • the display device may be used.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as needed, and notifies the control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating driving force such as an internal combustion engine or a driving motor, a driving force transmitting mechanism for transmitting driving force to wheels, a steering mechanism for adjusting a steering angle, A braking device that generates a braking force, an ABS (Antilock Break System), an ESC (Electronic Stability Control), an electric power steering device, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system system 110 as necessary, and notifies the control state of the body system system 110 and the like.
  • the body system 110 includes various body-system devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, a head lamp, a back lamp, a brake lamp, a blinker, a fog lamp, and the like). Etc. are provided.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that is less accurate than the high-accuracy map and covers a wide area, and a local map that includes information around the own vehicle. Is stored.
  • the automatic driving control unit 112 performs control relating to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 may perform collision avoidance or impact mitigation of the own vehicle, follow-up traveling based on the following distance, vehicle speed maintenance traveling, a collision warning of the own vehicle, a lane departure warning of the own vehicle, and the like. It performs cooperative control for the purpose of realizing the function of ADAS (Advanced ⁇ Driver ⁇ Assistance ⁇ System). In addition, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving in which the vehicle runs autonomously without depending on the operation of the driver.
  • the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for controlling automatic driving.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the host vehicle based on data or signals from each unit of the vehicle control system 100. For example, the outside-of-vehicle information detection unit 141 performs detection processing, recognition processing, tracking processing, and detection processing of the distance to the object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the outside-of-vehicle information detection unit 141 performs a process of detecting an environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the out-of-vehicle information detection unit 141 uses the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135 to output data indicating the result of the detection processing. To the emergency avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs a process of detecting information in the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, gaze direction, and the like.
  • the environment in the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs detection processing of the state of the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the subject vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and inclination, door lock state, and other in-vehicle devices. State and the like are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and orientation of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the outside-of-vehicle information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. Perform processing. Further, the self-position estimating unit 132 generates a local map used for estimating the self-position (hereinafter, referred to as a self-position estimation map) as necessary.
  • the self-position estimation map is a high-accuracy map using, for example, a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimating unit 132 supplies data indicating the result of the estimation processing to the map analyzing unit 151, the traffic rule recognizing unit 152, the situation recognizing unit 153, and the like of the situation analyzing unit 133. Further, the self-position estimating unit 132 causes the storage unit 111 to store the self-position estimating map.
  • the situation analysis unit 133 performs analysis processing of the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 performs various types of maps stored in the storage unit 111 while using data or signals from various units of the vehicle control system 100 such as the self-position estimation unit 132 and the outside-of-vehicle information detection unit 141 as needed. Performs analysis processing and builds a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 converts the constructed map into a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a route planning unit 161, an action planning unit 162, and an operation planning unit 163 of the planning unit 134. To supply.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimating unit 132, the outside-of-vehicle information detecting unit 141, and the map analyzing unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the contents of traffic regulation around the own vehicle, and the lanes in which the vehicle can travel are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition processing to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 converts data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the outside-of-vehicle information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, recognition processing of the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. Further, the situation recognizing unit 153 generates a local map (hereinafter, referred to as a situation recognizing map) used for recognizing a situation around the own vehicle as needed.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy ⁇ Grid ⁇ Map).
  • the situation of the subject vehicle to be recognized includes, for example, the position, posture, and movement (eg, speed, acceleration, moving direction, etc.) of the subject vehicle, and the presence / absence and content of an abnormality.
  • the situation around the subject vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement (eg, speed, acceleration, moving direction, etc.) of the surrounding moving object, and the surrounding road.
  • the configuration and the state of the road surface, and the surrounding weather, temperature, humidity, brightness, and the like are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, eye movement, driving operation, and the like.
  • the situation recognition unit 153 supplies data indicating the result of the recognition processing (including a situation recognition map as necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situation recognition unit 153 causes the storage unit 111 to store the situation recognition map.
  • the situation prediction unit 154 performs a process of predicting a situation relating to the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, occurrence of an abnormality, and a possible driving distance.
  • the situation around the own vehicle to be predicted includes, for example, behavior of a moving object around the own vehicle, a change in a signal state, a change in an environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, shows data indicating the result of the prediction processing, along with the route planning unit 161, the behavior planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to a specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on conditions such as traffic jams, accidents, traffic restrictions, construction, and the like, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely performs the route planned by the route planning unit 161 within the planned time based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's behavior to drive. For example, the action planning unit 162 performs planning such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), traveling lane, traveling speed, and passing.
  • the behavior planning unit 162 supplies data indicating the planned behavior of the own vehicle to the behavior planning unit 163 and the like.
  • the operation planning unit 163 performs an operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or a signal from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the operation planning unit 163 plans acceleration, deceleration, a traveling trajectory, and the like. The operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control section 135 controls the operation of the own vehicle.
  • the operation control section 135 includes an emergency avoidance section 171, an acceleration / deceleration control section 172, and a direction control section 173.
  • the emergency avoidance unit 171 performs a collision, a contact, an approach to a danger zone, a driver abnormality, a vehicle abnormality, based on the detection results of the outside information detection unit 141, the inside information detection unit 142, and the vehicle state detection unit 143. An emergency situation such as an abnormality is detected. When detecting the occurrence of an emergency, the emergency avoidance unit 171 plans an operation of the own vehicle to avoid an emergency such as a sudden stop or a sudden turn. The emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generation device or a braking device for realizing planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. This is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates a control target value of the steering mechanism for realizing the traveling trajectory or the sharp turn planned by the operation planning unit 163 or the emergency avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • a camera is not good at a dark place, but it can be recognized to some extent from an image taken by the camera if the object is in a nearby area or a place where a streetlight or a city light is illuminated.
  • FIG. 2 schematically illustrates a functional configuration of an information processing apparatus 1000 to which the technology disclosed in this specification is applied.
  • the illustrated information processing apparatus 1000 includes a camera recognition processing unit 1010 that processes a detection signal of a camera 1070, a radar recognition processing unit 1020 that processes a detection signal of a millimeter wave radar 1080, and a LiDAR recognition process that processes a detection signal of a LiDAR 1090.
  • External recognition sensors such as camera 1070, millimeter wave radar 1080, and LiDAR 1090 are mounted on the same vehicle after being calibrated for their installation positions so that the detection ranges are almost the same. And It is also assumed that the same vehicle is further equipped with a sensor for recognizing the outside world other than the sensors 1070 to 1090. It is also assumed that the camera 1070 is configured by a plurality of cameras, at least a part of which is installed so that the detection range is different from the millimeter wave radar 1080 and the LiDAR 1090. The output of a plurality of cameras may be subjected to fusion processing by the fusion processing unit 1040.
  • the camera recognition processing unit 1010 includes a RAW data processing unit 1011 that processes RAW data input from the camera 1070, a signal processing unit 1012 that performs signal processing on the RAW data, and recognition for recognizing an object from a camera image after the signal processing.
  • a vessel 1013 is provided.
  • the RAW data referred to here is data in which information on light captured by the image sensor is recorded as it is.
  • the RAW data processing unit 1011 performs front-end processing (amplification, noise removal, AD conversion, etc.) on the RAW data, and the signal processing unit 1012 performs back-end processing.
  • the recognizer 1013 may be in any form of hardware implementing a predetermined image recognition algorithm or software implementing the recognition algorithm.
  • the recognizer 1013 From the recognizer 1013, information on the classification of the shape of the recognized object (target) (target list) is output.
  • the classification of the object shape recognized by the recognizer 1013 includes a person, a car, a sign, the sky, a building, a road, a sidewalk, and the like.
  • the recognizer 1013 may be in any form of hardware implementing a predetermined image recognition algorithm or software implementing the recognition algorithm.
  • the classification of the object shape (person, car, sign, sky, building, road, sidewalk, etc.) is output from the camera recognition processing unit 1010 to the subsequent fusion processing unit 1040 as a result of recognition by the recognizer 1013 to the subsequent fusion processing unit 1040. Is done. However, the recognizer 1013 does not output a recognition result with low likelihood. For this reason, in a situation where the recognition performance of the recognizer 1013 is deteriorated, such as in bad weather or at night, the amount of information output from the recognizer 1013 may decrease. In this embodiment, early data before the final recognition result is obtained by the recognizer 1013 is also output to the fusion processing unit 1040.
  • the early data referred to here is a captured image (RAW data) input from the camera 1070, output data from the signal processing unit 1012, data in the middle of signal processing, data in the middle of recognition by the recognizer 1013, and the like. Are output to the fusion processing unit 1040.
  • the data in the course of recognition by the recognizer 1013 includes information on an object that is not finally output from the recognizer 1013 due to a low likelihood of recognition (for example, hidden behind an object such as a car body or a wall, partially or Pedestrian information that could only be recognized in fragments).
  • the early data before the recognition processing by the recognizer 1013 is collectively referred to as “RAW data” of the camera 1070 for convenience.
  • the radar recognition processing unit 1020 includes a RAW data processing unit 1021 that processes RAW data input from the millimeter wave radar 1080, a signal processing unit 1022 that performs signal processing on the RAW data, and a radar detection result after the signal processing.
  • a recognizer 1023 for recognizing an object is provided.
  • the recognizer 1023 may be in any form of hardware implementing a predetermined recognition algorithm or software implementing the recognition algorithm.
  • the recognizer 1023 tracks recognized targets (people, vehicles, signs, buildings, etc.) and outputs recognition results such as distance, elevation, azimuth, speed, and reflection intensity of each target.
  • the final recognition result by the recognizer 1023 is output from the radar recognition processing unit 1020 to the subsequent fusion processing unit 1040.
  • the recognizer 1013 does not output a recognition result with low likelihood. For this reason, it is assumed that the information output from the recognizer 1023 is reduced for an object such as a non-metal having a low radar reflection intensity.
  • early data before the final recognition result is obtained by the recognizer 1023 is also output to the fusion processing unit 1040.
  • the early data referred to here is a captured image (RAW data) input from the millimeter wave radar 1080, output data from the signal processing unit 1022, data in the middle of signal processing, data in the middle of recognition by the recognizer 1023, and the like.
  • the data that is being recognized by the recognizer 1023 includes information that is not finally output from the recognizer 1023 because the likelihood of recognition is low (for example, the reflection intensity due to the reflected radio waves from a nearby object such as a fence or a signboard). Such as motorcycles that have been weakened).
  • early data before the recognition processing by the recognizer 1023 will be collectively referred to as “RAW data” of the millimeter wave radar 1080 for convenience.
  • the LiDAR recognition processing unit 1030 includes a RAW data processing unit 1031 that processes RAW data input from the LiDAR 1090, a signal processing unit 1032 that performs signal processing on the RAW data, and recognizes an object from the LiDAR detection result after the signal processing. And a recognizer 1033 that performs the processing.
  • the recognizer 1033 may be in any form of hardware implementing a predetermined recognition algorithm or software implementing the recognition algorithm.
  • the recognizer 1033 tracks recognized targets (people, cars, signs, buildings, etc.) and outputs recognition results such as distance, elevation, azimuth, height, and reflectance of each target.
  • the final recognition result by the recognizer 1033 is output from the LiDAR recognition processing unit 1030 to the subsequent fusion processing unit 1040.
  • the recognizer 1013 does not output a recognition result with low likelihood.
  • early data before a final recognition result is obtained by the recognizer 1033 is also output to the fusion processing unit 1040.
  • the early data referred to here is a captured image (RAW data) input from the LiDAR 1090, output data from the signal processing unit 1032, data in the middle of signal processing, data in the middle of recognition by the recognizer 1033, and the like. All or a part is output to the fusion processing unit 1040.
  • RAW data captured image
  • the data being recognized by the recognizer 1033 includes information that is not finally output from the recognizer 1033 due to the low likelihood of recognition (information of a pedestrian who has been partially or only partially recognized). It is assumed that In the following, the early data before the recognition processing by the recognizer 1033 is generically referred to as “RAW data” of LiDAR 1090 for convenience.
  • each of the recognition processing units 1010 to 1030 is schematically illustrated for convenience, but it is understood that the detailed internal configuration is determined depending on the sensor type, the sensor model, the design specifications, and the like. I want to be.
  • some or all components of the camera recognition processing unit 1010 are mounted in a unit of the camera 1070, and some or all components of the radar recognition processing unit 1020 are mounted in a unit of the millimeter wave radar 1080.
  • a configuration in which some or all of the components of the LiDAR recognition processing unit 1030 are mounted in a unit of the LiDAR 1090 is also assumed.
  • the information processing apparatus 1000 performs a recognition process based on a detection signal of the sensor.
  • a recognition processing unit including a RAW data processing unit, a signal processing unit, and a recognizer may be further provided. Also in these cases, the final recognition result is output from each recognition processing unit to the subsequent fusion processing unit 1040, and the RAW data of the sensor is output.
  • a plurality of external recognition sensors are mounted on a vehicle in order to realize automatic driving and ADAS (described above).
  • a camera 1070, a millimeter wave radar 1080, and a LiDAR 1090 is provided in one vehicle. It is also assumed that only one external world recognition sensor is mounted. For example, when sufficient external recognition performance is obtained only with LiDAR 1090, the case where the millimeter wave radar 1080 is not used, or the case where the video captured by the camera 1070 is used only for viewing and not used for external recognition are also assumed. .
  • the information processing apparatus 1000 includes only the function modules corresponding to the sensors to be used, or includes all the function modules corresponding to the sensors among the recognition processing units 1010 to 1030. It should be understood that only the functional module (or an input signal from the sensor) operates and outputs to the fusion processing unit 1040 at the subsequent stage.
  • the fusion processing unit 1040 performs fusion processing on recognition results based on the sensors of the camera 1070, the millimeter-wave radar 1080, and the LiDAR 1090 mounted on the same vehicle to recognize the outside world. If the same vehicle is equipped with another sensor (not shown) for recognizing the outside world, the fusion processing unit 1040 further performs fusion processing on the detection signal from the sensor. In the present embodiment, the fusion processing unit 1040 performs fusion processing on not only the recognition result of each sensor but also the RAW data before recognition, and performs external world recognition. Then, the fusion processing unit 1040 outputs the external world recognition result obtained by the fusion processing to the vehicle control system.
  • the vehicle control system includes an ECU (Electronic Control Unit) 1050 and an actuator (hereinafter, referred to as “ACT”) 1060 for moving the vehicle.
  • the ECU 1050 based on the external recognition result in the fusion processing unit 1040, includes, for example, inter-vehicle control (ACC), lane departure warning (LDW), lane keep assist (LKA), automatic emergency braking (AEB), and blind spot detection (BSD). Make a decision for automatic driving or driving assistance.
  • the ACT 1060 performs drive control of each drive unit such as an active cornering light (ACL), a brake actuator (BRK), and a steering device (STR), that is, operation of the vehicle, in accordance with an instruction from the ECU 1050.
  • ACL active cornering light
  • BK brake actuator
  • STR steering device
  • the vehicle control system controls the traveling of the vehicle so that the vehicle does not depart from the lane.
  • the fusion processing unit 1040 recognizes an obstacle such as a surrounding vehicle, a pedestrian, a wall beside a road, or a signboard
  • the vehicle control system sets the vehicle so as to avoid collision with the obstacle.
  • Automatic driving generally includes three steps of “recognition ⁇ judgment ⁇ operation”. In the recognition step, a certain object is recognized, and in the judgment step, the recognized object is judged to determine a vehicle route plan. In the configuration example shown in FIG.
  • the processing of the recognition step is mainly performed in the information processing apparatus 1000
  • the processing of the determination step is mainly performed in the ECU 1050 in the vehicle control system
  • the processing of the operation step is mainly performed in the ACT 1060. Processing is performed.
  • the distinction between the recognition step and the determination step is not strict, and a part of the recognition step described in the present embodiment may be positioned as the determination step. In the future, it is expected that some or all of the functions for processing the recognition step will be mounted in each sensor unit such as the camera 1070, the millimeter-wave radar 1080, and the LiDAR 1090.
  • the fusion processing unit 1040 includes a late fusion processing unit 1041, an early fusion processing unit 1042, and a hybrid fusion processing unit 1043.
  • the Late fusion processing unit 1041 performs the fusion process on the final output (Late data) by each of the recognition processing units 1010 to 1030, that is, the recognition result by each of the recognizers 1013, 1023, and 1033 to perform the external world recognition.
  • the early fusion processing unit 1042 converts the early (early) data before the recognition distance by each of the recognition processing units 1010 to 1030, that is, the RAW data (described above) of each of the sensors of the camera 1070, the millimeter wave radar 1080, and the LiDAR 1090.
  • the hybrid fusion processing unit 1043 includes one or more of the final outputs (Late data) of the recognition processing units 1010 to 1030 and one or more of the recognition processing units 1010 to 1030. Is subjected to fusion processing to perform external recognition. According to the hybrid fusion processing unit 1043, even if the likelihood of the final recognition result by the recognizer of a certain sensor is low, there is an effect that the recognition performance is improved by fusion processing with the RAW data of another sensor or the same sensor.
  • the fusion processing unit 1040 further performs fusion processing on the recognition results of the late fusion processing unit 1041, the early fusion processing unit 1042, and the hybrid fusion processing unit 1043, or selectively recognizes the recognition results of the fusion processing units 1041 to 1043.
  • the selected result is output to the ECU 1050 at the subsequent stage.
  • the Late fusion processing unit 1041 obtains a final recognition result by the recognizers 1013, 1023, and 1033 from each of the recognition processing units 1010 to 1030, and thus processes information with high reliability of the recognition result.
  • the recognizers 1013, 1023, and 1033 since the recognizers 1013, 1023, and 1033 only output recognition results with high likelihood and can obtain only highly reliable information, there is a problem that the amount of information that can be used is small.
  • the Early Fusion processing unit 1042 obtains RAW data from the recognition processing units 1010 to 1030 before passing through the recognizers 1013, 1023, and 1033, the amount of input information is very large.
  • RAW data or data close to RAW data contains noise.
  • the camera 1070 captures an image of a dark place at night, various information other than the object is included, so that the possibility of erroneous detection increases and the reliability of the information is low. Further, since the information amount is large, the processing amount also increases.
  • the captured image (that is, RAW data) includes images of a plurality of persons as shown in FIG.
  • the pedestrian 301 which is brightly illuminated by a streetlight or the like, can be recognized with a high recognition rate. Therefore, the recognizer 1013 outputs the result of recognition with the pedestrian 301 as a target.
  • the persons 302 and 302 have a low recognition rate, and the recognizer 1013 outputs a result of not recognizing such pedestrians 302 and 302 as targets.
  • the RAThe RAW data of the detection result of the millimeter wave radar 1080 is composed of the intensity distribution of the reflected radio wave at the position (direction and distance) where each reflection object exists in a predetermined detection range in front of the receiving unit of the reflected radio wave.
  • the RAW data includes intensity data of reflected radio waves from various objects. However, when the signal passes through the recognizer 1033, intensity data having a low radio wave reflection intensity is discarded, and only numerical information such as the direction, distance (including depth and width), and speed of the recognized target is extracted. I will be squeezed.
  • the reflected wave 503 having low reliability as information is discarded, and only the reflected waves 501 and 502 having high reliability are recognized as targets. Is squeezed. Therefore, only the information of the highly reliable vehicles 401 and 402 is input to the Late Fusion processing unit 1041, and unnecessary information such as noise is cut off, but the information of the pedestrian 403 with low reliability is also cut off. On the other hand, the information of the pedestrian 403 is output to the early fusion processing unit 1042 together with the vehicles 401 and 402, but various information such as noise is also input.
  • the result of fusion processing of the recognition results of each of the recognizers 1013, 1023, and 1033 by the late fusion processing unit 1041 is narrowed down to highly reliable information. Therefore, information of low reliability but high importance is truncated. There is a possibility that it will.
  • the fusion processing of the RAW data of each of the recognition processing units 1010 to 1030 performed by the early fusion processing unit 1042 there is a possibility that information with a large amount of information but low reliability such as noise may be captured.
  • the information processing apparatus 1000 converts the processing result of the late fusion processing unit 1041 that has high reliability but narrows the amount of information into the processing of the early fusion processing unit 1042 that has a large amount of information but also includes noise. By supplementing with the result, it is configured such that a sufficient amount of information and a highly reliable external recognition result can be obtained.
  • the hybrid fusion processing unit 1043 includes one or more of the final outputs (Late data) of the recognition processing units 1010 to 1030 and one or more of the recognition processing units 1010 to 1030.
  • Fusion processing with RAW data of a certain sensor can improve the recognition performance by fusion processing with the RAW data of another sensor or the same sensor even if the likelihood of the final recognition result by the recognizer of a certain sensor is low.
  • the information processing apparatus 1000 recognizes the recognizers 1013, 1023, and 1033 based on the result of the fusion processing performed by the early fusion processing unit 1042 on the RAW data of each sensor for external world recognition such as the camera 1070, the millimeter wave radar 1080, and the LiDAR 1090. Is configured so that important information that may be truncated can be restored.
  • the accuracy of external recognition by LiDAR 1090 is significantly higher than that of a camera or a millimeter wave radar, but the recognition result of LiDAR recognition processing unit 1030 is recognized by another recognition processing unit 1010 or 1020.
  • Fusion processing may be performed by the late fusion processing unit 1041 together with the result, or the recognition result by the LiDAR recognition processing unit 1030 may be supplemented by the processing result of the RAW data by the early fusion processing unit 1042.
  • the LiDAR recognition processing unit 1030 may be subjected to fusion processing by the hybrid fusion processing unit 1043 together with the recognition result of another recognition processing unit 1010 or 1020.
  • the Late Fusion processing unit 1041 recognizes the recognizers 1013 and 1023 of the camera recognition processing unit 1010 and the radar recognition processing unit 1020. It is not necessary to perform the fusion processing with the recognition result of the RAW data.
  • the LiDAR 1090 is extremely expensive as compared with other external recognition sensors such as the camera 1070 and the millimeter wave radar 1080. For this reason, the LiDAR 1090 is not used (in other words, the LiDAR 1090 is not mounted on the vehicle), and the information processing apparatus 1000 transmits the recognition results by the recognizers 1013 and 1023 of the camera recognition processing unit 1010 and the radar recognition processing unit 1020.
  • the result of the fusion processing performed by the late fusion processing unit 1040 may be supplemented by the result of the fusion processing performed by the early fusion processing unit 1042 on the RAW data of the camera 1070 and the millimeter wave radar 1080.
  • the LiDAR 1090 uses a reflected wave of light, there is a concern that the reliability of the LiDAR 1090 may be degraded in weather that blocks light such as rainfall, snowfall, and fog, or at night or in a dark place such as in a tunnel. The same applies to the camera 1070.
  • the reliability of the millimeter wave radar 1080 does not depend much on the weather and is relatively stable. Therefore, the information processing apparatus 1000 may adjust the specific gravity when the information from each of the sensors 1070 to 1090 is fused in the fusion processing unit 1040 based on environmental information such as weather and other external information. .
  • the late fusion processing unit 1041 and the early fusion processing unit 1042 in the fusion processing unit 1040 use the recognition result by the recognizer 1033 of the LiDAR recognition processing unit 1030 and the RAW data of the LiDAR 1090 at a high specific gravity.
  • the recognition result by the recognizer 1033 of the LiDAR recognition processing unit 1030 and the RAW data of the LiDAR 1090 are set to a low specific gravity or are not used. Fusion processing.
  • FIG. 6 shows an example of the internal configuration of the radar recognition processing unit 1020.
  • the radar recognition processing unit 1020 includes a RAW data processing unit 1021, a signal processing unit 1022, and a recognizer 1023.
  • the RAW data processing unit 1021 receives the RAW data of the millimeter wave radar 1080 and executes processes such as amplification, noise removal, and AD conversion.
  • the RAW data processing unit 1021 outputs the RAW data or the processed data from any of amplification, noise removal, and AD conversion to the early fusion processing unit 1042.
  • the signal processing unit 1022 includes a distance detection unit 601 that detects a distance to each target captured by the radar, a speed detection unit 602 that detects a speed at which each target moves, An angle detection unit 603 for detecting an azimuth, a tracking unit 604 for tracking a target, and a MISC processing unit 605 for performing other processing are provided.
  • the algorithm for detecting the distance, direction, size, and speed of the target from the RAW data of the millimeter-wave radar 1080 is not particularly limited. For example, an algorithm developed by the manufacturer of the millimeter wave radar 1080 or the like may be applied as it is.
  • the order in which the units 601 to 605 execute processing on input data from the RAW data processing unit 1021 is not necessarily fixed, and it is assumed that the order is changed as appropriate in accordance with product design specifications and the like. . Further, not all of the above-described functional modules 601 to 605 are indispensable for the detection signal of the millimeter-wave radar 1080. The functional modules other than those illustrated in the drawing are selected depending on the product design specifications or the like. It is also envisioned that the unit 1022 is provided.
  • the recognizer 1023 performs external world recognition processing based on the signal processed by the signal processing unit 1022 according to a predetermined recognition algorithm.
  • FIG. 8 illustrates RAW data of the millimeter-wave radar 1080 or data being processed by the signal processing unit 1022.
  • FIG. 9 the recognition result by the recognizer 1023 of the radar recognition processing unit 1020 is indicated by a black block.
  • the recognition result by the recognizer 1033 of the LiDAR recognition processing unit 1030 is displayed as a gray block and also shown.
  • the motorcycle 701 traveling on the road ahead of the vehicle can be recognized as an obstacle.
  • houses and walls 702 and 703 are arranged on both sides of the road (or the motorcycle 701).
  • the RAW data of the millimeter wave radar 1080 before the processing by the recognizer 1023 includes various information.
  • the RAW data of the millimeter wave radar 1080 can confirm strong reflection 801 from the motorcycle 701, though there is a side lobe. It should be noted that relatively weak reflections 802 and 803 from the left and right fences can also be confirmed.
  • the millimeter-wave radar 1080 has high sensitivity for metals, but has low sensitivity for nonmetals such as concrete.
  • the recognition object 901 and the recognition object 902 can be recognized as different objects.
  • the motorcycle can be recognized only by the recognizer 1023 of the millimeter wave radar 1080.
  • the reflection intensity of the motorcycle is weaker than that of the vehicle, and as shown in FIG. 7, if there is another reflection object near the motorcycle, it is difficult to catch the reflection by the millimeter wave radar 1080 alone, and recognizes a fruit having a reflection intensity higher than a certain value.
  • the recognition object 901 and the recognition object 902 are output as one block of data. FIG.
  • FIG. 21 schematically shows a state in which the motorcycle 2102 is approaching the wall 2101 within the detection range 2100 of the millimeter wave radar 1080.
  • FIG. 22 schematically shows the result of recognition by the recognizer 1023 of a reflected wave of the millimeter wave radar 1080 obtained from the detection range 2100.
  • the recognizing device 1023 the reflection intensity lower than the predetermined value is discarded, and the reflection intensity higher than the predetermined value is recognized as an object. Therefore, in the example shown in FIG. 22, one lump 2201 in which the wall 2101 and the motorcycle 2102 are integrated is recognized as an object.
  • the RAW data of the millimeter-wave radar 1080 it is possible to recognize even a weak reflection intensity that is truncated by the recognizer 1023. Therefore, as shown in FIG. 23, the reflection from the wall 2101 and the reflection from the motorcycle 2102 can be recognized as different objects 2301 and 2302.
  • FIG. 11 shows data before processing by the recognizer 1023 of the radar recognition processing unit 1020 in a scene in which an image captured by the vehicle-mounted camera 1070 is as shown in FIG. 10, and data after recognition processing by the recognizer 1023. Is shown in FIG. However, FIG. 11 illustrates RAW data of the millimeter-wave radar 1080 or data being processed by the signal processing unit 1022.
  • the recognition result by the recognizer 1023 of the radar recognition processing unit 1020 is indicated by a black block.
  • the recognition result by the recognizer 1033 of the LiDAR recognition processing unit 1030 is indicated by gray blocks and also shown.
  • FIG. 10 shows a scene running on a narrow alley sandwiched between fences 1001 and 1002 on both sides, and it is preferable that the fences 1001 and 1002 on both sides can be recognized as obstacles.
  • the RAW data of the millimeter wave radar 1080 before the processing by the recognizer 1023 includes various information.
  • the walls 1001 and 1002 themselves are not metal and are difficult to catch with the millimeter-wave radar 1080, but reflections 1101 and 1102, which are considered to be caused by cracks or steps on the walls 1001 and 1002, can be confirmed. Referring to the recognition result by the recognizer 1023 of the radar recognition processing unit 1020 shown in FIG.
  • the recognizer 1023 has several portions 1201 that have been reflected from cracks and steps scattered on the walls 1001 and 1002. Only 1204 can be discretely recognized, but it is difficult to recognize the walls 1001 and 1002 as a whole, and the walls 1001 and 1002 are not used unless the recognition result of the recognizer 1033 of the LiDAR 1090 is used (ie, fusion processing). Is difficult to recognize as a whole. On the other hand, from the RAW data shown in FIG. 11, it is possible to acquire the reflection information 1101 and 1102 indicating the presence of a wall even if the reflected wave is weak.
  • FIG. 13 shows an example of a target recognition result when the Late Fusion processing unit 1041 performs fusion processing on the recognition results of the camera recognition processing unit 1010 and the radar recognition processing unit 1020 in the information processing device 1000.
  • “ ⁇ ” is written in the recognition result that the target was recognized
  • “x” is written in the recognition result that the target could not be recognized.
  • the same target is recognized by the camera recognition processing unit 1010 and the radar recognition processing unit 1020, respectively, when both targets can be recognized (pattern 1), when only one of the targets can be recognized (patterns 2 and 3), If none of the targets can be recognized (pattern 4), four patterns are assumed.
  • the Late Fusion processing unit 1041 outputs a target recognized by both the camera recognition processing unit 1010 and the radar recognition processing unit 1020 as being able to recognize the target (in FIG. 13, “ ⁇ ” is entered).
  • a target that can be recognized by only one of the camera recognition processing unit 1010 and the radar recognition processing unit 1020 and a target that cannot be recognized by both are output as being unrecognizable (in FIG. 13, “ ⁇ Is entered.)
  • FIG. 14 shows an example of a target recognition result when the RAW data of the camera 1070 and the millimeter wave radar 1080 are subjected to fusion processing by the early fusion processing unit 1042 in the information processing apparatus 1000.
  • each of the patterns 1 to 4 in FIG. 14 is an attempt to recognize the same target as the corresponding pattern in FIG.
  • “ ⁇ ” is written in the recognition result that the target was recognized
  • “ x ” is written in the recognition result that the target was not recognized.
  • the object is discarded at the judgment threshold value of the recognizer 113 or 123, but there are some objects that can be recognized in the early fusion processing using the RAW data before being discarded at the judgment threshold value.
  • an object having a different recognition result between the late fusion process and the early fusion process has a low likelihood of being an actual object.
  • the early fusion processing unit 1042 outputs that the target has been recognized ("o" is entered in FIG. 14). That is, when there is no difference between the recognition results by the recognizers 1013 and 1023 and the recognition result by the RAW data, the early fusion processing unit 1042 outputs the same recognition result as the late fusion processing unit 1041.
  • the target can be recognized based on the RAW data of the millimeter wave radar 1080. If successful, the early fusion processing unit 1042 outputs that the target has been recognized. For example, there is a case where a target whose reflection intensity is weak and which has been truncated by the recognizer 1023 can be recognized based on the RAW data. Therefore, even if the target cannot be recognized by the Late Fusion processing unit 1041, the target can be recognized by using the Early Fusion processing unit 1042 (see FIG. 15), and the Early Fusion using the RAW data with a large amount of information is used. It can be said that the processing improves the target recognition rate.
  • the target cannot be recognized from the RAW data of the camera 1070 in the pattern 3 yet.
  • the early fusion processing unit 1042 outputs that the target cannot be recognized. That is, in pattern 3, the early fusion processing unit 1042 outputs a recognition result similar to that of the late fusion processing unit 1041.
  • the target cannot be recognized from the RAW data of the camera 1070, but the millimeter wave radar If the target can be recognized based on the 1080 RAW data, the early fusion processing unit 1042 outputs a result indicating that the target may be present. For example, there is a case where a target whose reflection intensity is weak and which has been truncated by the recognizer 1023 can be recognized based on the RAW data. Therefore, even if the target cannot be recognized by the Late Fusion processing unit 1041, the target can be recognized by using the Early Fusion processing unit 1042 (see FIG.
  • the processing result of the Late Fusion processing unit 1041 using the final recognition result that is highly reliable but the information amount is narrowed By supplementing based on the result of processing by the early fusion processing unit 1042 using RAW data that includes many but includes noise, the target recognition rate can be improved.
  • the recognition result of the Late fusion processing unit 1041 does not change even if the Early fusion processing unit 1042 is used, as in the case of the pattern 1 or the pattern 3 in FIG. 14, and the Early fusion processing unit 1042 is always used.
  • the recognition process of the early fusion processing unit 1042 may be activated only when necessary.
  • FIG. 17 schematically illustrates a configuration example of an information processing apparatus 1000 configured to adaptively execute an early fusion process.
  • the same components as those shown in FIG. 1 are denoted by the same reference numerals.
  • the determination processing unit 1701 in the fusion processing unit 1042 determines whether or not the RAW data of the millimeter wave radar 1080 is necessary, and if necessary, sends the RAW data of the millimeter wave radar 1080 to the radar recognition processing unit 1020. Request output. For example, the determination processing unit 1701 compares the recognition results of the recognizer 1013 of the camera recognition processing unit 1010 and the recognition result of the recognizer 1023 of the radar recognition processing unit 1020, and when the recognition result corresponds to the pattern 2 or the pattern 4 in FIG. , RAW data is also required, and requests the radar recognition processing unit 1020 to output the RAW data of the millimeter wave radar 1080.
  • the determination processing unit 1701 receives environmental information such as weather and other external information and inputs the information to the camera recognition processing unit 1010 or the LiDAR recognition processing unit 1030 such as rainfall, snowfall, fog, nighttime, or a dark place such as in a tunnel.
  • environmental information such as weather and other external information
  • the radar recognition processing unit 1020 is requested to output the RAW data of the millimeter wave radar 1080. It may be.
  • the radar recognition processing unit 1020 outputs RAW data of the millimeter wave radar 1080 in response to a request from the determination processing unit 1701. Then, the early fusion processing unit 1042 executes the early fusion process using the RAW data, or the hybrid fusion processing unit 1043 executes the hybrid fusion process using the RAW data. Then, the fusion processing unit 1040 outputs the final recognition result by referring to the recognition result of the Early fusion processing unit 1042 or the hybrid fusion processing unit 1043 in addition to the recognition result of the Late fusion processing unit 1041.
  • FIG. 18 shows, in the form of a flowchart, a processing procedure for performing target recognition in the information processing apparatus 1000 shown in FIG.
  • the information processing apparatus 1000 is limited to the case where fusion processing of two sensors, the camera 1070 and the millimeter wave radar 1080, is performed.
  • the camera recognition processing unit 1010 performs image processing on the RAW data (captured image) of the camera 1070 (step S1801), and outputs a recognition result by the recognizer 1013 (step S1801). S1802).
  • the radar recognition processing unit 1020 performs signal processing on the RAW data of the millimeter wave radar 1080 (step S1803). Then, the radar recognition processing unit 1020 checks whether a RAW data output request has been received (step S1804).
  • the determination processing unit 1701 in the fusion processing unit 1042 compares the recognition results of the recognizer 1013 of the camera recognition processing unit 1010 and the recognition result of the recognizer 1023 of the radar recognition processing unit 1020, and determines whether or not the RAW data of the millimeter wave radar 1080 is necessary. And if necessary, requests the radar recognition processing unit 1020 to output the RAW data of the millimeter wave radar 1080 (described above). Specifically, under a situation corresponding to pattern 2 in FIG. 13, the determination processing unit 1701 determines that RAW data of the millimeter wave radar 1080 is necessary.
  • the radar recognition processing unit 1020 outputs a recognition result to the recognizer 1023 (step S1805). Further, when receiving the RAW data output request (Yes in step S1804), the radar recognition processing unit 1020 outputs the RAW data of the millimeter wave radar 1080 (step S1806), and sends the RAW data to the subsequent fusion processing unit 1040. Then, an early fusion process or a hybrid fusion process using the RAW data of the millimeter wave radar 1080 is requested (step S1807).
  • the fusion processing unit 1040 performs fusion processing of the processing contents of the camera recognition processing unit 1010 and the radar recognition processing unit 1020 (step S1808).
  • the fusion processing unit 1040 performs the early fusion processing by the early fusion processing unit 1041 or the hybrid fusion processing by the hybrid fusion processing unit 1043 ( Step S1810).
  • the fusion processing unit 1040 performs the late fusion processing by the late fusion processing unit 1041 (step S1811).
  • FIG. 19 schematically illustrates another configuration example of the information processing apparatus 1000 configured to adaptively execute the early fusion processing.
  • the same reference numerals are given to the same components as the functional modules shown in FIG.
  • the camera recognition processing unit 1010 determines that the RAW data of the millimeter wave radar 1080 is necessary, and performs the radar recognition processing. It requests the unit 1020 to output the RAW data of the millimeter wave radar 1080.
  • the radar recognition processing unit 1020 outputs RAW data of the millimeter wave radar 1080 in response to a request from the camera recognition processing unit 1010.
  • the early fusion processing unit 1042 executes the early fusion process using the RAW data
  • the hybrid fusion processing unit 1043 executes the hybrid fusion process using the RAW data.
  • the fusion processing unit 1040 outputs the final recognition result by referring to the recognition result of the Early fusion processing unit 1042 or the hybrid fusion processing unit 1043 in addition to the recognition result of the Late fusion processing unit 1041.
  • FIG. 20 shows, in the form of a flowchart, a processing procedure for performing target recognition in the information processing apparatus 1000 shown in FIG.
  • the information processing apparatus 1000 is limited to the case where fusion processing of two sensors, the camera 1070 and the millimeter wave radar 1080, is performed.
  • the camera recognition processing unit 1010 performs image processing on the RAW data (captured image) of the camera 1070 (step S2001). Then, the camera recognition processing unit 1010 checks whether the result of the image processing is good (step S2002).
  • step S2002 the camera recognition processing unit 1010 outputs the recognition result by the recognizer 1013 (step S2003). If the result of the image processing is not good (No in step S2002), the camera recognition processing unit 1010 requests the radar recognition processing unit 1020 to output the RAW data of the millimeter wave radar 1080 (step S2004). Specifically, under the situation corresponding to pattern 4 in FIG. 13, the result of the image processing is not good.
  • the radar recognition processing unit 1020 performs signal processing on the RAW data of the millimeter wave radar 1080 (step S2005). Then, the radar recognition processing unit 1020 checks whether a RAW data output request has been received (step S2006).
  • the radar recognition processing unit 1020 outputs a recognition result to the recognizer 1023 (step S2007). Further, when receiving the RAW data output request (Yes in step S2006), the radar recognition processing unit 1020 outputs the RAW data of the millimeter wave radar 1080 (step S2008) and sends the RAW data to the subsequent fusion processing unit 1040. Request for early fusion processing or hybrid fusion processing of the RAW data of the millimeter wave radar 1080 (step S2009).
  • the fusion processing unit 1040 performs fusion processing on the processing contents of the camera recognition processing unit 1010 and the radar recognition processing unit 1020 (step S3010).
  • the fusion processing unit 1040 performs the early fusion processing by the early fusion processing unit 1041 or the hybrid fusion processing by the hybrid fusion processing unit 1043 ( Step S3012).
  • the fusion processing unit 1040 performs the late fusion processing by the late fusion processing unit 1041 (step S3013).
  • the embodiment relating to fusion of the on-vehicle sensor has been mainly described, but the application range of the technology disclosed in the present specification is not limited to vehicles.
  • various types of mobile devices such as unmanned aerial vehicles such as drones, robots, ships, and aircraft that autonomously move in a predetermined working space (home, office, factory, etc.), are also described herein.
  • the disclosed technology can be applied.
  • the technology disclosed in this specification can be similarly applied to information terminals installed in mobile devices and various devices that are not mobile.
  • the technology disclosed in the present specification may have the following configurations.
  • a recognition unit that recognizes and processes an object based on a detection signal of a sensor;
  • a processing unit that performs a fusion process on the first data and other data before recognition by the recognition unit;
  • An information processing apparatus comprising: According to this information processing apparatus, by using the first data including the information before being discarded by the recognition unit based on the determination threshold value in the fusion processing, it is possible to recognize more objects.
  • the sensor is a millimeter wave radar; The information processing device according to (1).
  • the recognizing unit performs each processing of distance detection, speed detection, angle detection, and tracking of the object based on a detection signal of the sensor before recognition,
  • the first data includes at least one of the detection signal, a distance detection result of the object, a speed detection result, an angle detection result, and a tracking result of the object.
  • this information processing device information such as the RAW data of a millimeter-wave radar and the distance, speed, angle, and tracking result of an object obtained at each stage of signal processing of the RAW data are compared with the recognition result of the recognizer and the fusion processing.
  • This has the effect that more objects can be recognized.
  • a second recognition unit that recognizes and processes an object based on a detection signal of the second sensor;
  • the processing unit is configured to perform a fusion process of the third data and the first data before the recognition by the second recognition unit, the fourth data and the first data after the recognition by the second recognition unit; At least one of fusion processing of the first data and the second data recognized by the recognition unit, or fusion processing of the fourth data and the second data.
  • the information processing apparatus perform the processing, The information processing apparatus according to any one of (1) to (3). According to this information processing device, fusion processing of data before recognition by the recognizer of the first sensor and the second sensor, and fusion of data after recognition by the recognizer of the first sensor and the second sensor. There is an effect that it is possible to recognize more objects by performing the processing.
  • the second sensor includes at least one of a camera or LiDAR, The information processing device according to (4). According to this information processing apparatus, it is possible to recognize more objects by performing fusion processing on the recognition result of the millimeter wave radar and the camera or LiDAR, and performing fusion processing on the RAW data of the millimeter wave radar and the camera or LiDAR. There is an effect that it becomes possible.
  • the processing unit determines a use method of the first data in the fusion processing based on a recognition result of the recognition unit and a recognition result of the second recognition unit.
  • the information processing device according to any one of (4) and (5). According to this information processing apparatus, based on the recognition result of the recognition unit and the recognition result of the second recognition unit, the first data is adaptively used for fusion processing to recognize more objects. There is an effect that it becomes possible to do.
  • the processing unit uses the first data in the fusion processing when the likelihood of recognition by the second recognition unit is high but the likelihood of recognition by the recognition unit is low.
  • the information processing device according to (6).
  • the processing unit determines a use method of the first data in the fusion processing based on a recognition result by the second recognition unit.
  • the information processing device according to any one of (4) to (7).
  • the processing unit uses the first data in the fusion processing when the likelihood of recognition by the second recognition unit is low; The information processing device according to (8).
  • this information processing apparatus by using the first data adaptively in the fusion process, it is possible to recognize more objects while avoiding unnecessary fusion process. is there. (10) a recognition step of recognizing and processing an object based on a detection signal of the sensor; A processing step of performing a fusion process on the first data and other data before the recognition by the recognition step; An information processing method comprising: According to this information processing method, by performing the fusion processing on the second data after the recognition in the recognition step with the first data including the information before being discarded by the determination threshold in the recognition step, more objects can be obtained. This has the effect of enabling recognition.
  • the processing unit performs a fusion process of the third data before the recognition by the second recognition unit and the first data, and the fourth data after the recognition by the second recognition unit and the fourth data. At least one of a fusion process with the first data, a fusion process with the first data and the second data recognized by the recognition unit, or a fusion process with the fourth data and the second data. Perform one fusion process, The computer program according to the above (12).
  • the processing unit performs a fusion process of the third data and the first data before the recognition by the second recognition unit, and the fourth data and the fourth data after the recognition by the second recognition unit. At least one of a fusion process with the first data, a fusion process with the first data and the second data recognized by the recognition unit, or a fusion process with the fourth data and the second data. Perform one fusion process, The mobile device according to the above (14).
  • REFERENCE SIGNS LIST 100 vehicle control system 101 input unit 102 data acquisition unit 103 communication unit 104 in-vehicle device 105 output control unit 106 output unit 107 drive system control unit 108 drive system system 109 body System control unit, 110: Body system, 111 storage unit 112: Automatic operation control unit, 121: Communication network 131: Detection unit, 132: Self-position estimation unit, 133: Situation analysis unit 134: Planning unit, 135: Operation control Unit 141: Out-of-vehicle information detection unit, 142: In-vehicle information detection unit 143: Vehicle state detection unit 151: Map analysis unit, 152: Traffic rule recognition unit 153: Situation recognition unit, 154: Situation prediction unit 161: Route planning unit, 162 ...
  • action planning unit 163 ... operation planning unit 171 ... emergency avoidance unit, 172 ... acceleration / deceleration control unit, 173 ... direction control unit 100 ... information processing device 1010 ... camera recognition processing unit, 1011 ... RAW data processing unit 1012 ... signal processing unit, 1013 ... recognizer 1020 ... radar recognition processing unit, 1021 ... RAW data processing unit 1022 ... signal processing unit, 1023 ... recognizer 1030: LiDAR recognition processing unit, 1031: RAW data processing unit 1032: signal processing unit, 1033: recognizer 1040: fusion processing unit, 1041: Late fusion processing unit 1042 ... Early fusion processing unit 1043 ... hybrid fusion processing unit, 1050 ... ECT 1060: ACT (actuator), 1070: Camera 1080: Millimeter wave radar, 1090: LiDAR Reference numeral 601: distance detector, 602: speed detector, 603: angle detector 604: tracking unit, 605: MISC processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

外界認識用のセンサの検出情報を処理する情報処理装置を提供する。　情報処理装置は、センサの検出信号に基づいて物体を認識処理する認識部と、前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部を具備する。情報処理装置は、第２のセンサの検出信号に基づいて物体を認識処理する第２の認識部をさらに備え、前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理などを実施する。

Description

情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
　本明細書で開示する技術は、主に外界を認識するための複数のセンサの検出情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置に関する。
　自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天ときや夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。
　各センサには得手不得手があり、認識対象物の種類や大きさ、対象物までの距離、あるいは、検出時の天候などに応じて、センサの認識性能が劣化することがある。例えば、車載用のレーダーは距離精度、相対速度精度は高いが、角度精度が低く、物体の種別を識別する識別機能は無いか、若しくは精度が低い。一方、カメラは距離精度、相対速度精度が比較的低いが、角度精度、識別精度はよい。
　そこで、個々のセンサを単独での使用に限らず、２以上のセンサを組み合わせて、各センサの特徴を生かすことによって、より高精度な外界認識に寄与している。２以上のセンサを組み合わせることを、以下では「センサフュージョン」又は「フュージョン」と呼ぶことにする。
　例えば、温度データ、雨量データ、視程データ、照度データなどの環境指標に基づいて、検出特性の異なる複数のセンサの組み合わせを切り替えて使用する道路交通監視システムについて提案がなされている（特許文献１を参照のこと）。
　また、外部環境に対応するフュージョンの仕様を複数準備しておき、選択されたフュージョンの仕様において、外部環境に起因して認識精度が低下するセンサの検出領域をドライバーに通知して注意を促す車両走行制御システムについて提案がなされている（特許文献２を参照のこと）。
特開２００３－１６２７９５号公報 特開２０１７－１３２２８５号公報
　本明細書で開示する技術の目的は、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置を提供することにある。
　本明細書で開示する技術の第１の側面は、
　センサの検出信号に基づいて物体を認識処理する認識部と、
　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
を具備する情報処理装置である。
　前記センサは、例えばミリ波レーダーである。そして、前記認識部は、認識前に前記センサの検出信号に基づいて物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、前記第１のデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも１つを含む。そして、前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
　また、第１の側面に係る情報処理装置は、カメラ又はＬｉＤＡＲのうち少なくとも１つを含む、第２のセンサの検出信号に基づいて物体を認識処理する第２の認識部をさらに備えている。そして、前記処理部は、前記第２の認識部による認識結果は良好であるが、前記認識部による認識結果が良好でない場合に、前記第１のデータのフュージョン処理を実施する。あるいは、前記処理部は、前記第２の認識部による認識結果が良好でない場合に、前記第１のデータのフュージョン処理を実施する。
　また、本明細書で開示する技術の第２の側面は、
　センサの検出信号に基づいて物体を認識処理する認識ステップと、
　前記認識ステップによる認識前の第１のデータと他のデータをフュージョン処理する処理ステップと、
を有する情報処理方法である。前記処理ステップでは、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
　また、本明細書で開示する技術の第３の側面は、
センサの検出信号に基づいて物体を認識処理する認識部、
　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
　第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
　また、本明細書で開示する技術の第４の側面は、
　移動手段と、
　センサと、
　前記センサの検出信号に基づいて物体を認識処理する認識部と、
　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
　前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備する移動体装置である。前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施するようにしてもよい。
　本明細書で開示する技術によれば、主に外界を認識するための複数のセンサをフュージョン処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置を提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。 図２は、情報処理装置１０００の機能的構成を示した図である。 図３は、カメラによる撮影画像を例示した図である。 図４は、ミリ波レーダーで検出するシーンを例示した図である。 図５は、図４に示したシーンをミリ波レーダーで検出した結果を示した図である。 図６は、レーダー認識処理部１０２０の内部構成例を示した図である。 図７は、認識対象とするシーンの一例を示した図である。 図８は、図７に示したシーンの認識処理前のデータを示した図である。 図９は、図７に示したシーンの認識処理後のデータを示した図である。 図１０は、認識対象とするシーンの他の例を示した図である。 図１１は、図１０に示したシーンの認識処理前のデータを示した図である。 図１２は、図１０に示したシーンの認識処理後のデータを示した図である。 図１３は、情報処理装置１０００によるフュージョン処理結果（ＬＡＴＥフュージョン処理のみ）の例を示した図である。 図１４は、情報処理装置１０００によるフュージョン処理結果（Ｅａｒｌｙフュージョン処理を含む）の例を示した図である。 図１５は、Ｌａｔｅフュージョン処理とＥａｒｌｙフュージョン処理で結果が相違する例を示した図である。 図１６は、Ｌａｔｅフュージョン処理とＥａｒｌｙフュージョン処理で結果が相違する例を示した図である。 図１７は、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の構成例を示した図である。 図１８は、図１７に示した情報処理装置１０００においてターゲット認識を行うための処理手順を示したフローチャートである。 図１９は、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の他の構成例を示した図である。 図２０は、図１９に示した情報処理装置１０００においてターゲット認識を行うための処理手順を示したフローチャートである。 図２１は、ミリ波レーダー１０８０のＲＡＷデータに基づいて、認識器１０２３では認識できない物体を認識する処理を説明するための図である。 図２２は、ミリ波レーダー１０８０のＲＡＷデータに基づいて、認識器１０２３では認識できない物体を認識する処理を説明するための図である。 図２３は、ミリ波レーダー１０８０のＲＡＷデータに基づいて、認識器１０２３では認識できない物体を認識する処理を説明するための図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、ミリ波レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　自動運転やＡＤＡＳの実現に向けて、より高精度な外界認識を行うために、種類の異なる多くの外界認識センサが車両に搭載され始めている。ところが、各センサには得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。
　各センサの得手不得手は、各々の検出原理にも依拠する。レーダー（ミリ波レーダー）、カメラ、及びレーザーレーダー（ＬｉＤＡＲ）の得手不得手を以下の表１にまとめておく。同表中で、◎は大得意（高い精度を持つ）、○は得意（良好な精度を持つ）、△は苦手（精度が十分でない）を意味する。但し、レーダーは電波を反射させて対象物の距離などを測定し、カメラは被写体からの可視光の反射光を捕捉し、ＬｉＤＡＲは光を反射させて対象物の距離などを測定することを、各々の検出原理とする。
Figure JPOXMLDOC01-appb-T000001
　これまでのセンサフュージョン技術の多くは、外部環境の変化などに起因して認識精度が低下したセンサを他のセンサで補う、若しくは使用するセンサの組み合わせを切り替えて、外部環境の変化により認識精度が劣化したセンサによる検出データを全く使用しないものである。
　しかしながら、認識精度が低いセンサであっても、その検出データから全く何も認識できないというものでもない。例えば、カメラは暗所を苦手とするが、近場や、街灯若しくは街の明かりが照らされている場所にある物であれば、カメラで撮影した画像からある程度は認識することが可能である。
　そこで、本明細書では、レーダーやカメラ、ＬｉＤＡＲといった車両に搭載された複数のセンサのうち、認識精度が低いセンサからの検出信号も有効に活用して、さらに認識精度を向上させる技術について、以下で提案する。
　図２には、本明細書で開示する技術を適用した情報処理装置１０００の機能的構成を模式的に示している。
　図示の情報処理装置１０００は、カメラ１０７０の検出信号を処理するカメラ認識処理部１０１０と、ミリ波レーダー１０８０の検出信号を処理するレーダー認識処理部１０２０と、ＬｉＤＡＲ１０９０の検出信号を処理するＬｉＤＡＲ認識処理部１０３０と、上記の各認識処理部１０１０～１０３０による処理結果をフュージョン処理するフュージョン処理部１０４０を備えている。
　カメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０といった外界認識用のセンサは、検出範囲がほぼ同じとなるように各々の設置位置のキャリブレーションが施された上で、同一の車両に搭載されているものとする。また、同じ車両に上記のセンサ１０７０～１０９０以外の外界認識用のセンサがさらに搭載されていることも想定される。また、カメラ１０７０は、複数台のカメラで構成され、そのうち少なくとも一部はミリ波レーダー１０８０及びＬｉＤＡＲ１０９０とは検出範囲が異なるように設置されることも想定される。複数台のカメラの出力をフュージョン処理部１０４０でフュージョン処理するようにしてもよい。
　カメラ認識処理部１０１０は、カメラ１０７０から入力されたＲＡＷデータを処理するＲＡＷデータ処理部１０１１と、そのＲＡＷデータを信号処理する信号処理部１０１２と、信号処理後のカメラ画像から物体を認識する認識器１０１３を備えている。ここで言うＲＡＷデータは、イメージセンサが捕捉した光の情報をそのまま記録したデータである。ＲＡＷデータ処理部１０１１はＲＡＷデータに対するフロントエンド処理（増幅、ノイズ除去、ＡＤ変換など）を実施し、信号処理部１０１２はバックエンド処理を実施する。認識器１０１３は、所定の画像認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。認識器１０１３からは、認識できた物体（ターゲット）の形状の分類の情報（ターゲットのリスト）が出力される。認識器１０１３が認識する物体形状の分類として、人、クルマ、標識、空、建物、道路、歩道などが挙げられる。認識器１０１３は、所定の画像認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。
　カメラ認識処理部１０１０から後段のフュージョン処理部１０４０へ、認識器１０１３による認識結果として物体形状の分類（人、クルマ、標識、空、建物、道路、歩道など）が後段のフュージョン処理部１０４０に出力される。但し、認識器１０１３は、尤度の低い認識結果を出力しない。このため、悪天候時や夜間など認識器１０１３の認識性能が低下する状況下では、認識器１０１３から出力される情報量が少なくなることもある。また、本実施形態では、認識器１０１３による最終的な認識結果を得る前の早期データもフュージョン処理部１０４０に出力される。ここで言う早期データは、カメラ１０７０から入力される撮影画像（ＲＡＷデータ）、信号処理部１０１２から出力データ並びに信号処理途中のデータ、及び認識器１０１３による認識途中のデータなどであり、これら早期データの全部又は一部がフュージョン処理部１０４０に出力される。認識器１０１３による認識途中のデータには、認識の尤度が低いために認識器１０１３からは最終的に出力されない物体に関する情報（例えば、車体や塀などの物体の陰に隠れて、部分的又は断片的にのみ認識できた歩行者の情報など）が含まれることが想定される。以下では、認識器１０１３による認識処理以前の早期データを、便宜上、カメラ１０７０の「ＲＡＷデータ」と総称することにする。
　また、レーダー認識処理部１０２０は、ミリ波レーダー１０８０から入力されたＲＡＷデータを処理するＲＡＷデータ処理部１０２１と、そのＲＡＷデータを信号処理する信号処理部１０２２と、信号処理後のレーダー検出結果から物体を認識する認識器１０２３を備えている。認識器１０２３は、所定の認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。認識器１０２３は、認識できたターゲット（人、クルマ、標識、建物など）をトラッキングして、各ターゲットの距離、仰角、方位角、速度、反射強度などの認識結果を出力する。
　レーダー認識処理部１０２０から後段のフュージョン処理部１０４０へ、認識器１０２３による最終的な認識結果が出力される。但し、認識器１０１３は、尤度の低い認識結果を出力しない。このため、非金属などレーダーの反射強度の弱い物体に関しては、認識器１０２３から出力される情報が少なくなることが想定される。また、本実施形態では、認識器１０２３による最終的な認識結果を得る前の早期データもフュージョン処理部１０４０に出力される。ここで言う早期データは、ミリ波レーダー１０８０から入力される撮影画像（ＲＡＷデータ）、信号処理部１０２２から出力データ並びに信号処理途中のデータ、及び認識器１０２３による認識途中のデータなどであり、これら早期データの全部又は一部がフュージョン処理部１０４０に出力される。認識器１０２３による認識途中のデータには、認識の尤度が低いために認識器１０２３からは最終的に出力されない情報（例えば、塀や看板など近くの物体からの反射電波の影響により、反射強度が弱められたバイクなど）が含まれることが想定される。以下では、認識器１０２３による認識処理以前の早期データを、便宜上、ミリ波レーダー１０８０の「ＲＡＷデータ」と総称することにする。
　また、ＬｉＤＡＲ認識処理部１０３０は、ＬｉＤＡＲ１０９０から入力されたＲＡＷデータを処理するＲＡＷデータ処理部１０３１と、そのＲＡＷデータを信号処理する信号処理部１０３２と、信号処理後のＬｉＤＡＲ検出結果から物体を認識する認識器１０３３を備えている。認識器１０３３は、所定の認識アルゴリズムを実装したハードウェア、又は認識アルゴリズムを実施するソフトウェアのうちいずれの形態であってもよい。認識器１０３３は、認識できたターゲット（人、クルマ、標識、建物など）をトラッキングして、各ターゲットの距離、仰角、方位角、高さ、反射率などの認識結果を出力する。
　ＬｉＤＡＲ認識処理部１０３０から後段のフュージョン処理部１０４０へ、認識器１０３３による最終的な認識結果が出力される。但し、認識器１０１３は、尤度の低い認識結果を出力しない。また、本実施形態では、認識器１０３３による最終的な認識結果を得る前の早期データもフュージョン処理部１０４０に出力される。ここで言う早期データは、ＬｉＤＡＲ１０９０から入力される撮影画像（ＲＡＷデータ）、信号処理部１０３２から出力データ並びに信号処理途中のデータ、及び認識器１０３３による認識途中のデータなどであり、これら早期データの全部又は一部がフュージョン処理部１０４０に出力される。認識器１０３３による認識途中のデータには、認識の尤度が低いために認識器１０３３からは最終的に出力されない情報（部分的又は断片的にのみ認識できた歩行者の情報）などが含まれることが想定される。以下では、認識器１０３３による認識処理以前の早期データを、便宜上、ＬｉＤＡＲ１０９０の「ＲＡＷデータ」と総称することにする。
　図２では、便宜上、各認識処理部１０１０～１０３０の構成を模式的に描いたが、センサの種別やセンサの機種・設計仕様などに依存して、内部の詳細な構成が定まるという点を理解されたい。例えば、カメラ認識処理部１０１０の一部又は全部のコンポーネントがカメラ１０７０のユニット内に搭載される、レーダー認識処理部１０２０の一部又は全部のコンポーネントがミリ波レーダー１０８０のユニット内に搭載される、あるいはＬｉＤＡＲ認識処理部１０３０の一部又は全部のコンポーネントがＬｉＤＡＲ１０９０のユニット内に搭載されるという構成も想定される。
　また、同じ車両にカメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０以外の外界認識用のセンサ（図示しない）が搭載されている場合には、情報処理装置１０００は、そのセンサの検出信号に基づく認識処理用に、ＲＡＷデータ処理部、信号処理部及び認識器を含んだ認識処理部をさらに備えていてもよい。これらの場合も、各認識処理部から後段のフュージョン処理部１０４０へ、最終的な認識結果が出力されるとともに、センサのＲＡＷデータが出力される。
　また、自動運転やＡＤＡＳの実現に向けて複数の外界認識センサが車両に搭載される傾向にあるが（前述）、もちろん、１台の車両にカメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０のうちいずれか１つの外界認識用のセンサしか搭載されないことも想定される。例えば、ＬｉＤＡＲ１０９０のみで十分な外界認識性能が得られる場合にはミリ波レーダー１０８０は使用されないケースや、カメラ１０７０の撮影映像はビューイングにのみ使用され外界認識には使用されないといったケースも想定される。このような場合、情報処理装置１０００は、上記の認識処理部１０１０～１０３０のうち、使用するセンサに対応する機能モジュールしか装備しない、あるいは各センサに対応するすべての機能モジュールを装備するが該当する（若しくは、センサから入力信号がある）機能モジュールのみが動作し、後段のフュージョン処理部１０４０へ出力するものと理解されたい。
　フュージョン処理部１０４０は、同一の車両に搭載されたカメラ１０７０、ミリ波レーダー１０８０、及びＬｉＤＡＲ１０９０の各センサに基づく認識結果をフュージョン処理して、外界認識する。同じ車両がさらに他の外界認識用のセンサ（図示しない）を搭載している場合には、フュージョン処理部１０４０はそのセンサによる検出信号もさらにフュージョン処理する。本実施形態では、フュージョン処理部１０４０は、各センサの認識結果だけでなく、認識前のＲＡＷデータもフュージョン処理して、外界認識を実施する。そして、フュージョン処理部１０４０は、フュージョン処理して得られた外界認識結果を、車両制御システムに出力する。
　図２に示す例では、車両制御システムは、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１０５０と、車両を動かすアクチュエータ（以下、「ＡＣＴ」とする）１０６０を含んでいる。ＥＣＵ１０５０は、フュージョン処理部１０４０における外界認識結果に基づいて、例えば自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又は運転支援のための判断を実施する。そして、ＡＣＴ１０６０は、ＥＣＵ１０５０からの指示に従って、アクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動制御すなわち車両の操作を実施する。例えば、フュージョン処理部１０４０によって道路のレーンが認識された場合には、車両制御システムは、当該車両がレーンを逸脱しないように当該車両の走行を制御する。また、フュージョン処理部１０４０によって周辺車両や歩行者、道路脇の塀や看板といった障害物が認識された場合には、車両制御システムは、当該車両が障害物との衝突を回避するように当該車両の走行を制御する。自動運転は一般に「認知→判断→操作」の３ステップからなり、認知ステップでは何らかの物体があることを認知し、判断ステップでは認知されたものを判断して車の経路計画を判断する。図２に示すような構成例では、情報処理装置１０００内では主に認知ステップの処理が実施され、車両制御システム内のＥＣＵ１０５０では主に判断ステップの処理が実施され、ＡＣＴ１０６０では主に操作ステップの処理が実施される。但し、認知ステップと判断ステップの区分けは厳格ではなく、本実施例で記載の認知ステップの一部が判断ステップに位置付けられることもある。また、将来的には認知ステップを処理する機能の一部又は全部が、カメラ１０７０、ミリ波レーダー１０８０、ＬｉＤＡＲ１０９０などの各センサーユニット内に搭載される設計も見込まれる。
　本実施形態では、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１とＥａｒｌｙフュージョン処理部１０４２とハイブリッドフュージョン処理部１０４３を備えている。Ｌａｔｅフュージョン処理部１０４１は、各認識処理部１０１０～１０３０による最終出力（Ｌａｔｅデータ）、すなわち各認識器１０１３、１０２３、１０３３による認識結果をフュージョン処理して外界認識を実施する。また、Ｅａｒｌｙフュージョン処理部１０４２は、各認識処理部１０１０～１０３０による認識距離以前の早期（Ｅａｒｌｙ）のデータ、すなわち、カメラ１０７０、ミリ波レーダー１０８０、並びにＬｉＤＡＲ１０９０の各センサのＲＡＷデータ（前述）をフュージョン処理して外界認識を実施する。また、ハイブリッドフュージョン処理部１０４３は、各認識処理部１０１０～１０３０による最終出力（Ｌａｔｅデータ）のうちいずれか１つ又は２以上と、各認識処理部１０１０～１０３０のうちいずれか１つ又は２以上のＲＡＷデータとをフュージョン処理して外界認識を実施する。ハイブリッドフュージョン処理部１０４３によれば、あるセンサの認識器による最終的な認識結果の尤度が低くても、他のセンサ又は同じセンサのＲＡＷデータとのフュージョン処理によって認識性能を高める効果がある。そして、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１とＥａｒｌｙフュージョン処理部１０４２とハイブリッドフュージョン処理部１０４３の認識結果をさらにフュージョン処理し、又はこれらフュージョン処理部１０４１～１０４３の認識結果を択一的に選択して、その処理結果を後段のＥＣＵ１０５０に出力する。
　Ｌａｔｅフュージョン処理部１０４１は、各認識処理部１０１０～１０３０から認識器１０１３、１０２３、１０３３による最終的な認識結果を得るので、認識結果の信頼度が高い情報を処理する。しかしながら、認識器１０１３、１０２３、１０３３からは尤度の高い認識結果のみが出力され、信頼度の高い情報しか得られないので、使用できる情報量が少ないという問題がある。
　一方、Ｅａｒｌｙフュージョン処理部１０４２は、各認識処理部１０１０～１０３０から認識器１０１３、１０２３、１０３３を通す前の、ＲＡＷデータを得るので、入力される情報量が非常に多い。しかしながら、ＲＡＷデータ若しくはＲＡＷデータに近いデータはノイズを含む。例えば、カメラ１０７０が夜間の暗い場所を撮影したときには、物体以外のさまざまな情報が含まれてしまうため、誤検出の可能性が高まり、情報の信頼度が低い。また、情報量が多いことから、処理量も多くなってしまう。
　例えば、カメラ１０７０が夜間の暗い場所を撮影したときに、その撮影画像（すなわち、ＲＡＷデータ）には、図３に示すように複数人の像が含まれていたとする。街灯などに照らされて明るく写った歩行者３０１は高い認識率で認識できるので、認識器１０１３はその歩行者３０１をターゲットとして認識した結果を出力するが、街灯などが当たらず暗く写された歩行者３０２、３０２は認識率が低く、認識器１０１３はこのような歩行者３０２、３０２をターゲットとして認識しない結果を出力してしまう。すなわち、元のカメラ画像（すなわち、ＲＡＷデータ）には複数の歩行者３０１～３０３が写っているが、認識器１０１３を通すことによって信頼度の高い情報のみが出力されることになり、情報量が絞られてしまう。したがって、Ｌａｔｅフュージョン処理部１０４１には、信頼性の高い歩行者３０１の情報のみが入力され、ノイズなど不要な情報は切り捨てられるが、信頼性の低い歩行者３０２、３０３の情報も切り捨てられてしまう。一方、Ｅａｒｌｙフュージョン処理部１０４２には、すべての歩行者３０１～３０３の情報が入力されるが、ノイズなどさまざまな情報も併せて入力される。
　また、ミリ波レーダー１０８０の検出結果のＲＡＷデータは、反射電波の受信部の前方の所定の検出範囲における、各反射物が存在する位置（方向及び距離）における反射電波の強度分布からなる。ＲＡＷデータは、さまざまな物体からの反射電波の強度データを含む。ところが、認識器１０３３を通すと、電波の反射強度が低い強度データは切り捨てられ、認識できたターゲットの方向、距離（奥行と幅を含む）、速度などの数値情報のみが抽出され、情報量が絞られてしまう。
　例えば、図４に示すように、２台の車両４０１及び４０２の間に歩行者４０３が歩いているというシーンでは、車両４０１及び４０２とともに歩行者４０３も検出できることが望ましい。ところが、ミリ波レーダー１０８０を用いた場合、強い反射物の間に挟まれた物体の反射強度が弱まる傾向にある。したがって、図４に示すようなシーンをミリ波レーダー１０８０で計測すると、図５に示すように、ＲＡＷデータ５００中には、車両４０１及び４０２の各々からの強い反射波５０１及び５０２と、歩行者４０３からの弱い反射波５０３が含まれている。このようなミリ波レーダー１０８０の検出結果を認識器１０３３に通すと、情報として信頼性の低い反射波５０３は切り捨てられ、信頼性の高い反射波５０１及び５０２のみをターゲットとして認識するので、情報量が絞られてしまう。したがって、Ｌａｔｅフュージョン処理部１０４１には、信頼性の高い車両４０１及び４０２の情報のみが入力され、ノイズなど不要な情報は切り捨てられるが、信頼性の低い歩行者４０３の情報も切り捨てられてしまう。一方、Ｅａｒｌｙフュージョン処理部１０４２には、車両４０１及び４０２とともに、歩行者４０３の情報が出力されるが、ノイズなどさまざまな情報も併せて入力される。
　要するに、Ｌａｔｅフュージョン処理部１０４１により各認識器１０１３、１０２３、１０３３の認識結果をフュージョン処理した結果は、信頼性の高い情報に絞られるため、信頼性は低いが重要性が高い情報が切り捨てられてしまうおそれがある。他方、Ｅａｒｌｙフュージョン処理部１０４２により各認識処理部１０１０～１０３０のＲＡＷデータをフュージョン処理した結果は、情報量は多いが、ノイズなど信頼性が低い情報を取り込んでしまうおそれがある。
　そこで、本実施形態に係る情報処理装置１０００は、信頼性が高いが情報量が絞られてしまうＬａｔｅフュージョン処理部１０４１の処理結果を、情報量が多いがノイズも含むＥａｒｌｙフュージョン処理部１０４２の処理結果で補うことによって、十分な情報量で且つ信頼性の高い外界認識結果が得られるように構成されている。また、ハイブリッドフュージョン処理部１０４３は、各認識処理部１０１０～１０３０による最終出力（Ｌａｔｅデータ）のうちいずれか１つ又は２以上と、各認識処理部１０１０～１０３０のうちいずれか１つ又は２以上のＲＡＷデータとをフュージョン処理して、あるセンサの認識器による最終的な認識結果の尤度が低くても、他のセンサ又は同じセンサのＲＡＷデータとのフュージョン処理によって認識性能を高めることができる。すなわち、情報処理装置１０００は、カメラ１０７０、ミリ波レーダー１０８０、ＬｉＤＡＲ１０９０などの外界認識用の各センサのＲＡＷデータをＥａｒｌｙフュージョン処理部１０４２によりフュージョン処理した結果に基づいて、認識器１０１３、１０２３、１０３３では切り捨てられてしまうような重要な情報を復元できるように構成されている。
　なお、本出願時の技術水準では、ＬｉＤＡＲ１０９０による外界認識の精度は、カメラやミリ波レーダーと比較して著しく高いが、ＬｉＤＡＲ認識処理部１０３０による認識結果を他の認識処理部１０１０又は１０２０の認識結果とともにＬａｔｅフュージョン処理部１０４１でフュージョン処理してもよいし、ＬｉＤＡＲ認識処理部１０３０による認識結果をＥａｒｌｙフュージョン処理部１０４２によるＲＡＷデータの処理結果で補うようにしてもよい。また、ＬｉＤＡＲ認識処理部１０３０を他の認識処理部１０１０又は１０２０の認識結果とともにハイブリッドフュージョン処理部１０４３でフュージョン処理してもよい。付言すれば、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果のみでも十分である場合には、Ｌａｔｅフュージョン処理部１０４１において、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の各認識器１０１３及び１０２３の認識結果又はＲＡＷデータとフュージョン処理しなくてもよい。
　他方、本出願時の技術水準では、ＬｉＤＡＲ１０９０は、カメラ１０７０やミリ波レーダー１０８０など他の外界認識用センサと比較して、極めて高価である。このため、ＬｉＤＡＲ１０９０は使用せず（言い換えれば、ＬｉＤＡＲ１０９０を車両には搭載せず）、情報処理装置１０００は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の各認識器１０１３及び１０２３による認識結果をＬａｔｅフュージョン処理部１０４０でフュージョン処理した結果を、カメラ１０７０及びミリ波レーダー１０８０の各ＲＡＷデータをＥａｒｌｙフュージョン処理部１０４２でフュージョン処理した結果により補うように構成されていてもよい。
　また、ＬｉＤＡＲ１０９０は、光の反射波を利用するという性質上、降雨や降雪、霧など光を遮る天候や、夜間、トンネル内などの暗所では信頼性が劣化してしまうことが懸念される。また、カメラ１０７０にも同様のことが当てはまる。一方、ミリ波レーダー１０８０の信頼性は天候にあまり依存せず、比較的安定している。そこで、情報処理装置１０００は、天候などの環境情報やその他の外部情報に基づいて、フュージョン処理部１０４０において、各センサ１０７０～１０９０からの情報をフュージョンする際の比重を調整するようにしてもよい。例えば、晴天時であれば、フュージョン処理部１０４０内のＬａｔｅフュージョン処理部１０４１及びＥａｒｌｙフュージョン処理部１０４２は、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果やＬｉＤＡＲ１０９０のＲＡＷデータを高い比重でそれぞれ使用するが、降雨や降雪、霧のとき、あるいは夜間やトンネル内などの暗所の場合には、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果やＬｉＤＡＲ１０９０のＲＡＷデータを低い比重とし又は使用せずにフュージョン処理する。
　図６には、レーダー認識処理部１０２０の内部構成例を示している。レーダー認識処理部１０２０は、ＲＡＷデータ処理部１０２１と、信号処理部１０２２と、認識器１０２３を備えている。
　ＲＡＷデータ処理部１０２１は、ミリ波レーダー１０８０のＲＡＷデータを入力して、増幅、ノイズ除去、ＡＤ変換といった処理を実行する。ＲＡＷデータ処理部１０２１からＥａｒｌｙフュージョン処理部１０４２へ、ＲＡＷデータ、若しくは増幅、ノイズ除去、ＡＤ変換のうちいずれから処理後のデータが出力される。
　信号処理部１０２２は、図６に示す例では、レーダーにより捕捉された各ターゲットまでの距離を検出する距離検出部６０１と、各ターゲットが移動する速度を検出する速度検出部６０２と、各ターゲットの方位を検出する角度検出部６０３と、ターゲットを追跡する追跡部６０４と、これら以外の処理を実行するＭＩＳＣ処理部６０５を備えている。ミリ波レーダー１０８０のＲＡＷデータからターゲットの距離、方位、大きさ、速度を検出するアルゴリズムは特に限定されない。例えば、ミリ波レーダー１０８０の製造元などが開発したアルゴリズムをそのまま適用してもよい。
　信号処理部１０２２内で各部６０１～６０５の処理がすべて終了すると、レーダーにより距離、方位、大きさ、速度などが検出されたターゲットの情報が、後段の認識器１０２３に出力される。また、距離、方位、大きさ、速度を正確に検出できなかったターゲットの情報は、認識不能として認識器１０２３には出力されず、切り捨てられる。また、各部６０１～６０５ののうち少なくとも１つの機能モジュールにおける処理後の信号が、Ｅａｒｌｙフュージョン処理部１０４２にも出力される。
　なお、ＲＡＷデータ処理部１０２１からの入力データに対し、各部６０１～６０５が処理を実行する順序は必ずしも固定されたものではなく、製品の設計仕様などに応じて適宜順序が入れ替わることが想定される。また、上述した機能モジュール６０１～６０５のすべてがミリ波レーダー１０８０の検出信号に対して必須という訳ではなく、製品の設計仕様などに応じて取捨選択され、あるいは図示した以外の機能モジュールが信号処理部１０２２に装備されることも想定される。
　認識器１０２３は、所定の認識アルゴリズムに従って、信号処理部１０２２による処理後の信号に基づいて、外界認識処理を行う。
　例えば、車載のカメラ１０７０で撮影した画像が図７に示す通りとなるシーンにおいて、レーダー認識処理部１０２０の認識器１０２３による処理前のデータを図８に示し、認識器１０２３による認識処理後のデータを図９に示す。但し、図８は、ミリ波レーダー１０８０のＲＡＷデータ、又は信号処理部１０２２の処理途中のデータをイメージしている。また、図９では、レーダー認識処理部１０２０の認識器１０２３による認識結果を黒いブロックで示している。図９では、比較のため、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果をグレーのブロックで表示して、併せて示している。
　図７に示すシーンは、車両の前方の道路を走行しているバイク７０１を障害物として認識できることが望ましい。但し、道路（若しくは、バイク７０１）の両側には家屋や塀７０２、７０３が並んでいる。図８に示すように、認識器１０２３による処理前の、ミリ波レーダー１０８０のＲＡＷデータは、さまざまな情報を含んでいる。ミリ波レーダー１０８０のＲＡＷデータは、サイドローブはあるものの、バイク７０１からの強い反射８０１を確認することができる。なお、左右の塀などからの比較的弱い反射８０２、８０３も確認することができる。ミリ波レーダー１０８０は、金属の感度が高い一方で、コンクリートなどの非金属の感度は低い。これら反射強度が弱い物体は、認識器１０２３を通すと認識できないが、ＲＡＷデータからは存在を確認することができる。また、図９に示したレーダー認識処理部１０２０の認識器１０２３による認識結果を参照すると、前方２０メートル付近にバイク７０１に対応すると思われる物体９０１とともに、道路（若しくは、バイク７０１）の両側には家屋や塀７０２、７０３に対応すると思われる物体９０２、９０３も認識されている。特に、ＲＡＷデータにおいて、認識物体９０１と認識物体９０２は重なり合っているが、認識処理を経ていないため仮に弱い反射強度であっても認識物体９０１と認識物体９０２をそれぞれ認識しているデータとなっている。そのため、ＲＡＷデータを認識器１０２３の認識結果とフュージョンすれば、認識物体９０１と認識物体９０２とを別の物体として認識することが可能である。もちろん、ミリ波レーダー１０８０の認識器１０２３のみによってバイクを認識できるシーンも多い。しかしながら、バイクの反射強度は車両に比べると弱く、図７に示すようにバイクの近くに他の反射物が存在するとミリ波レーダー１０８０のみでは捕捉し難くなり、ある反射強度以上の実を認識する認識処理後のデータでは、認識物体９０１と認識物体９０２を一塊のデータとして出力することになる。図２１には、ミリ波レーダー１０８０の検出範囲内２１００で、壁２１０１にバイク２１０２が接近している様子を模式的に示している。図２２には、この検出範囲内２１００から得られたミリ波レーダー１０８０の反射波を認識器１０２３で認識した結果を模式的に示している。認識器１０２３では、所定値未満の反射強度は切り捨てられ、所定値以上の反射強度を物体として認識する。このため、図２２に示す例では、壁２１０１とバイク２１０２が一体となった１つのかたまり２２０１を物体として認識することになる。これに対し、ミリ波レーダー１０８０のＲＡＷデータからは、認識器１０２３では切り捨てられるような弱い反射強度でも認識可能である。したがって、図２３に示すように、壁２１０１からの反射とバイク２１０２からの反射を別の物体２３０１及び２３０２として認識することが可能である。
　また、車載のカメラ１０７０で撮影した画像が図１０に示す通りとなるシーンにおいて、レーダー認識処理部１０２０の認識器１０２３による処理前のデータを図１１に示し、認識器１０２３による認識処理後のデータを図１２に示す。但し、図１１は、ミリ波レーダー１０８０のＲＡＷデータ、又は信号処理部１０２２の処理途中のデータをイメージしている。また、図１２では、レーダー認識処理部１０２０の認識器１０２３による認識結果を黒いブロックで示している。図１２では、比較のため、ＬｉＤＡＲ認識処理部１０３０の認識器１０３３による認識結果をグレーのブロックで表示して、併せて示している。
　図１０は、両側を塀１００１及び１００２で挟まれた狭い路地を走行しているシーンであり、両側の塀１００１及び１００２を障害物として認識できることが好ましい。図１１に示すように、認識器１０２３による処理前の、ミリ波レーダー１０８０のＲＡＷデータは、さまざまな情報を含んでいる。塀１００１及び１００２自体は金属ではなく、ミリ波レーダー１０８０では捕捉し難いが、塀１００１及び１００２の亀裂や段差からのものと思われる反射１１０１、１１０２を確認することができる。また、図１２に示したレーダー認識処理部１０２０の認識器１０２３による認識結果を参照すると、認識器１０２３は、各塀１００１及び１００２に散在する亀裂や段差からの反射があったいくつかの部分１２０１～１２０４のみを離散的に認識することができるが、塀１００１及び１００２を全体として認識することは難しく、ＬｉＤＡＲ１０９０の認識器１０３３の認識結果を利用（すなわち、フュージョン処理）しなければ塀１００１及び１００２を全体として認識することは難しい。一方で、図１１に示すＲＡＷデータからであれば、弱い反射波であっても、壁の存在を示す反射情報１１０１及び１１０２を取得することができる。
　図１３には、情報処理装置１０００において、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の認識結果をＬａｔｅフュージョン処理部１０４１でフュージョン処理した際のターゲット認識結果の例を示している。但し、ターゲットを認識したという認識結果に「○」を、ターゲットを認識できなかったという認識結果に「×」を、それぞれ記入している。同じターゲットをカメラ認識処理部１０１０及びレーダー認識処理部１０２０でそれぞれ認識処理した場合、両方でターゲットを認識できる場合（パターン１）、いずれか一方でのみターゲットを認識できる場合（パターン２及び３）、いずれでもターゲットを認識できない場合（パターン４）、の４つのパターンが想定される。Ｌａｔｅフュージョン処理部１０４１は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の両方で認識できたターゲットは、ターゲットを認識できたとして出力する（図１３中では、「○」が記入される）。他方、カメラ認識処理部１０１０及びレーダー認識処理部１０２０のうち一方でしか認識できなかったターゲット、並びに両方で認識できなかったターゲットについては、認識できなかったとして出力する（図１３中では、「×」が記入される）。
　一方、図１４には、情報処理装置１０００において、カメラ１０７０及びミリ波レーダー１０８０のＲＡＷデータをＥａｒｌｙフュージョン処理部１０４２でフュージョン処理した際のターゲット認識結果の例を示している。但し、図１４中の各パターン１～４は図１３の対応するパターンと同じターゲットの認識を試みたものである。また、ターゲットを認識したという認識結果に「○」を、ターゲットを認識できなかったという認識結果に「×」を、それぞれ記入している。Ｌａｔｅフュージョン処理では、認識器１１３又は１２３の判定閾値で切り捨てられてしまうが、判定閾値で切り捨てられる前のＲＡＷデータを用いたＥａｒｌｙフュージョン処理では認識可能な物体もある。但し、Ｌａｔｅフュージョン処理とＥａｒｌｙフュージョン処理で認識結果が異なる物体は、実際に物体である尤度が低い点にも十分留意すべきである。
　カメラ認識処理部１０１０の認識器１０１３及びレーダー認識処理部１０２０の認識器１０２３でともにターゲットを認識できたパターン１においては、カメラ１０７０のＲＡＷデータ及びミリ波レーダー１０８０のＲＡＷデータでも同様に認識することができるので、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットを認識できたとして出力する（図１４中では、「○」が記入される）。すなわち、認識器１０１３及び１０２３による認識結果と、ＲＡＷデータによる認識結果に相違がない場合には、Ｅａｒｌｙフュージョン処理部１０４２は、Ｌａｔｅフュージョン処理部１０４１と同様の認識結果を出力する。
　また、カメラ認識処理部１０１０の認識器１０１３は認識できたがレーダー認識処理部１０２０の認識器１０２３は認識できなかったパターン２において、ミリ波レーダー１０８０のＲＡＷデータに基づいてターゲットを認識することができた場合には、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットを認識できたとして出力する。例えば、反射強度が弱く、認識器１０２３では切り捨てられてしまったターゲットを、ＲＡＷデータに基づいて認識できた場合などである。したがって、Ｌａｔｅフュージョン処理部１０４１が認識できないターゲットであっても、Ｅａｒｌｙフュージョン処理部１０４２を用いることによって認識できることになり（図１５を参照のこと）、情報量の豊富なＲＡＷデータを用いたＥａｒｌｙフュージョン処理によってターゲットの認識率が向上するということができる。
　また、カメラ認識処理部１０１０の認識器１０１３は認識できなかったがレーダー認識処理部１０２０の認識器１０２３は認識できたパターン３において、カメラ１０７０のＲＡＷデータからも依然としてターゲットを認識することができない場合には、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットを認識できないとして出力する。すなわち、パターン３では、Ｅａｒｌｙフュージョン処理部１０４２は、Ｌａｔｅフュージョン処理部１０４１と同様の認識結果を出力する。
　また、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の両方の認識器１０１３、１０２３で認識できなかったパターン４において、カメラ１０７０のＲＡＷデータからは依然としてターゲットを認識することができないが、ミリ波レーダー１０８０のＲＡＷデータに基づいてターゲットを認識することができた場合には、Ｅａｒｌｙフュージョン処理部１０４２は、ターゲットが存在する可能性があるという結果を出力する。例えば、反射強度が弱く、認識器１０２３では切り捨てられてしまったターゲットを、ＲＡＷデータに基づいて認識できた場合などである。したがって、Ｌａｔｅフュージョン処理部１０４１が認識できないターゲットであっても、Ｅａｒｌｙフュージョン処理部１０４２を用いることによって認識できることになり（図１６を参照のこと）、情報量の豊富なＲＡＷデータを用いたＥａｒｌｙフュージョン処理によってターゲットの認識率が向上するということができる。但し、Ｅａｒｌｙフュージョン処理でも認識率は十分高くないので、「○」ではなく「△」とする。
　したがって、図１４に示す例では、パターン２及びパターン４の各々において、信頼性が高いが情報量が絞られてしまう最終の認識結果を用いたＬａｔｅフュージョン処理部１０４１の処理結果を、情報量が多いがノイズも含むＲＡＷデータを用いたＥａｒｌｙフュージョン処理部１０４２で処理した結果に基づいて補うことによって、ターゲットの認識率が向上するということができる。
　但し、図１４中のパターン１やパターン３の場合のように、Ｅａｒｌｙフュージョン処理部１０４２を用いてもＬａｔｅフュージョン処理部１０４１による認識結果が変わらないような場合もあり、常にＥａｒｌｙフュージョン処理部１０４２を動作させていると、処理負荷が多くなることや、情報処理装置１０００の消費電力が増大することなどの弊害が懸念される。そこで、必要な場合にのみＥａｒｌｙフュージョン処理部１０４２の認識処理を起動するようにしてもよい。
　図１７には、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の構成例を模式的に示している。但し、図１７中で、図１に示した機能モジュールと同じものについては、同一の参照番号を付している。
　フュージョン処理部１０４２内の判定処理部１７０１は、ミリ波レーダー１０８０のＲＡＷデータが必要かどうかを判定して、必要な場合には、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する。例えば、判定処理部１７０１は、カメラ認識処理部１０１０の認識器１０１３及びレーダー認識処理部１０２０の認識器１０２３の認識結果を比較して、図１３中のパターン２又はパターン４に相当する場合には、ＲＡＷデータも必要と判定して、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する。あるいは、判定処理部１７０１は、天候などの環境情報やその他の外部情報を入力して、降雨、降雪、霧、夜間あるいはトンネル内などの暗所といったカメラ認識処理部１０１０やＬｉＤＡＲ認識処理部１０３０の認識器１０１３及び１０３３の認識率が低下する（若しくは、認識の信頼性が劣化する）事象を検出したときに、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼するようにしてもよい。
　レーダー認識処理部１０２０は、判定処理部１７０１からの依頼に応答して、ミリ波レーダー１０８０のＲＡＷデータを出力する。そして、Ｅａｒｌｙフュージョン処理部１０４２はそのＲＡＷデータを用いてＥａｒｌｙフュージョン処理を実行し、又はハイブリッドフュージョン処理部１０４３はそのＲＡＷデータを用いてハイブリッドフュージョン処理を実行する。そして、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１の認識結果に加えて、Ｅａｒｌｙフュージョン処理部１０４２又はハイブリッドフュージョン処理部１０４３の認識結果も参照して、最終的な認識結果を出力する。
　図１８には、図１７に示した情報処理装置１０００においてターゲット認識を行うための処理手順をフローチャートの形式で示している。但し、ここでは説明の簡素化のため、情報処理装置１０００は、カメラ１０７０及びミリ波レーダー１０８０の２つのセンサのフュージョン処理を行う場合に限定する。
　物体検出処理が開始されると、カメラ認識処理部１０１０において、カメラ１０７０のＲＡＷデータ（撮影画像）に対して画像処理を実行して（ステップＳ１８０１）、認識器１０１３による認識結果を出力する（ステップＳ１８０２）。
　また、レーダー認識処理部１０２０は、ミリ波レーダー１０８０のＲＡＷデータを信号処理する（ステップＳ１８０３）。そして、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けているかどうかをチェックする（ステップＳ１８０４）。
　フュージョン処理部１０４２内の判定処理部１７０１は、カメラ認識処理部１０１０の認識器１０１３及びレーダー認識処理部１０２０の認識器１０２３の認識結果を比較して、ミリ波レーダー１０８０のＲＡＷデータが必要かどうかを判定して、必要な場合には、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する（前述）。具体的には、図１３中のパターン２に相当する状況下では、判定処理部１７０１は、ミリ波レーダー１０８０のＲＡＷデータが必要と判定する。
　ここで、ＲＡＷデータの出力依頼を受けていなければ（ステップＳ１８０４のＮｏ）、レーダー認識処理部１０２０は、認識器１０２３によるに認識結果を出力する（ステップＳ１８０５）。また、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けたときには（ステップＳ１８０４のＹｅｓ）、ミリ波レーダー１０８０のＲＡＷデータを出力するとともに（ステップＳ１８０６）、後段のフュージョン処理部１０４０に対して、ミリ波レーダー１０８０のＲＡＷデータを用いたＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を依頼する（ステップＳ１８０７）。
　次いで、フュージョン処理部１０４０は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の処理内容をフュージョン処理する（ステップＳ１８０８）。フュージョン処理部１０４０は、Ｅａｒｌｙフュージョン処理又はハイブリッドフュージョン処理の依頼を受けているときには（ステップＳ１８０９のＹｅｓ）、Ｅａｒｌｙフュージョン処理部１０４１によるＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理部１０４３によるハイブリッドフュージョン処理を実施する（ステップＳ１８１０）。一方、Ｅａｒｌｙフュージョン処理又はハイブリッドフュージョン処理の依頼を受けていないときには（ステップＳ１８０９のＮｏ）、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１によるＬａｔｅフュージョン処理を実施する（ステップＳ１８１１）。
　図１９には、Ｅａｒｌｙフュージョン処理を適応的に実行するように構成された情報処理装置１０００の他の構成例を模式的に示している。但し、図１９中で、図１に示した機能モジュールと同じものについては、同一の参照番号を付している。
　カメラ認識処理部１０１０は、認識器１０１３がターゲットを認識できなかったとき、若しくは、ターゲットの認識率が十分でない場合に、ミリ波レーダー１０８０のＲＡＷデータが必要であると判定して、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する。レーダー認識処理部１０２０は、カメラ認識処理部１０１０からの依頼に応答して、ミリ波レーダー１０８０のＲＡＷデータを出力する。そして、Ｅａｒｌｙフュージョン処理部１０４２はＲＡＷデータを用いてＥａｒｌｙフュージョン処理を実行し、又はハイブリッドフュージョン処理部１０４３はそのＲＡＷデータを用いてハイブリッドフュージョン処理を実行する。そして、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１の認識結果に加えて、Ｅａｒｌｙフュージョン処理部１０４２又はハイブリッドフュージョン処理部１０４３の認識結果も参照して、最終的な認識結果を出力する。
　図２０には、図１９に示した情報処理装置１０００においてターゲット認識を行うための処理手順をフローチャートの形式で示している。但し、ここでは説明の簡素化のため、情報処理装置１０００は、カメラ１０７０及びミリ波レーダー１０８０の２つのセンサのフュージョン処理を行う場合に限定する。
　物体検出処理が開始されると、カメラ認識処理部１０１０において、カメラ１０７０のＲＡＷデータ（撮影画像）に対して画像処理を実行する（ステップＳ２００１）。そして、カメラ認識処理部１０１０は、画像処理の結果が良好かどうかをチェックする（ステップＳ２００２）。
　ここで、画像処理の結果が良好であれば（ステップＳ２００２のＹｅｓ）、カメラ認識処理部１０１０は、認識器１０１３による認識結果を出力する（ステップＳ２００３）。また、画像処理の結果が良好でなければ（ステップＳ２００２のＮｏ）、カメラ認識処理部１０１０は、レーダー認識処理部１０２０に対してミリ波レーダー１０８０のＲＡＷデータの出力を依頼する（ステップＳ２００４）。具体的には、図１３中のパターン４に相当する状況下では、画像処理の結果が良好でない。
　また、レーダー認識処理部１０２０は、ミリ波レーダー１０８０のＲＡＷデータを信号処理する（ステップＳ２００５）。そして、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けているかどうかをチェックする（ステップＳ２００６）。
　ここで、ＲＡＷデータの出力依頼を受けていなければ（ステップＳ２００６のＮｏ）、レーダー認識処理部１０２０は、認識器１０２３によるに認識結果を出力する（ステップＳ２００７）。また、レーダー認識処理部１０２０は、ＲＡＷデータの出力依頼を受けたときには（ステップＳ２００６のＹｅｓ）、ミリ波レーダー１０８０のＲＡＷデータを出力するとともに（ステップＳ２００８）、後段のフュージョン処理部１０４０に対して、ミリ波レーダー１０８０のＲＡＷデータのＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理を依頼する（ステップＳ２００９）。
　次いで、フュージョン処理部１０４０は、カメラ認識処理部１０１０及びレーダー認識処理部１０２０の処理内容をフュージョン処理する（ステップＳ３０１０）。フュージョン処理部１０４０は、Ｅａｒｌｙフュージョン処理又はハイブリッドフュージョン処理の依頼を受けているときには（ステップＳ３０１１のＹｅｓ）、Ｅａｒｌｙフュージョン処理部１０４１によるＥａｒｌｙフュージョン処理又はハイブリッドフュージョン処理部１０４３によるハイブリッドフュージョン処理を実施する（ステップＳ３０１２）。一方、Ｅａｒｌｙフュージョン処理の依頼又はハイブリッドフュージョン処理を受けていないときには（ステップＳ３０１１のＮｏ）、フュージョン処理部１０４０は、Ｌａｔｅフュージョン処理部１０４１によるＬａｔｅフュージョン処理を実施する（ステップＳ３０１３）。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、車載センサのフュージョンに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）センサの検出信号に基づいて物体を認識処理する認識部と、
　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
を具備する情報処理装置。この情報処理装置によれば、前記認識部で判定閾値により切り捨てる前の情報を含む第１のデータをフュージョン処理に利用することで、より多くの物体を認識することが可能になるという効果がある。
（２）前記センサはミリ波レーダーである、
上記（１）に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダー用の認識器で認識した後の、尤度は高いが情報量が少ない認識結果を、認識器で判定閾値により切り捨てる前の豊富なＲＡＷデータとフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（３）前記認識部は、認識前に前記センサの検出信号に基づいて物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、
　前記第１のデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも１つを含む、
上記（２）に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダーのＲＡＷデータや、ＲＡＷデータの信号処理の各段階で得られる物体の距離、速度、角度、追跡結果などの情報を、認識器の認識結果とフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（４）第２のセンサの検出信号に基づいて物体を認識処理する第２の認識部をさらに備え、
　前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。この情報処理装置によれば、第１のセンサと第２のセンサの認識器による認識前のデータのフュージョン処理、及び、第１のセンサと第２のセンサの認識器による認識後のデータのフュージョン処理を実施して、より多くの物体を認識することが可能になるという効果がある。
（５）前記第２のセンサは、カメラ又はＬｉＤＡＲのうち少なくとも１つを含む、
上記（４）に記載の情報処理装置。この情報処理装置によれば、ミリ波レーダーとカメラ又はＬｉＤＡＲの認識結果をフュージョン処理するとともに、ミリ波レーダーとカメラ又はＬｉＤＡＲのＲＡＷデータをフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（６）前記処理部は、前記認識部の認識結果及び前記第２の認識部の認識結果に基づいて、前記フュージョン処理における前記第１のデータの利用方法を決定する、
上記（４）又は（５）のいずれかに記載の情報処理装置。この情報処理装置によれば、前記認識部の認識結果及び前記第２の認識部の認識結果に基づいて、適応的に前記第１のデータをフュージョン処理に利用して、より多くの物体を認識することが可能になるという効果がある。
（７）前記処理部は、前記第２の認識部による認識の尤度は高いが、前記認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第１のデータを利用する、
上記（６）に記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第１のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
（８）前記処理部は、前記第２の認識部による認識結果に基づいて、前記フュージョン処理における前記第１のデータの利用方法を決定する、
上記（４）乃至（７）のいずれかに記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第１のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
（９）前記処理部は、前記第２の認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第１のデータを利用する、
上記（８）に記載の情報処理装置。この情報処理装置によれば、前記フュージョン処理において前記第１のデータを適応的に利用することで、不要なフュージョン処理を回避しつつ、より多くの物体を認識することが可能になるという効果がある。
（１０）センサの検出信号に基づいて物体を認識処理する認識ステップと、
　前記認識ステップによる認識前の第１のデータと他のデータをフュージョン処理する処理ステップと、
を有する情報処理方法。この情報処理方法によれば、前記認識ステップにおいて認識後の第２のデータを、前記認識ステップにおいて判定閾値により切り捨てる前の情報を含む第１のデータとフュージョン処理することで、より多くの物体を認識することが可能になるという効果がある。
（１１）前記処理ステップでは、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１０）に記載の情報処理方法。
（１２）センサの検出信号に基づいて物体を認識処理する認識部、
　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１３）前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１２）に記載のコンピュータプログラム。
（１４）移動手段と、
　センサと、
　前記センサの検出信号に基づいて物体を認識処理する認識部と、
　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
　前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
を具備する移動体装置。この移動体装置によれば、前記認識部による認識後の第２のデータを、前記認識部で判定閾値により切り捨てる前の情報を含む第１のデータとフュージョン処理することで、より多くの物体を認識することができ、物体との衝突を回避するように前記移動手段を成業することが可能になるという効果がある。
（１５）前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
上記（１４）に記載の移動体装置。
　１００…車両制御システム
　１０１…入力部、１０２…データ取得部、１０３…通信部
　１０４…車内機器、１０５…出力制御部、１０６…出力部
　１０７…駆動系制御部、１０８…駆動系システム
　１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
　１１２…自動運転制御部、１２１…通信ネットワーク
　１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
　１３４…計画部、１３５…動作制御部
　１４１…車外情報検出部、１４２…車内情報検出部
　１４３…車両状態検出部
　１５１…マップ解析部、１５２…交通ルール認識部
　１５３…状況認識部、１５４…状況予測部
　１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
　１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
　１０００…情報処理装置
　１０１０…カメラ認識処理部、１０１１…ＲＡＷデータ処理部
　１０１２…信号処理部、１０１３…認識器
　１０２０…レーダー認識処理部、１０２１…ＲＡＷデータ処理部
　１０２２…信号処理部、１０２３…認識器
　１０３０…ＬｉＤＡＲ認識処理部、１０３１…ＲＡＷデータ処理部
　１０３２…信号処理部、１０３３…認識器
　１０４０…フュージョン処理部、１０４１…Ｌａｔｅフュージョン処理部
　１０４２…Ｅａｒｌｙフュージョン処理部
　１０４３…ハイブリッドフュージョン処理部、１０５０…ＥＣＴ
　１０６０…ＡＣＴ（アクチュエータ）、１０７０…カメラ
　１０８０…ミリ波レーダー、１０９０…ＬｉＤＡＲ
　６０１…距離検出部、６０２…速度検出部、６０３…角度検出部
　６０４…追跡部、６０５…ＭＩＳＣ処理部

Claims (15)

  1. 　センサの検出信号に基づいて物体を認識処理する認識部と、
    　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
    を具備する情報処理装置。
  2. 　前記センサはミリ波レーダーである、
    請求項１に記載の情報処理装置。
  3. 　前記認識部は、認識前に前記センサの検出信号に基づいて物体の距離検出、速度検出、角度検出、前記物体の追跡の各処理を実施し、
    　前記第１のデータは、前記検出信号、前記物体の距離検出結果、速度検出結果、角度検出結果、前記物体の追跡結果のうち少なくとも１つを含む、
    請求項２に記載の情報処理装置。
  4. 　第２のセンサの検出信号に基づいて物体を認識処理する第２の認識部をさらに備え、
    　前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項１に記載の情報処理装置。
  5. 　前記第２のセンサは、カメラ又はＬｉＤＡＲのうち少なくとも１つを含む、
    請求項４に記載の情報処理装置。
  6. 　前記処理部は、前記認識部の認識結果及び前記第２の認識部の認識結果に基づいて、前記フュージョン処理における前記第１のデータの利用方法を決定する、
    請求項４に記載の情報処理装置。
  7. 　前記処理部は、前記第２の認識部による認識の尤度は高いが、前記認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第１のデータを利用する、
    請求項６に記載の情報処理装置。
  8. 　前記処理部は、前記第２の認識部による認識結果に基づいて、前記フュージョン処理における前記第１のデータの利用方法を決定する、
    請求項４に記載の情報処理装置。
  9. 　前記処理部は、前記第２の認識部による認識の尤度が低い場合に、前記フュージョン処理において前記第１のデータを利用する、
    請求項８に記載の情報処理装置。
  10. 　センサの検出信号に基づいて物体を認識処理する認識ステップと、
    　前記認識ステップによる認識前の第１のデータと他のデータをフュージョン処理する処理ステップと、
    を有する情報処理方法。
  11. 　前記処理ステップでは、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項１０に記載の情報処理方法。
  12. 　センサの検出信号に基づいて物体を認識処理する認識部、
    　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
  13. 　前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項１２に記載のコンピュータプログラム。
  14. 　移動手段と、
    　センサと、
    　前記センサの検出信号に基づいて物体を認識処理する認識部と、
    　前記認識部による認識前の第１のデータと他のデータをフュージョン処理する処理部と、
    　前記処理部による処理結果に基づいて前記移動手段を制御する制御部と、
    を具備する移動体装置。
  15. 　前記処理部は、前記第２の認識部による認識前の第３のデータと前記第１のデータとのフュージョン処理、前記第２の認識部による認識後の第４のデータと前記第１のデータとのフュージョン処理、前記第１のデータと前記認識部による認識後の第２のデータとのフュージョン処理、又は、前記第４のデータと前記第２のデータとのフュージョン処理のうち少なくとも１つのフュージョン処理を実施する、
    請求項１４に記載の移動体装置。
PCT/JP2019/026097 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 WO2020009060A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/255,253 US11959999B2 (en) 2018-07-02 2019-07-01 Information processing device, information processing method, computer program, and mobile device
EP19831260.5A EP3819668A4 (en) 2018-07-02 2019-07-01 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, COMPUTER PROGRAM AND MOVING BODY DEVICE
CN201980043386.5A CN112368598A (zh) 2018-07-02 2019-07-01 信息处理设备、信息处理方法、计算机程序和移动设备
JP2020528851A JPWO2020009060A1 (ja) 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
KR1020207036118A KR20210025523A (ko) 2018-07-02 2019-07-01 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 이동체 장치
US18/407,375 US20240142607A1 (en) 2018-07-02 2024-01-08 Information processing device, information processing method, computer program, and mobile device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-126397 2018-07-02
JP2018126397 2018-07-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/255,253 A-371-Of-International US11959999B2 (en) 2018-07-02 2019-07-01 Information processing device, information processing method, computer program, and mobile device
US18/407,375 Continuation US20240142607A1 (en) 2018-07-02 2024-01-08 Information processing device, information processing method, computer program, and mobile device

Publications (1)

Publication Number Publication Date
WO2020009060A1 true WO2020009060A1 (ja) 2020-01-09

Family

ID=69060339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026097 WO2020009060A1 (ja) 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Country Status (6)

Country Link
US (2) US11959999B2 (ja)
EP (1) EP3819668A4 (ja)
JP (1) JPWO2020009060A1 (ja)
KR (1) KR20210025523A (ja)
CN (1) CN112368598A (ja)
WO (1) WO2020009060A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141914A1 (zh) * 2021-01-01 2022-07-07 杜豫川 一种基于雷视融合的多目标车辆检测及重识别方法
JP7347343B2 (ja) 2020-06-22 2023-09-20 株式会社デンソー 外界認識装置、外界認識方法、および外界認識プログラム
GB2619196A (en) * 2021-03-01 2023-11-29 Du Yuchuan Multi-target vehicle detection and re-identification method based on radar and video fusion

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735801B2 (ja) * 2018-10-16 2020-08-05 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
CN112849296B (zh) * 2021-03-11 2023-12-22 湖南仕博测试技术有限公司 智能驾驶专用测试目标及其控制方法
KR20230139560A (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 차량 및 그 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162795A (ja) 2001-11-22 2003-06-06 Nec Corp 気象データを用いたセンサ選択方法とこれを用いた道路交通監視システム
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2017132285A (ja) 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
WO2019090276A1 (en) * 2017-11-06 2019-05-09 Veoneer Us, Inc. Cued automobile sensor fusion

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292754B (zh) * 2008-11-07 2014-07-30 沃尔沃拉斯特瓦格纳公司 用于合并传感器数据的方法和系统
KR20120072131A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
EP2999940A4 (en) * 2013-05-22 2017-11-15 Neurala Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
EP2865575B1 (en) * 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Confidence estimation for predictive driver assistance systems based on plausibility rules
WO2016172690A1 (en) * 2015-04-23 2016-10-27 Lockheed Martin Corporation Method and apparatus for sensor fusion
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US10762440B1 (en) * 2015-09-24 2020-09-01 Apple Inc. Sensor fusion and deep learning
CN108028023B (zh) * 2015-09-30 2021-10-26 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
JP6256531B2 (ja) * 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
US20180336191A1 (en) * 2017-05-17 2018-11-22 Ashwin P. Rao Method for multi-sense fusion using synchrony
JP6480504B2 (ja) * 2017-05-31 2019-03-13 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162795A (ja) 2001-11-22 2003-06-06 Nec Corp 気象データを用いたセンサ選択方法とこれを用いた道路交通監視システム
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2017132285A (ja) 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
WO2019090276A1 (en) * 2017-11-06 2019-05-09 Veoneer Us, Inc. Cued automobile sensor fusion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3819668A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7347343B2 (ja) 2020-06-22 2023-09-20 株式会社デンソー 外界認識装置、外界認識方法、および外界認識プログラム
WO2022141914A1 (zh) * 2021-01-01 2022-07-07 杜豫川 一种基于雷视融合的多目标车辆检测及重识别方法
GB2619196A (en) * 2021-03-01 2023-11-29 Du Yuchuan Multi-target vehicle detection and re-identification method based on radar and video fusion

Also Published As

Publication number Publication date
US20210224617A1 (en) 2021-07-22
EP3819668A1 (en) 2021-05-12
KR20210025523A (ko) 2021-03-09
US11959999B2 (en) 2024-04-16
US20240142607A1 (en) 2024-05-02
JPWO2020009060A1 (ja) 2021-08-05
EP3819668A4 (en) 2021-09-08
CN112368598A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
WO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
US20210264224A1 (en) Information processing device and information processing method, imaging device, computer program, information processing system, and moving body device
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
EP3835823B1 (en) Information processing device, information processing method, computer program, information processing system, and moving body device
US11501461B2 (en) Controller, control method, and program
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
WO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019107143A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20220277556A1 (en) Information processing device, information processing method, and program
WO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2022107532A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022075075A1 (ja) 情報処理装置および方法、並びに情報処理システム
KR20230159450A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19831260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020528851

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019831260

Country of ref document: EP

Effective date: 20210202