WO2023053718A1 - 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム - Google Patents

情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム Download PDF

Info

Publication number
WO2023053718A1
WO2023053718A1 PCT/JP2022/029951 JP2022029951W WO2023053718A1 WO 2023053718 A1 WO2023053718 A1 WO 2023053718A1 JP 2022029951 W JP2022029951 W JP 2022029951W WO 2023053718 A1 WO2023053718 A1 WO 2023053718A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
unit
learning
sensing image
vehicle
Prior art date
Application number
PCT/JP2022/029951
Other languages
English (en)
French (fr)
Inventor
優介 小松
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/693,125 priority Critical patent/US20240290108A1/en
Publication of WO2023053718A1 publication Critical patent/WO2023053718A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • this disclosure includes, for example, an information processing apparatus and information processing method for processing sensor data acquired by a sensor that recognizes the external world of a moving object, and processing of sensing data.
  • the present invention relates to a learning device, a learning method, and a computer program for learning a learning model to be used.
  • An object of the present disclosure is to provide an information processing device and information processing method for processing sensor data including speed information of an object, a learning device and learning method for learning a learning model used for processing sensing data, and a computer program. It is in.
  • the present disclosure has been made in consideration of the above problems, and the first aspect thereof is a generation unit that generates a sensing image based on sensor data including velocity information of an object; a detection unit that detects an object from a sensing image using a trained model; It is an information processing device comprising
  • the generation unit projects sensor data consisting of a 3D point group onto a 2D plane to generate a sensing image having pixel values corresponding to velocity information. Further, the detection unit performs object detection using the learned model trained to recognize an object included in the sensing image.
  • the generation unit may separate one sensing image into a plurality of sub-images based on pixel values. Further, the generation unit may add texture corresponding to speed information to each sub-image. Sub-images separated from a plurality of continuous sensing images may be input to the trained model in chronological order to detect the object.
  • a second aspect of the present disclosure is a generation step of generating a sensing image based on sensor data including velocity information of an object; a detection step of detecting an object from the sensing image using the trained model; It is an information processing method having
  • a third aspect of the present disclosure is a generation unit that generates a sensing image based on sensor data including velocity information of an object; a detection unit that detects an object from a sensing image using a trained model; A computer program written in computer readable form to cause a computer to function as a computer program.
  • a computer program according to the third aspect of the present disclosure defines a computer program written in a computer-readable format so as to implement predetermined processing on a computer.
  • the computer program according to the third aspect of the present disclosure by installing the computer program according to the third aspect of the present disclosure on the computer, cooperative action is exhibited on the computer, and the same action as the information processing apparatus according to the first aspect of the present disclosure effect can be obtained.
  • a fourth aspect of the present disclosure is a learning device for learning a model, an input unit for inputting into the model a sensing image generated based on sensor data including velocity information of an object; a model updating unit that updates the model parameters of the model by backpropagating errors so as to minimize a loss function based on the error between the output label of the model and the correct label for the input sensing image; It is a learning device comprising
  • a fifth aspect of the present disclosure is a learning method for learning a model, an input step of inputting into the model a sensing image generated based on sensor data including velocity information of an object; a calculating step of calculating a loss function based on the error between the output label of the model and the correct label for the input sensing image; a model update step of backpropagating the error to update the model parameters of the model so as to minimize the loss function; is a learning method that has
  • a sixth aspect of the present disclosure is a computer program written in a computer-readable format so as to execute a process for model learning on a computer, the computer comprising: an input unit for inputting a sensing image generated based on sensor data including velocity information of an object into the model; A model updating unit that updates the model parameters of the model by back-propagating errors so as to minimize a loss function based on the error between the output label of the model and the correct label for the input sensing image; It is a computer program that functions as
  • a seventh aspect of the present disclosure is a learning device for learning a model, a recognition unit that recognizes a camera image; A model of the model by back-propagating errors so as to minimize a loss function based on the error between the recognition result of the model and the recognition of the recognition unit for the sensing image generated based on the sensor data including the velocity information of the object.
  • a model updating unit that updates parameters; It is a learning device comprising
  • An eighth aspect of the present disclosure is a learning method for learning a model, a recognition step for recognizing a camera image; A model of the model by back-propagating errors so as to minimize a loss function based on the error between the recognition result of the model and the recognition in the recognition step for the sensing image generated based on the sensor data including the velocity information of the object.
  • a model update step that updates the parameters; is a learning method that has
  • a ninth aspect of the present disclosure is a computer program written in a computer-readable format so as to execute processing for model learning on a computer, the computer comprising: a recognition unit that recognizes camera images; A model of the model by back-propagating errors so as to minimize a loss function based on the error between the recognition result of the model and the recognition of the recognition unit for the sensing image generated based on the sensor data including the velocity information of the object. a model update unit that updates parameters; It is a computer program that functions as
  • an information processing apparatus and information processing method for detecting an object using a trained model from sensor data including velocity information of the object learning a learning model for recognizing an object from sensor data including velocity information of the object It is possible to provide a learning device, a learning method, and a computer program for performing
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system.
  • FIG. 2 is a diagram showing an example of sensing regions.
  • FIG. 3 is a diagram showing a functional configuration example of the object detection system 300.
  • FIG. 4 is a diagram illustrating sensor data acquired by the radar 52.
  • FIG. 5 is a diagram showing an example of a camera image.
  • FIG. 6 is a diagram showing a sensing image corresponding to the camera image shown in FIG.
  • FIG. 7 is a diagram showing how sensing images of a plurality of continuous frames are input to the DNN 701 in time series to detect objects and position information.
  • FIG. 8 is a diagram showing an example of a camera image (dense fog).
  • FIG. 9 is a diagram showing a sensing image corresponding to the camera image shown in FIG. 8.
  • FIG. FIG. 10 is a diagram showing a display example of the head-up display based on the detection result by the detection unit 302.
  • FIG. 11 is a diagram showing how a sensing image is separated into sub-images of moving object regions and sub-images of stationary object regions.
  • FIG. 12 is a diagram showing how a time series of sensing images is separated into sub-images of a moving object region and sub-images of a stationary object region.
  • FIG. 13 is a diagram showing how sub-images of moving object regions and sub-images of stationary object regions are input to the DNN in time series.
  • FIG. 11 is a diagram showing how a sensing image is separated into sub-images of moving object regions and sub-images of stationary object regions.
  • FIG. 12 is a diagram showing how a time series of sensing images is separated into sub-images of a moving object region and sub-images of a
  • FIG. 14 is a diagram for explaining a method of giving a striped texture to a sensing image according to velocity information of an object.
  • FIG. 15 is a diagram for explaining a method of giving a striped texture to a sensing image according to velocity information of an object.
  • FIG. 16 is a diagram showing an example in which texture information is added to sensing images.
  • FIG. 17 is a diagram showing how a sensing image with texture information is separated into a moving object region sub-image and a stationary object region sub-image.
  • FIG. 18 is a diagram showing how a time series of sensing images with texture information is separated into sub-images of a moving object region and sub-images of a stationary object region.
  • FIG. 19 is a diagram showing how moving object region sub-images and still object region sub-images with texture information are input to the DNN in time series.
  • FIG. 20 is a flow chart showing a processing procedure for detecting an object from sensor data of the radar 52.
  • FIG. 21 is a diagram showing a functional configuration example of the learning device 2100.
  • FIG. 22 is a flow chart showing a processing procedure for model learning on the learning device 2100 .
  • FIG. 23 is a diagram showing a functional configuration example of the learning device 2300.
  • FIG. FIG. 24 is a flow chart showing a processing procedure for model learning on the learning device 2300 .
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11, which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, It has a recording unit 28 , a driving support/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • vehicle control ECU Electronic Control Unit
  • a communication unit 22 a communication unit 22
  • a map information storage unit 23 a GNSS (Global Navigation Satellite System) receiving unit 24
  • an external recognition sensor 25
  • an in-vehicle sensor 26 a vehicle sensor 27
  • It has a recording unit 28 , a driving support/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • DMS Driver Monitoring System
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, GNSS reception unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, recording unit 28, driving support/automatic driving control unit 29, driver monitoring system (DMS ) 30 , a human machine interface (HMI) 31 , and a vehicle control unit 32 are communicatively connected to each other via a communication network 41 .
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be communicated.
  • CAN is applied for data related to vehicle control
  • Ethernet is applied for large-capacity data.
  • Each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark)
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part thereof.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 uses a wireless communication method such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on an external network communicates with a server (hereinafter referred to as an external server) located in the
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method for communicating with the external network by the communication unit 22 is not particularly limited as long as it is a wireless communication method capable of digital two-way communication at a predetermined communication speed or higher and at a predetermined distance or longer.
  • the communication unit 22 can communicate with a terminal existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle include, for example, terminals worn by pedestrians, bicycles, and other moving bodies that move at relatively low speeds, terminals installed at fixed locations such as stores, or MTC (Machine Type Communication).
  • MTC Machine Type Communication
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., and vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a communication speed above a predetermined level by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link). can communicate with each device in the vehicle.
  • wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link).
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (registered trademark)) such as radio beacons, optical beacons, and FM multiplex broadcasting.
  • VICS vehicle information and communication system
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, and vector maps.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • the vector map refers to a map adapted to an ADAS (Advanced Driver Assistance System) in which traffic information such as lane and signal positions are associated with a point cloud map.
  • ADAS Advanced Driver Assistance System
  • the point cloud map and the vector map may be provided from an external server or the like, and based on the sensing results of the radar 52, LiDAR 53, etc., the vehicle 1 as a map for matching with a local map described later. It may be created and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 24 receives GNSS signals from GNSS satellites and acquires position information of the vehicle 1 .
  • the received GNSS signal is supplied to the driving support/automatic driving control unit 29 .
  • the position information acquisition unit 24 is not limited to the method using the GNSS signal, and may acquire the position information using, for example, a beacon.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51 , a radar 52 , a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53 , and an ultrasonic sensor 54 .
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51 , radar 52 , LiDAR 53 , and ultrasonic sensor 54 .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the shooting method of the camera 51 is not particularly limited as long as it is a shooting method that enables distance measurement.
  • the camera 51 may be a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, or any other type of camera as required.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the in-vehicle sensor 26 can include one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, in seats, steering wheels, etc., and detect various biometric information of passengers such as the driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be installed in the vehicle 1 realistically.
  • the vehicle sensor 27 includes a velocity sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the recording unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the recording unit 28 is used, for example, as EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and as a storage medium, magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the recording unit 28 records various programs and data used by each unit of the vehicle control system 11 .
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident and biometric information acquired by the in-vehicle sensor 26. .
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 1 and a recognition process for recognizing the situation outside the vehicle 1 .
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the LiDAR 53 or the radar 52 or the like for each cluster of point groups. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognizing unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the cluster of points classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. from the image data supplied from the camera 51 . Also, the types of objects around the vehicle 1 may be recognized by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognizing unit 73 can recognize the position and state of traffic signals, the content of traffic signs and road markings, the content of traffic restrictions, and the lanes in which the vehicle can travel.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • the surrounding environment to be recognized by the recognition unit 73 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is referred to as a trajectory plan.
  • a trajectory generation (Local path planning) processing is also included.
  • Path planning may be distinguished from long-term path planning and activation generation from short-term path planning or local path planning.
  • a safety priority path represents a concept similar to activation generation, short-term path planning, or local path planning.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and the target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • the driver's condition to be recognized by the DMS 30 includes, for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, and the like.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like. Further, the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an externally connected device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 also performs output control for controlling the output, output content, output timing, output method, and the like of each of the generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 1, a warning display, an image such as a monitor image showing the situation around the vehicle 1, and information indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use display devices such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, and lamps provided in the vehicle 1 as output devices for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a control unit such as an ECU for controlling lights.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn.
  • FIG. 2 is a diagram showing an example of sensing areas of the external recognition sensor 25 of FIG. 2 schematically shows the vehicle 1 viewed from above, the left end side is the front end (front) side of the vehicle 1, and the right end side is the rear end (rear) side of the vehicle 1.
  • a sensing area 101F and a sensing area 101B are examples of sensing areas of the ultrasonic sensor 54.
  • FIG. The sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 1 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 102F covers the front of the vehicle 1 to a position farther than the sensing area 101F.
  • the sensing area 102B covers the rear of the vehicle 1 to a position farther than the sensing area 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 102R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 102B is used for the rear collision prevention function of the vehicle 1, for example.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • the sensing area 103F covers the front of the vehicle 1 to a position farther than the sensing area 102F.
  • the sensing area 103B covers the rear of the vehicle 1 to a position farther than the sensing area 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 103R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • a sensing result in the sensing area 103B can be used for parking assistance and a surround view system, for example.
  • Sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • the sensing area 105 covers the front of the vehicle 1 to a position farther than the sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • the vehicle control system 11 mounts the recognition sensors 25 on the outside including a plurality of types of sensors for recognizing the external conditions of the vehicle 1 .
  • the significance of mounting a plurality of sensors includes, for example, compensating for the strengths and weaknesses of each sensor with other sensors, and improving detection accuracy and recognition accuracy by sensor fusion processing in the sensor fusion unit 72 .
  • each sensor also depend on their respective detection principles.
  • radar reflects radio waves to measure the distance of an object
  • cameras capture visible light reflected from the object
  • LiDAR reflects light to measure the distance of an object.
  • Table 1 summarizes the strengths and weaknesses of millimeter-wave radar, cameras, and LiDAR.
  • ⁇ means very good (having high accuracy)
  • ⁇ means good (good accuracy)
  • ⁇ means poor (not sufficient accuracy).
  • millimeter-wave radar can detect objects (preceding vehicles, pedestrians, other obstacles, etc.) within the field of view (for example, in front of the vehicle) even at night or in bad weather (such as rain or fog), which cameras are not good at. can be detected.
  • objects preceding vehicles, pedestrians, other obstacles, etc.
  • bad weather such as rain or fog
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle based on information from the external recognition sensor 25 .
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the LiDAR 53 or the radar 52 or the like into clusters of point groups, and further classifies the objects by the clustering. Detecting the movement of an object around the vehicle 1, that is, the speed and traveling direction (movement vector) of the object by performing tracking that follows the movement of a mass of point clouds has been described.
  • information such as the movement of objects around the vehicle 1 obtained by the recognition unit 73 performing detection processing and recognition processing is used by the operation control control unit 63 for ACC, emergency braking, and collision avoidance. etc.
  • Patent Document 1 discloses a display system that superimposes and displays position information of an obstacle detected by a radar device on a camera image using projective transformation between a radar plane and a camera image plane. proposed (see above). This display system detects the position and speed information of an object that acts as an obstacle based on the reflected signal of a millimeter-wave radar, and displays a box indicating the position of the detected object and an arrow indicating the relative speed of the object in the camera image. It can be displayed overlaid on top.
  • Patent Document 1 does not detect an object based on sensor data from a millimeter wave radar. Therefore, when it cannot be detected from the camera image by image recognition, only the relative velocity is suddenly displayed on the camera image. For example, in the case of an image taken by an in-vehicle camera in front of the vehicle at night or in dense fog, only the relative speed is displayed in places that cannot be seen from the image, and the object whose speed is to be detected is also displayed by the recognition processing of the camera image. difficult to identify.
  • a technique for generating a sensing image based on sensor data including speed information measured by a millimeter wave radar and detecting an object from the sensing image using a trained model we propose a technique for generating a sensing image based on sensor data including speed information measured by a millimeter wave radar and detecting an object from the sensing image using a trained model.
  • a deep-learned neural network model DNN to detect objects from sensing images as a trained model.
  • FIG. 3 schematically shows a functional configuration example of an object detection system 300 that detects an object from sensor data including speed information measured by a millimeter wave radar or the like, which is realized by applying the present disclosure.
  • the illustrated object detection system 300 includes a generation unit 301 that generates a sensing image based on sensor data including object speed information, and a detection unit 302 that detects an object from the sensing image using a trained model.
  • the generation unit 301 receives sensor data including velocity information of an object, mainly from the radar 52 (millimeter wave radar is assumed here). Radar 52 generates and transmits modulated waves and receives and signal-processes reflected signals from objects to obtain the distance to the object and the velocity of the object. A detailed description of the principle of sensing by the radar 52 is omitted. However, in this embodiment, the speed information is mainly used among the information acquired from the radar 52 . Also, when the radar 52 is mounted on the vehicle 1 as in the present embodiment, the speed information acquired by the radar 52 is the relative speed of the object with respect to the vehicle 1 .
  • the radar 52 generates a modulated wave using a synthesizer (not shown) and transmits it from an antenna (not shown).
  • the range in which the modulated wave signal arrives is the field of view of the radar 52 .
  • the radar 52 can receive a reflected signal from an object within its field of view, apply signal processing such as FFT (Fast Fourier Transform), and obtain distance information and speed information at each reflection point.
  • FIG. 4 illustrates how the radar 52 acquires sensor data.
  • the sensor data obtained from the radar 52 consists of a three-dimensional point cloud from which reflected signals can be captured at each observation point on the three-dimensional space.
  • the radar 52 outputs sensor data composed of such three-dimensional point groups at each frame rate.
  • the generation unit 301 projects a three-dimensional point cloud as shown in FIG.
  • the speed information referred to here means the speed difference between the vehicle 1 and the object, that is, the relative speed.
  • the sensing image once projected onto the two-dimensional plane 401 may be projectively transformed onto the plane of the camera image. .
  • the installation positions of the radar 52 and the camera 51 do not match, that is, the coordinate system of the radar 52 and the coordinate system of the camera 51 do not match. Therefore, a projective transformation matrix for projecting the radar coordinate system onto the plane of the camera coordinate system should be obtained in advance.
  • the generation unit 301 assigns each pixel a pixel value corresponding to the velocity information. Therefore, the sensing image generated by the generation unit 301 can also be called a "speed image" in which each pixel expresses speed information.
  • the generation unit 301 generates sensing images at the same frame rate as the radar 52 .
  • FIG. 5 shows an example of a camera image captured in front of the vehicle 1 by the camera 51.
  • FIG. The preceding vehicle is shown approximately in the center of the illustrated camera image.
  • 6 shows a sensing image generated by the generation unit 301 from the sensor data acquired by the radar 52 at the same timing as in FIG. , and each pixel position corresponds between the camera image and the sensing image).
  • the sensing image is an image in which each pixel has a density corresponding to speed information (relative speed between vehicle 1 and an object).
  • speed information relative speed between vehicle 1 and an object
  • the area having no velocity information because the reflected signal could not be received is drawn in white. Comparing FIG. 5 and FIG. 6, the area corresponding to the preceding vehicle in the sensing image is represented by different pixel values (differences in gradation in FIG. 6) from the surrounding area due to the speed difference.
  • the generation processing of the sensing image in the generation unit 301 may be performed within the module of the radar 52 or the external recognition sensor 25, or may be performed in the recognition unit 73.
  • the generation unit 301 generates a sensing image from the sensor data of the radar 51, but it can also generate a sensing image from sensor data acquired from other sensors such as the LiDAR 53 and sound wave sensors. .
  • a sensing image from sensor data output from a radar 52 such as a millimeter wave radar
  • the output of other sensors capable of acquiring speed information such as the LiDAR 53 and a sound wave sensor
  • a sensing image can be similarly generated from the data.
  • the detection unit 302 uses a learned model to detect an object and its position from a sensing image in which speed information is represented by a pixel value for each pixel as shown in FIG.
  • Applicable trained models include DNNs using multi-layer convolutional neural networks (CNNs). It is assumed that the DNN has been trained to detect objects from sensing images.
  • a CNN includes a feature quantity extraction unit that extracts the feature quantity of the input image, and an image classification unit that infers the output label (identification result) corresponding to the input image based on the extracted feature quantity.
  • the former feature extractor consists of a “convolution layer” that extracts edges and features by convolving the input image by restricting connections between neurons and sharing weights, and removing positional information that is not important for image classification. It has a “pooling layer” that provides robustness to the features extracted by the convolutional layer.
  • ResNet50 A specific example of CNN is ResNet50.
  • Resnet has a mechanism of shortcut connection that skips some layers of the input coming from the front layer and then adds it with the normally calculated value, and some layers skipped by this are We only need to predict the residual with the input from .
  • the ResNet 50 has a layer depth of 50 layers.
  • the present disclosure is not limited to ResNet50.
  • a DNN obtained by deep learning a CNN in advance is used so as to detect an object and its position from a sensing image generated from speed information acquired by the radar 52 .
  • the CNN learn to detect only the object from the sensing image, and for the position information of the object in the sensing image, for example, Gradient-weighted Class Activation Mapping) (see, for example, Non-Patent Document 1) It may be extracted using XAI (eXplainable AI) technology such as ).
  • XAI eXplainable AI
  • the DNN used for normal RGB image recognition may be applied as is to recognition of sensing images.
  • CNN deep-learns not the RGB image but the above-described sensing image and uses it in the detection unit 302 . It can be said that a DNN for image recognition can be used by generating a sensing image on a two-dimensional plane from sensor data from the radar 52 . A learning method for sensing images will be described later.
  • sensing images of a plurality of continuous frames are input to the DNN 701 in time series, and an object (“vehicle”) in the sensing image and position information are detected. is detected.
  • Deep learning of the DNN 701 may be performed so as to detect an object from a plurality of continuous frames.
  • the DNN 701 may be trained to detect an object from one frame.
  • the detection unit 302 detects classes of objects (“vehicles”, “pedestrians”, “guardrails”, “trees”, “signs”, . ) and position information of the object on the image frame are output to the action planning unit 62 and the motion control unit 63, for example.
  • the action planning unit 62 and the operation control unit 63 can perform emergency braking and collision avoidance of the vehicle based on the preceding vehicle detected by the detection unit 302 and its position information.
  • the HMI 31 may display the information on the object detected by the detection unit 302 on a head-up display or a monitor screen showing the circumstances around the vehicle 1 .
  • the radar 52 when the camera 51 captures the front of the vehicle 1 in an environment such as nighttime or dense fog, it is difficult to detect an object such as the preceding vehicle from the camera image.
  • the radar 52 since the radar 52 has high object detection performance even at night or in bad weather, if a sensing image generated based on the sensor data of the radar 52 is used, an object that is difficult to detect from the camera image can be detected. becomes easier. Referring to FIG. 8, it is difficult to visually recognize the preceding vehicle from the camera image due to dense fog. 9 shows a sensing image generated by the generator 301 from sensor data acquired by the radar 52 at the same timing as in FIG. The radar 52 can capture objects within its field of view without being affected by weather or brightness. Referring to FIG.
  • an area 901 corresponding to the preceding vehicle is represented by pixel values different from those of the surrounding area due to speed differences without being affected by fog or rain. It is expected that the vehicle can be detected with high accuracy.
  • a box 1001 indicating the preceding vehicle detected by the detection unit 302 may be displayed on the head-up display or monitor screen to warn the driver. good.
  • the process of detecting an object from the sensing image in the detection unit 302 may be performed within either module of the external recognition sensor 25 or the recognition unit 73 .
  • a modified sensing image that divides the sensing image into regions is an image obtained by assigning pixel values corresponding to velocity information to each observation point in the three-dimensional space by the radar 52 and projecting it onto a two-dimensional plane.
  • the sensing image is a monotonous image in which each pixel has a pixel value corresponding to speed information (difference in speed from the vehicle 1). For this reason, there is a concern that sufficient detection accuracy cannot be obtained by DNN compared to camera images that contain a large amount of information such as object shapes and surface textures. In other words, it is difficult for the DNN to learn the sensing images as they are.
  • a sensing image of one frame is separated into a sub-image in which a region of a moving object is extracted and a sub-image in which a region of a stationary object is extracted based on pixel values, and these two types of sub-images are separated.
  • the moving objects are, for example, surrounding vehicles such as preceding vehicles and oncoming vehicles, and pedestrians.
  • the moving object area is an area where the radar output from the radar 52 hits these moving objects.
  • Stationary objects include guardrails, walls, roadside trees, and signs.
  • the stationary object area is an area where the radar output from the radar 52 hits these stationary objects.
  • the relative speed of an animal band moving in the direction opposite to the vehicle 1, such as an oncoming vehicle is high.
  • the relative speed of stationary objects such as guardrails, walls, roadside trees, and signs is substantially equal to the moving speed (absolute speed) of the vehicle 1 . Therefore, in a sensing image in which pixel values are represented by 256 gradations, a region where pixel values are less than or over 136 is a moving object region, and a region where pixel values are 118 or more and 138 or less is a stationary object region.
  • FIG. 11 shows the sensing image shown in FIG.
  • FIG. 6 which is a sub-image consisting of a moving object region having a pixel value of less than or exceeding 118 or greater than 136 in (a) of FIG. It shows how the image is separated into sub-images composed of still object areas of 138 or less as described above.
  • the sensing image generated by the generation unit 301 is separated into sub-images in which the region of the moving object is extracted and sub-images in which the region of the stationary object is extracted, and the sub-images are input to the DNN, whereby the detection unit 302 detects the object. Accuracy can be improved.
  • the process of separating one sensing image into a plurality of sub-images can be performed, for example, by the generation unit 301 , but may be performed by the detection unit 302 .
  • the learning efficiency of the DNN can be improved by learning the sensing images separately for sub-images of the moving object region and sub-images of the still object region.
  • Fig. 7 shows an example of object detection by inputting continuous multiple frames of sensing images to the DNN in time series.
  • each sub-image may be input to the DNN in time series.
  • FIG. 12 shows sensing images at times t-2, t-1, and t, sub-images of the moving object region at times t-2, t-1, and t, 4 shows the separation into sub-images of a still object region in .
  • FIG. 13 shows how the separated moving object region sub-images and stationary object region sub-images are input to the DNN 1301 in chronological order. In such a case, deep learning of the DNN 1301 may be performed so as to detect an object from time series of sub-images of the moving object region and sub-images of the still object region.
  • D-2-2 Modified Example of Giving Texture Information According to Velocity Information
  • the moving object area in the sensing image is added to the moving object area in order to make it easier for the DNN to identify the still object area.
  • a modification has been described in which a sub-image and a sub-image of a still object region are separated and input to the DNN.
  • a modification that further improves DNN detection accuracy by emphasizing the difference in speed of each object by adding texture information according to the speed information to each region make a proposal about It is also expected that the learning efficiency of DNN can be improved by learning sensing images containing texture information corresponding to velocity information.
  • FIG. 14 a method of giving a striped texture according to the speed information of an object to a sensing image will be described with reference to FIGS. 14 and 15.
  • FIG. 14 a method of giving a striped texture according to the speed information of an object to a sensing image will be described with reference to FIGS. 14 and 15.
  • FIG. 14(a) shows a region of an object with a pixel value of 180 in the sensing image.
  • each pixel of the sensing image is given a pixel value corresponding to the velocity information of the corresponding object.
  • FIG. 14(b) by generating regions in which the pixel values are halved to 90 at predetermined intervals in the horizontal direction, vertical stripes are formed in the regions consisting of the original uniform pixel values (light and shade). texture can be given.
  • the striped texture is completed by changing the direction of the striped pattern according to the original (that is, before the texture is applied) pixel value.
  • FIG. 16 shows an example in which the sensing image shown in FIG. 6 is given texture information consisting of striped patterns according to the speed information according to the method shown in FIGS. 14 and 15 above. It should be understood that the difference in speed can be further emphasized by adding texture information as compared to expressing speed information only by pixel values.
  • Adding a striped texture is just one example.
  • Other textures such as dots and grids can also be applied according to speed information.
  • the sub-image is divided into a moving object region and a stationary object region. , DNN.
  • the sensing image with texture information shown in FIG. 16 is separated into a sub-image consisting of a moving object region in FIG. 17(a) and a sub-image consisting of a stationary object region in FIG. It shows how it was done.
  • a sensing image with texture information is separated into a sub-image in which a region of a moving object is extracted and a sub-image in which a region of a stationary object is extracted, and these sub-images are input to the DNN. can be improved.
  • each sub-image may be input to the DNN in time series, as in the case described in section D-2-1 above.
  • FIG. 18 shows sensing images at times t-2, t-1, and t, sub-images of the moving object region at times t-2, t-1, and t, 4 shows the separation into sub-images of a still object region in .
  • FIG. 19 shows how the separated moving object region sub-images and stationary object region sub-images are input to the DNN 1901 in chronological order.
  • Processing Procedure Section D-3 describes the processing procedure for detecting an object from the sensor data of the radar 52 in the object detection system 300 shown in FIG. FIG. 20 shows this processing procedure in the form of a flowchart.
  • the front of the vehicle 1 is sensed (step S2001).
  • the radar 52 generates and transmits modulated waves, receives and processes reflected signals from objects within its field of view, and produces sensor data ( See FIG. 4).
  • the front side of the vehicle 1 is sensed, but of course, the left and right sides of the vehicle 1 or the rear side of the vehicle 1 may be sensed.
  • the generation unit 301 projects the sensor data of the radar 52 consisting of the three-dimensional point cloud onto a two-dimensional plane to generate a sensing image in which each pixel has a pixel value corresponding to the speed information (step S2002). . Note that this may be done at each observation point on the three-dimensional space.
  • the sensing image is separated into a sub-image in which the area of the moving object is extracted and a sub-image in which the area of the stationary object is extracted (step S2003). Separation processing into sub-images may be performed by either the generation unit 301 or the detection unit 302 . Also, as described in the above section -2-2, texture information corresponding to velocity information may be added to each sub-image.
  • the detection unit 302 inputs the sub-image of the moving object region and the still sub-image in time series to the DNN, and detects the object included in the sensing image (step S2004).
  • the DNN inputs the time series of sensing images in a form separated into sub-images, and detects moving objects such as preceding vehicles, stationary objects such as walls and guardrails, and the position of each object. Then, the detection unit 302 outputs the DNN detection result to, for example, the action planning unit 62 and the operation control unit 63 (step S2005).
  • the action planning unit 62 and the operation control unit 63 can perform emergency braking and collision avoidance of the vehicle based on the preceding vehicle detected by the detection unit 302 and its position information.
  • the HMI 31 may display the information on the object detected by the detection unit 302 on a head-up display or a monitor screen showing the circumstances around the vehicle 1 .
  • Section D-4 Learning Process of Learning Model
  • a learning model constructed by deep learning is used for sensing image recognition processing in the detection unit 302 .
  • Section D-4 the learning process of the learning model used by the detection unit 302 will be described.
  • FIG. 21 schematically shows a functional configuration example of a learning device 2100 that performs learning of the learning model used by the detection unit 302.
  • the illustrated learning device 2100 includes a learning data storage unit 2101 , a model update unit 2102 , and a model parameter storage unit 2103 .
  • the learning device 2100 is further equipped with a learning data providing unit 2120 that provides learning data used for learning the machine learning model.
  • Some or all of the functions of the learning device 2100 are built on, for example, a cloud or a computation device capable of large-scale computation, but they may also be installed in an edge device and used.
  • the learning data providing unit 2120 supplies learning data that the model updating unit 2102 uses for model learning.
  • the learning data is a data set (x, y ).
  • the learning data providing unit 2120 may provide the learning device 2100 with, for example, sensing images collected from a large number of vehicles and their detection results as learning data.
  • the learning data holding unit 2101 accumulates learning data that the model updating unit 2102 uses for model learning.
  • Each piece of learning data consists of a data set combining input data to be input to a model to be learned and correct labels to be inferred by the model (same as above).
  • the learning data holding unit 2101 stores data sets provided from the learning data providing unit 2130, but may also store data sets obtained from other sources.
  • the model updating unit 2102 performs deep learning, it is necessary to accumulate a large amount of data sets in the learning data holding unit 2101 .
  • the model updating unit 2102 sequentially reads the learning data from the learning data holding unit 2101, performs learning of the target learning model, and updates the model parameters.
  • the learning model is composed of a neural network such as CNN, but may be a model using support vector regression, Gaussian process regression, or the like.
  • a model composed of a neural network consists of an input layer that inputs data such as images (explanatory variables), an output layer that outputs labels (objective variables) that are inference results for the input data, and a layer between the input layer and the output layer. consists of multiple layers of one or more intermediate layers (or hidden layers) of Each layer consists of a plurality of nodes corresponding to neurons.
  • the connections between nodes between layers have weights, and the data input to the input layer undergoes value conversion in the process of passing from layer to layer.
  • the model updating unit 2102 calculates, for example, a loss function defined based on the error between the label output from the model for the input data and the correct label corresponding to the input data, and minimizes this loss function. Model learning is performed while model parameters (such as weight coefficients between nodes) are updated by error backpropagation. Note that since the learning process requires a huge amount of calculation, the model updating unit 2102 may perform distributed learning using GPUs (Graphics Processing Units) for multiple calculations or multiple nodes.
  • GPUs Graphics Processing Units
  • model update unit 2102 stores the model parameters obtained as learning results in the model parameter storage unit 2103.
  • a model parameter is a variable element that defines a model, and is, for example, a connection weighting factor given between nodes of a neural network.
  • the generation unit 301 first projects the sensor data consisting of a three-dimensional point group onto a two-dimensional plane to generate a sensing image. do. Then, the detection unit 302 outputs an object label inferred from the input sensing image using a model in which the model parameters read from the model parameter storage unit 2103 are set, that is, a trained model.
  • FIG. 22 shows a processing procedure for model learning on the learning device 2100 in the form of a flowchart.
  • the model updating unit 2102 reads learning data consisting of a data set of sensing images and correct labels from the learning data holding unit 2101 (step S2201). Then, the model updating unit 2102 inputs the read sensing image to the model under learning, and acquires the output label inferred by the model at the current learning stage (step S2202).
  • the model updating unit 2102 acquires the label output from the model for the input sensing image (step S2203), it obtains a loss function based on the error between the output label and the correct label (step S2204). Then, the model updating unit 2102 back-propagates the error so that the loss function is minimized (step S2205), and updates the model parameters of the learning target model (step S2206). The updated model parameters are accumulated in the model parameter holding unit 2103. FIG.
  • the model update unit 2102 checks whether or not the target model learning end condition is reached (step S2207).
  • the end condition may be the number of times of learning, or the expected value of the output label of the model being equal to or greater than a predetermined value. If the termination condition is reached (Yes in step S2207), the model learning process is terminated. If the termination condition has not yet been reached (No in step S2207), the process returns to step S2201 to repeat the above model learning process.
  • FIG. 23 schematically shows a functional configuration example of a learning device 2300 according to another example, which learns the learning model used by the detection unit 302 .
  • the learning device 2300 can be used by being mounted on the vehicle 1, and can use the result of recognition by the recognition unit 73 of the camera image of the front (or surroundings) of the vehicle 1 captured by the camera 51 as learning data.
  • the main feature is that it can be done.
  • the learning device 2300 has a model updating unit 2301 and a model parameter holding unit 2302 .
  • the camera 51 captures an image of the front (or surroundings) of the vehicle. Then, the recognition unit 73 detects an object from the camera image using an object detector configured by, for example, a trained model (DNN or the like).
  • DNN trained model
  • the generation unit 301 projects sensor data consisting of a three-dimensional point group from the radar 52 onto a two-dimensional plane to generate a sensing image.
  • the detection unit 302 outputs an object label inferred from the input sensing image using a model in which the model parameters read from the model parameter storage unit 2303 are set, that is, a learning model.
  • the model update unit 2301 updates a loss function defined based on the error between the label output from the recognition unit 73 for the camera image captured by the camera 51 and the label output for the sensing image by the detection unit 302. Model learning is performed while model parameters (such as weight coefficients between nodes) are updated by error backpropagation so that this loss function is minimized. That is, model learning is performed using the result of recognition of the camera image by the recognition unit 73 as learning data.
  • the learning device 2300 By installing the learning device 2300 in the vehicle 1 and using it, it is possible to constantly obtain learning data based on the camera images taken by the camera 51. It is possible to perform training (re-learning, additional learning) of the model to be used. For example, if the route traveled by the vehicle 1 is limited, the stationary object region in the sensing image is limited. Therefore, it is possible to learn a model adapted to individual needs such as the route of each vehicle. can.
  • FIG. 24 shows the processing procedure for model learning on the learning device 2300 in the form of a flowchart.
  • the camera 51 captures an image of the front (or surroundings) of the vehicle (step S2401). Then, the recognition unit 73 detects an object from the camera image using an object detector configured by, for example, a trained model (DNN, etc.) (step S2402).
  • an object detector configured by, for example, a trained model (DNN, etc.)
  • the generation unit 301 projects the sensor data consisting of the three-dimensional point cloud from the radar 52 onto a two-dimensional plane to generate a sensing image (step S2403).
  • the radar coordinate system In order to maintain consistency with the recognition result for the camera image, it is preferable to perform projective transformation processing from the radar coordinate system to the camera coordinate system for the sensing image.
  • the detection unit 302 outputs an object label inferred from the input sensing image using the model set with the model parameters read from the model parameter storage unit 2303, that is, the model under learning (step S2404).
  • the model update unit 2301 updates the loss defined based on the error between the label output from the recognition unit 73 for the camera image captured by the camera 51 and the label output for the sensing image by the detection unit 302. A function is calculated (step S2405).
  • the model updating unit 2301 back-propagates the error so that the loss function is minimized (step S2406), and updates the model parameters of the learning target model (step S2407).
  • the updated model parameters are accumulated in the model parameter holding unit 2302. FIG.
  • the model update unit 2102 checks whether or not the target model learning end condition is reached (step S2408).
  • the end condition may be the number of times of learning, or the expected value of the output label of the model being equal to or greater than a predetermined value. If the termination condition is reached (Yes in step S2408), the model learning process is terminated. If the termination condition has not yet been reached (No in step S2408), the process returns to step S2401 to repeat the above model learning process.
  • the present disclosure has mainly been described with an embodiment mounted on a vehicle, but the gist of the present disclosure is not limited to this.
  • the present disclosure is mounted on various types of mobile devices other than vehicles, such as walking robots, transport robots, and unmanned aerial vehicles such as drones, and similarly detects objects based on speed information obtained from millimeter wave radars. It can be carried out.
  • the present disclosure can be installed in multifunctional information terminals such as smartphones and tablets, head-mounted displays, game consoles, etc., and can detect objects such as obstacles in front of the walking user.
  • An information processing device comprising:
  • the detection unit performs object detection using the learned model trained to recognize an object included in the sensing image;
  • the information processing apparatus according to (1) above.
  • the generation unit projects sensor data consisting of a three-dimensional point cloud onto a two-dimensional plane to generate a sensing image.
  • the information processing apparatus according to any one of (1) and (2) above.
  • the generation unit generates a sensing image having pixel values corresponding to velocity information;
  • the information processing apparatus according to (3) above.
  • the generator separates one sensing image into a plurality of sub-images based on pixel values;
  • the detection unit detects an object by inputting the plurality of sub-images into the trained model.
  • the detection unit detects an object by inputting sub-images separated from a plurality of continuous sensing images into the trained model in chronological order.
  • the detection unit performs object detection using the learned model trained to recognize an object from a plurality of sub-images obtained by separating the sensing image based on pixel values;
  • the information processing apparatus according to (5) or (6) above.
  • the generation unit adds texture to each sub-image according to speed information.
  • the information processing apparatus according to any one of (5) to (7) above.
  • the trained model is composed of a DNN;
  • the information processing apparatus according to any one of (1) to (8) above.
  • the sensor data is data captured by at least one sensor among millimeter wave radar, LiDAR, and sound wave sensor.
  • the information processing apparatus according to any one of (1) to (9) above.
  • a generation unit that generates a sensing image based on sensor data including velocity information of an object
  • a detection unit that detects an object from a sensing image using a trained model
  • a learning device for learning a model an input unit for inputting into the model a sensing image generated based on sensor data including velocity information of an object; a model updating unit that updates the model parameters of the model by backpropagating errors so as to minimize a loss function based on the error between the output label of the model and the correct label for the input sensing image;
  • a learning device comprising:
  • a learning method for learning a model an input step of inputting into the model a sensing image generated based on sensor data including velocity information of an object; a calculating step of calculating a loss function based on the error between the output label of the model and the correct label for the input sensing image; a model update step of backpropagating the error to update the model parameters of the model so as to minimize the loss function;
  • a computer program written in a computer-readable format so as to execute a process for model learning on a computer comprising: an input unit for inputting a sensing image generated based on sensor data including velocity information of an object into the model; A model updating unit that updates the model parameters of the model by back-propagating errors so as to minimize a loss function based on the error between the output label of the model and the correct label for the input sensing image; A computer program that acts as a
  • a learning device comprising:
  • the sensor data is data captured by at least one sensor among millimeter wave radar, LiDAR, and sound sensor mounted on the same device as the camera.
  • the learning device according to (16) above.
  • a learning method for learning a model, a recognition step for recognizing a camera image A model of the model by back-propagating errors so as to minimize a loss function based on the error between the recognition result of the model and the recognition in the recognition step for the sensing image generated based on the sensor data including the velocity information of the object. a model update step that updates the parameters;
  • a computer program written in a computer-readable format so as to execute a process for model learning on a computer comprising: a recognition unit that recognizes camera images; A model of the model by back-propagating errors so as to minimize a loss function based on the error between the recognition result of the model and the recognition of the recognition unit for the sensing image generated based on the sensor data including the velocity information of the object. a model update unit that updates parameters; A computer program that acts as a

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体の速度情報を含むセンサデータを処理する情報処理装置を提供する。　情報処理装置は、物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部と、学習済みモデルを用いてセンシング画像から物体を検出する検出部を具備する。前記生成部は、３次元点群からなるセンサデータを２次元平面上に投影して、速度情報に対応するピクセル値を持つセンシング画像を生成する。前記検出部は、センシング画像に含まれる物体を認識するように学習された前記学習済みモデルを用いて物体検出を行う。

Description

情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム
　本明細書で開示する技術（以下、「本開示」とする）は、例えば移動体の外界を認識するセンサによって取得されたセンサデータを処理する情報処理装置及び情報処理方法、センシングデータの処理に用いる学習モデルの学習を行う学習装置及び学習方法、並びにコンピュータプログラムに関する。
　車両の運転支援や自動運転の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天ときや夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダ、ＬｉＤＡＲなど、種類の異なる多くの外界認識センサが車両に搭載され始めている。例えば車両の走行時に障害物との衝突を未然に防止するには、先行車両など前方の物体との距離及び位置情報を把握する必要があり、係る目的のためにレーダが用いられる。
　例えば、カメラとレーダを搭載した車両において、レーダ平面とカメラ画像平面との射影変換を利用して、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示するようにした表示システムが提案されている（特許文献１を参照のこと）。
特開２００５－１７５６０３号公報
Ｇｒａｄ－ＣＡＭ：　Ｖｉｓｕａｌ　Ｅｘｐｌａｎａｔｉｏｎｓ　ｆｒｏｍ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋｓ　ｖｉａ　Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ　Ｌｏｃａｌｉｚａｔｉｏｎ　＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１０．０２３９１＞
　本開示の目的は、物体の速度情報を含むセンサデータを処理する情報処理装置及び情報処理方法、センシングデータの処理に用いる学習モデルの学習を行う学習装置及び学習方法、並びにコンピュータプログラムを提供することにある。
　本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
　物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部と、
　学習済みモデルを用いてセンシング画像から物体を検出する検出部と、
を具備する情報処理装置である。
　前記生成部は、３次元点群からなるセンサデータを２次元平面上に投影して、速度情報に対応するピクセル値を持つセンシング画像を生成する。また、前記検出部は、センシング画像に含まれる物体を認識するように学習された前記学習済みモデルを用いて物体検出を行う。
　前記生成部は、１つのセンシング画像をピクセル値に基づいて複数のサブ画像に分離するようにしてもよい。また、前記生成部は、各サブ画像に速度情報に応じたテクスチャを付与するようにしてもよい。そして、複数の連続するセンシング画像からそれぞれ分離したサブ画像毎に前記学習済みモデルに時系列で入力して物体を検出するようにしてもよい。
　また、本開示の第２の側面は、
　物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成ステップと、
　学習済みモデルを用いてセンシング画像から物体を検出する検出ステップと、
を有する情報処理方法である。
　また、本開示の第３の側面は、
　物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部、
　学習済みモデルを用いてセンシング画像から物体を検出する検出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
　本開示の第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、本開示の第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
　また、本開示の第４の側面は、モデルの学習を行う学習装置であって、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力部と、
　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部と、
を具備する学習装置である。
　また、本開示の第５の側面は、モデルの学習を行う学習方法であって、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力ステップと、
　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を計算する計算ステップと、
　前記損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新ステップと、
を有する学習方法である。
　また、本開示の第６の側面は、モデルの学習を行うための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力部、
　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部、
として機能させるコンピュータプログラムである。
　また、本開示の第７の側面は、モデルの学習を行う学習装置であって、
　カメラ画像を認識する認識部と、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識部による認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部と、
を具備する学習装置である。
　また、本開示の第８の側面は、モデルの学習を行う学習方法であって、
　カメラ画像を認識する認識ステップと、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識ステップにおける認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新ステップと、
を有する学習方法である。
　また、本開示の第９の側面は、モデルの学習を行うための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
　カメラ画像を認識する認識部、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識部による認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部、
として機能させるコンピュータプログラムである。
　本開示によれば、物体の速度情報を含むセンサデータから学習済みモデルを用いて物体を検出する情報処理装置及び情報処理方法、物体の速度情報を含むセンサデータから物体を認識する学習モデルの学習を行う学習装置及び学習方法、並びにコンピュータプログラムを提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、車両制御システムの構成例を示すブロック図である。 図２は、センシング領域の例を示す図である。 図３は、物体検出システム３００の機能的構成例を示した図である。 図４は、レーダ５２が取得するセンサデータを例示した図である。 図５は、カメラ画像の一例を示した図である。 図６は、図５に示したカメラ画像に対応するセンシング画像を示した図である。 図７は、連続する複数フレームのセンシング画像を時系列でＤＮＮ７０１に入力して物体と位置情報を検出する様子を示した図である。 図８は、カメラ画像の一例（濃霧）を示した図である。 図９は、図８に示したカメラ画像に対応するセンシング画像を示した図である。 図１０は、検出部３０２による検出結果に基づくヘッドアップディスプレイの表示例を示した図である。 図１１は、センシング画像を動物体領域のサブ画像と静止物体領域のサブ画像に分離する様子を示した図である。 図１２は、センシング画像の時系列を動物体領域のサブ画像と静止物体領域のサブ画像に分離する様子を示した図である。 図１３は、動物体領域のサブ画像及び静止物体領域のサブ画像をそれぞれ時系列でＤＮＮに入力する様子を示した図である。 図１４は、センシング画像に物体の速度情報に応じた縞模様のテクスチャを付与する方法を説明するための図である。 図１５は、センシング画像に物体の速度情報に応じた縞模様のテクスチャを付与する方法を説明するための図である。 図１６は、センシング画像にテクスチャ情報を付与した例を示した図である。 図１７は、テクスチャ情報付きのセンシング画像を動物体領域のサブ画像と静止物体領域のサブ画像に分離する様子を示した図である。 図１８は、テクスチャ情報付きのセンシング画像の時系列を動物体領域のサブ画像と静止物体領域のサブ画像に分離する様子を示した図である。 図１９は、テクスチャ情報付きの動物体領域のサブ画像及び静止物体領域のサブ画像をそれぞれ時系列でＤＮＮに入力する様子を示した図である。 図２０は、レーダ５２のセンサデータから物体検出を行うための処理手順を示したフローチャートである。 図２１は、学習装置２１００の機能的構成例を示した図である。 図２２は、学習装置２１００上でモデルの学習を行う処理手順を示したフローチャートである。 図２３は、学習装置２３００の機能的構成例を示した図である。 図２４は、学習装置２３００上でモデルの学習を行う処理手順を示したフローチャートである。
　以下、図面を参照しながら本開示について、以下の順に従って説明する。
Ａ．車両制御システムの構成例
Ｂ．外部認識センサのセンシング領域
Ｃ．外部認識センサの機能
Ｄ．速度情報に基づく物体検出
　Ｄ－１．基本構成
　Ｄ－２．変形系
　　Ｄ－２－１．センシング画像を領域分割する変形例
　　Ｄ－２－２．速度情報に応じたテクスチャ情報を付与する変形例
　Ｄ－３．処理手順
　Ｄ－４．ＤＮＮの学習処理
Ａ．車両制御システムの構成例
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ　）２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）３０、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）３１、及び、車両制御部３２を備える。
　　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればＣＡＮが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単にプロセッサ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）といった各種プロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路側器等との間の路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩行者が所持する端末等との間の歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Ｏｖｅｒ　Ｔｈｅ　Ａｉｒ)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Ｖｅｈｉｃｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）（登録商標））により送信される電磁波を受信する。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）に適合させた地図を指すものとする。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。受信したＧＮＳＳ信号は、走行支援・自動運転制御部２９に供給される。尚、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得しても良い。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ５１は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
　記録部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部２８は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）として用いられ、記憶媒体としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記録する。例えば、記録部２８は、ＥＤＲ（Ｅｖｅｎｔ　Ｄａｔａ　Ｒｅｃｏｒｄｅｒ）やＤＳＳＡＤ（Ｄａｔａ　Ｓｔｏｒａｇｅ　Ｓｙｓｔｅｍ　ｆｏｒ　Ａｕｔｏｍａｔｅｄ　Ｄｒｉｖｉｎｇ）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された生体情報を記録する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、ＧＮＳＳ信号、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理と、車両１の外部の状況の認識を行う認識処理と、を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、ＬｉＤＡＲ５３又はレーダ５２等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出又は認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもいい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Ｇｌｏｂａｌ　ｐａｔｈ　ｐｌａｎｎｉｎｇ）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全且つ滑らかに進行することが可能な軌道生成（Ｌｏｃａｌ　ｐａｔｈ　ｐｌａｎｎｉｎｇ）の処理も含まれる。経路計画を長期経路計画、及び起動生成を短期経路計画、又は局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、又は局所経路計画と同様の概念を表す。
　経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。この場合にＤＭＳ３０の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成されたこれら各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Ｃａｍｅｒａ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵ等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うＥＣＵ等の制御ユニット等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行うＥＣＵ等の制御ユニット等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うＥＣＵ等の制御ユニット等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うＥＣＵ等の制御ユニット等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うＥＣＵ等の制御ユニット等を備える。
Ｂ．外部認識センサのセンシング領域
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでも良いし、複数であっても良い。
Ｃ．外部認識センサの機能
　車両制御システム１１が車両１の外部の状況を認識するために複数の種類のセンサを含む外部に認識センサ２５を搭載することは、上記Ａ項でも説明した。複数のセンサを搭載する意義として、例えば各センサの得手不得手を他のセンサで補うことや、センサフュージョン部７２においてセンサフュージョン処理によって検出精度や認識精度を向上できることなどが挙げられる。
　各センサの得手不得手は、各々の検出原理にも依拠する。但し、レーダは電波を反射させて対象物の距離などを測定し、カメラは被写体からの可視光の反射光を捕捉し、ＬｉＤＡＲは光を反射させて対象物の距離などを測定することを、各々の検出原理とする。以下の表１には、ミリ波レーダ、カメラ、及びＬｉＤＡＲの得手不得手を以下の表１にまとめている。同表中で、◎は大得意（高い精度を持つ）、○は得意（良好な精度を持つ）、△は苦手（精度が十分でない）を意味する。
Figure JPOXMLDOC01-appb-T000001
　上記の表１から、例えばミリ波レーダは、カメラが苦手とする夜間や悪天候（例えば雨天や霧中など）でも視野内（例えば車両の前方）の物体（先行車両や歩行者、その他の障害物などを検出することができることが分かる。
　また、上記Ａ項では、認識部７３が外部認識センサ２５からの情報に基づいて車両の外部の状況の検出処理及び認識処理を行うことについて言及した。例えば、認識部７３が、ＬｉＤＡＲ５３又はレーダ５２等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出し、さらにクラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動き、すなわち物体の速度及び進行方向（移動ベクトル）を検出することについて説明した。上記Ｂ項で説明したように、認識部７３が検出処理及び認識処理を行って得られた車両１の周囲の物体の動きなどの情報は、動作制御制御部６３においてＡＣＣ、緊急ブレーキ、衝突回避などに用いられる。
Ｄ．速度情報に基づく物体検出
　特許文献１には、レーダ平面とカメラ画像平面との射影変換を利用して、レーダ装置によって検出された障害物の位置情報をカメラ画像上に重ねて表示する表示システムが提案されている（前述）。この表示システムは、ミリ波レーダの反射信号に基づいて、障害物となる物体の位置情報と速度情報を検出し、検出した物体の位置を示すボックスとともに、物体の相対速度を示す矢印をカメラ画像上に重ねて表示することができる。
　しかしながら、特許文献１に開示されるような表示システムでは、ミリ波レーダによるセンサデータに基づいて物体検出までは行わない。このため、カメラ画像からは画像認識により検出できない場合には、カメラ画像上に相対速度のみが忽然と表示されることになる。例えば、夜間や濃霧の中で車載カメラが車両前方を撮影した画像の場合、画像からは視認できない場所に相対速度のみが表示され、カメラ画像の認識処理によっても速度検出の対象となった物体を特定することが難しい。
　そこで、本開示では、ミリ波レーダなどで測定した速度情報を含むセンサデータに基づいてセンシング画像を生成して、学習済みモデルを用いてセンシング画像から物体を検出する技術について提案する。本開示で、学習済みモデルとして、センシング画像から物体を検出するようにディープラーニングされたニューラルネットワークモデル（ＤＮＮ）を使用する。
Ｄ－１．基本構成
　図３には、本開示を適用して実現される、ミリ波レーダなどで測定した速度情報を含むセンサデータから物体検出を行う物体検出システム３００の機能的構成例を模式的に示している。図示の物体検出システム３００は、物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部３０１と、学習済みモデルを用いてセンシング画像から物体を検出する検出部３０２で構成される。
　生成部３０１は、主にレーダ５２（ここではミリ波レーダを想定する）から、物体の速度情報を含むセンサデータを入力する。レーダ５２は、変調波を生成及び送信し、物体からの反射信号を受信及び信号処理して、物体までの距離及び物体の速度を取得する。レーダ５２によるセンシング原理については詳細な説明を省略する。但し、本実施形態では、レーダ５２から取得される情報のうち主に速度情報を使用する。また、本実施形態のようにレーダ５２が車両１に搭載される場合、レーダ５２によって取得される速度情報は、車両１に対する物体の相対速度となる。
　レーダ５２は、シンセサイザ（図示しない）により変調波を生成し、アンテナ（図示しない）から送出する。変調波信号が到来する範囲がレーダ５２の視野となる。そして、レーダ５２は、視野内にある物体からの反射信号を受信して、ＦＦＴ（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）などの信号処理を施して、各反射点における距離情報や速度情報を取得することができる。図４には、レーダ５２がセンサデータを取得する様子を例示している。図４に示すように、レーダ５２から得られるセンサデータは、３次元空間上の各観測点において反射信号を捕捉できた３次元点群からなる。レーダ５２は、このような３次元点群からなるセンサデータを、フレームレート毎に出力する。
　生成部３０１は、図４に示すような３次元点群を、例えば後方の２次元平面４０１上に投影して、レーダ５２の視野内にある物体の速度情報を表現するセンシング画像を生成する。ここで言う速度情報は、車両１と物体との速度差すなわち相対速度を意味する。なお、センシング画像の物体検出結果をカメラ５１による撮像画像と突き合わせなどを行う場合には、２次元平面４０１上に一旦投影したセンシング画像をさらにカメラ画像の平面上に射影変換するようにしてもよい。通常、レーダ５２とカメラ５１の設置位置は一致せず、すなわち、レーダ５２の座標系とカメラ５１の座標系は一致しない。このため、レーダ座標系をカメラ座標系の平面上に射影する射影変換行列をあらかじめ求めておけばよい。
　また、生成部３０１は、レーダ５２による３次元空間上の各観測点を２次元平面に投影する際に、速度情報に対応するピクセル値を各ピクセルに付与する。したがって、生成部３０１によって生成されたセンシング画像は、各ピクセルが速度情報を表現する「速度画像」ということもできる。生成部３０１は、レーダ５２と同じフレームレートでセンシング画像を生成する。
　図５には、カメラ５１によって車両１の前方を捕捉したカメラ画像の一例を示している。図示のカメラ画像のほぼ中央には、先行車両が写っている。また、図６には、図５と同じタイミングでレーダ５２が取得したセンサデータから生成部３０１が生成したセンシング画像を示している（但し、説明の便宜上、センシング画像はレーザ座標系からカメラ座標系へ射影変換され、カメラ画像とセンシング画像間で各ピクセル位置は対応しているものとする）。図６に示すように、センシング画像は、各ピクセルが速度情報（車両１と物体との相対速度）に応じた濃淡を持つ画像である。なお、反射信号を受信できなかったための速度情報を持たない領域は、図６では白く描いている。図５と図６を比較すると、センシング画像のうち、先行車両に対応する領域は、速度差により周辺領域とは異なるピクセル値（図６では濃淡の違い）で表現されている。
　なお、生成部３０１におけるセンシング画像の生成処理は、レーダ５２又は外部認識センサ２５のモジュール内で行われてもよいし、認識部７３で行われてもよい。また、本実施形態では、生成部３０１は、レーダ５１のセンサデータからセンシング画像を生成するが、ＬｉＤＡＲ５３や音波センサなど他のセンサから取得するセンサデータからも同様にセンシング画像を生成することができる。
　また、本実施形態では、ミリ波レーダなどのレーダ５２から出力されるセンサデータからセンシング画像を生成する例を挙げているが、ＬｉＤＡＲ５３や音波センサなど、速度情報を取得可能な他のセンサの出力データからも同様にセンシング画像を生成することができる。
　検出部３０２は、図６に示したようなピクセル毎に速度情報をピクセル値で表したセンシング画像から、学習済みモデルを用いて物体とその物体の位置を検出する。適用可能な学習済みモデルとして、多層の畳み込みニューラルネットワーク（ＣＮＮ）を用いたＤＮＮを挙げることができる。ＤＮＮは、センシング画像から物体を検出するように学習されているものとする。
　一般的に、ＣＮＮは、入力画像の特徴量を抽出する特徴量抽出部と、抽出した特徴量に基づいて入力画像に対応する出力ラベル（識別結果）を推論する画像分類部を含んでいる。前者の特徴量抽出部は、ニューロン間の結合の制限及びウェイト共有の手法によって入力画像の畳み込みを行ってエッジや特徴を抽出する「畳み込み層」と、画像分類に重要でない位置の情報を削除して畳み込み層が抽出した特徴にロバスト性を与える「プーリング層」を備えている。
　また、ＣＮＮの具体例として、ＲｅｓＮｅｔ５０が挙げられる。Ｒｅｓｎｅｔは、手前の層から来た入力をいくつかの層を飛ばして、その後に普通に計算された値と足し合わせるｓｈｏｒｔｃｕｔ　ｃｏｎｎｅｃｔｉｏｎの仕組みを持ち、これによって飛ばされたいくつかの層は手前の層からの入力との残差(ｒｅｓｉｄｕａｌ)のみを予測すればよいことになる。ＲｅｓＮｅｔ５０は、層の深さが５０層からなる。もちろん、本開示はＲｅｓＮｅｔ５０に限定される訳ではない。
　本実施形態では、レーダ５２で取得した速度情報から生成されたセンシング画像から物体とその物体の位置を検出するように、ＣＮＮをあらかじめディープラーニングしたＤＮＮを用いる。但し、ＣＮＮにはセンシング画像から物体のみを検出するように学習させ、センシング画像中の物体の位置情報については、例えばＧｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ　Ｃｌａｓｓ　Ａｃｔｉｖａｔｉｏｎ　Ｍａｐｐｉｎｇ）（例えば、非特許文献１を参照のこと）などのＸＡＩ（ｅＸｐｌａｉｎａｂｌｅ　ＡＩ）技術を用いて抽出するようにしてもよい。
　通常のＲＧＢ画像認識に使用するＤＮＮを、センシング画像の認識にそのまま適用してもよい。本実施形態では、ＲＧＢ画像ではなく、上述したセンシング画像をＣＮＮにディープラーニングさせて、検出部３０２で使用する。レーダ５２によるセンサデータから２次元平面上のセンシング画像を生成することによって、画像認識用のＤＮＮが利用可能になる、と言うこともできる。センシング画像の学習方法については後述に譲る。
　図７には、検出部３０２において、連続する複数フレーム（図７に示す例では３フレーム）のセンシング画像をＤＮＮ７０１に時系列で入力して、センシング画像中の物体（「車両」）と位置情報を検出する様子を示している。連続する複数フレームから物体を検出するように、ＤＮＮ７０１のディープラーニングを行っておくようにしてもよい。もちろん、１フレームから物体を検出するように、ＤＮＮ７０１の学習を行うようにしてもよい。
　そして、検出部３０２は、このようなＤＮＮを用いて検出した、センシング画像に含まれる物体のクラス（「車両」、「歩行者」、「ガードレール」、「街路樹」、「標識」、…など）と、その物体の画像フレーム上の位置情報を、例えば行動計画部６２や動作制御部６３に出力する。行動計画部６２や動作制御部６３は、検出部３０２によって検出された先行車両及びその位置情報に基づいて、緊急ブレーキや衝突回避といった車両を行うことができる。また、検出部３０２によって検出された物体の情報を、ＨＭＩ３１がヘッドアップディスプレイ又は車両１の周囲の状況を示すモニタ画面上に表示するようにしてもよい。
　例えば夜間や濃霧などの環境下でカメラ５１によって車両１の前方を捕捉した場合、カメラ画像から先行車両などの物体を検出することは困難である。これに対し、レーダ５２は本来夜間や悪天候下でも物体の検出性能が高いことから、レーダ５２のセンサデータに基づいて生成されたセンシング画像を用いれば、カメラ画像からは検出困難な物体を検出することが容易になる。図８を参照すると、濃霧のためカメラ画像からは先行車両の視認は難しいため、物体検出器に入力しても検出が困難であることが予想される。また、図９には、図８と同じタイミングでレーダ５２が取得したセンサデータから生成部３０１が生成したセンシング画像を示している。レーダ５２によれば、天候や明るさに影響を受けずに、視野内の物体を捕捉することができる。図９を参照すると、先行車両に対応する領域９０１は、霧や雨の影響を受けずに、速度差により周辺領域とは異なるピクセル値で表現されているので、ＤＮＮを用いてセンシング画像から先行車両を高精度で検出できることを期待できる。図１０に示すように、夜間や濃霧などの環境下で、検出部３０２によって検出された先行車両を示すボックス１００１をヘッドアップディスプレイやモニタ画面上に表示して、ドライバに警告するようにしてもよい。
　なお、検出部３０２におけるセンシング画像から物体を検出する処理は、外部認識センサ２５又は認識部７３のいずれかのモジュール内で行われてもよい。
Ｄ－２．変形例
　このＤ－２項では、主にセンシング画像の認識性能を向上するための変形例について説明する。
Ｄ－２－１．センシング画像を領域分割する変形例
　センシング画像は、レーダ５２による３次元空間上の各観測点を、速度情報に対応するピクセル値を付与して２次元平面上に投影した画像である。ところが、図６からも分かるように、センシング画像は各ピクセルが速度情報（車両１との速度差）に応じたピクセル値を持つ単調な画像である。このため、物体の形状や表面のテクスチャといった情報量が豊富なカメラ画像と比較して、ＤＮＮによる十分な検出精度を得られないことが懸念される。ＤＮＮがセンシング画像をそのまま学習することは難しい、と言い換えることもできる。
　そこで、変形例として、１フレームのセンシング画像を、ピクセル値に基づいて、動物体の領域を抽出したサブ画像と、静止物体の領域を抽出したサブ画像とに分離して、これら２種類のサブ画像に分けてＤＮＮに入力して、各物体が動いているのか静止しているのかの違いを強調することで、ＤＮＮの検出精度の向上を図る方法について提案する。センシング画像を動物体領域と静止物体領域に分けて学習することによって、ＤＮＮの学習効率を向上することも期待できる。
　ここで、動物体は、例えば先行車両や対向車両などの周辺車両や、歩行者などである。動物体領域は、これらの動物体にレーダ５２から出力されたレーダが当たっている領域である。また、静止物体は、ガードレールや壁、街路樹、標識などである。静止物体領域は、これらの静止物体にレーダ５２から出力されたレーダが当たっている領域である。
　先行車両のように車両１と同じ方向に移動する動物体の相対速度（車両１との速度差）は小さい。また、対向車両のように車両１と反対方向に移動する動物帯の相対速度は大きい。他方、ガードレールや壁、街路樹、標識などのように静止物体の相対速度は車両１の移動速度（絶対速度）にほぼ等しい。したがって、ピクセル値が２５６階調で表されるセンシング画像では、ピクセル値が１１８未満又は１３６を超える領域が動物体領域であり、ピクセル値が１１８以上で１３８以下となる領域が静止物体領域である。図１１には、図６に示したセンシング画像を、同図中（ａ）のピクセル値が１１８未満又は１３６を超える動物体領域からなるサブ画像と、同図中（ｂ）のピクセル値が１１８以上で１３８以下となる静止物体領域からなるサブ画像に分離した様子を示している。
　生成部３０１が生成したセンシング画像を、動物体の領域を抽出したサブ画像と静止物体の領域を抽出したサブ画像とに分離して、ＤＮＮに入力することで、検出部３０２は、物体の検出精度を向上することができる。１つのセンシング画像を複数のサブ画像に分離する処理は、例えば生成部３０１で行うことができるが、検出部３０２で行ってもよい。また、動物体領域のサブ画像と静止物体領域のサブ画像に分けてセンシング画像の学習を行うことによって、ＤＮＮの学習効率を向上することも期待できる。
　図７には、連続する複数フレームのセンシング画像を時系列でＤＮＮに入力して物体検出を行う例を示した。センシング画像を動物体領域のサブ画像と静止物体領域のサブ画像に分離する場合には、各サブ画像を時系列でＤＮＮに入力するようにすればよい。図１２には、時刻ｔ－２、ｔ－１、ｔにおける各センシング画像を、時刻ｔ－２、ｔ－１、ｔにおける動物体領域のサブ画像と、時刻ｔ－２、ｔ－１、ｔにおける静止物体領域のサブ画像に分離する様子を示している。また、図１３には、分離した動物体領域のサブ画像及び静止物体領域のサブ画像を、それぞれ時系列でＤＮＮ１３０１に入力する様子を示している。このような場合、動物体領域のサブ画像及び静止物体領域のサブ画像の時系列から物体を検出するように、ＤＮＮ１３０１のディープラーニングを行っておくようにしてもよい。
Ｄ－２－２．速度情報に応じたテクスチャ情報を付与する変形例
　上記Ｄ－２－１項では、センシング画像中の動物体の領域静止物体の領域をＤＮＮが識別し易くするために、センシング画像を動物体領域のサブ画像と静止物体領域のサブ画像に分離してＤＮＮに入力する変形例について説明した。このＤ－２－２項では、さらに各領域に対して速度情報に応じたテクスチャ情報を付与することによって、物体毎の速度の違いを強調して、ＤＮＮの検出精度のさらなる向上を図る変形例について提案する。速度情報に応じたテクスチャ情報を含むセンシング画像を学習することによって、ＤＮＮの学習効率を向上することも期待できる。
　一例として、センシング画像に物体の速度情報に応じた縞模様のテクスチャを付与する方法について、図１４及び図１５を参照しながら説明する。
　図１４（ａ）には、センシング画像中の、ピクセル値が１８０の物体の領域を示している。上述したように、センシング画像の各ピクセルには、対応する物体の速度情報に応じたピクセル値が付与されている。ここで、図１４（ｂ）に示すように、水平方向に所定の間隔でピクセル値を半分の９０にする領域を生成することによって、元の均一なピクセル値（濃淡）からなる領域に、縦縞のテクスチャを付与することができる。
　さらに、元の（すなわち、テスクチャを付与する前の）ピクセル値に応じて縞模様の方位を変えるようにして、縞模様のテクスチャを完成させる。例えばピクセル値１毎に０．７度ずつ（ピクセル値：方位＝１：０．７°）、縞模様の方位を変えていく。例えば、図１５（ａ）に示すように水平方向に所定の間隔でピクセル値を半分の９０にする領域を生成して縦縞のテクスチャを付与した後、ピクセル値１毎に０．７度ずつ、したがってピクセル値１８０に対して１２６度だけ方位を変えて、図１５（ｂ）に示すようなテクスチャを付与することができる。
　図１６には、図６に示したセンシング画像に対して、上記の図１４及び図１５に示した方法に従って、速度情報に応じた縞模様からなるテクスチャ情報を付与した例を示している。ピクセル値のみで速度情報を表現する場合と比較して、テスクチャ情報を付与することによって、速度の違いをさらに強調することができるという点を理解されたい。
　なお、縞模様のテクスチャを付与するのは一例に過ぎない。ドットや格子など他のテクスチャを速度情報に応じて付与するようにすることもできる。
　センシング画像に速度情報に応じたテクスチャ情報を付与する場合も、上記Ｄ－２－１項で説明した場合と同様に、動物体領域からなるサブ画像と静止物体領域からなるサブ画像に分離して、ＤＮＮに入力するようにしてもよい。図１７には、図１６に示したテクスチャ情報付きのセンシング画像を、同図中（ａ）の動物体領域からなるサブ画像と、同図中（ｂ）の静止物体領域からなるサブ画像に分離した様子を示している。テクスチャ情報付きのセンシング画像を、動物体の領域を抽出したサブ画像と静止物体の領域を抽出したサブ画像とに分離して、ＤＮＮに入力することで、検出部３０２は、物体の検出精度を向上することができる。
　また、センシング画像に速度情報に応じたテクスチャ情報を付与する場合も、上記Ｄ－２－１項で説明した場合と同様に、各サブ画像を時系列でＤＮＮに入力するようにしてもよい。図１８には、時刻ｔ－２、ｔ－１、ｔにおける各センシング画像を、時刻ｔ－２、ｔ－１、ｔにおける動物体領域のサブ画像と、時刻ｔ－２、ｔ－１、ｔにおける静止物体領域のサブ画像に分離する様子を示している。また、図１９には、分離した動物体領域のサブ画像及び静止物体領域のサブ画像を、それぞれ時系列でＤＮＮ１９０１に入力する様子を示している。
Ｄ－３．処理手順
　このＤ－３項では、図３に示した物体検出システム３００において、レーダ５２のセンサデータから物体検出を行うための処理手順について説明する。図２０には、この処理手順をフローチャートの形式で示している。
　まず、レーダ５２を用いて、例えば車両１の前方のセンシングを行う（ステップＳ２００１）。レーダ５２は、変調波を生成及び送信し、視野内の物体からの反射信号を受信及び信号処理して、３次元空間上の各観測点における速度情報を表す３次元点群からなるセンサデータ（図４を参照のこと）を取得する。なお、ここでは説明便宜上、車両１の前方をセンシングするとしたが、もちろん、車両１の左右の側方や車両１の後方のセンシングを行うようにしてもよい。
　次いで、生成部３０１は、３次元点群からなるレーダ５２のセンサデータを、２次元平面上に投影して、各ピクセルが速度情報に応じたピクセル値を持つセンシング画像を生成する（ステップＳ２００２）。なお、３次元空間上の各観測点においてしておいてもよい。
　次いで、上記Ｄ－２－１項で説明したように、センシング画像を動物体の領域を抽出したサブ画像と、静止物体の領域を抽出したサブ画像とに分離する（ステップＳ２００３）。サブ画像への分離処理は、生成部３０１又は検出部３０２のいずれで行われてもよい。また、上記－２－２項で説明したように、各サブ画像に対して速度情報に応じたテクスチャ情報を付与するようにしてもよい。
　そして、検出部３０２は、動物体領域のサブ画像及び静止のサブ画像をそれぞれ時系列でＤＮＮに入力して、センシング画像に含まれる物体を検出する（ステップＳ２００４）。
　ＤＮＮは、サブ画像に分離した形でセンシング画像の時系列を入力して、先行車両などの動物体や、壁やガードレールといった静止物体と、各物体の位置を検出する。そして、検出部３０２は、ＤＮＮによる検出結果を、例えば行動計画部６２や動作制御部６３に出力する（ステップＳ２００５）。行動計画部６２や動作制御部６３は、検出部３０２によって検出された先行車両及びその位置情報に基づいて、緊急ブレーキや衝突回避といった車両を行うことができる。また、検出部３０２によって検出された物体の情報を、ＨＭＩ３１がヘッドアップディスプレイ又は車両１の周囲の状況を示すモニタ画面上に表示するようにしてもよい。
Ｄ－４．学習モデルの学習処理
　本実施形態では、ディープラーニングして構築される学習モデルを、検出部３０２におけるセンシング画像の認識処理に使用する。このＤ－４項では、検出部３０２で使用される学習モデルの学習処理について説明する。
　図２１には、検出部３０２で使用される学習モデルの学習を行う学習装置２１００の機能的構成例を模式的に示している。図示の学習装置２１００は、学習データ保持部２１０１と、モデル更新部２１０２と、モデルパラメータ保持部２１０３を備えている。また、学習装置２１００には、機械学習モデルの学習に使用する学習データを提供する学習データ提供部２１２０がさらに装備されている。学習装置２１００の機能の一部又は全部が例えばクラウド又は大規模演算が可能な演算装置上に構築されるが、エッジデバイスに搭載して用いられてもよい。
　学習データ提供部２１２０は、モデル更新部２１０２がモデルの学習に使用する学習データを供給する。学習データは、具体的には、対象となる学習モデルに入力する入力データｘとしてのセンシング画像と、センシング画像に対して正解となる正解ラベルｙとなる物体とを組み合わせたデータセット（ｘ，ｙ）からなる。学習データ提供部２１２０は、例えば、数多の車両から収集したセンシング画像及びその検出結果を、学習データとして学習装置２１００に提供するようにしてもよい。
　学習データ保持部２１０１は、モデル更新部２１０２がモデルの学習に使用する学習データを蓄積している。個々の学習データは、学習対象となるモデルに入力する入力データと、そのモデルが推論すべき正解のラベルを組み合わせたデータセットからなる（同上）。学習データ保持部２１０１は、学習データ提供部２１３０から提供されたデータセットを蓄積するが、その他のソースから得られたデータセットを蓄積していてもよい。モデル更新部２１０２がディープラーニングを行う場合には、学習データ保持部２１０１に厖大量のデータセットを蓄積しておく必要がある。
　モデル更新部２１０２は、学習データ保持部２１０１から学習データを逐次読み出して、対象となる学習モデルの学習を行って、モデルパラメータを更新する。学習モデルは、ＣＮＮなどのニューラルネットワークで構成されるが、サポートベクタ回帰、ガウス過程回帰などの型を用いたモデルであってもよい。ニューラルネットワークで構成されるモデルは、画像などのデータ（説明変数）を入力する入力層と、入力データに対する推論結果となるラベル（目的変数）を出力する出力層と、入力層と出力層の間の１又は複数の中間層（又は隠れ層）の多層で構成される。各層はそれぞれニューロンに相当する複数のノードからなる。層と層の間にあるノード間の結合は重みを持ち、入力層に入力されたデータは、層から層へ渡る過程で値が変換されていく。モデル更新部２１０２は、例えば、入力データに対してモデルから出力されるラベルと、入力データに対応する正解ラベルとの誤差に基づいて定義される損失関数を計算し、この損失関数が最小となるように誤差逆伝播により、モデルパラメータ（ノード間の重み係数など）を更新しながら、モデルの学習を実施する。なお、学習処理は計算量が膨大であることから、モデル更新部２１０２は、複数の計算のＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又は複数のノードを用いた分散学習を実施するようにしてもよい。
　そして、モデル更新部２１０２は、学習結果として得られたモデルパラメータを、モデルパラメータ保持部２１０３に格納する。モデルパラメータは、モデルを規定する変動要素であり、例えばニューラルネットワークのノード間に与える結合重み係数などである。
　検出システム３００において、レーダ５２からのセンサデータに基づいて物体検出を行う際には、まず生成部３０１が、３次元点群からなるセンサデータを２次元平面上に投影して、センシング画像を生成する。そして、検出部３０２は、モデルパラメータ保持部２１０３から読み出したモデルパラメータを設定したモデルすなわち学習済みモデルを使って、入力されたセンシング画像から推論した物体ラベルを出力する。
　図２２には、学習装置２１００上でモデルの学習を行う処理手順をフローチャートの形式で示している。
　まず、モデル更新部２１０２は、学習データ保持部２１０１から、センシング画像と正解ラベルのデータセットからなる学習データを読み出す（ステップＳ２２０１）。そして、モデル更新部２１０２は、読み出したセンシング画像を学習中のモデルに入力して、現時点の学習段階でモデルが推論した出力ラベルを取得する（ステップＳ２２０２）。
　次いで、モデル更新部２１０２は、入力したセンシング画像に対してモデルから出力されたラベルを取得すると（ステップＳ２２０３）、出力ラベルと正解ラベルとの誤差に基づく損失関数を求める（ステップＳ２２０４）。そして、モデル更新部２１０２は、損失関数が最小となるように誤差を逆伝播して（ステップＳ２２０５）、学習対象のモデルのモデルパラメータを更新する（ステップＳ２２０６）。更新されたモデルパラメータは、モデルパラメータ保持部２１０３に蓄積される。
　その後、モデル更新部２１０２は、対象とするモデルの学習の終了条件に到達したか否かをチェックする（ステップＳ２２０７）。例えば、学習回数を終了条件にしてもよいし、モデルの出力ラベルの期待値が所定値以上になることを終了条件にしてもよい。終了条件に到達したならば（ステップＳ２２０７のＹｅｓ）、モデルの学習処理を終了する。また、まだ終了条件に到達していないならば（ステップＳ２２０７のＮｏ）、ステップＳ２２０１に戻って、上記のモデル学習処理を繰り返し実行する。
　図２３には、検出部３０２で使用される学習モデルの学習を行う、他の例に係る学習装置２３００の機能的構成例を模式的に示している。学習装置２３００は、車両１に搭載して用いることができる点、及び、カメラ５１で車両１の前方（又は周囲）を撮像したカメラ画像を認識部７３で認識した結果を学習データに用いることができる点に、主な特徴がある。学習装置２３００は、モデル更新部２３０１とモデルパラメータ保持部２３０２を備えている。
　例えば車両１の運転中に、カメラ５１で車両の前方（又は周囲）を撮像する。そして、認識部７３は、例えば学習済みモデル（ＤＮＮなど）で構成される物体検出器を用いて、カメラ画像から物体を検出する。
　一方、検出システム３００側では、生成部３０１は、レーダ５２からの３次元点群からなるセンサデータを２次元平面上に投影して、センシング画像を生成する。なお、カメラ画像に対する認識結果との整合性を保つために、センシング画像に対し、レーダ座標系からカメラ座標系への射影変換処理を行うことが好ましい。そして、検出部３０２は、モデルパラメータ保持部２３０３から読み出したモデルパラメータを設定したモデルすなわち学習中のモデルを使って、入力されたセンシング画像から推論した物体ラベルを出力する。
　モデル更新部２３０１は、カメラ５１で撮影したカメラ画像に対して認識部７３から出力されるラベルと、検出部３０２がセンシング画像に対して出力するラベルとの誤差に基づいて定義される損失関数を計算し、この損失関数が最小となるように誤差逆伝播により、モデルパラメータ（ノード間の重み係数など）を更新しながら、モデルの学習を実施する。すなわち、カメラ画像を認識部７３で認識した結果を学習データに用いてモデルの学習を実施する。
　学習装置２３００を車両１に搭載して用いることにより、カメラ５１によるカメラ画像に基づいて常に学習データを得ることができるので、車両１で移動中にも、学習装置２３００は、検出部３０２で使用するモデルの学習（再学習、追加学習）を行うことができる。例えば車両１が通行する経路が限定されている場合には、センシング画像のうち静止物体領域の部分は限定されるので、車両毎の経路など個別のニーズに適応したモデルの学習を実現することができる。
　図２４には、学習装置２３００上でモデルの学習を行う処理手順をフローチャートの形式で示している。
　まず、カメラ５１で車両の前方（又は周囲）を撮像する（ステップＳ２４０１）。そして、認識部７３は、例えば学習済みモデル（ＤＮＮなど）で構成される物体検出器を用いて、カメラ画像から物体を検出する（ステップＳ２４０２）。
　一方、検出システム３００側では、生成部３０１は、レーダ５２からの３次元点群からなるセンサデータを２次元平面上に投影して、センシング画像を生成する（ステップＳ２４０３）。その際、カメラ画像に対する認識結果との整合性を保つために、センシング画像に対し、レーダ座標系からカメラ座標系への射影変換処理を行うことが好ましい。
　次いで、検出部３０２は、モデルパラメータ保持部２３０３から読み出したモデルパラメータを設定したモデルすなわち学習中のモデルを使って、入力されたセンシング画像から推論した物体ラベルを出力する（ステップＳ２４０４）。
　次いで、モデル更新部２３０１は、カメラ５１で撮影したカメラ画像に対して認識部７３から出力されるラベルと、検出部３０２がセンシング画像に対して出力するラベルとの誤差に基づいて定義される損失関数を計算する（ステップＳ２４０５）。
　そして、モデル更新部２３０１は、損失関数が最小となるように誤差を逆伝播して（ステップＳ２４０６）、学習対象のモデルのモデルパラメータを更新する（ステップＳ２４０７）。更新されたモデルパラメータは、モデルパラメータ保持部２３０２に蓄積される。
　その後、モデル更新部２１０２は、対象とするモデルの学習の終了条件に到達したか否かをチェックする（ステップＳ２４０８）。例えば、学習回数を終了条件にしてもよいし、モデルの出力ラベルの期待値が所定値以上になることを終了条件にしてもよい。終了条件に到達したならば（ステップＳ２４０８のＹｅｓ）、モデルの学習処理を終了する。また、まだ終了条件に到達していないならば（ステップＳ２４０８のＮｏ）、ステップＳ２４０１に戻って、上記のモデル学習処理を繰り返し実行する。
　以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、本開示を主に車両に搭載した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。本開示は、歩行ロボットや搬送ロボット、ドローンなどの無人航空機など、車両以外のさまざまなタイプの移動体装置にも搭載して、同様にミリ波レーダなどから得られた速度情報に基づく物体検出を行うことができる。また、本開示は、スマートフォンやタブレットなどの多機能情報端末やヘッドマウントディスプレイ、ゲーム機などにも搭載して、歩行中のユーザの前方にある障害物などの物体の検出を行うことができる。
　要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本開示は、以下のような構成をとることも可能である。
（１）物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部と、
　学習済みモデルを用いてセンシング画像から物体を検出する検出部と、
を具備する情報処理装置。
（２）前記検出部は、センシング画像に含まれる物体を認識するように学習された前記学習済みモデルを用いて物体検出を行う、
上記（１）に記載の情報処理装置。
（３）前記生成部は、３次元点群からなるセンサデータを２次元平面上に投影してセンシング画像を生成する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記生成部は、速度情報に対応するピクセル値を持つセンシング画像を生成する、
上記（３）に記載の情報処理装置。
（５）前記生成部は、１つのセンシング画像をピクセル値に基づいて複数のサブ画像に分離し、
　前記検出部は、前記複数のサブ画像を前記学習済みモデルに入力して物体を検出する、
上記（４）に記載の情報処理装置。
（６）前記検出部は、複数の連続するセンシング画像からそれぞれ分離したサブ画像毎に前記学習済みモデルに時系列で入力して物体を検出する、
上記（５）に記載の情報処理装置。
（７）前記検出部は、センシング画像をピクセル値に基づいて分離した複数のサブ画像から物体を認識するように学習された前記学習済みモデルを用いて物体検出を行う、
上記（５）又は（６）のいずれかに記載の情報処理装置。
（８）前記生成部は、各サブ画像に速度情報に応じたテクスチャを付与する、
上記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）前記学習済みモデルはＤＮＮで構成される、
上記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記センサデータは、ミリ波レーダ、ＬｉＤＡＲ、音波センサのうち少なくとも１つのセンサによって捕捉されたデータである、
上記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成ステップと、
　学習済みモデルを用いてセンシング画像から物体を検出する検出ステップと、
を有する情報処理方法。
（１２）物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部、
　学習済みモデルを用いてセンシング画像から物体を検出する検出部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１３）モデルの学習を行う学習装置であって、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力部と、
　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部と、
を具備する学習装置。
（１４）モデルの学習を行う学習方法であって、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力ステップと、
　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を計算する計算ステップと、
　前記損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新ステップと、
を有する学習方法。
（１５）モデルの学習を行うための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力部、
　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部、
として機能させるコンピュータプログラム。
（１６）モデルの学習を行う学習装置であって、
　カメラ画像を認識する認識部と、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識部による認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部と、
を具備する学習装置。
（１７）前記センサデータは、前記カメラと同じ装置上に搭載されたミリ波レーダ、ＬｉＤＡＲ、音波センサのうち少なくとも１つのセンサによって捕捉されたデータである、
上記（１６）に記載の学習装置。
（１８）モデルの学習を行う学習方法であって、
　カメラ画像を認識する認識ステップと、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識ステップにおける認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新ステップと、
を有する学習方法。
（１９）モデルの学習を行うための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
　カメラ画像を認識する認識部、
　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識部による認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部、
として機能させるコンピュータプログラム。
　１…車両、１１…車両制御システム、２１…車両制御ＥＣＵ
　２２…通信部、２３…地図情報蓄積部、２４…ＧＮＳＳ受信部
　２５…外部認識センサ、２６…車内センサ、２７…車両センサ
　２８…季肋部、２９…走行支援・自動運転制御部、３０…ＤＭＳ
　３１…ＨＭＩ、３２…車両制御部、４１…通信ネットワーク
　５１…カメラ、５２…レーダ、５３…ＬｉＤＡＲ
　５４…超音波センサ、６１…分析部、６２…行動計画部
　６３…動作制御部、７１…自己位置推定部
　７２…センサフュージョン部、７３…認識部
　８１…ステアリング制御部、８２…ブレーキ制御部、８３…駆動制御部
　８４…ボディ系制御部、８５…ライト制御部、８６…ホーン制御部
　３００…検出システム、３０１…生成部、３０２…検出部
　２１００…学習装置、２１０１…学習データ保持部
　２１０２…モデル更新部、２１０３…モデルパラメータ保持部
　２３００…学習装置、２３０１…モデル更新部
　２３０２…モデルパラメータ保持部

Claims (19)

  1. 　物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部と、
    　学習済みモデルを用いてセンシング画像から物体を検出する検出部と、
    を具備する情報処理装置。
  2. 　前記検出部は、センシング画像に含まれる物体を認識するように学習された前記学習済みモデルを用いて物体検出を行う、
    請求項１に記載の情報処理装置。
  3. 　前記生成部は、３次元点群からなるセンサデータを２次元平面上に投影してセンシング画像を生成する、
    請求項１に記載の情報処理装置。
  4. 　前記生成部は、速度情報に対応するピクセル値を持つセンシング画像を生成する、
    請求項３に記載の情報処理装置。
  5. 　前記生成部は、１つのセンシング画像をピクセル値に基づいて複数のサブ画像に分離し、
    　前記検出部は、前記複数のサブ画像を前記学習済みモデルに入力して物体を検出する、
    請求項４に記載の情報処理装置。
  6. 　前記検出部は、複数の連続するセンシング画像からそれぞれ分離したサブ画像毎に前記学習済みモデルに時系列で入力して物体を検出する、
    請求項５に記載の情報処理装置。
  7. 　前記検出部は、センシング画像をピクセル値に基づいて分離した複数のサブ画像から物体を認識するように学習された前記学習済みモデルを用いて物体検出を行う、
    請求項５に記載の情報処理装置。
  8. 　前記生成部は、各サブ画像に速度情報に応じたテクスチャを付与する、
    請求項５に記載の情報処理装置。
  9. 　前記学習済みモデルはＤＮＮで構成される、
    請求項１に記載の情報処理装置。
  10. 　前記センサデータは、ミリ波レーダ、ＬｉＤＡＲ、音波センサのうち少なくとも１つのセンサによって捕捉されたデータである、
    請求項１に記載の情報処理装置。
  11. 　物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成ステップと、
    　学習済みモデルを用いてセンシング画像から物体を検出する検出ステップと、
    を有する情報処理方法。
  12. 　物体の速度情報を含むセンサデータに基づいてセンシング画像を生成する生成部、
    　学習済みモデルを用いてセンシング画像から物体を検出する検出部、
    としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
  13. 　モデルの学習を行う学習装置であって、
    　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力部と、
    　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部と、
    を具備する学習装置。
  14. 　モデルの学習を行う学習方法であって、
    　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力ステップと、
    　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を計算する計算ステップと、
    　前記損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新ステップと、
    を有する学習方法。
  15. 　モデルの学習を行うための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
    　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像を前記モデルに入力する入力部、
    　入力されたセンシング画像に対する前記モデルの出力ラベルと正解ラベルとの誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部、
    として機能させるコンピュータプログラム。
  16. 　モデルの学習を行う学習装置であって、
    　カメラ画像を認識する認識部と、
    　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識部による認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部と、
    を具備する学習装置。
  17. 　前記センサデータは、前記カメラと同じ装置上に搭載されたミリ波レーダ、ＬｉＤＡＲ、音波センサのうち少なくとも１つのセンサによって捕捉されたデータである、
    請求項１６に記載の学習装置。
  18. 　モデルの学習を行う学習方法であって、
    　カメラ画像を認識する認識ステップと、
    　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識ステップにおける認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新ステップと、
    を有する学習方法。
  19. 　モデルの学習を行うための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
    　カメラ画像を認識する認識部、
    　物体の速度情報を含むセンサデータに基づいて生成されたセンシング画像に対する前記モデルによる認識結果と前記認識部による認識との誤差に基づく損失関数を最小とするように誤差逆伝播して前記モデルのモデルパラメータを更新するモデル更新部、
    を具備する学習装置。
    として機能させるコンピュータプログラム。
PCT/JP2022/029951 2021-10-01 2022-08-04 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム WO2023053718A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/693,125 US20240290108A1 (en) 2021-10-01 2022-08-04 Information processing apparatus, information processing method, learning apparatus, learning method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-162840 2021-10-01
JP2021162840 2021-10-01

Publications (1)

Publication Number Publication Date
WO2023053718A1 true WO2023053718A1 (ja) 2023-04-06

Family

ID=85782284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029951 WO2023053718A1 (ja) 2021-10-01 2022-08-04 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム

Country Status (2)

Country Link
US (1) US20240290108A1 (ja)
WO (1) WO2023053718A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022110A1 (ja) * 2018-07-27 2020-01-30 パナソニック株式会社 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US20210063578A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
JP2021047797A (ja) * 2019-09-20 2021-03-25 トッパン・フォームズ株式会社 機械学習装置、機械学習方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022110A1 (ja) * 2018-07-27 2020-01-30 パナソニック株式会社 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US20210063578A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
JP2021047797A (ja) * 2019-09-20 2021-03-25 トッパン・フォームズ株式会社 機械学習装置、機械学習方法、及びプログラム

Also Published As

Publication number Publication date
US20240290108A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
US20200409387A1 (en) Image processing apparatus, image processing method, and program
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
EP4160526A1 (en) Information processing device, information processing method, information processing system, and program
WO2022075133A1 (ja) 撮像装置、情報処理装置、撮像システム及び撮像方法
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法
US20230245423A1 (en) Information processing apparatus, information processing method, and program
WO2023053718A1 (ja) 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム
CN115996869A (zh) 信息处理装置、信息处理方法、信息处理系统和程序
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023047666A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021145227A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875595

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18693125

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22875595

Country of ref document: EP

Kind code of ref document: A1