WO2022075075A1 - 情報処理装置および方法、並びに情報処理システム - Google Patents

情報処理装置および方法、並びに情報処理システム Download PDF

Info

Publication number
WO2022075075A1
WO2022075075A1 PCT/JP2021/034940 JP2021034940W WO2022075075A1 WO 2022075075 A1 WO2022075075 A1 WO 2022075075A1 JP 2021034940 W JP2021034940 W JP 2021034940W WO 2022075075 A1 WO2022075075 A1 WO 2022075075A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
unit
information processing
vehicle
data
Prior art date
Application number
PCT/JP2021/034940
Other languages
English (en)
French (fr)
Inventor
大輔 松尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/247,102 priority Critical patent/US20240019539A1/en
Priority to CN202180067502.4A priority patent/CN116235231A/zh
Publication of WO2022075075A1 publication Critical patent/WO2022075075A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles

Definitions

  • the present technology relates to an information processing device and method, and an information processing system, and more particularly to an information processing device and method capable of reducing the capacity of a transmission path required for transmission of sensor data, and an information processing system.
  • Patent Document 1 proposes a technique for transmitting, aggregating, and fusing sensor data of a plurality of sensors before signal processing. By transmitting and aggregating the sensor data before signal processing and performing integration processing and performing detection, it is possible to expect object detection with higher accuracy than in the case of transmitting and aggregating the detection results.
  • a high transmission rate is required in order to transmit and aggregate the sensor data before signal processing.
  • a communication line having a large transmission capacity such as Gigabit Ethernet is used. Need to be used.
  • This technology was made in view of such a situation, and makes it possible to reduce the capacity of the transmission line required for the transmission of sensor data.
  • the information processing device of the first aspect of the present technology includes a signal extraction unit that extracts a part of the sensor data and generates the extracted data based on the spectrum of a specific component of the sensor data of the ranging sensor.
  • the information processing system of the second aspect of the present technology is a distance measuring sensor that extracts a part of the sensor data and generates the extracted data based on the spectrum of a specific component of the sensor data, and the distance measuring sensor. It includes a network for transmitting the output extracted data.
  • a part of the sensor data is extracted based on the spectrum of a specific component of the sensor data of the distance measuring sensor, and the extracted data is generated.
  • the distance measuring sensor extracts a part of the sensor data based on the spectrum of a specific component of the sensor data to generate the extracted data, and the distance measuring sensor is generated by the network.
  • the extracted data output from is transmitted.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of an object detection system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1, detects an object outside the vehicle 1, and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, and a vehicle sensor 27. It includes a recording unit 28, a driving support / automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32. Since the vehicle control ECU 21 is composed of a processor or the like, it is described as a processor in FIG.
  • the vehicle control unit 32 is connected to each other so as to be able to communicate with each other via the communication network 41.
  • the communication network 41 is an in-vehicle device conforming to digital bidirectional communication standards such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It consists of a communication network and a bus. The communication network 41 may be used properly depending on the type of data to be communicated.
  • CAN is applied for data related to vehicle control
  • Ethernet is applied for large-capacity data.
  • each part of the vehicle control system 11 does not go through the communication network 41, but wireless communication assuming relatively short-distance communication such as short-range wireless communication (NFC (Near Field Communication)) and Bluetooth (registered trademark). In some cases, it is directly connected using.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the description of the communication network 41 shall be omitted.
  • the vehicle control ECU 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the vehicle control ECU 21 and the communication unit 22 simply communicate with each other.
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit), for example.
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part of the vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication unit 22 will roughly explain the feasible communication with the outside of the vehicle.
  • the communication unit 22 is on an external network via a base station or an access point by a wireless communication method such as 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (Dedicated Short Range Communications), etc. Communicates with a server that exists in (hereinafter referred to as an external server).
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a network peculiar to a business operator.
  • the communication method for communicating with the external network by the communication unit 22 is not particularly limited as long as it is a wireless communication method capable of digital bidirectional communication at a communication speed of a predetermined value or higher and a distance of a predetermined distance or more.
  • the communication unit 22 can communicate with a terminal existing in the vicinity of the own vehicle by using P2P (Peer To Peer) technology.
  • Terminals that exist near the vehicle are, for example, terminals worn by moving objects that move at relatively low speeds such as pedestrians and bicycles, terminals that are fixedly installed in stores, or MTC (Machine Type Communication).
  • MTC Machine Type Communication
  • the communication unit 22 can also perform V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside devices, and vehicle-to-home (Vehicle to Home) communication.
  • And communication between the vehicle and others such as vehicle-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 can receive, for example, a program for updating the software that controls the operation of the vehicle control system 11 from the outside (Over The Air).
  • the communication unit 22 can further receive map information, traffic information, information around the vehicle 1, and the like from the outside. Further, for example, the communication unit 22 can transmit information about the vehicle 1 and information around the vehicle 1 to the outside. Information about the vehicle 1 transmitted by the communication unit 22 to the outside includes, for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, and the like. Further, for example, the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • a vehicle emergency call system such as eCall.
  • the communication unit 22 will roughly explain the feasible communication with the inside of the vehicle.
  • the communication unit 22 can communicate with each device in the vehicle by using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle by a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB), which enables digital bidirectional communication at a communication speed higher than a predetermined value by wireless communication. Can be done.
  • the communication unit 22 can also communicate with each device in the vehicle by using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 digitally bidirectionally communicates at a communication speed higher than a predetermined speed by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). It is possible to communicate with each device in the car by the communication method capable of.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the device in the vehicle refers to, for example, a device that is not connected to the communication network 41 in the vehicle.
  • the equipment in the vehicle for example, mobile equipment and wearable equipment possessed by passengers such as drivers, information equipment brought into the vehicle and temporarily installed, and the like are assumed.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the map information storage unit 23 stores one or both of the map acquired from the outside and the map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map including four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • the vector map refers to a map conforming to ADAS (Advanced Driver Assistance System) in which traffic information such as lanes and signal positions are associated with a point cloud map.
  • ADAS Advanced Driver Assistance System
  • the point cloud map and the vector map may be provided from, for example, an external server, or the vehicle 1 as a map for matching with a local map described later based on the sensing result by the radar 52, LiDAR 53, or the like. It may be created and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, related to the planned route on which the vehicle 1 will travel from now on is acquired from the external server or the like. ..
  • the GNSS receiving unit 24 receives the GNSS signal from the GNSS satellite and acquires the position information of the vehicle 1.
  • the received GNSS signal is supplied to the driving support / automatic driving control unit 29.
  • the GNSS receiving unit 24 is not limited to the method using the GNSS signal, and may acquire the position information by using, for example, a beacon.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the external recognition sensor 25 may be configured to include one or more of the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is not particularly limited as long as they can be practically installed in the vehicle 1.
  • the type of sensor included in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may include other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the radar 52 is, for example, a millimeter wave radar.
  • the radar 52 is composed of a plurality of units and is one of the ranging sensors that detect an external object.
  • the radar 52 is an extraction radar in which a part of the radar signal is extracted based on the spectrum of a specific component of the digital radar signal obtained by transmitting the transmitted wave, receiving the reflected wave from the object, and converting the radar signal. Generate a signal.
  • the specific component is, for example, at least one component such as distance and velocity.
  • the radar 52 transmits the generated extraction radar signal as sensor data to, for example, a recognition unit 73, which is a unit that performs centralized processing for object detection. Therefore, a plurality of sensor data are transmitted to the recognition unit 73.
  • the above processing is not limited to the radar 52, and may be performed by the LiDAR 53, the camera 51, or the like, which is one of the distance measuring sensors different from the radar 52 among the external recognition sensors 25.
  • a plurality of sensor data from different types of ranging sensors such as the radar 52 and the LiDAR 53, or the sensor data and the image data from the camera 51 are output.
  • the plurality of sensor data, or the sensor data and the image data are, for example, units that are transmitted and received between the distance measuring sensors and perform centralized processing for object detection, for example, the sensor fusion unit 72 and the recognition unit. It may be sent to 73.
  • the shooting method of the camera 51 is not particularly limited as long as it is a shooting method capable of distance measurement.
  • cameras of various shooting methods such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, and an infrared camera can be applied as needed.
  • the camera 51 may be simply for acquiring a captured image regardless of the distance measurement.
  • the external recognition sensor 25 can be provided with an environment sensor for detecting the environment for the vehicle 1.
  • the environment sensor is a sensor for detecting an environment such as weather, weather, and brightness, and may include various sensors such as a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and an illuminance sensor.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they can be practically installed in the vehicle 1.
  • the in-vehicle sensor 26 can include one or more of a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, and a biosensor.
  • a camera included in the in-vehicle sensor 26 for example, a camera of various shooting methods capable of measuring a distance, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used. Not limited to this, the camera included in the in-vehicle sensor 26 may be simply for acquiring a captured image regardless of the distance measurement.
  • the biosensor included in the in-vehicle sensor 26 is provided on, for example, a seat or a steering wheel, and detects various biometric information of a occupant such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be practically installed in the vehicle 1.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) that integrates them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an impact from the outside.
  • the recording unit 28 includes at least one of a non-volatile storage medium and a volatile storage medium, and stores data and programs.
  • the recording unit 28 is used as, for example, an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium includes a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, and an optical storage device. And a photomagnetic storage device can be applied.
  • the recording unit 28 records various programs and data used by each unit of the vehicle control system 11.
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident and biometric information acquired by the in-vehicle sensor 26. ..
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an motion control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map with the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technology such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (OccupancyGridMap), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into a grid (grid) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of an object and the probability of existence.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs sensor fusion processing to obtain new information by combining a plurality of different types of sensor data.
  • Examples of the plurality of different types of sensor data include image data supplied from the camera 51, sensor data supplied from the radar 52, sensor data supplied from the LiDAR 53, and the like. Methods for combining different types of sensor data include integration, fusion, and association.
  • the sensor data combined by the sensor fusion unit 72 is output to the recognition unit 73.
  • the recognition unit 73 executes a detection process for detecting the external situation of the vehicle 1 and a recognition process for recognizing the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, and the like of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the results of the object detection process and recognition process are output to the vehicle control unit 32 or HMI 32, which will be described later.
  • the result of the object detection process and the recognition process supplied from the recognition unit 73 is used for vehicle control of the vehicle control unit 32 and the like, and is used for presentation to the user by the HMI 31. For example, when a collision with an object is predicted, the brake or steering system can be controlled or a warning can be presented to the user according to the distance to the object.
  • the recognition unit 73 receives the extracted radar signal which is sensor data from the radar 52, converts the extracted radar signal of each radar 52 into a common orthogonal coordinate system space between the radars 52, and signals for all the radars 52. Object detection is performed by integrating the distribution. The recognition unit 73 also detects an object for the sensor data received from the sensor fusion unit 72.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on the sensor data by the radar 52 or the LiDAR 53 into each block of the point cloud. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes a vehicle, a person, a bicycle, an obstacle, a structure, a road, a traffic light, a traffic sign, a road sign, or the like with respect to the image data supplied from the camera 51. Further, the type of the object around the vehicle 1 may be recognized by performing a recognition process such as semantic segmentation.
  • the recognition unit 73 is based on the map stored in the map information storage unit 23, the self-position estimation result by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73. It is possible to perform recognition processing of traffic rules around the vehicle 1. By this processing, the recognition unit 73 can recognize the position and state of the signal, the content of the traffic sign and the road marking, the content of the traffic regulation, the lane in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized by the recognition unit 73 weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal.
  • This route plan is called a track plan, and in the route planned by the route plan, the track generation (Local) capable of safely and smoothly traveling in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is taken into consideration.
  • the processing of path planning is also included.
  • the route plan may be distinguished from the long-term route plan and the activation generation from the short-term route plan or the local route plan.
  • the safety priority route represents a concept similar to activation generation, short-term route planning, or local route planning.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time.
  • the action planning unit 62 can calculate, for example, the target speed and the target angular velocity of the vehicle 1 based on the result of this route tracking process.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83, which are included in the vehicle control unit 32 described later, and the vehicle 1 controls the track calculated by the track plan. Acceleration / deceleration control and direction control are performed so as to proceed.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up travel, vehicle speed maintenance travel, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving that autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on sensor data from the in-vehicle sensor 26 and input data input to HMI 31 described later.
  • the state of the driver to be recognized by the DMS 30 for example, physical condition, arousal degree, concentration degree, fatigue degree, line-of-sight direction, drunkenness, driving operation, posture and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the status of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • HMI31 inputs various data and instructions, and presents various data to the driver and the like.
  • the data input by HMI31 will be outlined.
  • the HMI 31 includes an input device for a person to input data.
  • the HMI 31 generates an input signal based on data, instructions, and the like input by the input device, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operator such as a touch panel, a button, a switch, and a lever as an input device.
  • the HMI 31 may further include an input device capable of inputting information by a method other than manual operation by voice, gesture, or the like.
  • the HMI 31 may use, for example, a remote control device using infrared rays or radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 11 as an input device.
  • the presentation of data by HMI31 will be outlined.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or the outside of the vehicle. Further, the HMI 31 performs output control for controlling the output, output content, output timing, output method, and the like of each of the generated information.
  • visual information the HMI 31 generates and outputs, for example, an image such as an operation screen, a status display of the vehicle 1, a warning display, a monitor image showing the situation around the vehicle 1, or information indicated by light.
  • the HMI 31 generates and outputs as auditory information information indicated by sounds such as voice guidance, warning sounds, and warning messages.
  • the HMI 31 generates and outputs tactile information that is given to the tactile sensation of the occupant by, for example, force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied. ..
  • the display device displays visual information in the passenger's field of view, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device included in a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. provided in the vehicle 1 as an output device for outputting visual information.
  • an output device for which the HMI 31 outputs auditory information for example, an audio speaker, headphones, or earphones can be applied.
  • a haptics element using haptics technology can be applied as an output device for which the HMI 31 outputs tactile information.
  • the haptic element is provided in a portion of the vehicle 1 in contact with the occupant, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force such as an accelerator pedal, an internal combustion engine, or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1. As the light to be controlled, for example, a headlight, a backlight, a fog light, a turn signal, a brake light, a projection, a bumper display, or the like is assumed.
  • the light control unit 85 includes a control unit such as an ECU that controls the light.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn.
  • FIG. 2 is a diagram showing an example of a sensing region of the external recognition sensor 25 of FIG. 1 by a camera 51, a radar 52, a LiDAR 53, an ultrasonic sensor 54, and the like. Note that FIG. 2 schematically shows a view of the vehicle 1 from above, with the left end side being the front end (front) side of the vehicle 1 and the right end side being the rear end (rear) side of the vehicle 1.
  • the sensing area 101F and the sensing area 101B show an example of the sensing area of the ultrasonic sensor 54.
  • the sensing region 101F covers the vicinity of the front end of the vehicle 1 by a plurality of ultrasonic sensors 54.
  • the sensing region 101B covers the periphery of the rear end of the vehicle 1 by a plurality of ultrasonic sensors 54.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking support of the vehicle 1.
  • the sensing area 102F to the sensing area 102B show an example of the sensing area of the radar 52 for a short distance or a medium distance.
  • the sensing area 102F covers a position farther than the sensing area 101F in front of the vehicle 1.
  • the sensing region 102B covers the rear of the vehicle 1 to a position farther than the sensing region 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 102F is used, for example, to detect a vehicle, a pedestrian, or the like existing in front of the vehicle 1.
  • the sensing result in the sensing region 102B is used, for example, for a collision prevention function behind the vehicle 1.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, for detecting an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B show an example of the sensing area by the camera 51.
  • the sensing area 103F covers a position farther than the sensing area 102F in front of the vehicle 1.
  • the sensing region 103B covers the rear of the vehicle 1 to a position farther than the sensing region 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, a lane departure prevention support system, and an automatic headlight control system.
  • the sensing result in the sensing area 103B can be used, for example, for parking assistance and a surround view system.
  • the sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of LiDAR53.
  • the sensing region 104 covers a position far from the sensing region 103F in front of the vehicle 1.
  • the sensing area 104 has a narrower range in the left-right direction than the sensing area 103F.
  • the sensing result in the sensing area 104 is used for detecting an object such as a peripheral vehicle, for example.
  • the sensing area 105 shows an example of the sensing area of the radar 52 for a long distance.
  • the sensing region 105 covers a position farther than the sensing region 104 in front of the vehicle 1.
  • the sensing area 105 has a narrower range in the left-right direction than the sensing area 104.
  • the sensing result in the sensing region 105 is used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, and the like.
  • ACC Adaptive Cruise Control
  • emergency braking braking
  • collision avoidance collision avoidance
  • the sensing areas of the cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those in FIG. 2.
  • the ultrasonic sensor 54 may be made to sense the side of the vehicle 1, or the LiDAR 53 may be made to sense the rear of the vehicle 1.
  • the installation position of each sensor is not limited to each of the above-mentioned examples. Further, the number of each sensor may be one or a plurality.
  • FIG. 3 is a block diagram showing a first configuration example of an object detection system to which the present technology is applied among the vehicle control systems of FIG. 1.
  • the object detection system 201 of FIG. 3 is composed of a radar 52-1, a radar 52-2, a communication network 41, and an object detection unit 211.
  • radar 52 When it is not necessary to distinguish between radar 52-1 and radar 52-2, it is referred to as radar 52.
  • the radar 52 is shown by two units, it may be a plurality of units and is not limited to two units.
  • the solid arrow toward the object represents the transmitted wave
  • the dashed arrow exiting the object represents the reflected wave
  • the radar 52 of the radar signal is based on the spectrum of a specific component of the digital radar signal obtained by transmitting the transmitted wave, receiving the reflected wave from the object, and converting it. Generates a partially extracted extraction radar signal.
  • the radar 52 transmits the generated extracted radar signal as sensor data to the object detection unit 211 via the communication network 41.
  • the object detection unit 211 is configured to include at least the recognition unit 73 of FIG. 1, for example.
  • the recognition unit 73 receives the sensor data transmitted from the plurality of radars 52.
  • the recognition unit 73 performs object detection processing using the received sensor data.
  • the recognition unit 73 performs object detection processing based on the information from the self-position estimation unit 71, if necessary. That is, the object detection unit 211 may be configured to include the analysis unit 61.
  • the sensor data is transmitted from the radar 52 to the object detection unit 211 via the vehicle control ECU 21. May be good.
  • FIG. 4 is a block diagram showing a configuration example of the radar.
  • the radar 52 is composed of a radio signal transmission unit 231, a radio signal reception unit 232, a demodulation unit 233, an A / D (Analog / Digital) conversion unit 234, and a signal extraction unit 235.
  • the wireless signal transmission unit 231 generates a transmission signal.
  • the radio signal transmission unit 231 when the radar 52 is an FCM (Fast Chirp Modulation) type radar, the radio signal transmission unit 231 generates a transmission signal that repeats a chirp signal whose frequency changes linearly at high speed as a transmission wave radiated into space. do.
  • FCM Frest Chirp Modulation
  • FIG. 5 is a diagram showing an example of a transmission signal.
  • FIG. 5 shows an example in which the transmission signal is composed of the chirp signal 1 to the chirp signal L, with the vertical axis representing the RF frequency and the horizontal axis representing the time.
  • each chirp signal is a signal whose RF frequency changes linearly. Further, each chirp signal is started at high speed so that the interval from the previous chirp signal in time is shorter than the time length of each chirp signal.
  • the radio signal transmission unit 231 radiates the transmission signal into space as a transmission wave using a single antenna or a plurality of antennas. Further, the radio signal transmission unit 231 outputs the transmission signal to the demodulation unit 233.
  • the transmitted wave radiated in space is reflected by an object and becomes a reflected wave.
  • the radio signal receiving unit 232 receives the reflected wave using a single antenna or a plurality of antennas, and outputs the reflected wave to the demodulation unit 233 as a received signal.
  • the demodulation unit 233 demodulates the radar signal based on the transmission signal supplied from the radio signal transmission unit 231 and the reception signal supplied from the radio signal reception unit 232, and generates a demodulated radar signal (demodulation signal). do.
  • the radar signal includes the position information and the velocity information of the object.
  • the demodulation unit 233 mixes the received signal and the transmitted signal to generate a radar signal including the difference frequency between the transmitted signal and the received signal.
  • the frequency of the radar signal is proportional to the distance between the object and the radar 52.
  • the amount of phase change between repeated chirp signals is proportional to the relative velocity between the object and the radar 52.
  • the demodulation unit 233 outputs the generated demodulation signal to the A / D conversion unit 234.
  • the A / D conversion unit 234 converts the demodulation signal supplied from the demodulation unit 233 into a digital value by sampling and quantizing the demodulation signal, and generates a digital radar signal.
  • the transmission signal and the reception signal may be first digitized by the A / D conversion unit 234, and then the digital radar signal may be generated by the demodulation unit 233.
  • the detection accuracy will be improved by aggregating the digital radar signals from the plurality of radars 52 and performing the detection process.
  • a communication line having a large transmission capacity such as Gigabit Ethernet.
  • the amount of data is reduced by extracting a part from the digital radar signal in the signal extraction unit 235.
  • the signal extraction unit 235 generates an extraction radar signal from which a part of the radar signal is extracted based on the spectrum of a specific component of the digital radar signal supplied from the A / D conversion unit 234.
  • the signal extraction unit 235 transmits the extraction radar signal as sensor data to the object detection unit 211.
  • FIG. 6 is a block diagram showing a configuration example of the signal extraction unit 235.
  • the signal extraction unit 235 is composed of a distance distribution calculation unit 251, a velocity distribution calculation unit 252, an attention area setting unit 253, and an attention area extraction unit 254.
  • the distance distribution calculation unit 251 converts the digital radar signal supplied from the A / D conversion unit 234 into a distance spectrum which is a one-dimensional spectrum.
  • the distance distribution calculation unit 251 outputs the converted distance spectrum to the velocity distribution calculation unit 252.
  • the velocity distribution calculation unit 252 calculates the distance / velocity spectrum, which is a two-dimensional spectrum, from the distance spectrum supplied by the distance distribution calculation unit 251.
  • the velocity distribution calculation unit 252 outputs the calculated distance / velocity spectrum to the attention region setting unit 253 and the attention region extraction unit 254.
  • the attention area setting unit 253 sets the attention area based on the distance / velocity spectrum supplied from the velocity distribution calculation unit 252.
  • the attention area setting unit 253 outputs the attention area information indicating the set attention area to the attention area extraction unit 254.
  • the attention area extraction unit 254 extracts the components contained in the attention area set by the attention area setting unit 253 from the distance / velocity spectrum supplied from the velocity distribution calculation unit 252, and generates an extraction radar signal.
  • the attention area extraction unit 254 transmits the generated extraction radar signal to the object detection unit 211.
  • FIG. 7 is a diagram showing an example of signal processing in the signal extraction unit 235.
  • the demodulated radar signal SIG1, the distance spectrum SIG2, and the distance / velocity spectrum SIG3 are schematically shown from the left.
  • the demodulated radar signal SIG1 is a signal demodulated by the demodulation unit 233 and converted by the A / D conversion unit 234, and is supplied to the distance distribution calculation unit 251.
  • the vertical axis represents the chirp signal transmission timing order, and the horizontal axis represents time.
  • the demodulated radar signal SIG1 is composed of a chirp signal 1 to a chirp signal L.
  • the distance distribution calculation unit 251 obtains the distance spectrum SIG2 by performing a Fourier transform on the sample (time) in each chirp signal. obtain.
  • the distance spectrum SIG2 is a signal calculated by the distance distribution calculation unit 251 and is supplied to the velocity distribution calculation unit 252.
  • the vertical axis represents the chirp signal transmission timing order, and the horizontal axis represents the distance.
  • the density density represents the magnitude of electric power. In each chirp signal, since the power around the distance where the object is located is large, the density around the distance spectrum SIG2 shows a high density.
  • the velocity distribution calculation unit 252 arranges the distance spectra of each chirp signal in the order of the chirp transmission timing, and performs a Fourier transform with respect to the chirp transmission timing direction. As a result, the velocity is calculated from the phase change between the chirps, and the velocity spectrum for each distance, that is, the distance / velocity spectrum SIG3 is obtained.
  • the distance / velocity spectrum SIG3 is a signal calculated by the velocity distribution calculation unit 252, and is supplied to the attention region setting unit 253 and the attention region extraction unit 254.
  • the vertical axis represents the velocity and the horizontal axis represents the distance.
  • the density density represents the magnitude of electric power. Since the power around the distance and velocity corresponding to the distance and velocity of the object is large, the density around the distance and velocity spectrum SIG3 shows a high density.
  • FIG. 8 is a diagram showing a detailed example of the distance / velocity spectrum.
  • each cell is a bin indicating a range of distance and speed.
  • a bottle with a high concentration indicates that the power is high, and a bottle with a low concentration indicates that the power is low.
  • the spectral components of the distance / velocity spectrum are concentrated in bins in the range of distance / velocity corresponding to the distance and velocity of the object, as shown by the concentration. Therefore, it is considered that even if the information of the bottle having a low concentration, that is, the bottle having a small spectral component is cut off, the effect on the object detection accuracy is small.
  • the region of interest setting unit 253 sets the region in which the spectral components are concentrated in the distance / velocity spectrum as the region of interest. For example, the region of interest setting unit 253 sets a distance range and a velocity range (range surrounded by a broken line in FIG. 8) including bins whose spectral component intensity is equal to or higher than a predetermined threshold value in the region of interest.
  • the attention area information indicating the set attention area is output to the attention area extraction unit 254.
  • the attention region extraction unit 254 exists in a bin within the range indicated by the attention region information from the distance / velocity spectrum supplied from the velocity distribution calculation unit 252 based on the attention region information supplied from the attention region setting unit 253.
  • the spectral component (complex signal) is extracted and the extracted radar signal is generated.
  • FIG. 9 is a flowchart illustrating radar signal processing of the radar 52.
  • step S101 the radio signal transmission unit 231 generates a transmission signal and radiates the transmission signal into space as a transmission wave using a single antenna or a plurality of antennas.
  • the transmitted wave radiated in space is reflected by an object and becomes a reflected wave.
  • step S102 the radio signal receiving unit 232 receives the reflected wave using a single antenna or a plurality of antennas, and outputs the reflected wave to the demodulation unit 233 as a received signal.
  • step S103 the demodulation unit 233 demodulates the radar signal based on the transmission signal supplied from the radio signal transmission unit 231 and the reception signal supplied from the radio signal reception unit 232, and generates the demodulated radar signal. do.
  • the demodulation unit 233 outputs the generated demodulation signal to the A / D conversion unit 234.
  • step S104 the A / D conversion unit 234 converts the demodulation signal supplied from the demodulation unit 233 into a digital value by sampling and quantizing the demodulation signal, and generates a digital radar signal.
  • step S105 the signal extraction unit 235 performs signal extraction processing. Details of the signal extraction process will be described later with reference to FIG.
  • an extracted radar signal obtained by extracting a part of the radar signal is generated based on the spectrum of a specific component of the digital radar signal supplied from the A / D conversion unit 234, and the object detection unit 211 generates an extracted radar signal. Will be sent.
  • FIG. 10 is a flowchart illustrating the signal extraction process in step S105 of FIG.
  • step S121 the distance distribution calculation unit 251 acquires the digital radar signal supplied from the A / D conversion unit 234.
  • step S122 the distance distribution calculation unit 251 converts the acquired digital radar signal into a distance spectrum.
  • the distance distribution calculation unit 251 outputs the converted distance spectrum to the velocity distribution calculation unit 252.
  • step S123 the distance / velocity spectrum is calculated from the distance spectrum supplied by the distance distribution calculation unit 251.
  • the velocity distribution calculation unit 252 outputs the calculated distance / velocity spectrum to the attention region setting unit 253 and the attention region extraction unit 254.
  • step S124 the attention area setting unit 253 sets the attention area based on the distance / velocity spectrum supplied from the velocity distribution calculation unit 252.
  • the attention area setting unit 253 outputs the attention area information indicating the set attention area to the attention area extraction unit 254.
  • step S125 the attention region extraction unit 254 extracts the component included in the attention region indicated by the attention region information from the distance / velocity spectrum supplied from the velocity distribution calculation unit 252, and generates an extraction radar signal.
  • step S126 the region of interest extraction unit 254 transmits the generated extraction radar signal as sensor data to the object detection unit 211 via the communication network 41.
  • the sensor data is transmitted to the object detection unit 211 by the radar 52.
  • the recognition unit 73 of the object detection unit 211 receives the extraction radar signal which is the sensor data and executes the object detection process. For example, the recognition unit 73 improves the accuracy of object detection by converting the extracted radar signal of each radar 52 into a common Cartesian coordinate system space among the radars 52 and integrating the signal distribution for all radars 52. ..
  • the signal extraction unit 235 cuts off the information of the bin in which the object is unlikely to exist, so that the signal extraction has little effect on the accuracy of the object detection.
  • the transmission capacity required for the communication line used for the transmission of the sensor data while maintaining the accuracy of the object detection. can be reduced.
  • the extracted radar signal is generated based on the distance / velocity spectrum as the spectrum of the specific component, but the extracted radar signal is generated based on the distance spectrum or the velocity spectrum instead of the distance / velocity spectrum. You may.
  • an extracted radar signal is obtained based on the angle spectrum. It may be generated.
  • the extracted radar signal may be generated based on the angle / distance spectrum, the angle / velocity spectrum, or the angle / distance / velocity spectrum.
  • the area of interest may be set in advance in a specific range before transmission / reception of radar. By predetermining the range in which object detection is desired to be performed with higher accuracy using a plurality of radars, it is possible to aggregate the signals of a plurality of radars relating to the determined region of interest.
  • Second embodiment (sharing of area settings) >> From the viewpoint of the consistency of the attention area in each radar at the time of aggregation, the attention area is set by one radar among multiple radars, the set attention area information is shared with other radars, and each radar is shared. The attention area may be set based on the attention area information.
  • the object detection system can be configured as shown in FIG.
  • FIG. 11 is a block diagram showing a second configuration example of an object detection system to which the present technology is applied among the vehicle control systems of FIG. 1.
  • the object detection system 301 of FIG. 11 is composed of a radar 311-1, a radar 311-2, a communication network 41, a network 322, and an object detection unit 211.
  • the parts corresponding to those in FIG. 3 are designated by the corresponding reference numerals and are repeated, so the description thereof will be omitted.
  • the radar 311-1 is different in that the signal extraction unit 235 is replaced with the signal extraction unit 321-1, and the other configurations are the same as those of the radar 52-1.
  • the radar 311-2 is different in that the signal extraction unit 235 is replaced with the signal extraction unit 321-2, and the other configurations are the same as those of the radar 52-2.
  • the signal extraction unit 321-1 generates an extraction radar signal in which a part of the radar signal is extracted based on the spectrum of a specific component of the digital radar signal obtained as a reflected wave from an object. At that time, the signal extraction unit 321-1 sets a region of interest based on the distance / velocity spectrum obtained from the digital radar signal, and transmits the region of interest information to the signal extraction unit 321-2 via the network 322. do. Further, the signal extraction unit 321-1 generates an extraction radar signal based on the set region of interest and transmits it as sensor data to the object detection unit 211.
  • the signal extraction unit 321-2 extracts a specific component from the digital radar signal obtained as a reflected wave from an object and generates an extraction radar signal. At that time, the signal extraction unit 321-2 generates an extraction radar signal based on the attention area indicated by the attention area information received via the network 322, and transmits it to the object detection unit 211 as sensor data.
  • radar 311-1 When it is not necessary to distinguish between radar 311-1 and radar 311-2, it is referred to as radar 311.
  • signal extraction unit 321 When it is not necessary to distinguish between the signal extraction unit 321-1 and the signal extraction unit 321-2, it is referred to as a signal extraction unit 321.
  • the network 322 is a network different from the communication network 41. However, the network 322 may be the same network as the communication network 41.
  • the signal extraction unit 321-1 and the signal extraction unit 321-2 may be directly connected without going through the network 322. good.
  • FIG. 12 is a block diagram showing a configuration example of the signal extraction unit 321-1 and the signal extraction unit 321-2.
  • the signal extraction unit 321-1 is composed of a distance distribution calculation unit 251, a velocity distribution calculation unit 252, an attention area setting unit 331-1, and an attention area extraction unit 254.
  • the attention area setting unit 331-1 sets the attention area based on the distance / velocity spectrum supplied from the velocity distribution calculation unit 252.
  • the attention area setting unit 331-1 outputs the attention area information indicating the set attention area to the attention area setting unit 331-2 of the signal extraction unit 321-2 via the attention area extraction unit 254 and the network 322. do.
  • the signal extraction unit 321-2 is composed of a distance distribution calculation unit 251, a velocity distribution calculation unit 252, an attention area setting unit 331-2, and an attention area extraction unit 254.
  • the attention area setting unit 331-2 sets the attention area based on the attention area information set by the attention area setting unit 331-2 of the signal extraction unit 321-2.
  • FIG. 13 is a block diagram showing a third configuration example of an object detection system to which the present technology is applied among the vehicle control systems of FIG. 1.
  • the object detection system 401 of FIG. 13 is composed of a range-finding sensor 411-1, a range-finding sensor 411-2, a communication network 41, a network 322, and an object detection unit 421.
  • the parts corresponding to FIGS. 3 and 11 are designated by the corresponding reference numerals and are repeated, so the description thereof will be omitted.
  • the range-finding sensor 411-1 and the range-finding sensor 411-2 are different types of range-finding sensors, and are composed of any of a radar 52, a LiDAR 53, a camera 51, an ultrasonic sensor 54, and the like.
  • the range-finding sensor 411-1 is basically configured in the same manner as the radar 311-1 in FIG.
  • the ranging sensor 411-1 generates an extracted radar signal from which a part of the radar signal is extracted based on the spectrum of a specific component of the digital radar signal obtained as a reflected wave from an object.
  • the ranging sensor 411-1 sets the region of interest based on the distance / velocity spectrum obtained from the digital radar signal, and transmits the region of interest information to the ranging sensor 411-2 via the network 322. do.
  • the distance measuring sensor 411-1 generates an extraction radar signal based on the set region of interest and transmits it to the object detection unit 421 as the first sensor data.
  • the range-finding sensor 411-2 is basically configured in the same manner as the radar 311-2 in FIG.
  • the ranging sensor 411-2 generates an extracted radar signal from which a part of the radar signal is extracted based on the spectrum of a specific component of the digital radar signal obtained as a reflected wave from an object.
  • the ranging sensor 411-2 generates an extraction radar signal based on the attention area indicated by the attention area information received via the network 322, and transmits it to the object detection unit 421 as the second sensor data.
  • the radar is based on the region of interest information set based on the distance spectrum of the LiDAR 53.
  • 52 can extract the component contained in the region of interest from the distance / velocity spectrum.
  • the object detection unit 421 is composed of a sensor fusion unit 72 and a recognition unit 73.
  • the sensor fusion unit 72 performs sensor fusion processing to obtain new information by combining a plurality of different types of sensor data transmitted from the distance measuring sensor 411-1 and the distance measuring sensor 411-2.
  • the combined sensor data is output to the recognition unit 73.
  • the recognition unit 73 performs object detection processing using the sensor data combined by the sensor fusion unit 72.
  • FIG. 14 is a block diagram showing a fourth configuration example of an object detection system to which the present technology is applied among the vehicle control systems of FIG. 1.
  • the object detection system 501 of FIG. 14 is composed of a sensor 511, a distance measuring sensor 411-2, a communication network 41, a network 322, and an object detection unit 221.
  • the parts corresponding to FIGS. 3, 11, and 13 are designated by the corresponding reference numerals and are repeated, so the description thereof will be omitted.
  • the sensor 511 is composed of any one of the camera 51, the radar 52, the LiDAR 53, the ultrasonic sensor 54, the gyro sensor, and the like shown in FIG.
  • the sensor 511 performs recognition processing of the surrounding environment. Based on the result of the obtained recognition process, the sensor 511 sets a region to be focused on as a region of interest. The sensor 511 transmits sensor data including information on the region of interest indicating the region of interest to the ranging sensor 411-2 via the network 322.
  • the sensor 511 does not transmit the sensor data to the object detection unit 221 but transmits the sensor data including the information of the region of interest obtained as a result of the recognition process by the sensor 511. , Is transmitted to the ranging sensor 411-2.
  • the distance measuring sensor 411-2 When the distance measuring sensor 411-2 generates the extracted radar signal, the distance measuring sensor 411-2 generates the extracted radar signal based on the area of interest indicated by the area of interest information received via the network 322, and transmits the sensor data to the object detection unit 211. do.
  • the attention area is set by using the sensor data, information, image data, etc. for recognizing the surrounding environment by other sensors or cameras, and the set attention area is set. May be used.
  • the difference data between the newly acquired sensor data and the held sensor data may be transmitted to the object detection unit 211.
  • the signal extraction unit is configured as shown in FIG.
  • FIG. 15 is a block diagram showing another configuration example of the signal extraction unit.
  • the signal extraction unit 601 of FIG. 15 is composed of a distance distribution calculation unit 251, a velocity distribution calculation unit 252, an attention area setting unit 253, an attention area extraction unit 254, a difference calculation unit 611, and a storage unit 612.
  • the attention area extraction unit 254 outputs the generated extraction radar signal to the difference calculation unit 611 and the storage unit 612.
  • the difference calculation unit 611 calculates the difference signal between the extraction radar signal supplied from the attention area extraction unit 254 and the extraction radar signal held in the storage unit 612, and transmits it as sensor data to the object detection unit 211. ..
  • the storage unit 612 holds the extraction radar signal supplied from the attention area extraction unit 254.
  • the difference signal may be generated from a one-dimensional spectrum such as a distance, a velocity, or an angle spectrum, or may be generated from a two-dimensional spectrum such as a distance / velocity, a velocity / angle, and an angle / distance. , It may be generated from a three-dimensional spectrum such as a distance / velocity / angle spectrum.
  • the amount of data can be reduced, especially in a situation where there is little change in the surrounding environment.
  • the vehicle control ECU 21 records the program stored in the recording unit 28, for example, in the RAM constituting the recording unit 28 via the communication network 41. By loading and executing in, the above-mentioned series of processes is performed.
  • the program executed by the vehicle control ECU 21 is recorded on a removable medium, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the recording unit 28.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, or processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • An information processing device including a signal extraction unit that extracts a part of the sensor data and generates the extracted data based on the spectrum of a specific component of the sensor data of the distance measuring sensor.
  • a region of interest setting unit for setting a first region of interest of the spectrum of the sensor data is provided.
  • the information processing apparatus according to (1) wherein the signal extraction unit generates the extracted data based on the first region of interest.
  • the attention area setting unit sets the first attention area based on the intensity of the spectrum of the sensor data.
  • the attention region setting unit sets a region in which the intensity of the spectrum of the sensor data is equal to or higher than a predetermined threshold value in the first attention region.
  • the attention area setting unit sets the first attention area based on the second attention area set by a distance measurement sensor of a type different from that of the distance measurement sensor.
  • the attention area setting unit sets the first attention area based on the second attention area set by other sensor data.
  • the signal extraction unit extracts components included in the first region of interest of the spectrum of the sensor data to generate the extracted data.
  • the information processing apparatus comprises at least one of a distance, a speed, and an angle.
  • the specific component includes a distance and a speed.
  • the signal extraction unit extracts a part of a component of the two-dimensional spectrum of the sensor data to generate the extracted data.
  • the information processing apparatus according to any one of (1) to (10) above, further comprising a calculation unit for calculating the difference data between the extracted data and the temporally previous extracted data held in the storage unit.
  • the distance measuring sensor is a millimeter wave radar.
  • the distance measuring sensor is LiDAR.
  • Information processing equipment An information processing method for generating extracted data by extracting a part of the sensor data based on the spectrum of a specific component of the sensor data of the distance measuring sensor.
  • a ranging sensor that extracts a part of the sensor data and generates the extracted data based on the spectrum of a specific component of the sensor data.
  • An information processing system including a network for transmitting the extracted data output from the distance measuring sensor.
  • the distance measuring sensor further includes a storage unit for holding the extracted data.
  • the information processing according to (15) or (16) wherein the difference data between the extracted data and the temporally previous extracted data held in the storage unit is calculated, and the network transmits the difference data. system.
  • the distance measuring sensor includes at least two types of distance measuring sensors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、センサデータの伝送に必要な伝送路の容量を下げることができるようにする情報処理装置および方法、並びに情報処理システムに関する。 情報処理装置は、測距センサのセンサデータの特定の成分のスペクトルに基づいて、センサデータの一部を抽出して抽出データを生成する。本技術は、車両の走行支援および自動運転に関わる処理を行う車両制御システムに適用することができる。

Description

情報処理装置および方法、並びに情報処理システム
　本技術は、情報処理装置および方法、並びに情報処理システムに関し、特に、センサデータの伝送に必要な伝送路の容量を下げることができるようにした情報処理装置および方法、並びに情報処理システムに関する。
　移動体の周囲の状況監視において、移動体に複数のセンサ（レーダ）を搭載することで、監視精度を向上させる技術が提案されている。
　例えば、特許文献１においては、複数のセンサの信号処理前のセンサデータを伝送、集約して融合する技術が提案されている。信号処理前のセンサデータを伝送、集約して積分処理などを行い、検出を行うことで、検出結果を伝送、集約する場合と比較して、高い精度での物体検出を期待することができる。
特開２０１８－４２２４１号公報
　しかしながら、検出結果を伝送する場合と比較して、信号処理前のセンサデータを伝送、集約するためには、高い伝送レートが必要であり、例えば、ギガビット・イーサネットなどの伝送容量の大きい通信回線を用いる必要がある。
　特に、移動体において複数搭載されたセンサそれぞれに対してそのような通信回線を設けることは、構成の複雑さ、およびコストの観点から容易ではない。
　本技術はこのような状況に鑑みてなされたものであり、センサデータの伝送に必要な伝送路の容量を下げることができるようにするものである。
　本技術の第１の側面の情報処理装置は、測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する信号抽出部を備える。
　本技術の第２の側面の情報処理システムは、センサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する測距センサと、前記測距センサから出力される前記抽出データを伝送するネットワークとを備える。
　本技術の第１の側面においては、測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データが生成される。
　本技術の第２の側面においては、測距センサにより、センサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データが生成され、ネットワークにより、前記測距センサから出力される前記抽出データが伝送される。
車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 図１の車両制御システムのうち、本技術を適用した物体検出システムの第１の構成例を示すブロック図である。 レーダの構成例を示すブロック図である。 送信信号の例を示す図である。 信号抽出部の構成例を示すブロック図である。 信号抽出部における信号処理の例を示す図である。 距離・速度スペクトルの詳細な例を示す図である。 レーダのレーダ信号処理を説明するフローチャートである。 図９のステップＳ１０５における信号抽出処理を説明するフローチャートである。 本技術を適用した物体検出システムの第２の構成例を示すブロック図である。 信号抽出部の構成例を示すブロック図である。 本技術を適用した物体検出システムの第３の構成例を示すブロック図である。 本技術を適用した物体検出システムの第４の構成例を示すブロック図である。 信号抽出部の他の構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．第１の実施の形態（基本構成）
３．第２の実施の形態（領域設定の共有）
４．第３の実施の形態（複数の異なるセンサ）
５．第４の実施の形態（他のセンサデータに基づく領域設定）
６．第５の実施の形態（差分信号の送信）
７．その他
＜＜１．車両制御システムの構成例＞＞
　＜システムの構成＞
　図１は、本技術が適用される物体検出システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の外部の物体検出などを行い、車両１の走行支援および自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ（Global Navigation Satellite System）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、および、車両制御部３２を備える。なお、車両制御ＥＣＵ２１は、プロセッサなどにより構成されているため、図１においては、プロセッサと記載されている。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、ＧＮＳＳ受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ＤＭＳ３０、ＨＭＩ３１、および、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバスなどにより構成される。通信ネットワーク４１は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればＣＡＮが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種プロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体もしくは一部の機能の制御を行う。
　通信部２２は、車内および車外の様々な機器、他の車両、サーバ、基地局などと通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）などの無線通信方式により、基地局またはアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）などと通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、または、事業者固有のネットワークなどである。通信部２２による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器などとの間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、および、歩行者が所持する端末などとの間の歩車間（Vehicle to Pedestrian）通信などの、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報などを外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報などを外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果などがある。さらに例えば、通信部２２は、ｅコールなどの車両緊急通報システムに対応した通信を行う。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者などの搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器などが想定される。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送などの道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　地図情報蓄積部２３は、外部から取得した地図および車両１で作成した地図の一方または両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップなどを蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバなどから車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ＡＤＡＳ（Advanced Driver Assistance System）に適合させた地図を指すものとする。
　ポイントクラウドマップおよびベクターマップは、例えば、外部のサーバなどから提供されてもよいし、レーダ５２、ＬｉＤＡＲ５３などによるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバなどから高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバなどから取得される。
　ＧＮＳＳ受信部２４は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。受信したＧＮＳＳ信号は、走行支援・自動運転制御部２９に供給される。尚、ＧＮＳＳ受信部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得しても良い。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、および、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　レーダ５２は、例えば、ミリ波レーダである。レーダ５２は、複数台から構成され、外部の物体検出を行う測距センサの１つである。レーダ５２は、送信波を送信して物体からの反射波を受信し、変換することにより得られたディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号を生成する。特定の成分とは、例えば、距離、速度などの少なくとも１つの成分である。レーダ５２は、生成した抽出レーダ信号を、センサデータとして、物体検出のための集中処理を行う部である、例えば、認識部７３に送信する。したがって、複数のセンサデータが、認識部７３に送信される。
　なお、上記処理は、レーダ５２に限定されず、外部認識センサ２５のうち、レーダ５２とは異なる測距センサの１つであるＬｉＤＡＲ５３やカメラ５１などが行ってもよい。例えば、レーダ５２とＬｉＤＡＲ５３のように異なる種類の測距センサからの複数のセンサデータ、または、センサデータとカメラ５１からの画像データとが出力される。この場合、複数のセンサデータ、またはセンサデータと画像データとは、例えば、測距センサ間で送受信されたり、物体検出のための集中処理を行う部である、例えば、センサフュージョン部７２および認識部７３に送信されたりする。
　カメラ５１の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ５１は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさなどの環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサなどの各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出などに用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイールなどに設けられ、運転者などの搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、および、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、および、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、および、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量および温度を検出するバッテリセンサ、および、外部からの衝撃を検出する衝撃センサを備える。
　記録部２８は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)およびＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイスを適用することができる。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記録する。例えば、記録部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故などのイベントの前後の車両１の情報や車内センサ２６によって取得された生体情報を記録する。
　走行支援・自動運転制御部２９は、車両１の走行支援および自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、および、動作制御部６３を備える。
　分析部６１は、車両１および周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、および、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、および、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）などの技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）などである。３次元の高精度地図は、例えば、上述したポイントクラウドマップなどである。占有格子地図は、車両１の周囲の３次元または２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理および認識処理にも用いられる。
　なお、自己位置推定部７１は、ＧＮＳＳ信号、および、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータを組み合わせて、新たな情報を得るセンサフュージョン処理を行う。複数の異なる種類のセンサデータとしては、例えば、カメラ５１から供給される画像データ、レーダ５２から供給されるセンサデータ、または、ＬｉＤＡＲ５３から供給されるセンサデータなどが挙げられる。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合などがある。センサフュージョン部７２により組み合わされたセンサデータは、認識部７３に出力される。
　認識部７３は、車両１の外部の状況の検出を行う検出処理と、車両１の外部の状況の認識を行う認識処理と、を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報などに基づいて、車両１の外部の状況の検出処理および認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理および認識処理などを行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動きなどを検出する処理である。物体の認識処理とは、例えば、物体の種類などの属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　物体の検出処理や認識処理の結果は、後述する車両制御部３２またはＨＭＩ３２に出力される。認識部７３から供給される物体の検出処理や認識処理の結果は、車両制御部３２などの車両制御に用いられたり、ＨＭＩ３１によるユーザへの提示に用いられたりする。例えば、物体への衝突が予測される場合には、その物体との距離に応じて、ブレーキやステアリングシステムを制御したり、ユーザに警告を提示したりするようにできる。
　例えば、認識部７３は、レーダ５２から、センサデータである抽出レーダ信号を受け取り、各レーダ５２の抽出レーダ信号を、レーダ５２間共通の直交座標系空間に座標変換し、すべてのレーダ５２に関して信号分布を積分することによって物体検出を行う。認識部７３は、センサフュージョン部７２から受け取ったセンサデータに対しても同様に物体検出を行う。
　例えば、認識部７３は、レーダ５２またはＬｉＤＡＲ５３などによるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度および進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出または認識する。また、セマンティックセグメンテーションなどの認識処理を行うことにより、車両１の周囲の物体の種類を認識してもいい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、および、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号の位置および状態、交通標識および道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、および、路面の状態などが想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、または局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、または局所経路計画と同様の概念を表す。
　経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、および、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御および方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告などのＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転などを目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、および、後述するＨＭＩ３１に入力される入力データなどに基づいて、運転者の認証処理、および、運転者の状態の認識処理などを行う。この場合にＤＭＳ３０の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢などが想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、および、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭いなどが想定される。
　ＨＭＩ３１は、各種のデータや指示などの入力と、各種のデータの運転者などへの提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示などに基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、および、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャなどにより手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器などの外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者または車外に対する視覚情報、聴覚情報、および、触覚情報の生成を行う。また、ＨＭＩ３１は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法などを制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像などの画像や光により示される情報を生成および出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージなどの音により示される情報を生成および出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動きなどにより搭乗者の触覚に与えられる情報を生成および出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、および、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出および制御などを行う。ステアリングシステムは、例えば、ステアリングホイールなどを備えるステアリング機構、電動パワーステアリングなどを備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵなどの制御ユニット、ステアリングシステムの駆動を行うアクチュエータなどを備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出および制御などを行う。ブレーキシステムは、例えば、ブレーキペダルなどを含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構などを備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うＥＣＵなどの制御ユニットなどを備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出および制御などを行う。駆動システムは、例えば、アクセルペダル、内燃機関または駆動用モータなどの駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構などを備える。駆動制御部８３は、例えば、駆動システムの制御を行うＥＣＵなどの制御ユニットなどを備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出および制御などを行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバーなどを備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うＥＣＵなどの制御ユニットなどを備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出および制御などを行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示などが想定される。ライト制御部８５は、ライトの制御を行うＥＣＵなどの制御ユニットなどを備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出および制御などを行う。ホーン制御部８６は、例えば、カーホーンの制御を行うＥＣＵなどの制御ユニットなどを備える。
　＜センシング領域＞
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４などによるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆおよびセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆおよびセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援などに用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離または中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者などの検出などに用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能などに用いられる。センシング領域１０２Ｌおよびセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出などに用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、および、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌおよびセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両などの物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避などに用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、および、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでも良いし、複数であってもよい。
＜＜２．第１の実施の形態（基本構成）＞＞
　＜物体検出システムの第１の構成＞
　図３は、図１の車両制御システムのうち、本技術を適用した物体検出システムの第１の構成例を示すブロック図である。
　図３の物体検出システム２０１は、レーダ５２－１、レーダ５２－２、通信ネットワーク４１、および物体検出部２１１から構成される。なお、レーダ５２－１およびレーダ５２－２を区別する必要がない場合、レーダ５２と称する。レーダ５２は、２台で示されているが、複数台であればよく、２台に限定されない。
　図３において、物体に向かう実線矢印は、送信波を表し、物体から出る破線矢印は、反射波を表す。
　レーダ５２は、図１において上述したように、送信波を送信して物体からの反射波を受信し、変換することにより得られたディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号を生成する。レーダ５２は、生成した抽出レーダ信号を、センサデータとして、通信ネットワーク４１を介して、物体検出部２１１に送信する。
　物体検出部２１１は、例えば、図１の認識部７３を少なくとも含むように構成される。認識部７３は、複数のレーダ５２から送信されてくるセンサデータを受信する。認識部７３は、受信したセンサデータを用いて、物体検出処理を行う。図３においては、図示されていないが、認識部７３は、必要に応じて、自己位置推定部７１からの情報にも基づいて、物体検出処理を行う。すなわち、物体検出部２１１は、分析部６１を含むように構成されてもよい。
　なお、図３においては、センサデータが、レーダ５２から物体検出部２１１に送信される例を説明したが、レーダ５２から、車両制御ＥＣＵ２１を介して、物体検出部２１１に送信されるようにしてもよい。
　＜レーダの構成例＞
　図４は、レーダの構成例を示すブロック図である。
　レーダ５２は、無線信号送信部２３１、無線信号受信部２３２、復調部２３３、Ａ／Ｄ(Analog/Digital)変換部２３４、および信号抽出部２３５から構成される。
　無線信号送信部２３１は、送信信号を生成する。例えば、レーダ５２がＦＣＭ(Fast Chirp Modulation)方式のレーダである場合、無線信号送信部２３１は、空間に放射する送信波として、周波数が直線状に変化するチャープ信号を高速に繰り返す送信信号を生成する。
　図５は、送信信号の例を示す図である。
　図５においては、縦軸をRF周波数とし、横軸を時間として、送信信号が、チャープ信号１乃至チャープ信号Ｌから構成される例が示されている。図５に示されるように、各チャープ信号は、ＲＦ周波数が直線状に変化する信号である。また、各チャープ信号は、時間的に１つ前のチャープ信号との間隔が各チャープ信号の時間長より短くなるように、高速に開始される。
　図４に戻って、無線信号送信部２３１は、単一または複数のアンテナを用いて送信信号を空間に送信波として放射する。また、無線信号送信部２３１は、送信信号を復調部２３３に出力する。
　空間に放射された送信波は、物体により反射されて反射波となる。
　無線信号受信部２３２は、反射波を単一または複数のアンテナを用いて受信し、受信信号として復調部２３３に出力する。
　復調部２３３は、無線信号送信部２３１から供給される送信信号と、無線信号受信部２３２から供給される受信信号に基づいて、レーダ信号を復調し、復調されたレーダ信号（復調信号）を生成する。レーダ信号は、物体の位置情報や速度情報を含む。
　レーダ５２がＦＣＭ（Fast-Chirp Modulation）方式のレーダである場合、復調部２３３は、受信信号と送信信号をミキシングして、送信信号と受信信号の差分周波数を含むレーダ信号を生成する。レーダ信号の周波数は、物体とレーダ５２との間の距離に比例する。繰り返しのチャープ信号間での位相変化量は、物体とレーダ５２との間の相対速度に比例する。
　復調部２３３は、生成した復調信号を、Ａ／Ｄ変換部２３４に出力する。
　Ａ／Ｄ変換部２３４は、復調部２３３から供給される復調信号のサンプリングおよび量子化を行うことにより、ディジタル値に変換し、ディジタルレーダ信号を生成する。
　なお、レーダ方式によっては、送信信号および受信信号が、Ａ／Ｄ変換部２３４において先にディジタル信号化された上で、復調部２３３においてディジタルレーダ信号が生成されてもよい。
　複数のレーダ５２から、このディジタルレーダ信号を集約して、検出処理を行うことで検出精度の向上が期待できる。しかしながら、複数のディジタルレーダ信号を遅延なく伝送するためには、ギガビット・イーサネットなどの伝送容量の大きい通信回線を用いる必要がある。
　そこで、本技術においては、信号抽出部２３５においてディジタルレーダ信号から一部を抽出することで、データ量を削減する。
　信号抽出部２３５は、Ａ／Ｄ変換部２３４から供給されるディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号を生成する。信号抽出部２３５は、抽出レーダ信号を、センサデータとして、物体検出部２１１に送信する。
　＜信号抽出部の構成＞
　図６は、信号抽出部２３５の構成例を示すブロック図である。
　図６において、信号抽出部２３５は、距離分布算出部２５１、速度分布算出部２５２、注目領域設定部２５３、および注目領域抽出部２５４から構成される。
　距離分布算出部２５１は、Ａ／Ｄ変換部２３４から供給されるディジタルレーダ信号を、１次元のスペクトルである距離スペクトルに変換する。距離分布算出部２５１は、変換した距離スペクトルを速度分布算出部２５２に出力する。
　速度分布算出部２５２は、距離分布算出部２５１により供給される距離スペクトルから、２次元のスペクトルである距離・速度スペクトルを算出する。速度分布算出部２５２は、算出した距離・速度スペクトルを注目領域設定部２５３および注目領域抽出部２５４に出力する。
　注目領域設定部２５３は、速度分布算出部２５２から供給される距離・速度スペクトルに基づいて、注目領域を設定する。注目領域設定部２５３は、設定した注目領域を示す注目領域情報を、注目領域抽出部２５４に出力する。
　注目領域抽出部２５４は、速度分布算出部２５２から供給される距離・速度スペクトルから、注目領域設定部２５３により設定された注目領域に含まれる成分を抽出し、抽出レーダ信号を生成する。注目領域抽出部２５４は、生成した抽出レーダ信号を、物体検出部２１１に送信する。
　＜信号処理＞
　次に、例えば、レーダ５２がＦＣＭ方式のレーダである場合の信号処理について具体的に説明する。
　図７は、信号抽出部２３５における信号処理の例を示す図である。
　図７においては、左から、復調されたレーダ信号ＳＩＧ１、距離スペクトルＳＩＧ２、および距離・速度スペクトルＳＩＧ３が模式的に示されている。
　復調されたレーダ信号ＳＩＧ１は、復調部２３３により復調され、Ａ／Ｄ変換部２３４により変換された信号であり、距離分布算出部２５１に供給される。
　図７の復調されたレーダ信号ＳＩＧ１は、縦軸がチャープ信号の送信タイミング順で、横軸が時間で表されている。復調されたレーダ信号ＳＩＧ１は、チャープ信号１乃至チャープ信号Ｌから構成されている。
　レーダ信号ＳＩＧ１の周波数が物体とレーダ５２との間の距離に比例することから、距離分布算出部２５１は、各チャープ信号内のサンプル（時間）に対してフーリエ変換を行うことによって距離スペクトルＳＩＧ２を得る。
　距離スペクトルＳＩＧ２は、距離分布算出部２５１により算出される信号であり、速度分布算出部２５２に供給される。
　図７の距離スペクトルＳＩＧ２は、縦軸がチャープ信号の送信タイミング順で、横軸が距離で表されている。距離スペクトルＳＩＧ２において、濃度の濃さは、電力の大きさを表している。各チャープ信号において、物体が位置する距離周辺の電力が大きいため、距離スペクトルＳＩＧ２においては、その周辺の濃度が濃く表されている。
　速度分布算出部２５２は、各チャープ信号における距離スペクトルをチャープ送信タイミング順で並べ、チャープ送信タイミング方向に対してフーリエ変換を行う。これにより、各チャープ間の位相変化から速度が算出され、各距離に対する速度スペクトル、すなわち、距離・速度スペクトルＳＩＧ３が得られる。
　距離・速度スペクトルＳＩＧ３は、速度分布算出部２５２により算出される信号であり、注目領域設定部２５３および注目領域抽出部２５４に供給される。
　図７の距離・速度スペクトルＳＩＧ３は、縦軸が速度で、横軸が距離で表されている。距離・速度スペクトルＳＩＧ３において、濃度の濃さは、電力の大きさを表している。物体の距離および速度に相当する距離および速度の周辺の電力が大きいため、距離・速度スペクトルＳＩＧ３においては、その周辺の濃度が濃く表されている。
　＜距離・速度スペクトル＞
　図８は、距離・速度スペクトルの詳細な例を示す図である。
　図８の距離・速度スペクトルは、縦軸が距離で、横軸が速度で表されている。図８において、各マスは、距離・速度の範囲を示すビンである。濃度が濃いビンは、電力が大きいことを表し、濃度が薄いビンは、電力が小さいことを表す。
　距離・速度スペクトルのスペクトル成分は、濃度に示されるように、物体の距離および速度に相当する距離・速度の範囲のビンに集中している。したがって、濃度の薄い、すなわち、スペクトル成分の小さいビンの情報を削ぎ落としても、物体検出精度への影響は少ないと考えられる。
　そこで、注目領域設定部２５３は、距離・速度スペクトルにおいてスペクトル成分が集中する領域を、注目領域に設定する。例えば、注目領域設定部２５３は、スペクトル成分の強度が所定の閾値以上のビンを含む距離範囲および速度範囲（図８の破線で囲まれた範囲）を、注目領域に設定する。
　設定された注目領域を示す注目領域情報は、注目領域抽出部２５４に出力される。
　注目領域抽出部２５４は、注目領域設定部２５３から供給される注目領域情報に基づいて、速度分布算出部２５２から供給される距離・速度スペクトルから、注目領域情報が示す範囲内のビンに存在するスペクトル成分（複素信号）を抽出し、抽出レーダ信号を生成する。
　＜レーダの処理＞
　図９は、レーダ５２のレーダ信号処理を説明するフローチャートである。
　ステップＳ１０１において、無線信号送信部２３１は、送信信号を生成し、単一または複数のアンテナを用いて送信信号を空間に送信波として放射する。
　空間に放射された送信波は、物体により反射されて反射波となる。
　ステップＳ１０２において、無線信号受信部２３２は、反射波を単一または複数のアンテナを用いて受信し、受信信号として復調部２３３に出力する。
　ステップＳ１０３において、復調部２３３は、無線信号送信部２３１から供給される送信信号と、無線信号受信部２３２から供給される受信信号に基づいて、レーダ信号を復調し、復調されたレーダ信号を生成する。復調部２３３は、生成した復調信号を、Ａ／Ｄ変換部２３４に出力する。
　ステップＳ１０４において、Ａ／Ｄ変換部２３４は、復調部２３３から供給される復調信号のサンプリングおよび量子化を行うことにより、ディジタル値に変換し、ディジタルレーダ信号を生成する。
　ステップＳ１０５において、信号抽出部２３５は、信号抽出処理を行う。信号抽出処理の詳細は、図１０を用いて後述される。ステップＳ１０５の処理により、Ａ／Ｄ変換部２３４から供給されるディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号が生成され、物体検出部２１１に送信される。
　＜信号抽出処理＞
　図１０は、図９のステップＳ１０５における信号抽出処理を説明するフローチャートである。
　ステップＳ１２１において、距離分布算出部２５１は、Ａ／Ｄ変換部２３４から供給されるディジタルレーダ信号を取得する。
　ステップＳ１２２において、距離分布算出部２５１は、取得したディジタルレーダ信号を距離スペクトルに変換する。距離分布算出部２５１は、変換した距離スペクトルを速度分布算出部２５２に出力する。
　ステップＳ１２３において、距離分布算出部２５１により供給される距離スペクトルから、距離・速度スペクトルを算出する。速度分布算出部２５２は、算出した距離・速度スペクトルを注目領域設定部２５３および注目領域抽出部２５４に出力する。
　ステップＳ１２４において、注目領域設定部２５３は、速度分布算出部２５２から供給される距離・速度スペクトルに基づいて、注目領域を設定する。注目領域設定部２５３は、設定した注目領域を示す注目領域情報を、注目領域抽出部２５４に出力する。
　ステップＳ１２５において、注目領域抽出部２５４は、速度分布算出部２５２から供給される距離・速度スペクトルから、注目領域情報が示す注目領域に含まれる成分を抽出し、抽出レーダ信号を生成する。
　ステップＳ１２６において、注目領域抽出部２５４は、生成した抽出レーダ信号を、センサデータとして、通信ネットワーク４１を介して、物体検出部２１１に送信する。
　以上のようにして、レーダ５２によりセンサデータが物体検出部２１１に送信される。
　物体検出部２１１の認識部７３は、センサデータである抽出レーダ信号を受信し、物体検出処理を実行する。例えば、認識部７３は、各レーダ５２の抽出レーダ信号を、各レーダ５２間で共通の直交座標系空間に座標変換し、すべてのレーダ５２に関して信号分布を積分することによって物体検出の精度を高める。
　なお、信号抽出部２３５において、上述したように、物体が存在する可能性の低いビンの情報を削ぎ落としているため、信号抽出による物体検出の精度への影響は小さい。
　以上のように、本技術の第１の実施の形態によれば、複数のレーダ５２を用いた物体検出において、物体検出の精度を保ちつつ、センサデータの伝送に用いる通信回線に必要な伝送容量を削減することができる。
　なお、上記説明においては、特定の成分のスペクトルとして、距離・速度スペクトルに基づいて抽出レーダ信号を生成したが、距離・速度スペクトルの代わりに、距離スペクトルまたは速度スペクトルに基づいて抽出レーダ信号を生成してもよい。
　また、無線信号送信部２３１および無線信号受信部２３２がビーム走査機能やアンテナアレイを備えており、物体が存在する角度の分布である角度スペクトルを取得できる場合、角度スペクトルに基づいて抽出レーダ信号を生成するようにしてもよい。例えば、角度・距離スペクトル、角度・速度スペクトル、または、角度・距離・速度スペクトルに基づいて、抽出レーダ信号を生成するようにしてもよい。
　注目領域は、レーダ送受信の前に、特定の範囲に予め定めておいてもよい。複数のレーダを用いてより高い精度で物体検出を行いたい範囲を予め定めることで、定めた注目領域に関する複数のレーダの信号を集約することができる。
＜＜３．第２の実施の形態（領域設定の共有）＞＞
　集約時の各レーダにおける注目領域の整合性の観点から、複数のレーダのうちの１台のレーダで注目領域を設定し、設定した注目領域情報を他のレーダに共有し、各レーダが共有された注目領域情報に基づいて注目領域を設定するようにしてもよい。この場合、物体検出システムは、図１１のように構成することができる。
　＜物体検出システムの第２の構成＞
　図１１は、図１の車両制御システムのうち、本技術を適用した物体検出システムの第２の構成例を示すブロック図である。
　図１１の物体検出システム３０１は、レーダ３１１－１、レーダ３１１－２、通信ネットワーク４１、ネットワーク３２２、および物体検出部２１１から構成される。なお、図１１において、図３と対応する部分には対応する符号が付してあり、繰り返しになるので、その説明は省略される。
　レーダ３１１－１は、信号抽出部２３５が信号抽出部３２１－１と入れ替わった点が異なるだけであり、その他の構成は、レーダ５２－１と共通している。レーダ３１１－２は、信号抽出部２３５が信号抽出部３２１－２と入れ替わった点が異なるだけであり、その他の構成は、レーダ５２－２と共通している。
　すなわち、信号抽出部３２１－１は、物体からの反射波として得られたディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号を生成する。その際、信号抽出部３２１－１は、ディジタルレーダ信号から得られる距離・速度スペクトルに基づいて、注目領域を設定し、注目領域情報を、ネットワーク３２２を介して、信号抽出部３２１－２に送信する。また、信号抽出部３２１－１は、設定した注目領域に基づいて、抽出レーダ信号を生成し、センサデータとして物体検出部２１１に送信する。
　信号抽出部３２１－２は、物体からの反射波として得られたディジタルレーダ信号から特定の成分を抽出して、抽出レーダ信号を生成する。その際、信号抽出部３２１－２は、ネットワーク３２２を介して受信される注目領域情報が示す注目領域に基づいて、抽出レーダ信号を生成し、センサデータとして物体検出部２１１に送信する。
　なお、レーダ３１１－１およびレーダ３１１－２を区別する必要がない場合、レーダ３１１と称する。信号抽出部３２１－１および信号抽出部３２１－２を区別する必要がない場合、信号抽出部３２１と称する。
　ネットワーク３２２は、通信ネットワーク４１とは異なるネットワークである。ただし、ネットワーク３２２は、通信ネットワーク４１と同じネットワークであってもよい。
　また、例えば、同一筐体にレーダ３１１－１および３１１－２が設けられる場合など、信号抽出部３２１－１および信号抽出部３２１－２は、ネットワーク３２２を介さずに、直接接続されていてもよい。
　＜信号抽出部＞
　図１２は、信号抽出部３２１－１および信号抽出部３２１－２の構成例を示すブロック図である。
　なお、図１２において、図６と対応する部分には対応する符号が付してあり、繰り返しになるので、その説明は省略される。
　信号抽出部３２１－１は、距離分布算出部２５１、速度分布算出部２５２、注目領域設定部３３１－１、および注目領域抽出部２５４から構成される。
　注目領域設定部３３１－１は、速度分布算出部２５２から供給される距離・速度スペクトルに基づいて、注目領域を設定する。注目領域設定部３３１－１は、設定した注目領域を示す注目領域情報を、注目領域抽出部２５４、および、ネットワーク３２２を介して、信号抽出部３２１－２の注目領域設定部３３１－２に出力する。
　信号抽出部３２１－２は、距離分布算出部２５１、速度分布算出部２５２、注目領域設定部３３１－２、および注目領域抽出部２５４から構成される。
　注目領域設定部３３１－２は、信号抽出部３２１－２の注目領域設定部３３１－２により設定された注目領域情報に基づいて、注目領域を設定する。
　以上のように構成することで、物体検出部２１１における集約時の各レーダにおける注目領域の整合性を保つようにすることができる。
＜＜４．第３の実施の形態（複数の異なるセンサ）＞＞
　＜物体検出システムの第３の構成＞
　図１３は、図１の車両制御システムのうち、本技術を適用した物体検出システムの第３の構成例を示すブロック図である。
　図１３の物体検出システム４０１は、測距センサ４１１－１、測距センサ４１１－２、通信ネットワーク４１、ネットワーク３２２、および物体検出部４２１から構成される。なお、図１３において、図３や図１１と対応する部分には対応する符号が付してあり、繰り返しになるので、その説明は省略される。
　測距センサ４１１－１および測距センサ４１１－２は、異なる種類の測距センサであり、レーダ５２、ＬｉＤＡＲ５３、カメラ５１、および超音波センサ５４などのいずれかから構成される。
　測距センサ４１１－１は、図１１のレーダ３１１－１と基本的に同様に構成される。測距センサ４１１－１は、物体からの反射波として得られたディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号を生成する。その際、測距センサ４１１－１は、ディジタルレーダ信号から得られる距離・速度スペクトルに基づいて、注目領域を設定し、注目領域情報を、ネットワーク３２２を介して、測距センサ４１１－２に送信する。また、測距センサ４１１－１は、設定した注目領域に基づいて、抽出レーダ信号を生成し、第１のセンサデータとして物体検出部４２１に送信する。
　測距センサ４１１－２は、図１１のレーダ３１１－２と基本的に同様に構成される。測距センサ４１１－２は、物体からの反射波として得られたディジタルレーダ信号の特定の成分のスペクトルに基づいて、レーダ信号の一部が抽出された抽出レーダ信号を生成する。その際、測距センサ４１１－２は、ネットワーク３２２を介して受信した注目領域情報が示す注目領域に基づいて、抽出レーダ信号を生成し、第２のセンサデータとして物体検出部４２１に送信する。
　具体的に説明するに、例えば、測距センサ４１１－１がＬｉＤＡＲ５３であり、測距センサ４１１－２がレーダ５２である場合、ＬｉＤＡＲ５３の距離スペクトルに基づいて設定した注目領域情報に基づいて、レーダ５２は、距離・速度スペクトルから注目領域に含まれる成分を抽出することができる。
　物体検出部４２１は、センサフュージョン部７２および認識部７３から構成される。
　センサフュージョン部７２は、測距センサ４１１－１および測距センサ４１１－２から送信されてくる複数の異なる種類のセンサデータを組み合わせて、新たな情報を得るセンサフュージョン処理を行う。組み合わされたセンサデータは、認識部７３に出力される。
　認識部７３は、センサフュージョン部７２により組み合わされたセンサデータを用いて、物体検出処理を行う。
　以上のように、異なる種類の測距センサ間で注目領域情報を共有することも可能である。
＜＜５．第４の実施の形態（他のセンサデータに基づく領域設定）＞＞
　＜物体検出システムの第４の構成＞
　図１４は、図１の車両制御システムのうち、本技術を適用した物体検出システムの第４の構成例を示すブロック図である。
　図１４の物体検出システム５０１は、センサ５１１、測距センサ４１１－２、通信ネットワーク４１、ネットワーク３２２、および物体検出部２２１から構成される。なお、図１４において、図３、図１１、図１３と対応する部分には対応する符号が付してあり、繰り返しになるので、その説明は省略される。
　センサ５１１は、図１のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、超音波センサ５４、およびジャイロセンサなどのいずれかから構成される。
　例えば、センサ５１１は、周辺環境の認識処理を行う。センサ５１１は、得られた認識処理の結果に基づいて、重点的に監視する必要がある領域を注目領域として設定する。センサ５１１は、注目領域を示す注目領域情報を含むセンサデータを、ネットワーク３２２を介して、測距センサ４１１－２に送信する。
　すなわち、センサ５１１は、図１３の測距センサ４１１－１と異なり、物体検出部２２１にセンサデータを送信するものではなく、センサ５１１による認識処理の結果得られる注目領域の情報を含むセンサデータを、測距センサ４１１－２に送信するものである。
　測距センサ４１１－２は、抽出レーダ信号を生成する際、ネットワーク３２２を介して受信した注目領域情報が示す注目領域に基づいて、抽出レーダ信号を生成し、センサデータとして物体検出部２１１に送信する。
　以上のように、測距センサにおいては、他のセンサやカメラなどによる周辺環境の認識を行うためのセンサデータや情報、画像データなどを利用して、注目領域が設定され、設定された注目領域が用いられるようにしてもよい。
＜＜６．第５の実施の形態（差分信号の送信）＞＞
　＜信号抽出部の構成例＞
　なお、新たに取得されるセンサデータと保持されているセンサデータの差分データを、物体検出部２１１に送信するようにしてもよい。この場合、信号抽出部は、図１５に示されるように構成される。
　図１５は、信号抽出部の他の構成例を示すブロック図である。
　なお、図１５において、図６と対応する部分には、対応する符号が付してあり、その説明は繰り返しになるので省略される。
　図１５の信号抽出部６０１は、距離分布算出部２５１、速度分布算出部２５２、注目領域設定部２５３、注目領域抽出部２５４、差分計算部６１１、および記憶部６１２から構成される。
　注目領域抽出部２５４は、生成した抽出レーダ信号を、差分計算部６１１および記憶部６１２に出力する。
　差分計算部６１１は、注目領域抽出部２５４から供給される抽出レーダ信号と、記憶部６１２に保持されている抽出レーダ信号との差分信号を計算し、センサデータとして、物体検出部２１１に送信する。
　記憶部６１２は、注目領域抽出部２５４から供給される抽出レーダ信号を保持する。
　なお、差分信号は、距離、速度、または、角度スペクトルなどの１次元スペクトルから生成されてもよいし、距離・速度、速度・角度、角度・距離などの２次元スペクトルから生成されてもよいし、距離・速度・角度スペクトルなどの３次元スペクトルから生成されてもよい。
　以上のように、差分信号をセンサデータとして送信することで、特に、周囲の環境変化が少ない状況においては、データ量を減らすことができる。
＜＜７．その他＞＞
　＜効果＞
　以上のように、本技術においては、測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データが生成される。
　これにより、抽出データのみを送信することができるので、センサデータの送信に必要な伝送路の容量や必要な伝送レート、すなわち、必要な伝送路の処理能力を下げることができる。
　また、センサデータの一部以外を削除することにより、物体検出処理に与える影響を抑えつつ、センサデータのデータ量を削減することができる。
　＜プログラム＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　以上のように構成されるコンピュータでは、図１に示されるように、車両制御ＥＣＵ２１が、例えば、記録部２８に記憶されているプログラムを、通信ネットワーク４１を介して、記録部２８を構成するＲＡＭにロードして実行することにより、上述した一連の処理が行われる。
　車両制御ＥＣＵ２１が実行するプログラムは、例えばリムーバブルメディアに記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル放送といった、有線または無線の伝送媒体を介して提供され、記録部２８にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する信号抽出部を備える
　情報処理装置。
（２）
　前記センサデータの前記スペクトルの第１の注目領域を設定する注目領域設定部をさらに備え、
　前記信号抽出部は、前記第１の注目領域に基づいて前記抽出データを生成する
　前記（１）に記載の情報処理装置。
（３）
　前記注目領域設定部は、前記センサデータの前記スペクトルの強度に基づいて前記第１の注目領域を設定する
　前記（２）に記載の情報処理装置。
（４）
　前記注目領域設定部は、前記センサデータの前記スペクトルの強度が所定の閾値以上の領域を前記第１の注目領域に設定する
　前記（３）に記載の情報処理装置。
（５）
　前記注目領域設定部は、前記測距センサと異なる種類の測距センサによって設定された第２の注目領域に基づいて前記第１の注目領域を設定する
　前記（２）に記載の情報処理装置。
（６）
　前記注目領域設定部は、他のセンサデータによって設定された第２の注目領域に基づいて前記第１の注目領域を設定する
　前記（２）に記載の情報処理装置。
（７）
　前記信号抽出部は、前記センサデータの前記スペクトルの前記第１の注目領域に含まれる成分を抽出して前記抽出データを生成する
　前記（２）に記載の情報処理装置。
（８）
　前記特定の成分は、距離、速度、および角度の少なくとも１つを含む
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記特定の成分は、距離および速度を含む
　前記（８）に記載の情報処理装置。
（１０）
　前記センサデータを１次元のスペクトルに変換し、前記１次元のスペクトルを２次元のスペクトルに変換する変換部をさらに備え、
　前記信号抽出部は、前記センサデータの前記２次元のスペクトルの一部の成分を抽出して前記抽出データを生成する
　前記（１）に記載の情報処理装置。
（１１）
　前記抽出データを保持する記憶部と、
　前記抽出データと、前記記憶部に保持された時間的に前の抽出データとの差分データを算出する算出部とを
　さらに備える
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記測距センサはミリ波レーダである
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記測距センサはＬｉＤＡＲである
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１４）
　情報処理装置が、
　測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する
　情報処理方法。
（１５）
　センサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する測距センサと、
　前記測距センサから出力される前記抽出データを伝送するネットワークと
　を備える情報処理システム。
（１６）
　前記ネットワークにより伝送される前記抽出データを受信し、前記抽出データに基づいて物体を検出する物体検出部をさらに備える
　前記（１５）に記載の情報処理システム。
（１７）
　前記測距センサは、前記抽出データを保持する記憶部をさらに備え、
　前記抽出データと、前記記憶部に保持された時間的に前の抽出データとの差分データを算出し、前記ネットワークは、前記差分データを伝送する
　前記（１５）または（１６）に記載の情報処理システム。
（１８）
　前記測距センサは、２以上からなる
　前記（１５）乃至（１７）のいずれかに記載の情報処理システム。
（１９）
　前記測距センサは、少なくとも２種類以上の測距センサを含む
　前記（１５）乃至（１８）のいずれかに記載の情報処理システム。
　１　車両，　１１　車両制御システム，　２１　車両制御ＥＣＵ，　２５　外部認識センサ，　４１　通信ネットワーク，　５１　カメラ，　５２，５２－１，５２－２　レーダ，　５３　ＬｉＤＡＲ，　５４　超音波センサ，　２８　記憶部，　６１　分析部，　７１　事故位置推定部，　７２　センサフュージョン部，　７３　認識部，　２０１　物体検出システム，　２１１　物体検出部，　２３１　無線信号送信部，　２３２　無線信号受信部，　２３３　復調部，　２３４　Ａ／Ｄ変換部，　２３５　信号抽出部，　３０１　物体検出システム，　３１１－１，３１１－２，３１１　レーダ，　３２１－１，３２１－２　信号抽出部，　３２２　ネットワーク，　３３１－１，３３１－２　注目領域設定部，　４０１　物体検出システム，　４１１－１，４１１－２　測距センサ，　４２１　物体検出部，　５０１　物体検出システム，　５１１　センサ，　６０１　信号抽出部，　６１１　差分計算部，　６１２　記憶部

Claims (19)

  1. 　測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する信号抽出部を備える
    　情報処理装置。
  2. 　前記センサデータの前記スペクトルの第１の注目領域を設定する注目領域設定部をさらに備え、
    　前記信号抽出部は、前記第１の注目領域に基づいて前記抽出データを生成する
    　請求項１に記載の情報処理装置。
  3. 　前記注目領域設定部は、前記センサデータの前記スペクトルの強度に基づいて前記第１の注目領域を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記注目領域設定部は、前記センサデータの前記スペクトルの強度が所定の閾値以上の領域を前記第１の注目領域に設定する
    　請求項３に記載の情報処理装置。
  5. 　前記注目領域設定部は、前記測距センサと異なる種類の測距センサによって設定された第２の注目領域に基づいて前記第１の注目領域を設定する
    　請求項２に記載の情報処理装置。
  6. 　前記注目領域設定部は、他のセンサデータによって設定された第２の注目領域に基づいて前記第１の注目領域を設定する
    　請求項２に記載の情報処理装置。
  7. 　前記信号抽出部は、前記センサデータの前記スペクトルの前記第１の注目領域に含まれる成分を抽出して前記抽出データを生成する
    　請求項２に記載の情報処理装置。
  8. 　前記特定の成分は、距離、速度、および角度の少なくとも１つを含む
    　請求項１に記載の情報処理装置。
  9. 　前記特定の成分は、距離および速度を含む
    　請求項８に記載の情報処理装置。
  10. 　前記センサデータを１次元のスペクトルに変換し、前記１次元のスペクトルを２次元のスペクトルに変換する変換部をさらに備え、
    　前記信号抽出部は、前記センサデータの前記２次元のスペクトルの一部の成分を抽出して前記抽出データを生成する
    　請求項１に記載の情報処理装置。
  11. 　前記抽出データを保持する記憶部と、
    　前記抽出データと、前記記憶部に保持された時間的に前の抽出データとの差分データを算出する算出部とを
    　さらに備える請求項１に記載の情報処理装置。
  12. 　前記測距センサはミリ波レーダである
    　請求項１に記載の情報処理装置。
  13. 　前記測距センサはＬｉＤＡＲである
    　請求項１に記載の情報処理装置。
  14. 　情報処理装置が、
    　測距センサのセンサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する
    　情報処理方法。
  15. 　センサデータの特定の成分のスペクトルに基づいて、前記センサデータの一部を抽出して抽出データを生成する測距センサと、
    　前記測距センサから出力される前記抽出データを伝送するネットワークと
    　を備える情報処理システム。
  16. 　前記ネットワークにより伝送される前記抽出データを受信し、前記抽出データに基づいて物体を検出する物体検出部をさらに備える
    　請求項１５に記載の情報処理システム。
  17. 　前記測距センサは、前記抽出データを保持する記憶部をさらに備え、
    　前記抽出データと、前記記憶部に保持された時間的に前の抽出データとの差分データを算出し、前記ネットワークは、前記差分データを伝送する
    　請求項１５に記載の情報処理システム。
  18. 　前記測距センサは、２以上からなる
    　請求項１５に記載の情報処理システム。
  19. 　前記測距センサは、少なくとも２種類以上の測距センサを含む
    　請求項１８に記載の情報処理システム。
PCT/JP2021/034940 2020-10-08 2021-09-24 情報処理装置および方法、並びに情報処理システム WO2022075075A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/247,102 US20240019539A1 (en) 2020-10-08 2021-09-24 Information processing device, information processing method, and information processing system
CN202180067502.4A CN116235231A (zh) 2020-10-08 2021-09-24 信息处理设备、信息处理方法和信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-170239 2020-10-08
JP2020170239 2020-10-08

Publications (1)

Publication Number Publication Date
WO2022075075A1 true WO2022075075A1 (ja) 2022-04-14

Family

ID=81126812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034940 WO2022075075A1 (ja) 2020-10-08 2021-09-24 情報処理装置および方法、並びに情報処理システム

Country Status (3)

Country Link
US (1) US20240019539A1 (ja)
CN (1) CN116235231A (ja)
WO (1) WO2022075075A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018115931A (ja) * 2017-01-17 2018-07-26 株式会社デンソーテン レーダ装置および物標検出方法
JP2019211388A (ja) * 2018-06-07 2019-12-12 株式会社デンソーテン レーダ装置
JP2019219253A (ja) * 2018-06-19 2019-12-26 マツダ株式会社 車両用物標検出方法および装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018115931A (ja) * 2017-01-17 2018-07-26 株式会社デンソーテン レーダ装置および物標検出方法
JP2019211388A (ja) * 2018-06-07 2019-12-12 株式会社デンソーテン レーダ装置
JP2019219253A (ja) * 2018-06-19 2019-12-26 マツダ株式会社 車両用物標検出方法および装置

Also Published As

Publication number Publication date
CN116235231A (zh) 2023-06-06
US20240019539A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
US20230230368A1 (en) Information processing apparatus, information processing method, and program
WO2019078010A1 (ja) 情報処理装置、情報処理方法、移動体、及び、車両
US20220172484A1 (en) Information processing method, program, and information processing apparatus
WO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20240069564A1 (en) Information processing device, information processing method, program, and mobile apparatus
CN118525258A (zh) 信息处理装置、信息处理方法、信息处理程序和移动装置
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022075075A1 (ja) 情報処理装置および方法、並びに情報処理システム
US20220020272A1 (en) Information processing apparatus, information processing method, and program
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2022107532A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022264512A1 (ja) 光源制御装置、光源制御方法、及び、測距装置
US20240219551A1 (en) Radar apparatus, signal processing method, and program
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2022264511A1 (ja) 測距装置及び測距方法
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877376

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18247102

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877376

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP