WO2022145286A1 - 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム Download PDF

Info

Publication number
WO2022145286A1
WO2022145286A1 PCT/JP2021/047256 JP2021047256W WO2022145286A1 WO 2022145286 A1 WO2022145286 A1 WO 2022145286A1 JP 2021047256 W JP2021047256 W JP 2021047256W WO 2022145286 A1 WO2022145286 A1 WO 2022145286A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
warning sound
control unit
information processing
zone
Prior art date
Application number
PCT/JP2021/047256
Other languages
English (en)
French (fr)
Inventor
拓也 小路
英寛 小松
正紘 田森
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022573011A priority Critical patent/JPWO2022145286A1/ja
Priority to EP21915146.1A priority patent/EP4273834A1/en
Priority to US18/259,074 priority patent/US20240054897A1/en
Priority to CN202180087735.0A priority patent/CN116670006A/zh
Publication of WO2022145286A1 publication Critical patent/WO2022145286A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present technology relates to information processing devices, information processing methods, programs, mobile devices, and information processing systems, and is particularly suitable for information processing devices and information processing when outputting a warning sound for an object around the mobile device.
  • Methods, programs, mobile devices, and information processing systems are particularly suitable for information processing devices and information processing when outputting a warning sound for an object around the mobile device.
  • This technique was made in view of such a situation, and is intended to improve the recognition accuracy of the direction in which an object exists around a moving device such as a vehicle.
  • the information processing device on the first aspect of the present technology has a recognition unit that performs detection processing of an object around the moving device, and a first warning sound indicating the existence of the object based on the detected position of the object. It is provided with a warning sound control unit that controls the feature amount and the position of the sound image.
  • the information processing method of the first aspect of the present technology performs detection processing of an object around the moving device, and based on the detected position of the object, features an amount of a warning sound indicating the existence of the object and a sound image. Includes steps to control position.
  • the program of the first aspect of the present technology performs detection processing of an object around the moving device, and based on the detected position of the object, the feature amount of the warning sound indicating the existence of the object and the position of the sound image are determined.
  • an object around the moving device is detected, and based on the detected position of the object, the feature amount of the warning sound indicating the existence of the object and the position of the sound image are determined. Be controlled.
  • the moving device on the second side of the present technology has a recognition unit that performs detection processing of surrounding objects, a feature amount of a warning sound indicating the existence of the object, and a position of a sound image based on the detected position of the object. It is equipped with a warning sound control unit that controls.
  • the detection process of surrounding objects is performed, and the feature amount of the warning sound indicating the existence of the object and the position of the sound image are controlled based on the detected position of the object. ..
  • the information processing system of the third aspect of the present technology includes a sensor unit that senses the surroundings of the mobile device, and a recognition unit that detects an object around the mobile device based on the sensing result of the sensor unit.
  • the warning sound control unit that controls the feature amount of the warning sound indicating the existence of the object and the position of the sound image based on the detected position of the object, and the warning sound under the control of the warning sound control unit. It is equipped with a speaker that outputs.
  • sensing around the mobile device is performed, and based on the sensing result, an object around the mobile device is detected, and based on the position of the detected object.
  • the feature amount of the warning sound indicating the existence of the object and the position of the sound image are controlled, and the warning sound is output.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and traveling. It includes a support / automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • vehicle control ECU Electronic Control Unit
  • communication unit 22 includes a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and traveling. It includes a support / automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • HMI Human Machine Interface
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support / automatic driving control unit 29, driver monitoring system ( The DMS) 30, the human machine interface (HMI) 31, and the vehicle control unit 32 are connected to each other so as to be able to communicate with each other via the communication network 41.
  • the communication network 41 is in-vehicle compliant with digital bidirectional communication standards such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It consists of a communication network and a bus.
  • the communication network 41 may be used properly depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 does not go through the communication network 41, but wireless communication assuming relatively short-distance communication such as short-range wireless communication (NFC (Near Field Communication)) and Bluetooth (registered trademark). In some cases, it is directly connected using.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the description of the communication network 41 shall be omitted.
  • the vehicle control ECU 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the vehicle control ECU 21 and the communication unit 22 simply communicate with each other.
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit), for example.
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part of the vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication unit 22 will roughly explain the feasible communication with the outside of the vehicle.
  • the communication unit 22 is on an external network via a base station or an access point by a wireless communication method such as 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc. Communicates with a server (hereinafter referred to as an external server) that exists in.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, a network peculiar to a business operator, or the like.
  • the communication method performed by the communication unit 22 with respect to the external network is not particularly limited as long as it is a wireless communication method capable of digital bidirectional communication at a communication speed of a predetermined value or higher and a distance of a predetermined distance or more.
  • the communication unit 22 can communicate with a terminal existing in the vicinity of the own vehicle by using P2P (Peer To Peer) technology.
  • the terminals existing in the vicinity of the own vehicle are, for example, terminals worn by moving objects such as pedestrians and bicycles that move at a relatively low speed, terminals installed at a fixed position in stores, or MTC (Machine Type). Communication) It is a terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside devices, and home (Vehicle to Home) communication.
  • And communication between the vehicle and others such as vehicle-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 can receive, for example, a program for updating the software that controls the operation of the vehicle control system 11 from the outside (Over The Air).
  • the communication unit 22 can further receive map information, traffic information, information around the vehicle 1, and the like from the outside. Further, for example, the communication unit 22 can transmit information about the vehicle 1, information around the vehicle 1, and the like to the outside.
  • Information about the vehicle 1 transmitted by the communication unit 22 to the outside includes, for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, and the like. Further, for example, the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • the communication unit 22 receives an electromagnetic wave transmitted by a vehicle information and communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the communication unit 22 will roughly explain the feasible communication with the inside of the vehicle.
  • the communication unit 22 can communicate with each device in the vehicle by using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with a device in the vehicle by a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB), which enables digital bidirectional communication at a communication speed higher than a predetermined value by wireless communication. Can be done.
  • the communication unit 22 can also communicate with each device in the vehicle by using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 is digital bidirectional communication at a communication speed higher than a predetermined speed by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). It is possible to communicate with each device in the car by the communication method capable of.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the device in the vehicle refers to, for example, a device that is not connected to the communication network 41 in the vehicle.
  • the equipment in the vehicle for example, mobile equipment and wearable equipment possessed by passengers such as drivers, information equipment brought into the vehicle and temporarily installed, and the like are assumed.
  • the map information storage unit 23 stores one or both of the map acquired from the outside and the map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, and the like.
  • the dynamic map is, for example, a map composed of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • the vector map is, for example, a map in which traffic information such as lanes and signal positions are associated with a point cloud map and adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving).
  • the point cloud map and the vector map may be provided, for example, from an external server or the like, or as a map for matching with a local map described later based on the sensing results by the camera 51, the radar 52, the LiDAR 53, or the like. It may be created in the vehicle 1 and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, related to the planned route on which the vehicle 1 will travel from now on is acquired from the external server or the like. ..
  • the position information acquisition unit 24 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite and acquires the position information of the vehicle 1.
  • the acquired position information is supplied to the traveling support / automatic driving control unit 29.
  • the position information acquisition unit 24 is not limited to the method using the GNSS signal, and may acquire the position information by using, for example, a beacon.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the external recognition sensor 25 may be configured to include one or more of the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is not particularly limited as long as they can be practically installed in the vehicle 1.
  • the type of sensor included in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may include other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the shooting method of the camera 51 is not particularly limited.
  • cameras of various shooting methods such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, and an infrared camera, which are shooting methods capable of measuring a distance, can be applied to the camera 51 as needed.
  • the camera 51 may be simply for acquiring a captured image regardless of the distance measurement.
  • the external recognition sensor 25 can be provided with an environment sensor for detecting the environment for the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, weather, and brightness, and may include various sensors such as a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and an illuminance sensor.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they can be practically installed in the vehicle 1.
  • the in-vehicle sensor 26 can include one or more of a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, and a biosensor.
  • a camera included in the in-vehicle sensor 26 for example, a camera of various shooting methods capable of measuring a distance, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used. Not limited to this, the camera included in the in-vehicle sensor 26 may be simply for acquiring a captured image regardless of the distance measurement.
  • the biosensor included in the in-vehicle sensor 26 is provided on, for example, a seat, a stelling wheel, or the like, and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be practically installed in the vehicle 1.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular speed sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) that integrates them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an impact from the outside.
  • the storage unit 28 includes at least one of a non-volatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used as, for example, an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium includes a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and the like. And a photomagnetic storage device can be applied.
  • the storage unit 28 stores various programs and data used by each unit of the vehicle control system 11.
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information on the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an motion control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map with the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technique such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (OccupancyGridMap), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into a grid (grid) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of an object and the probability of existence.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs a sensor fusion process for obtaining new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .. Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 73 executes a detection process for detecting the external situation of the vehicle 1 and a recognition process for recognizing the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing, recognition processing, and the like of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on the sensor data by the radar 52 or the LiDAR 53 into each block of the point cloud. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road signs, etc. based on the image data supplied from the camera 51. Further, the recognition unit 73 may recognize the type of the object around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 is based on the map stored in the map information storage unit 23, the self-position estimation result by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73. It is possible to perform recognition processing of traffic rules around the vehicle 1. By this processing, the recognition unit 73 can recognize the position and state of the signal, the content of the traffic sign and the road marking, the content of the traffic regulation, the lane in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized by the recognition unit 73 weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal. This route planning is called track planning, and track generation (Local path planning) that enables safe and smooth progress in the vicinity of vehicle 1 in the planned route in consideration of the motion characteristics of vehicle 1 is provided. The processing to be performed is also included.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time.
  • the action planning unit 62 can calculate, for example, the target speed and the target angular velocity of the vehicle 1 based on the result of this route tracking process.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83, which are included in the vehicle control unit 32 described later, and the vehicle 1 controls the track calculated by the track plan. Acceleration / deceleration control and direction control are performed so as to proceed.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up travel, vehicle speed maintenance travel, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving or the like that autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on sensor data from the in-vehicle sensor 26 and input data input to HMI 31 described later.
  • As the state of the driver to be recognized for example, physical condition, arousal degree, concentration degree, fatigue degree, line-of-sight direction, drunkenness degree, driving operation, posture and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the status of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • HMI31 inputs various data and instructions, and presents various data to the driver and the like.
  • the data input by HMI31 will be outlined.
  • the HMI 31 includes an input device for a person to input data.
  • the HMI 31 generates an input signal based on data, instructions, and the like input by the input device, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operator such as a touch panel, a button, a switch, and a lever as an input device.
  • the HMI 31 may further include an input device capable of inputting information by a method other than manual operation by voice, gesture, or the like.
  • the HMI 31 may use, for example, a remote control device using infrared rays or radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 11 as an input device.
  • the presentation of data by HMI31 will be outlined.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or the outside of the vehicle. Further, the HMI 31 performs output control for controlling the output of each generated information, the output content, the output timing, the output method, and the like.
  • As visual information the HMI 31 generates and outputs, for example, an image such as an operation screen, a status display of the vehicle 1, a warning display, a monitor image showing the situation around the vehicle 1, and information indicated by light.
  • the HMI 31 generates and outputs as auditory information, for example, information indicated by sounds such as voice guidance, warning sounds, and warning messages.
  • the HMI 31 generates and outputs tactile information that is given to the tactile sensation of the occupant by, for example, force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied. ..
  • the display device displays visual information in the passenger's field of view, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device of a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. provided in the vehicle 1 as an output device for outputting visual information.
  • an output device for which the HMI 31 outputs auditory information for example, an audio speaker, headphones, and earphones can be applied.
  • a haptics element using a haptics technique can be applied as an output device for which the HMI 31 outputs tactile information.
  • the haptic element is provided in a portion of the vehicle 1 in contact with the occupant, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force of an accelerator pedal, an internal combustion engine, a drive motor, or the like, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls various light states of the vehicle 1. As the light to be controlled, for example, a headlight, a backlight, a fog light, a turn signal, a brake light, a projection, a bumper display, or the like is assumed.
  • the light control unit 85 includes a light ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 2 shows an example of the installation position of the camera 51, the radar 52, the LiDAR 53, the ultrasonic sensor 54, and the camera included in the in-vehicle sensor 26 included in the external recognition sensor 25 of the vehicle 1.
  • the external recognition sensor 25 includes a camera 51FC1 to a camera 51BC3, a radar 52FC to a radar 52BR, a LiDAR53F to a LiDAR53B, and an ultrasonic sensor 54FL1 to an ultrasonic sensor 54BR.
  • the in-vehicle sensor 26 includes a camera 101L to a camera 102.
  • the camera 51FC1 is provided near the center of the tip of the vehicle 1.
  • the camera 51FC1 photographs the front of the vehicle 1.
  • a fish-eye camera is used.
  • the camera 51FC1 is used, for example, for ADAS and surround view.
  • the surround view is, for example, a function of displaying an image of the surroundings of the vehicle 1 or a bird's-eye view image of the surroundings of the vehicle 1 as viewed from above.
  • the camera 51FC2 is provided near the front center of the vehicle 1.
  • the camera 51FC2 photographs the front of the vehicle 1 via the windshield.
  • the camera 51FC2 is used, for example, for ADAS.
  • the image of the camera 51FC2 is recorded in, for example, a drive recorder.
  • the camera 51FL and the camera 51FR are arranged on the left and right at a predetermined distance in front of the interior of the vehicle 1 to form a stereo camera.
  • the camera 51FL and the camera 51FR photograph the front of the vehicle 1 via the windshield.
  • the camera 51FL and the camera 51FR are used, for example, in ADAS.
  • a camera having a higher resolution than the camera 51FC2 is used.
  • the cameras 51SL1 to 51SL4 are provided on the left side surface of the vehicle 1 near the front end of the driver's seat door.
  • Camera 51SL1 photographs diagonally forward to the left of vehicle 1.
  • the camera 51SL1 is used, for example, for ADAS.
  • Camera 51SL2 captures the left direction of vehicle 1.
  • a camera 51SL1 for example, a camera 51SL1, a camera 51SL3, and a fish-eye camera having a wider angle than the camera 51SL4 are used.
  • the camera 51SL2 is used, for example, for ADAS and surround view.
  • the camera 51SL3 photographs the diagonally left rear of the vehicle 1.
  • a camera having a higher resolution than the camera 51SL1 is used.
  • the camera 51SL3 is used, for example, for ADAS.
  • the camera 51SL4 photographs the diagonally left rear of the vehicle 1.
  • the optical axis of the camera 51SL4 faces the direction closer to the rear of the vehicle 1 than the optical axis of the camera 51SL3.
  • the optical axis of the camera 51SL3 faces the direction closer to the left direction (lateral direction) of the vehicle 1 than the optical axis of the camera 51SL4.
  • the camera 51SL4 is used for, for example, a CMS.
  • the cameras 51SR1 to 51SR4 are provided on the right side surface of the vehicle 1 near the front end of the passenger seat door.
  • Camera 51SR1 photographs diagonally forward to the right of vehicle 1.
  • the camera 51SR1 is used, for example, for ADAS.
  • Camera 51SR2 captures the right direction of vehicle 1.
  • a camera 51SR1 for example, a camera 51SR1, a camera 51SR3, and a fish-eye camera having a wider angle than the camera 51SR4 are used.
  • the camera 51SR2 is used, for example, for ADAS and surround view.
  • the camera 51SR3 photographs the diagonally right rear of the vehicle 1.
  • a camera having a higher resolution than the camera 51SR1 is used.
  • the camera 51SR3 is used, for example, for ADAS.
  • the camera 51SR4 photographs the diagonally right rear of the vehicle 1.
  • the optical axis of the camera 51SR4 faces the direction closer to the rear of the vehicle 1 than the optical axis of the camera 51SR3.
  • the optical axis of the camera 51SR3 faces the direction closer to the right direction (lateral direction) of the vehicle 1 than the optical axis of the camera 51SR4.
  • the camera 51SR4 is used for, for example, a CMS.
  • the camera 51BC1 is provided near the center of the rear end of the vehicle 1.
  • the camera 51BC1 photographs the rear of the vehicle 1.
  • a fish-eye camera is used for the camera 51BC1 .
  • the camera 51BC1 is used, for example, for ADAS and surround view.
  • the camera 51BC2 and the camera 51BC3 are provided near the rear center of the vehicle 1.
  • the camera 51BC2 and the camera 51BC3 photograph the rear of the vehicle 1 through the rear window.
  • the camera 51BC2 is used for, for example, a CMS.
  • the camera 51BC3 is used, for example, for ADAS.
  • the image of the camera 51BC3 is recorded in, for example, a drive recorder.
  • the radar 52FC is provided near the center of the tip of the vehicle 1.
  • the radar 52FC senses the front of the vehicle 1.
  • the radar 52FL is provided near the left end of the tip of the vehicle 1.
  • the radar 52FL performs sensing diagonally to the left and forward of the vehicle 1.
  • the radar 52FR is provided near the right end of the tip of the vehicle 1.
  • the radar 52FR senses diagonally forward to the right of the vehicle 1.
  • the radar 52BC is provided near the center of the rear end of the vehicle 1.
  • the radar 52BC performs sensing behind the vehicle 1.
  • the radar 52BL is provided near the left end of the rear end of the vehicle 1.
  • the radar 52BL senses diagonally to the left and rear of the vehicle 1.
  • the radar 52BR is provided near the right end of the rear end of the vehicle 1.
  • the radar 52BR senses diagonally to the right and rear of the vehicle 1.
  • LiDAR53F is provided near the center of the tip of the vehicle 1.
  • the LiDAR53F senses the front of the vehicle 1.
  • LiDAR53L is provided in front of the left side surface of the vehicle 1.
  • the LiDAR53L senses the vehicle 1 in the left direction.
  • the LiDAR53R is provided in front of the right side surface of the vehicle 1.
  • the LiDAR53R senses the vehicle 1 in the right direction.
  • LiDAR53B is provided near the center of the rear end of the vehicle 1.
  • the LiDAR53B senses the rear of the vehicle 1.
  • the ultrasonic sensor 54FL1 is provided slightly to the left of the center of the tip of the vehicle 1.
  • the ultrasonic sensor 54FL1 performs sensing slightly to the left in front of the vehicle 1.
  • the ultrasonic sensor 54FL2 is provided near the left end of the tip of the vehicle 1.
  • the ultrasonic sensor 54FL1 performs sensing in the front diagonally left direction of the vehicle 1.
  • the ultrasonic sensor 54FR1 is provided slightly to the right of the center of the tip of the vehicle 1.
  • the ultrasonic sensor 54FR1 senses slightly to the right in front of the vehicle 1.
  • the ultrasonic sensor 54FR2 is provided near the right end of the tip of the vehicle 1.
  • the ultrasonic sensor 54FR1 senses the vehicle 1 in the front right diagonal direction.
  • the ultrasonic sensor 54SL1 is provided in front of the left side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SL1 performs left-handed sensing in front of the vehicle 1.
  • the ultrasonic sensor 54SL2 is provided behind the left side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SL2 performs left-handed sensing behind the vehicle 1.
  • the ultrasonic sensor 54SR1 is provided in front of the right side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SR1 senses in the right direction in front of the vehicle 1.
  • the ultrasonic sensor 54SR2 is provided behind the right side surface of the body of the vehicle 1.
  • the ultrasonic sensor 54SR2 senses to the right behind the vehicle 1.
  • the ultrasonic sensor 54BL is provided near the left end of the rear end of the vehicle 1.
  • the ultrasonic sensor 54BL performs sensing in the rear diagonally left direction of the vehicle 1.
  • the ultrasonic sensor 54BR is provided near the right end of the rear end of the vehicle 1.
  • the ultrasonic sensor 54BR senses the vehicle 1 in the rear right diagonal direction.
  • the camera 101L is provided in the vehicle in the diagonally upward direction to the right of the driver's seat.
  • the camera 101L photographs the area around the driver's seat.
  • a ToF camera is used for the camera 101L.
  • the camera 101R is provided in the vehicle in the diagonally upward direction to the left of the passenger seat.
  • the camera 101R photographs the area around the passenger seat.
  • a ToF camera is used for the camera 101R.
  • the camera 102 is provided slightly to the left of the center on the dashboard inside the car. The camera 102 photographs the area around the driver's seat.
  • the speaker 203FL is embedded slightly in front of the backrest of the driver's seat 201FL.
  • the speaker 203FR is embedded in the door 202FR on the passenger seat 201FR side slightly in front of the backrest of the passenger seat 201FR.
  • the speaker 203BL is embedded slightly in front of the backrest of the rear seat 201BL.
  • the speaker 203BR is embedded in the door 202BR on the right rear seat 201BR side slightly in front of the backrest of the rear seat 201BR.
  • the seat speaker 204FL is embedded below the headrest of the driver's seat 201FL.
  • the seat speaker 204FR is embedded below the headrest of the passenger seat 201FR.
  • the seat speaker 204BL is embedded in the rear seat 201BL on the left side.
  • the seat speaker 204BR is embedded in the rear seat 201BR on the right side.
  • seat 201 when it is not necessary to individually distinguish the driver's seat 201FL to the rear seat 201BR, it is simply referred to as seat 201.
  • door 202 when it is not necessary to individually distinguish the door 202FL to the door 202BR, it is simply referred to as the door 202.
  • speaker 203FL when it is not necessary to individually distinguish the speaker 203FL to the speaker 203BR, it is simply referred to as the speaker 203.
  • seat speaker 204 when it is not necessary to individually distinguish the seat speaker 204FL to the seat speaker 204BR, it is simply referred to as the seat speaker 204.
  • the speaker 203 embedded in each door 202 is used, for example, to output a sound directed to the entire vehicle interior (all passengers in the vehicle). Further, 360 reality audio (registered trademark, hereinafter referred to as 360RA) is realized by each speaker 203.
  • 360 reality audio registered trademark, hereinafter referred to as 360RA
  • 360RA means that the sound image (virtual sound source) of each sound is individually arranged at an arbitrary position in the spherical space, and the sound is heard so that the listener can hear each sound as if each sound is sounding from the direction of each sound image. It is a technique to control the output of.
  • the passenger can enjoy moving images, music, and the like in the car with realistic sound.
  • the passenger can be made to recognize the position of an object or the like existing around the vehicle 1.
  • the seat speaker 204 of each seat 201 is used, for example, to output a private sound mainly for individual passengers sitting in each seat 201. That is, the sound output from each seat speaker 204 is individually controlled.
  • each seat 201 and the position of each seat speaker 204 are adjusted so that people of various heights (sitting heights) can clearly hear the sound of the seat speaker 204 of each seat 201.
  • this speaker is an example and can be changed.
  • the speaker may be arranged on the dashboard in front of the vehicle 1.
  • FIG. 5 shows an example of a configuration related to the horn sound control unit 251 which is a part of the function of the HMI 31.
  • the warning sound control unit 251 has a speaker 203 and a seat speaker 204 based on the recognition result by the recognition unit 73, the action plan created by the action planning unit 62, the control state of each part of the vehicle 1 by the vehicle control unit 32, and the like. To control the output of the warning sound.
  • the warning sound includes, for example, a warning sound for notifying the passenger of the vehicle 1 of a dangerous situation, and a danger to an object (for example, a bicycle, a pedestrian, etc.) around the vehicle 1.
  • a warning sound to notify you of the situation.
  • the former warning sound is, for example, a warning sound for indicating the existence or dangerous place of an object around the vehicle 1 and calling attention to the passengers in the vehicle.
  • the latter warning sound is, for example, a warning sound for indicating the presence of the vehicle 1 with respect to an object around the vehicle 1 and calling attention to the object around the vehicle 1.
  • the horn sound control unit 251 controls the position of the sound image (virtual sound source) of the horn sound and the feature amount of the horn sound.
  • the characteristic amount of the warning sound includes, for example, volume (amplitude), pitch (frequency), timbre (waveform, frequency component), rhythm (rhythm), melody (melody), harmony (harmonic), and the like. include.
  • This process is started, for example, when the operation for starting the vehicle 1 and starting the operation is performed, for example, when the ignition switch, the power switch, the start switch, or the like of the vehicle 1 is turned on. Further, this process ends, for example, when an operation for ending the operation of the vehicle 1 is performed, for example, when the ignition switch, the power switch, the start switch, or the like of the vehicle 1 is turned off.
  • step S1 the recognition unit 73 performs detection processing of an object around the vehicle 1. For example, as described above, the recognition unit 73 detects an object around the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. I do. As a result, the recognition unit 73 detects the position of an object around the vehicle 1.
  • the object detection process may include the above-mentioned object recognition process.
  • the recognition unit 73 may improve the detection accuracy by correcting the detection result of the position of the object by using the curvature information and the slope information of the road on which the vehicle 1 is traveling.
  • the recognition unit 73 estimates the curvature of the road based on the input image from the camera 51.
  • the recognition unit 73 detects the actual curvature of the road based on a high-precision map such as a dynamic map. Then, the recognition unit 73 corrects the detection result of the position of another vehicle or the like traveling on the same curved road based on the curvature of the road.
  • the recognition unit 73 estimates the slope of the road based on the sensor data from the acceleration sensor included in the vehicle sensor 27.
  • the recognition unit 73 detects the actual slope of the road based on a high-precision map such as a dynamic map. Then, the recognition unit 73 corrects the detection result of the position in the pitch direction of another vehicle or the like traveling on the same slope based on the slope of the road.
  • the recognition unit 73 detects the movement of the object, the speed (for example, the relative speed with respect to the vehicle 1), and the like, if necessary. Further, the recognition unit 73 recognizes attributes such as the type, size, and shape of the object around the vehicle 1 as needed.
  • step S2 the recognition unit 73 determines whether or not an object has been detected based on the result of the process in step S1. If it is determined that the object has not been detected, the process returns to step S1.
  • step S2 the processes of step S1 and step S2 are repeatedly executed until it is determined that the object has been detected.
  • step S2 determines whether an object has been detected. If it is determined in step S2 that an object has been detected, the process proceeds to step S3.
  • step S3 the recognition unit 73 determines whether or not an object exists in the zone around the vehicle 1.
  • the recognition unit 73 sets a zone around the vehicle 1 for defining a range for outputting the warning sound and a direction for outputting the warning sound.
  • FIG. 7 shows an example of a zone setting method.
  • the vehicle 1 is traveling on a road having at least three lanes on one side, and zones ZL1 to ZR4 are set around the vehicle 1.
  • the axis toward the traveling direction of the vehicle 1 will be referred to as the X axis
  • the axis perpendicular to the X axis and toward the left of the vehicle 1 will be referred to as the Y axis.
  • Zone ZL1 to Zone ZR4 are rectangular areas of substantially the same size.
  • Zone ZC1, Zone ZC2, and Zone ZC4 are arranged in the traveling lane of the vehicle 1.
  • Zone ZC2 is arranged immediately after vehicle 1.
  • Zone ZC1 is set behind zone ZC2.
  • Zone ZC4 is arranged immediately before vehicle 1.
  • Zone ZL1 to Zone ZL4 are arranged in the left lane of the traveling lane of the vehicle 1.
  • Zones ZR1 to ZR4 are arranged in the right lane of the traveling lane of the vehicle 1.
  • Zone ZL1 and zone ZR1 are arranged at the same position as zone ZC1 in the X-axis direction.
  • Zone ZL2 and Zone ZR2 are arranged at the same positions as Zone ZC2 in the X-axis direction.
  • the zone ZL3 and the zone ZR3 are arranged at the same position as the vehicle 1 in the X-axis direction.
  • Zone ZL4 and Zone ZR4 are arranged at the same position as Zone ZC4 in the X-axis direction.
  • the recognition unit 73 determines that the object does not exist in the zone, and the process returns to step S1.
  • step S3 the processes of steps S1 to S3 are repeatedly executed until it is determined that an object exists in the zone around the vehicle 1.
  • step S3 when the detected object is located in any range of zone ZL1 to zone ZR4, the recognition unit 73 determines that the object exists in the zone around the vehicle 1, and the process is step S4. Proceed to.
  • step S4 the vehicle 1 outputs a warning sound from the direction of the zone in which the object exists.
  • the recognition unit 73 supplies information indicating the zone in which the object exists, the type of the object, the size, and the like to the warning sound control unit 251.
  • the warning sound control unit 251 generates warning sound data for outputting a warning sound for the detected object.
  • the warning sound control unit 251 supplies the generated warning sound data to the speaker 203FL to the speaker 203BR to output the warning sound.
  • the warning sound control unit 251 is, for example, in the zone where the object is detected at the reference position (for example, the driver's head) in the vehicle 1, as indicated by the arrows in each zone of FIG. Set the position of the sound image (virtual sound source) of the horn so that the horn can be heard from the direction. This allows the driver to intuitively recognize the direction of the detected object.
  • 9 to 11 show an example of a method of controlling a warning sound for a vehicle 301 approaching from the left rear.
  • FIG. 9 shows the sound field A1 of the warning sound when the vehicle 301 exists in the zone ZL1.
  • FIG. 10 shows the sound field A1 of the warning sound when the vehicle 301 is in the zone ZL2.
  • FIG. 11 shows the sound field A1 of the horn sound when the vehicle 301 exists in the zone ZL3.
  • the apex of the conical sound field A1 indicates the position of the sound image (virtual sound source).
  • the direction in which the cone spreads from the apex of the sound field A1 indicates the direction in which the sound field spreads.
  • the direction of the sound field A1 is set to be substantially equal to the direction in which the driver's head of the vehicle 1 is viewed from the vehicle 301. Further, the sound image of the horn is set at a position separated by a predetermined distance from the driver's head in the direction of the vehicle 301. Therefore, the sound field A1 moves from the vehicle 301 so as to face a direction substantially equal to the direction in which the driver's head of the vehicle 1 is viewed. Further, the sound field A1 moves so that the distance between the sound image of the horn and the driver's head is substantially proportional to the distance between the vehicle 301 and the vehicle 1.
  • the driver can recognize the approach of the vehicle 301 by the warning sound. Further, the driver can intuitively recognize the speed, distance, and direction of the vehicle 301 by the movement of the warning sound.
  • the zone may be divided not only in the plane direction but also in the height direction (vertical direction).
  • FIG. 12 shows an example in which the zone ZL1 is divided into the zone ZL1L to the zone ZL1H in the height direction.
  • the horn sound control unit 251 sets the position of the horn sound image with respect to the detected object in the height direction based on the size which is one of the attributes of the object detected in the zone ZL1.
  • the size of the object is represented by, for example, at least one of the width, depth, and height of the object.
  • the position of the sound image of the warning sound is set so that the warning sound can be heard from the direction of the zone ZL1L at the reference position.
  • the position of the sound image of the warning sound is set so that the warning sound can be heard from the direction of the zone ZL1M at the reference position.
  • the position of the sound image of the warning sound is set so that the warning sound can be heard from the direction of the zone ZL1H at the reference position.
  • the position of the warning sound in the height direction changes depending on the size of the object. This allows the driver to intuitively recognize not only the position of the detected object but also the size.
  • the driver can predict the degree of danger of the object by recognizing the size of the object.
  • the degree of danger of an object is the degree of danger that the vehicle 1 is harmed by the object, or the degree of danger that the vehicle 1 causes harm to the object.
  • the driver may predict that the higher the position of the sound image of the warning sound, the higher the risk that the vehicle 1 will be harmed by the object due to a collision or the like, and the lower the risk that the vehicle 1 will harm the object. can.
  • the driver predicts that the lower the position of the sound image of the warning sound, the lower the risk that the vehicle 1 will be harmed by the object due to a collision or the like, and the higher the risk that the vehicle 1 will harm the object. Can be done.
  • step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
  • the driver can hear the warning sound from the direction in which the object is detected, and the recognition accuracy in the direction in which the object exists is improved. Further, by moving the sound image of the horn not only in the plane direction but also in the height direction, the driver can recognize the size of the object and recognize the degree of danger thereof.
  • the recognition unit 73 may change the zone setting based on the situation in which the vehicle 1 is placed. In other words, the recognition unit 73 may change the zone setting based on the area that the driver should pay attention to.
  • changing the zone setting means changing the position, number, size, shape, etc. of the zone.
  • the situation in which the vehicle 1 is placed includes, for example, the place where the vehicle 1 is traveling, the environment around the vehicle 1, the driving operation of the vehicle 1, the driving state of the vehicle 1, and the like.
  • the recognition unit 73 may not set the zone ZC1, the zone ZC2, and the zone ZC4 in the traveling lane of the vehicle 1 among the zones of FIG. 7, for example. good.
  • the recognition unit 73 may, for example, set the zone ZR1 to the zone ZR4. You may not set it.
  • the recognition unit 73 may, for example, zone ZR1 to ZR4. May be set.
  • the recognition unit 73 may set the zone ZL11 to the zone ZR14 around the vehicle 1, for example, as shown in FIG.
  • Zone ZL11 to Zone ZR14 are rectangular areas of substantially the same size.
  • Zone ZC11, Zone ZC13, and Zone ZC14 are arranged in the traveling lane of the vehicle 1.
  • the zone ZC11 is arranged immediately after the vehicle 1.
  • the zone ZC13 is arranged immediately before the vehicle 1.
  • the zone ZC14 is arranged in front of the zone ZC13.
  • Zone ZL11 to Zone ZL14 are arranged in the left lane of the traveling lane of the vehicle 1.
  • Zones ZR11 to ZR14 are arranged in the right lane of the traveling lane of the vehicle 1.
  • the zone ZL11 and the zone ZR11 are arranged at the same positions as the zone ZC11 in the X-axis direction.
  • the zone ZL12 and the zone ZR12 are arranged at the same position as the vehicle 1 in the X-axis direction.
  • the zone ZL13 and the zone ZR13 are arranged at the same positions as the zone ZC13 in the X-axis direction.
  • the zone ZL14 and the zone ZR14 are arranged at the same positions as the zone ZC14 in the X-axis direction.
  • the rear zone of the vehicle 1 is narrowed and the front zone is widened as compared with the example of FIG. 7.
  • the recognition unit 73 may set the zone ZL21 to the zone ZR25 around the vehicle 1, for example, as shown in FIG.
  • Zone ZL21 to Zone ZR25 are rectangular areas of substantially the same size. Zone ZC21 to Zone ZC23 and Zone ZC25 are arranged in the traveling lane of the vehicle 1. The zone ZC23 is arranged immediately after the vehicle 1. Zone ZC22 is located behind Zone ZC23. Zone ZC21 is located behind Zone ZC22. The zone ZC25 is arranged immediately before the vehicle 1.
  • Zone ZL21 to Zone ZL25 are arranged in the left lane of the traveling lane of the vehicle 1.
  • Zones ZR21 to ZR25 are arranged in the right lane of the traveling lane of the vehicle 1.
  • the zone ZL21 and the zone ZR21 are arranged at the same positions as the zone ZC21 in the X-axis direction.
  • the zone ZL22 and the zone ZR22 are arranged at the same positions as the zone ZC22 in the X-axis direction.
  • the zone ZL23 and the zone ZR23 are arranged at the same positions as the zone ZC23 in the X-axis direction.
  • the zone ZL24 and the zone ZR24 are arranged at the same position as the vehicle 1 in the X-axis direction.
  • the zone ZL25 and the zone ZR25 are arranged at the same positions as the zone ZC25 in the X-axis direction.
  • the zone behind the vehicle 1 is wider than that of the example of FIG. 7.
  • the recognition unit 73 may set the zone ZL31A to the zone ZR32C around the vehicle 1, for example, as shown in FIG.
  • Zone ZL31A to Zone ZR32C are rectangular areas of substantially the same size.
  • Zone ZL31A is arranged on the left side of vehicle 1.
  • Zone ZL31B is arranged to the left of Zone ZL31A.
  • Zone ZL31C is arranged to the left of Zone ZL31B.
  • Zone ZR31A is arranged on the right side of vehicle 1.
  • Zone ZR31B is arranged to the right of Zone ZR31A.
  • Zone ZR31C is arranged to the left of Zone ZR31B.
  • the zone ZC32 is arranged immediately before the vehicle 1.
  • Zone ZL32A is arranged to the left of Zone ZC32.
  • Zone ZL32B is arranged to the left of Zone ZL32A.
  • Zone ZL32C is arranged to the left of Zone ZL32B.
  • Zone ZR32A is arranged to the right of Zone ZC32.
  • Zone ZR32B is arranged to the right of Zone ZR32A.
  • Zone ZR32C
  • the zone is expanded to the side of the vehicle 1 as compared with the other examples.
  • the zone setting may be changed according to the situation in which the vehicle 1 is placed. This makes it possible to more appropriately output a warning sound for an object around the vehicle 1 according to the situation.
  • the warning sound control unit 251 may set the position of the sound image of the warning sound simply based on the position of the detected object without setting the zone.
  • the recognition unit 73 may estimate the danger level of the detected object, and the warning sound control unit 251 may control the feature amount of the warning sound based on the estimated danger level of the object.
  • the horn sound control unit 251 sets the feature amount of the horn sound so that the closer the zone in which the object is detected, that is, the closer the detected object is to the vehicle 1, the more attention of the driver is drawn. Change. As a result, the higher the risk of the detected object, the more reliably the driver can recognize the existence and direction of the object and pay attention to it.
  • the zone ZL41 and the zone ZR41 For example, comparing the left rear zone ZL41 and the right rear zone ZR41 of the vehicle 1 of FIG. 16 with the left rear zone ZL51 and the right rear zone ZR51 of the vehicle 1 of FIG. 17, the zone ZL41 and the zone ZR41 However, it is closer to the vehicle 1 than the zone ZL51 and the zone ZR51. Therefore, for example, when the object exists in the zone ZL41 or the zone ZR41, the warning sound control unit 251 raises the warning sound (makes it high frequency) as compared with the case where the object exists in the zone ZL51 or the zone ZR51.
  • the warning sound control unit 251 increases the volume of the warning sound as the relative speed of the detected object in the direction of approaching the vehicle 1 increases.
  • the characteristic amount of the warning sound may be changed. For example, if the detected object is a truck, a bus, a passenger car, or the like, it is determined that the vehicle 1 is more likely to be harmed. For example, when the detected object is a motorbike, a bicycle, a pedestrian, or the like, it is determined that the vehicle 1 is more likely to cause harm.
  • the warning sound control unit 251 refers to the detected object based on the degree of danger that the vehicle 1 harms the detected object.
  • the output of the warning sound indicating the existence of the vehicle 1 may be controlled. As a result, for example, it is possible to call attention to the motorbike, bicycle, pedestrian, etc. around the vehicle 1, and it is possible to prevent an accident.
  • the warning sound control unit 251 may change the feature amount of the warning sound based on the attribute of the detected object.
  • the horn control unit 251 may change the feature amount of the horn based on the type or size of the detected object. This allows the driver to intuitively recognize the attributes of the detected object.
  • the warning sound control unit 251 may output a plurality of warning sounds for each object at the same time.
  • the horn sound control unit 251 may change the feature amount of each horn sound in order to make it easy to identify the horn sound for each object.
  • the horn control unit 251 may change the feature amount of the horn for each object based on the degree of danger of each object.
  • the warning sound control unit 251 regards the plurality of objects traveling in the platoon as one object and outputs a warning sound for the regarded objects as one. You may try to do it.
  • the warning sound control unit 251 may output a warning sound when an object is detected in the zone when the vehicle 1 performs a predetermined operation.
  • the horn control unit 251 emits a horn when an object is detected in the zone when the vehicle 1 attempts to change lanes or change direction (for example, when the turn signal of the vehicle 1 is turned on). It may be output.
  • a warning sound is used as one function of the lane change decision support system ((LCDAS) Lane Change Decision Aid Systems).
  • the warning sound control unit 251 outputs a warning sound when an object is detected in the zone when the vehicle 1 tries to back up (for example, when the gear of the vehicle 1 is set to the back). You may.
  • the warning sound control unit 251 may output a warning sound for the dangerous place by the same method as when the above-mentioned object is detected. good.
  • the dangerous place is assumed to be, for example, a place where accidents occur frequently, a place where an accident is likely to occur, and the like.
  • the place where an accident is likely to occur is assumed to be, for example, near the entrance of a park or school, or near a construction site.
  • the vehicle 1 when the vehicle 1 is automatically driving, basically, the vehicle 1 automatically avoids danger and travels safely, so that a warning sound for an object detected as described above is not necessarily emitted. There is no need to output.
  • the warning sound control unit 251 may output a warning sound for the detected object. For example, if the vehicle 1 does not turn right even though the turn signal is turned on when the vehicle 1 tries to turn right, the warning sound control unit 251 emits a warning sound for the object that caused the vehicle 1 to stop turning right. It may be output. As a result, the passenger can be made to recognize the cause of the vehicle 1 stopping the operation and can give a sense of security.
  • the warning sound control unit 251 causes the danger avoidance operation.
  • a warning sound for an object may be output.
  • the passenger can be made to recognize the cause of the danger avoidance operation of the vehicle 1 and can give a sense of security.
  • the recognition unit 73 can detect an object even in a blind spot that is difficult to detect by the external recognition sensor 25 by means of road-to-vehicle communication at an intersection or the like.
  • the warning sound control unit 251 can output a warning sound to the detected object by the same method as the above-mentioned method.
  • the recognition unit 73 may recognize the vehicle in the traffic jam, and the warning sound control unit 251 may exclude the vehicle in the traffic jam from the target of the warning sound. Further, when an object other than a vehicle in a traffic jam is detected in the zone, the horn sound control unit 251 may output a horn sound for the object. This makes it possible to output a warning sound to, for example, a motorbike or the like that passes by the side of a vehicle in a traffic jam.
  • each seat speaker 204 may be used to output a warning sound only to a specific passenger (for example, a driver).
  • This technique can use a sound image localization technique other than 360RA.
  • vehicle to which this technology can be applied is not particularly limited.
  • this technology can also be applied to mobile devices such as personal mobility, transportation robots, airplanes, ships, construction machinery, and agricultural machinery.
  • FIG. 18 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image pickup element, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processes are performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a recognition unit that detects objects around the mobile device, An information processing device including a warning sound control unit that controls a feature amount of a first warning sound indicating the existence of the object and a position of a sound image based on the detected position of the object.
  • the recognition unit detects the relative velocity of the object with respect to the moving device, and detects the relative velocity of the object.
  • the information processing device according to (1), wherein the warning sound control unit further controls a feature amount of the first warning sound based on the relative speed of the object.
  • the recognition unit recognizes the attributes of the object and The information processing according to (1) or (2) above, wherein the warning sound control unit further controls at least one of the feature amount of the first warning sound and the position of the sound image based on the attribute of the object. Device.
  • the attributes of the object include the size of the object.
  • the recognition unit estimates the degree of danger of the object and The information processing device according to any one of (1) to (4), wherein the warning sound control unit further controls a feature amount of the first warning sound based on the degree of danger of the object.
  • the recognition unit estimates whether the moving device is more likely to harm the object or the moving device is more likely to be harmed by the object.
  • the warning sound control unit is the first case where the moving device is more likely to harm the object and the moving device is more likely to be harmed by the object.
  • the information processing device which changes the feature amount of the warning sound.
  • the warning sound control unit controls the output of a second warning sound indicating the existence of the moving device to the object based on the degree of danger that the moving device causes harm to the object (5) or.
  • the information processing apparatus according to (6).
  • the warning sound control unit controls to simultaneously output a plurality of the first warning sounds indicating the existence of each of the objects when a plurality of objects are detected. Any of the above (1) to (7).
  • Information processing device described in Crab. (9)
  • the recognition unit estimates the degree of danger of each of the objects and determines the degree of danger.
  • the information processing device wherein the warning sound control unit controls the feature amount of each of the first warning sounds based on the degree of danger of each of the objects.
  • the warning sound control unit controls to output the first warning sound by regarding the plurality of objects as one object when the plurality of objects are traveling in a platoon.
  • the information processing apparatus according to 9).
  • the recognition unit sets a plurality of zones around the mobile device, detects the zone in which the object is present, and detects the zone.
  • the information processing according to any one of (1) to (10) above, wherein the warning sound control unit controls the feature amount of the first warning sound and the position of the sound image based on the zone in which the object exists. Device.
  • the recognition unit recognizes an object around the mobile device by means of road-to-vehicle communication, and recognizes an object around the mobile device.
  • the warning sound control unit controls to output the first warning sound when the object is recognized in the blind spot of the moving device by the road-to-vehicle communication.
  • the information processing device described in. (16) The recognition unit acquires information on the road on which the mobile device is traveling based on at least one of a sensor included in the mobile device and a map around the mobile device, and based on the information on the road, the recognition unit obtains information on the road on which the mobile device is traveling.
  • the information processing apparatus according to any one of (1) to (15), which corrects the position of the object.
  • the sensor unit that senses the surroundings of the mobile device and A recognition unit that performs detection processing of objects around the moving device based on the sensing result of the sensor unit.
  • a warning sound control unit that controls the feature amount of the warning sound indicating the existence of the object and the position of the sound image based on the detected position of the object.
  • An information processing system including a speaker that outputs the warning sound under the control of the warning sound control unit.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、車両等の移動装置の周囲に物体が存在する方向の認識精度を向上させることができるようにする情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システムに関する。 情報処理装置は、移動装置の周囲の物体の検出処理を行う認識部と、検出された前記物体の位置に基づいて、前記物体の存在を示す第１の警告音の特徴量及び音像の位置を制御する警告音制御部とを備える。本技術は、例えば、車両等の移動装置に適用できる。

Description

情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
　本技術は、情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システムに関し、特に、移動装置の周囲の物体に対する警告音を出力する場合に用いて好適な情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システムに関する。
　従来、音像定位制御を利用して、車両の周囲に存在する物体の方向に警告音の音像を定位させることにより、運転者に物体が存在する方向を認識させる技術が提案されている（例えば、特許文献１参照）。
特開２００７－２５３７２１号公報
　特許文献１に記載されているような音響定位制御を利用して車両の周囲に存在する物体の方向に警告音の音像を定位させる技術においては、物体が存在する方向の認識精度を向上させることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、車両等の移動装置の周囲に物体が存在する方向の認識精度を向上させるようにするものである。
　本技術の第１の側面の情報処理装置は、移動装置の周囲の物体の検出処理を行う認識部と、検出された前記物体の位置に基づいて、前記物体の存在を示す第１の警告音の特徴量及び音像の位置を制御する警告音制御部とを備える。
　本技術の第１の側面の情報処理方法は、移動装置の周囲の物体の検出処理を行い、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御するステップを含む。
　本技術の第１の側面のプログラムは、移動装置の周囲の物体の検出処理を行い、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御するステップを含む処理をコンピュータに実行させる。
　本技術の第１の側面においては、移動装置の周囲の物体の検出処理が行われ、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置が制御される。
　本技術の第２の側面の移動装置は、周囲の物体の検出処理を行う認識部と、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する警告音制御部とを備える。
　本技術の第２の側面においては、周囲の物体の検出処理が行われ、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置が制御される。
　本技術の第３の側面の情報処理システムは、移動装置の周囲のセンシングを行うセンサ部と、前記センサ部のセンシング結果に基づいて、前記移動装置の周囲の物体の検出処理を行う認識部と、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する警告音制御部と、前記警告音制御部の制御の下に、前記警告音を出力するスピーカとを備える。
　本技術の第３の側面においては、移動装置の周囲のセンシングが行われ、センシング結果に基づいて、前記移動装置の周囲の物体の検出処理が行われ、検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置が制御され、前記警告音が出力される。
車両制御システムの構成例を示すブロック図である。 カメラ、ＬｉＤＡＲ、レーダ、及び、超音波センサの設置位置の例を示す図である。 車両の室内を右方向から見下ろした模式図である。 車両の室内を前方から見た模式図である。 警告音制御部に関連する構成を示すブロック図である。 警告音制御処理を説明するためのフローチャートである。 平面方向のゾーンの設定例を示す図である。 各ゾーン内の物体に対する警告音が聞こえる方向を示す図である。 左後方から接近する車両に対する警告音を説明するための図である。 左後方から接近する車両に対する警告音を説明するための図である。 左後方から接近する車両に対する警告音を説明するための図である。 高さ方向のゾーンの設定例を示す図である。 平面方向のゾーンの設定例を示す図である。 平面方向のゾーンの設定例を示す図である。 平面方向のゾーンの設定例を示す図である。 物体が存在するゾーンに基づいて警告音の特徴量を制御する例を説明するための図である。 物体が存在するゾーンに基づいて警告音の特徴量を制御する例を説明するための図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．車両制御システムの構成例＞＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　＜＜２．実施の形態＞＞
　次に、図２乃至図１７を参照して、本技術の実施の形態について説明する。
　　＜外部認識センサ２５及び車内センサ２６の構成例＞
　図２は、車両１の外部認識センサ２５が備えるカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４、並びに、車内センサ２６が備えるカメラの設置位置の例を示している。この例では、外部認識センサ２５は、カメラ５１ＦＣ１乃至カメラ５１ＢＣ３、レーダ５２ＦＣ乃至レーダ５２ＢＲ、ＬｉＤＡＲ５３Ｆ乃至ＬｉＤＡＲ５３Ｂ、及び、超音波センサ５４ＦＬ１乃至超音波センサ５４ＢＲを備えている。車内センサ２６は、カメラ１０１Ｌ乃至カメラ１０２を備えている。
　カメラ５１ＦＣ１は、車両１の先端の中央付近に設けられている。カメラ５１ＦＣ１は、車両１の前方を撮影する。カメラ５１ＦＣ１には、例えば、魚眼カメラが用いられる。カメラ５１ＦＣ１は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。サラウンドビューとは、例えば、車両１の周囲の画像や車両１の周囲を上方から見た俯瞰画像を表示する機能である。
　カメラ５１ＦＣ２は、車両１の室内の前方中央付近に設けられている。カメラ５１ＦＣ２は、ウインドシールドを介して、車両１の前方を撮影する。カメラ５１ＦＣ２は、例えば、ＡＤＡＳに用いられる。カメラ５１ＦＣ２の画像は、例えば、ドライブレコーダに記録される。
　カメラ５１ＦＬ及びカメラ５１ＦＲは、車両１の室内の前方において、所定の距離を開けて左右に配置され、ステレオカメラを構成する。カメラ５１ＦＬ及びカメラ５１ＦＲは、ウインドシールドを介して、車両１の前方を撮影する。カメラ５１ＦＬ及びカメラ５１ＦＲは、例えば、ＡＤＡＳに用いられる。カメラ５１ＦＬ及びカメラ５１ＦＲには、例えば、カメラ５１ＦＣ２より高解像度のカメラが用いられる。
　カメラ５１ＳＬ１乃至カメラ５１ＳＬ４は、車両１の左側面において、運転席のドアの前端付近に設けられている。
　カメラ５１ＳＬ１は、車両１の左斜め前方を撮影する。カメラ５１ＳＬ１は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＬ２は、車両１の左方向を撮影する。カメラ５１ＳＬ２には、例えば、カメラ５１ＳＬ１、カメラ５１ＳＬ３、及び、カメラ５１ＳＬ４より広角である魚眼カメラが用いられる。カメラ５１ＳＬ２は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。
　カメラ５１ＳＬ３は、車両１の左斜め後方を撮影する。カメラ５１ＳＬ３には、例えば、カメラ５１ＳＬ１より高解像度のカメラが用いられる。カメラ５１ＳＬ３は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＬ４は、車両１の左斜め後方を撮影する。カメラ５１ＳＬ４の光軸は、カメラ５１ＳＬ３の光軸より車両１の後方に近い方向を向いている。換言すれば、カメラ５１ＳＬ３の光軸は、カメラ５１ＳＬ４の光軸より車両１の左方向（横方向）に近い方向を向いている。カメラ５１ＳＬ４は、例えば、ＣＭＳに用いられる。
　カメラ５１ＳＲ１乃至カメラ５１ＳＲ４は、車両１の右側面において、助手席のドアの前端付近に設けられている。
　カメラ５１ＳＲ１は、車両１の右斜め前方を撮影する。カメラ５１ＳＲ１は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＲ２は、車両１の右方向を撮影する。カメラ５１ＳＲ２には、例えば、カメラ５１ＳＲ１、カメラ５１ＳＲ３、及び、カメラ５１ＳＲ４より広角である魚眼カメラが用いられる。カメラ５１ＳＲ２は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。
　カメラ５１ＳＲ３は、車両１の右斜め後方を撮影する。カメラ５１ＳＲ３には、例えば、カメラ５１ＳＲ１より高解像度のカメラが用いられる。カメラ５１ＳＲ３は、例えば、ＡＤＡＳに用いられる。
　カメラ５１ＳＲ４は、車両１の右斜め後方を撮影する。カメラ５１ＳＲ４の光軸は、カメラ５１ＳＲ３の光軸より車両１の後方に近い方向を向いている。換言すれば、カメラ５１ＳＲ３の光軸は、カメラ５１ＳＲ４の光軸より車両１の右方向（横方向）に近い方向を向いている。カメラ５１ＳＲ４は、例えば、ＣＭＳに用いられる。
　カメラ５１ＢＣ１は、車両１の後端の中央付近に設けられている。カメラ５１ＢＣ１は、車両１の後方を撮影する。カメラ５１ＢＣ１には、例えば、魚眼カメラが用いられる。カメラ５１ＢＣ１は、例えば、ＡＤＡＳ及びサラウンドビューに用いられる。
　カメラ５１ＢＣ２及びカメラ５１ＢＣ３は、車両１の室内の後方中央付近に設けられている。カメラ５１ＢＣ２及びカメラ５１ＢＣ３は、リアウインドウを介して、車両１の後方を撮影する。カメラ５１ＢＣ２は、例えば、ＣＭＳに用いられる。カメラ５１ＢＣ３は、例えば、ＡＤＡＳに用いられる。カメラ５１ＢＣ３の画像は、例えば、ドライブレコーダに記録される。
　レーダ５２ＦＣは、車両１の先端の中央付近に設けられている。レーダ５２ＦＣは、車両１の前方のセンシングを行う。
　レーダ５２ＦＬは、車両１の先端の左端付近に設けられている。レーダ５２ＦＬは、車両１の左斜め前方のセンシングを行う。
　レーダ５２ＦＲは、車両１の先端の右端付近に設けられている。レーダ５２ＦＲは、車両１の右斜め前方のセンシングを行う。
　レーダ５２ＢＣは、車両１の後端の中央付近に設けられている。レーダ５２ＢＣは、車両１の後方のセンシングを行う。
　レーダ５２ＢＬは、車両１の後端の左端付近に設けられている。レーダ５２ＢＬは、車両１の左斜め後方のセンシングを行う。
　レーダ５２ＢＲは、車両１の後端の右端付近に設けられている。レーダ５２ＢＲは、車両１の右斜め後方のセンシングを行う。
　ＬｉＤＡＲ５３Ｆは、車両１の先端の中央付近に設けられている。ＬｉＤＡＲ５３Ｆは、車両１の前方のセンシングを行う。
　ＬｉＤＡＲ５３Ｌは、車両１の左側面の前方に設けられている。ＬｉＤＡＲ５３Ｌは、車両１の左方向のセンシングを行う。
　ＬｉＤＡＲ５３Ｒは、車両１の右側面の前方に設けられている。ＬｉＤＡＲ５３Ｒは、車両１の右方向のセンシングを行う。
　ＬｉＤＡＲ５３Ｂは、車両１の後端の中央付近に設けられている。ＬｉＤＡＲ５３Ｂは、車両１の後方のセンシングを行う。
　超音波センサ５４ＦＬ１は、車両１の先端の中央やや左寄りに設けられている。超音波センサ５４ＦＬ１は、車両１の前方やや左寄りのセンシングを行う。
　超音波センサ５４ＦＬ２は、車両１の先端の左端付近に設けられている。超音波センサ５４ＦＬ１は、車両１の前方斜め左方向のセンシングを行う。
　超音波センサ５４ＦＲ１は、車両１の先端の中央やや右寄りに設けられている。超音波センサ５４ＦＲ１は、車両１の前方やや右寄りのセンシングを行う。
　超音波センサ５４ＦＲ２は、車両１の先端の右端付近に設けられている。超音波センサ５４ＦＲ１は、車両１の前方右斜め方向のセンシングを行う。
　超音波センサ５４ＳＬ１は、車両１のボディの左側面の前方に設けられている。超音波センサ５４ＳＬ１は、車両１の前方において左方向のセンシングを行う。
　超音波センサ５４ＳＬ２は、車両１のボディの左側面の後方に設けられている。超音波センサ５４ＳＬ２は、車両１の後方において左方向のセンシングを行う。
　超音波センサ５４ＳＲ１は、車両１のボディの右側面の前方に設けられている。超音波センサ５４ＳＲ１は、車両１の前方において右方向のセンシングを行う。
　超音波センサ５４ＳＲ２は、車両１のボディの右側面の後方に設けられている。超音波センサ５４ＳＲ２は、車両１の後方において右方向のセンシングを行う。
　超音波センサ５４ＢＬは、車両１の後端の左端付近に設けられている。超音波センサ５４ＢＬは、車両１の後方斜め左方向のセンシングを行う。
　超音波センサ５４ＢＲは、車両１の後端の右端付近に設けられている。超音波センサ５４ＢＲは、車両１の後方右斜め方向のセンシングを行う。
　カメラ１０１Ｌは、車内において、運転席の右斜め上方向に設けられている。カメラ１０１Ｌは、運転席周辺の撮影を行う。カメラ１０１Ｌには、例えば、ＴｏＦカメラが用いられる。
　カメラ１０１Ｒは、車内において、助手席の左斜め上方向に設けられている。カメラ１０１Ｒは、助手席周辺の撮影を行う。カメラ１０１Ｒには、例えば、ＴｏＦカメラが用いられる。
　カメラ１０２は、車内のダッシュボード上の中央やや左寄りに設けられている。カメラ１０２は、運転席周辺の撮影を行う。
　　　＜スピーカの設置位置＞
　次に、車両１の内部のスピーカの設置位置の例について説明する。
　図３に示されるように、運転席２０１ＦＬ側のドア２０２ＦＬにおいて、運転席２０１ＦＬの背もたれより少し前方付近に、スピーカ２０３ＦＬが埋め込まれている。図示は省略するが、助手席２０１ＦＲ側のドア２０２ＦＲにおいて、助手席２０１ＦＲの背もたれより少し前方付近に、スピーカ２０３ＦＲが埋め込まれている。左側の後部座席２０１ＢＬ側のドア２０２ＢＬにおいて、後部座席２０１ＢＬの背もたれより少し前方付近に、スピーカ２０３ＢＬが埋め込まれている。図示は省略するが、右側の後部座席２０１ＢＲ側のドア２０２ＢＲにおいて、後部座席２０１ＢＲの背もたれより少し前方付近に、スピーカ２０３ＢＲが埋め込まれている。
　図４に示されるように、運転席２０１ＦＬのヘッドレストの下方にシートスピーカ２０４ＦＬが埋め込まれている。助手席２０１ＦＲのヘッドレストの下方にシートスピーカ２０４ＦＲが埋め込まれている。左側の後部座席２０１ＢＬにシートスピーカ２０４ＢＬが埋め込まれている。右側の後部座席２０１ＢＲにシートスピーカ２０４ＢＲが埋め込まれている。
　なお、以下、運転席２０１ＦＬ乃至後部座席２０１ＢＲを個々に区別する必要がない場合、単に座席２０１と称する。以下、ドア２０２ＦＬ乃至ドア２０２ＢＲを個々に区別する必要がない場合、単にドア２０２と称する。以下、スピーカ２０３ＦＬ乃至スピーカ２０３ＢＲを個々に区別する必要がない場合、単にスピーカ２０３と称する。以下、シートスピーカ２０４ＦＬ乃至シートスピーカ２０４ＢＲを個々に区別する必要がない場合、単にシートスピーカ２０４と称する。
　各ドア２０２に埋め込まれているスピーカ２０３は、例えば、車内全体（車内の搭乗者全員）に向けた音を出力するために用いられる。また、各スピーカ２０３により、３６０リアリティオーディオ（登録商標、以下、３６０ＲＡと称する）が実現される。
　ここで、３６０ＲＡとは、各音の音像（仮想音源）を球状の空間内の任意の位置に個別に配置し、各音像の方向から各音が鳴動しているようにリスナーが聴こえるように音の出力を制御する技術である。３６０ＲＡを利用することにより、例えば、搭乗者は、車内で動画や音楽等を臨場感のある音で楽しむことができる。また、車両１の周囲に存在する物体等の位置を搭乗者に認識させることができる。
　一方、各座席２０１のシートスピーカ２０４は、例えば、主に各座席２０１に座っている個々の搭乗者向けのプライベートな音を出力するために用いられる。すなわち、各シートスピーカ２０４から出力される音は個別に制御される。
　なお、様々な身長（座高）の人が各座席２０１のシートスピーカ２０４の音を明瞭に聴けるように、各座席２０１の形状及び各シートスピーカ２０４の位置が調整されている。
　また、このスピーカの配置は一例であり、変更することが可能である。例えば、車両１の前方のダッシュボード上にスピーカを配置してもよい。
　　＜警告音制御部＞
　図５は、ＨＭＩ３１の機能の一部である警告音制御部２５１に関連する構成の例を示している。
　警告音制御部２５１は、認識部７３による認識結果、行動計画部６２により作成された行動計画、及び、車両制御部３２による車両１の各部の制御状態等に基づいて、スピーカ２０３及びシートスピーカ２０４を制御して、警告音の出力を制御する。
　ここで、警告音には、例えば、車両１の搭乗者に対して危険な状況を通知するための警告音、及び、車両１の周囲の物体（例えば、自転車、歩行者等）に対して危険な状況を通知するための警告音がある。前者の警告音は、例えば、車両１の周囲の物体の存在や危険な場所を示し、車内の搭乗者に注意を促すための警告音である。後者の警告音は、例えば、車両１の周囲の物体に対して車両１の存在を示し、車両１の周囲の物体に注意を促すための警告音である。
　また、後述するように、警告音制御部２５１は、警告音の音像（仮想音源）の位置、及び、警告音の特徴量を制御する。ここで、警告音の特徴量は、例えば、音量（振幅）、高さ（周波数）、音色（波形、周波数成分）、リズム（律動）、メロディ（旋律）、及び、ハーモニー（和声）等を含む。
　　＜警告音制御処理＞
　次に、図６のフローチャートを参照して、車両１により実行される警告音制御処理について説明する。
　この処理は、例えば、車両１を起動し、運転を開始するための操作が行われたとき、例えば、車両１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、車両１の運転を終了するための操作が行われたとき、例えば、車両１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　ステップＳ１において、認識部７３は、車両１の周囲の物体の検出処理を行う。例えば、認識部７３は、上述したように、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の周囲の物体の検出処理を行う。これにより、認識部７３は、車両１の周囲の物体の位置を検出する。なお、この物体の検出処理には、上述した物体の認識処理が含まれていてもよい。
　ここで、認識部７３は、車両１が走行中の道路の曲率情報及び勾配情報を用いて、物体の位置の検出結果を補正することにより、検出精度を高めるようにしてもよい。
　例えば、認識部７３は、車両１が曲線路を走行している場合、カメラ５１からの入力画像に基づいて、道路の曲率を推定する。又は、例えば、認識部７３は、車両１が曲線路を走行している場合、ダイナミックマップ等の高精度地図に基づいて、実際の道路の曲率を検出する。そして、認識部７３は、道路の曲率に基づいて、同じ曲線路を走行中の他車両等の位置の検出結果を補正する。
　例えば、認識部７３は、車両１が坂道を走行している場合、車両センサ２７が備える加速度センサからのセンサデータに基づいて、道路の勾配を推定する。又は、例えば、認識部７３は、車両１が坂道を走行している場合、ダイナミックマップ等の高精度地図に基づいて、実際の道路の勾配を検出する。そして、認識部７３は、道路の勾配に基づいて、同じ坂道を走行中の他車両等のピッチ方向の位置の検出結果を補正する。
　また、認識部７３は、必要に応じて、物体の動き、及び、速度（例えば、車両１に対する相対速度）等を検出する。さらに、認識部７３は、必要に応じて、車両１の周囲の物体の種類、サイズ、形等の属性を認識する。
　ステップＳ２において、認識部７３は、ステップＳ１の処理の結果に基づいて、物体が検出されたか否かを判定する。物体が検出されなかったと判定された場合、処理はステップＳ１に戻る。
　その後、ステップＳ２において、物体が検出されたと判定されるまで、ステップＳ１及びステップＳ２の処理が繰り返し実行される。
　一方、ステップＳ２において、物体が検出されたと判定された場合、処理はステップＳ３に進む。
　ステップＳ３において、認識部７３は、車両１の周囲のゾーン内に物体が存在するか否かを判定する。
　具体的には、認識部７３は、車両１の周囲において、警告音を出力する対象となる範囲及び警告音を出力する方向を規定するためのゾーンを設定する。
　図７は、ゾーンの設定方法の一例を示している。この例では、車両１が少なくとも片側が３車線以上の道路を走行しており、車両１の周囲にゾーンＺＬ１乃至ゾーンＺＲ４が設定されている。
　なお、以下、車両１の進行方向に向かう軸をＸ軸とし、Ｘ軸に垂直かつ車両１の左方向に向かう軸をＹ軸とする。
　ゾーンＺＬ１乃至ゾーンＺＲ４は、ほぼ同じ大きさの矩形の領域である。ゾーンＺＣ１、ゾーンＺＣ２、及び、ゾーンＺＣ４は、車両１の走行車線に配置されている。ゾーンＺＣ２は、車両１の直後に配置されている。ゾーンＺＣ１は、ゾーンＺＣ２の後方に設定されている。ゾーンＺＣ４は、車両１の直前に配置されている。
　ゾーンＺＬ１乃至ゾーンＺＬ４は、車両１の走行車線の左側の車線に配置されている。ゾーンＺＲ１乃至ゾーンＺＲ４は、車両１の走行車線の右側の車線に配置されている。ゾーンＺＬ１及びゾーンＺＲ１は、Ｘ軸方向においてゾーンＺＣ１と同じ位置に配置されている。ゾーンＺＬ２及びゾーンＺＲ２は、Ｘ軸方向においてゾーンＺＣ２と同じ位置に配置されている。ゾーンＺＬ３及びゾーンＺＲ３は、Ｘ軸方向において車両１と同じ位置に配置されている。ゾーンＺＬ４及びゾーンＺＲ４は、Ｘ軸方向においてゾーンＺＣ４と同じ位置に配置されている。
　例えば、認識部７３は、検出した物体がゾーンＺＬ１乃至ゾーンＺＲ４の範囲外に位置する場合、ゾーン内に物体が存在しないと判定し、処理はステップＳ１に戻る。
　その後、ステップＳ３において、車両１の周囲のゾーン内に物体が存在すると判定されるまで、ステップＳ１乃至ステップＳ３の処理が繰り返し実行される。
　一方、ステップＳ３において、認識部７３は、検出した物体がゾーンＺＬ１乃至ゾーンＺＲ４のいずれかの範囲内に位置する場合、車両１の周囲のゾーン内に物体が存在すると判定し、処理はステップＳ４に進む。
　ステップＳ４において、車両１は、物体が存在するゾーンの方向から警告音を出力する。具体的には、認識部７３は、物体が存在するゾーン、物体の種類、及び、サイズ等を示す情報を警告音制御部２５１に供給する。
　警告音制御部２５１は、検出された物体に対する警告音を出力するための警告音データを生成する。警告音制御部２５１は、生成した警告音データをスピーカ２０３ＦＬ乃至スピーカ２０３ＢＲに供給することにより、警告音を出力させる。
　このとき、警告音制御部２５１は、例えば、図８の各ゾーン内の矢印で示されるように、車両１内の基準位置（例えば、運転者の頭部）において、物体が検出されたゾーンの方向から警告音が聞こえるように、警告音の音像（仮想音源）の位置を設定する。これにより、運転者は、検出された物体の方向を直感的に認識することができる。
　図９乃至図１１は、左後方から接近する車両３０１に対する警告音の制御方法の例を示している。
　図９は、車両３０１がゾーンＺＬ１内に存在する場合の警告音の音場Ａ１を示している。図１０は、車両３０１がゾーンＺＬ２内に存在する場合の警告音の音場Ａ１を示している。図１１は、車両３０１がゾーンＺＬ３内に存在する場合の警告音の音場Ａ１を示している。
　なお、円錐形の音場Ａ１の頂点は、音像（仮想音源）の位置を示している。音場Ａ１の頂点から円錐が広がる方向は、音場が広がる方向を示している。
　このように、音場Ａ１の向きは、車両３０１から車両１の運転者の頭部を見た方向と略等しい方向に設定される。また、警告音の音像は、運転者の頭部から車両３０１の方向に所定の距離だけ離れた位置に設定される。従って、音場Ａ１は、車両３０１から車両１の運転者の頭部を見た方向に略等しい方向を向くように移動する。また、警告音の音像と運転者の頭部の間の距離が、車両３０１と車両１との間の距離に略比例するように、音場Ａ１が移動する。
　従って、運転者は、警告音により、車両３０１の接近を認識することができる。また、運転者は、警告音の動きにより、車両３０１の速度、距離、及び、方向を直感的に認識することが可能になる。
　なお、図１２に示すように、ゾーンを平面方向だけでなく、高さ方向（垂直方向）にも分割するようにしてもよい。例えば、図１２には、ゾーンＺＬ１が高さ方向にゾーンＺＬ１Ｌ乃至ゾーンＺＬ１Ｈに分割された例が示されている。そして、警告音制御部２５１は、ゾーンＺＬ１において検出された物体の属性の１つであるサイズに基づいて、検出された物体に対する警告音の音像の高さ方向の位置を設定する。
　ここで、物体のサイズは、例えば、物体の幅、奥行き、及び、高さのうち少なくとも１つにより表される。
　例えば、物体のサイズが小さい場合、例えば物体がモータバイク、自転車、歩行者である場合、基準位置においてゾーンＺＬ１Ｌの方向から警告音が聞こえるように、警告音の音像の位置が設定される。例えば、物体のサイズが中程度の場合、例えば物体が乗用車である場合、基準位置においてゾーンＺＬ１Ｍの方向から警告音が聞こえるように、警告音の音像の位置が設定される。例えば、物体のサイズが大きい場合、例えば物体がトラック、バス等の大型車両である場合、基準位置においてゾーンＺＬ１Ｈの方向から警告音が聞こえるように、警告音の音像の位置が設定される。
　このように、平面方向において同じゾーン内に物体が検出されても、物体のサイズにより警告音の音像の高さ方向の位置が変化する。これにより、運転者は、検出された物体の位置だけでなく、サイズも直感的に認識することができる。
　また、運転者は、物体のサイズを認識することにより、物体の危険度を予測することができる。ここで、物体の危険度とは、車両１が物体から危害を受ける危険の度合い、又は、車両１が物体に危害を与える危険の度合いである。例えば、運転者は、警告音の音像の位置が上がるほど、衝突等により車両１が物体から危害を受ける危険度が高くなり、車両１が物体に危害を与える危険度が低くなると予測することができる。逆に、運転者は、警告音の音像の位置が下がるほど、衝突等により車両１が物体から危害を受ける危険度が低くなり、車両１が物体に危害を与える危険度が高くなると予測することができる。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　以上のようにして、運転者は、物体が検出された方向から警告音を聞くことができ、物体が存在する方向の認識精度が向上する。また、警告音の音像を平面方向だけでなく、高さ方向にも動かすことにより、運転者は、物体のサイズを認識し、その危険度を認識することができる。
　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜ゾーンに関する変形例＞
　車両１の周囲において運転者が注意すべき領域は、車両１が置かれている状況により変化する。従って、認識部７３は、車両１が置かれている状況に基づいて、ゾーンの設定を変更するようにしてもよい。換言すれば、認識部７３は、運転者が注意すべき領域に基づいて、ゾーンの設定を変更するようにしてもよい。
　ここで、ゾーンの設定の変更とは、ゾーンの位置、数、大きさ、及び、形状等を変更することである。また、車両１が置かれている状況とは、例えば、車両１が走行している場所、車両１の周囲の環境、車両１の運転操作、及び、車両１の走行状態等を含む。
　例えば、車両１が車線変更しようとしている場合、運転者が車両１の走行車線上の車両に対して注意する必要性が低下する。そこで、車両１が車線変更しようとしている場合、認識部７３は、例えば、図７のゾーンのうち、車両１の走行車線内のゾーンＺＣ１、ゾーンＺＣ２、及び、ゾーンＺＣ４を設定しないようにしてもよい。
　例えば、車両１が片側２車線の道路を走行しており、図７のゾーンＺＲ１乃至ゾーンＺＲ４が配置されている車線が対向車線である場合、認識部７３は、例えば、ゾーンＺＲ１乃至ゾーンＺＲ４を設定しないようにしてもよい。又は、例えば、道路の幅が狭い、前方の見通しが悪い等の理由により、運転者が対向車線の車両に対して注意する必要性が高い場合、認識部７３は、例えば、ゾーンＺＲ１乃至ゾーンＺＲ４を設定するようにしてもよい。
　例えば、車両１が市街地を走行している場合、車両１及び周囲の車両の速度が比較的遅く、かつ、歩行者が多いため、運転者は、後方よりも前方の飛出し等をより注意する必要がある。これに対して、認識部７３は、例えば、図１３に示されるように、車両１の周囲においてゾーンＺＬ１１乃至ゾーンＺＲ１４を設定するようにしてもよい。
　ゾーンＺＬ１１乃至ゾーンＺＲ１４は、ほぼ同じ大きさの矩形の領域である。ゾーンＺＣ１１、ゾーンＺＣ１３、及び、ゾーンＺＣ１４は、車両１の走行車線に配置されている。ゾーンＺＣ１１は、車両１の直後に配置されている。ゾーンＺＣ１３は、車両１の直前に配置されている。ゾーンＺＣ１４は、ゾーンＺＣ１３の前方に配置されている。
　ゾーンＺＬ１１乃至ゾーンＺＬ１４は、車両１の走行車線の左側の車線に配置されている。ゾーンＺＲ１１乃至ゾーンＺＲ１４は、車両１の走行車線の右側の車線に配置されている。ゾーンＺＬ１１及びゾーンＺＲ１１は、Ｘ軸方向においてゾーンＺＣ１１と同じ位置に配置されている。ゾーンＺＬ１２及びゾーンＺＲ１２は、Ｘ軸方向において車両１と同じ位置に配置されている。ゾーンＺＬ１３及びゾーンＺＲ１３は、Ｘ軸方向においてゾーンＺＣ１３と同じ位置に配置されている。ゾーンＺＬ１４及びゾーンＺＲ１４は、Ｘ軸方向においてゾーンＺＣ１４と同じ位置に配置されている。
　このように、図１３の例は、図７の例と比較して、車両１の後方のゾーンが狭まり、前方のゾーンが広がっている。
　例えば、車両１がバックする場合、車両１の後方をより注意する必要がある。これに対して、認識部７３は、例えば、図１４に示されるように、車両１の周囲においてゾーンＺＬ２１乃至ゾーンＺＲ２５を設定するようにしてもよい。
　ゾーンＺＬ２１乃至ゾーンＺＲ２５は、ほぼ同じ大きさの矩形の領域である。ゾーンＺＣ２１乃至ゾーンＺＣ２３、及び、ゾーンＺＣ２５は、車両１の走行車線に配置されている。ゾーンＺＣ２３は、車両１の直後に配置されている。ゾーンＺＣ２２は、ゾーンＺＣ２３の後方に配置されている。ゾーンＺＣ２１は、ゾーンＺＣ２２の後方に配置されている。ゾーンＺＣ２５は、車両１の直前に配置されている。
　ゾーンＺＬ２１乃至ゾーンＺＬ２５は、車両１の走行車線の左側の車線に配置されている。ゾーンＺＲ２１乃至ゾーンＺＲ２５は、車両１の走行車線の右側の車線に配置されている。ゾーンＺＬ２１及びゾーンＺＲ２１は、Ｘ軸方向においてゾーンＺＣ２１と同じ位置に配置されている。ゾーンＺＬ２２及びゾーンＺＲ２２は、Ｘ軸方向においてゾーンＺＣ２２と同じ位置に配置されている。ゾーンＺＬ２３及びゾーンＺＲ２３は、Ｘ軸方向においてゾーンＺＣ２３と同じ位置に配置されている。ゾーンＺＬ２４及びゾーンＺＲ２４は、Ｘ軸方向において車両１と同じ位置に配置されている。ゾーンＺＬ２５及びゾーンＺＲ２５は、Ｘ軸方向においてゾーンＺＣ２５と同じ位置に配置されている。
　このように、図１４の例は、図７の例と比較して、車両１の後方のゾーンが広がっている。
　例えば、車両１が駐車場に駐車している場合、車両の前方及び後方より、車両１の側方から他の車両が接近する可能性が高く、車両１の側方をより注意する必要がある。これに対して、認識部７３は、例えば、図１５に示されるように、車両１の周囲においてゾーンＺＬ３１Ａ乃至ゾーンＺＲ３２Ｃを設定するようにしてもよい。
　ゾーンＺＬ３１Ａ乃至ゾーンＺＲ３２Ｃは、ほぼ同じ大きさの矩形の領域である。ゾーンＺＬ３１Ａは、車両１の左隣に配置されている。ゾーンＺＬ３１Ｂは、ゾーンＺＬ３１Ａの左隣に配置されている。ゾーンＺＬ３１Ｃは、ゾーンＺＬ３１Ｂの左隣に配置されている。ゾーンＺＲ３１Ａは、車両１の右隣に配置されている。ゾーンＺＲ３１Ｂは、ゾーンＺＲ３１Ａの右隣に配置されている。ゾーンＺＲ３１Ｃは、ゾーンＺＲ３１Ｂの左隣に配置されている。ゾーンＺＣ３２は、車両１の直前に配置されている。ゾーンＺＬ３２Ａは、ゾーンＺＣ３２の左隣に配置されている。ゾーンＺＬ３２Ｂは、ゾーンＺＬ３２Ａの左隣に配置されている。ゾーンＺＬ３２Ｃは、ゾーンＺＬ３２Ｂの左隣に配置されている。ゾーンＺＲ３２Ａは、ゾーンＺＣ３２の右隣に配置されている。ゾーンＺＲ３２Ｂは、ゾーンＺＲ３２Ａの右隣に配置されている。ゾーンＺＲ３２Ｃは、ゾーンＺＲ３２Ｂの左隣に配置されている。
　このように、図１５の例は、他の例と比較して、車両１の側方にゾーンが広がっている。
　以上のように、車両１が置かれている状況に応じて、ゾーンの設定を変更するようしてもよい。これにより、車両１の周囲の物体に対する警告音を、より状況に応じて適切に出力することが可能になる。
　なお、以上の説明では、各ゾーンの大きさ及び形状を揃える例を示したが、各ゾーンの大きさ及び形状が異なるようにしてもよい。
　また、例えば、警告音制御部２５１は、ゾーンを設定せずに、単純に検出された物体の位置に基づいて、警告音の音像の位置を設定するようにしてもよい。
　　＜警告音に関する変形例＞
　例えば、認識部７３が、検出した物体の危険度を推定し、警告音制御部２５１は、推定された物体の危険度に基づいて、警告音の特徴量を制御するようにしてもよい。
　例えば、警告音制御部２５１は、物体が検出されたゾーンが近くなるほど、すなわち、検出された物体が車両１に近づくほど、より運転者の注意が喚起されるように、警告音の特徴量を変化させる。これにより、検出された物体の危険度が高くなるほど、運転者が、より確実に物体の存在及び方向を認識し、注意を向けることができる。
　例えば、図１６の車両１の左後方のゾーンＺＬ４１及び右後方のゾーンＺＲ４１と、図１７の車両１の左後方のゾーンＺＬ５１及び右後方のゾーンＺＲ５１とを比較すると、ゾーンＺＬ４１及びゾーンＺＲ４１の方が、ゾーンＺＬ５１及びゾーンＺＲ５１より車両１に近い。従って、警告音制御部２５１は、例えば、物体がゾーンＺＬ４１又はゾーンＺＲ４１内に存在する場合、ゾーンＺＬ５１又はゾーンＺＲ５１内に存在する場合と比較して、警告音が高くする（高周波にする）。
　例えば、車両１に対する物体の相対速度であって、物体が車両１に接近する方向の相対速度が速くなるほど、車両１が物体と衝突する危険度が高くなる。そこで、警告音制御部２５１は、例えば、同じゾーン内に物体が検出されても、検出された物体の車両１に接近する方向の相対速度が速くなるほど、警告音の音量を大きくする。
　また、例えば、警告音制御部２５１は、検出された物体から車両１が危害を受ける可能性の方が高い場合と、検出された物体に車両１が危害を与える可能性の方が高い場合とで、警告音の特徴量を変えるようにしてもよい。例えば、検出された物体が、トラック、バス、乗用車等である場合、車両１が危害を受ける可能性の方が高いと判定される。例えば、検出された物体が、モータバイク、自転車、歩行者等である場合、車両１が危害を与える可能性の方が高いと判定される。
　これにより、運転者は、自車（車両１）が危害を受ける側か与える側かを直感的に認識することができる。そして、運転者は、自車が危害を受ける側か与える側かにより、検出された物体に対して、より適切な対応をとることができる。
　また、例えば、車両１が周囲に音を出力するスピーカ等を備える場合、警告音制御部２５１は、検出された物体に車両１が危害を与える危険度に基づいて、検出された物体に対して車両１の存在を示す警告音の出力を制御するようにしてもよい。これにより、例えば、車両１の周囲のモータバイク、自転車、歩行者等に注意を促すことができ、事故を未然に防ぐことができる。
　さらに、例えば、警告音制御部２５１は、検出された物体の属性に基づいて、警告音の特徴量を変化させるようにしてもよい。例えば、警告音制御部２５１は、検出された物体の種類又はサイズに基づいて警告音の特徴量を変化させるようにしてもよい。これにより、運転者は、検出された物体の属性を直感的に認識できるようになる。
　また、警告音制御部２５１は、複数の物体が同時に検出された場合、各物体に対する複数の警告音を同時に出力するようにしてもよい。この場合、警告音制御部２５１は、各物体に対する警告音を識別しやすくするために、各警告音の特徴量を変えるようにしてもよい。例えば、警告音制御部２５１は、上述したように、各物体の危険度に基づいて、各物体に対する警告音の特徴量を変えるようにしてもよい。
　なお、例えば、警告音制御部２５１は、検出した複数の物体が隊列走行している場合、隊列走行している複数の物体を１つの物体とみなして、１つとみなした物体に対する警告音を出力するようにしてもよい。
　また、例えば、警告音制御部２５１は、車両１が所定の動作を行う場合に、ゾーン内において物体が検出されたとき、警告音を出力するようにしてもよい。
　例えば、警告音制御部２５１は、車両１が車線変更又は方向転換をしようとした場合（例えば、車両１のターンシグナルがオンされた場合）、ゾーン内において物体が検出されたとき、警告音を出力するようにしてもよい。この場合、車線変更意思決定支援システム（（ＬＣＤＡＳ）Lane Change Decision Aid Systems）の１つの機能として、警告音が用いられる。
　例えば、警告音制御部２５１は、車両１がバックしようとした場合（例えば、車両１のギアがバックに設定された場合）、ゾーン内において物体が検出されたとき、警告音を出力するようにしてもよい。
　さらに、例えば、認識部７３が、危険な場所を検出した場合、警告音制御部２５１は、上述した物体を検出した場合と同様の方法により、危険な場所に対する警告音を出力するようにしてもよい。
　ここで、危険な場所とは、例えば、事故が頻発する場所、及び、事故が発生する可能性が高い場所等が想定される。事故が発生する可能性が高い場所とは、例えば、公園や学校の入口付近、工事現場付近が想定される。
　また、例えば、車両１が自動運転を行っている場合、基本的には車両１が自動的に危険を回避し、安全に走行を行うため、必ずしも上述したように検出された物体に対する警告音を出力する必要はない。
　一方、例えば、車両１が、自動運転中に車線変更、方向転換、駐車、追い越し、発車等の動作を行う場面において、障害となる物体を検出し、動作を中止する場合が想定される。この場合、例えば、警告音制御部２５１は、検出された物体に対する警告音を出力するようにしてもよい。例えば、車両１が右折しようとしてターンシグナルがオンしたにも関わらず、車両１が右折しなかった場合、警告音制御部２５１は、車両１が右折を中止する原因となった物体に対する警告音を出力するようにしてもよい。これにより、搭乗者に、車両１が動作を中止した原因を認識させ、安心感を与えることができる。
　また、例えば、車両１が、危険度が高い物体を検出し、プリクラッシュセーフティ等の危険回避の動作を自動的に行った場合、警告音制御部２５１は、危険回避の動作の原因となった物体に対する警告音を出力するようにしてもよい。これにより、搭乗者に、車両１が危険回避の動作を行った原因を認識させ、安心感を与えることができる。
　さらに、例えば、認識部７３は、交差点等において、路車間通信により、外部認識センサ２５では検出が困難な死角となるゾーンにおいても物体を検出することが可能である。この場合も、警告音制御部２５１は、上述した方法と同様の方法により、検出された物体に対して警告音を出力することが可能である。
　また、例えば、渋滞時に車両１の周囲の車両に対して警告音が継続して出力されると、搭乗者が煩わしく感じるおそれがある。これに対して、例えば、認識部７３が、渋滞中の車両を認識して、警告音制御部２５１が、渋滞中の車両を警告音の対象から除外するようにしてもよい。また、警告音制御部２５１は、渋滞中の車両以外の物体がゾーン内に検出された場合、その物体に対する警告音を出力するようにしてもよい。これにより、例えば、渋滞中の車両の脇をすり抜けていくモータバイク等に対して警告音を出力することが可能になる。
　さらに、例えば、各シートスピーカ２０４を用いて、特定の搭乗者（例えば、運転者）に対してのみ警告音を出力するようにしてもよい。
　　＜その他の変形例＞
　本技術は、３６０ＲＡ以外の音像定位技術を用いることが可能である。
　本技術を適用可能な車両の種類は特に限定されない。また、本技術は、車両以外にも、パーソナルモビリティ、運搬用ロボット、飛行機、船舶、建設機械、農業機械等の移動装置にも適用することができる。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　移動装置の周囲の物体の検出処理を行う認識部と、
　検出された前記物体の位置に基づいて、前記物体の存在を示す第１の警告音の特徴量及び音像の位置を制御する警告音制御部と
　を備える情報処理装置。
（２）
　前記認識部は、前記移動装置に対する前記物体の相対速度を検出し、
　前記警告音制御部は、さらに前記物体の相対速度に基づいて、前記第１の警告音の特徴量を制御する
　前記（１）に記載の情報処理装置。
（３）
　前記認識部は、前記物体の属性を認識し、
　前記警告音制御部は、さらに前記物体の属性に基づいて、前記第１の警告音の特徴量及び音像の位置のうち少なくとも１つを制御する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記物体の属性は、前記物体のサイズを含み、
　前記警告音制御部は、前記物体のサイズに基づいて、前記第１の警告音の音像の高さ方向の位置を制御する
　前記（３）に記載の情報処理装置。
（５）
　前記認識部は、前記物体の危険度を推定し、
　前記警告音制御部は、さらに前記物体の危険度に基づいて、前記第１の警告音の特徴量を制御する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記認識部は、前記移動装置が前記物体に危害を与える可能性と、前記移動装置が前記物体から危害を受ける可能性とのいずれが高いかを推定し、
　前記警告音制御部は、前記移動装置が前記物体に危害を与える可能性の方が高い場合と、前記移動装置が前記物体から危害を受ける可能性の方が高い場合とで、前記第１の警告音の特徴量を変える
　前記（５）に記載の情報処理装置。
（７）
　前記警告音制御部は、前記移動装置が前記物体に危害を与える危険度に基づいて、前記物体に対して前記移動装置の存在を示す第２の警告音の出力を制御する
　前記（５）又は（６）に記載の情報処理装置。
（８）
　前記警告音制御部は、複数の物体が検出された場合、各前記物体の存在をそれぞれ示す複数の前記第１の警告音を同時に出力するように制御する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記認識部は、各前記物体の危険度を推定し、
　前記警告音制御部は、各前記物体の危険度に基づいて、各前記第１の警告音の特徴量をそれぞれ制御する
　前記（８）に記載の情報処理装置。
（１０）
　前記警告音制御部は、前記複数の物体が隊列走行をしている場合、前記複数の物体を１つの物体とみなして前記第１の警告音を出力するように制御する
　前記（８）又は（９）に記載の情報処理装置。
（１１）
　前記認識部は、前記移動装置の周囲に複数のゾーンを設定し、前記物体が存在する前記ゾーンを検出し、
　前記警告音制御部は、前記物体が存在する前記ゾーンに基づいて、前記第１の警告音の特徴量及び音像の位置を制御する
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記認識部は、前記移動装置が置かれている状況に基づいて、前記ゾーンの設定を変更する
　前記（１１）に記載の情報処理装置。
（１３）
　前記警告音制御部は、前記移動装置が所定の動作を行う場合に前記物体が検出されたとき、前記第１の警告音を出力するように制御する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記警告音制御部は、前記移動装置が自動運転を行っている場合、検出された前記物体により前記移動装置が所定の動作を中止したとき、前記第１の警告音を出力するように制御する
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記認識部は、路車間通信により前記移動装置の周囲の物体を認識し、
　前記警告音制御部は、前記路車間通信により前記移動装置の死角において前記物体が認識された場合、前記第１の警告音を出力するように制御する
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記認識部は、前記移動装置が備えるセンサ及び前記移動装置の周囲の地図のうち少なくとも１つに基づいて、前記移動装置が走行中の道路の情報を取得し、前記道路の情報に基づいて、前記物体の位置を補正する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　移動装置の周囲の物体の検出処理を行い、
　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する
　ステップを含む情報処理方法。
（１８）
　移動装置の周囲の物体の検出処理を行い、
　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する
　ステップを含む処理をコンピュータに実行させるためのプログラム。
（１９）
　周囲の物体の検出処理を行う認識部と、
　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する警告音制御部と
　を備える移動装置。
（２０）
　移動装置の周囲のセンシングを行うセンサ部と、
　前記センサ部のセンシング結果に基づいて、前記移動装置の周囲の物体の検出処理を行う認識部と、
　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する警告音制御部と、
　前記警告音制御部の制御の下に、前記警告音を出力するスピーカと
　を備える情報処理システム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１　車両，　１１　車両制御システム，　２５　外部認識センサ，　３１　ＨＭＩ，　５１　カメラ，　５２　レーダ，　５３　ＬｉＤＡＲ，　５４　超音波センサ，　７３　認識部，　６２　行動計画部，　６３　動作制御部，　２０２ＦＬ乃至２０２ＢＲ　スピーカ，　２５１　警告音制御部

Claims (20)

  1. 　移動装置の周囲の物体の検出処理を行う認識部と、
    　検出された前記物体の位置に基づいて、前記物体の存在を示す第１の警告音の特徴量及び音像の位置を制御する警告音制御部と
    　を備える情報処理装置。
  2. 　前記認識部は、前記移動装置に対する前記物体の相対速度を検出し、
    　前記警告音制御部は、さらに前記物体の相対速度に基づいて、前記第１の警告音の特徴量を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記認識部は、前記物体の属性を認識し、
    　前記警告音制御部は、さらに前記物体の属性に基づいて、前記第１の警告音の特徴量及び音像の位置のうち少なくとも１つを制御する
    　請求項１に記載の情報処理装置。
  4. 　前記物体の属性は、前記物体のサイズを含み、
    　前記警告音制御部は、前記物体のサイズに基づいて、前記第１の警告音の音像の高さ方向の位置を制御する
    　請求項３に記載の情報処理装置。
  5. 　前記認識部は、前記物体の危険度を推定し、
    　前記警告音制御部は、さらに前記物体の危険度に基づいて、前記第１の警告音の特徴量を制御する
    　請求項１に記載の情報処理装置。
  6. 　前記認識部は、前記移動装置が前記物体に危害を与える可能性と、前記移動装置が前記物体から危害を受ける可能性とのいずれが高いかを推定し、
    　前記警告音制御部は、前記移動装置が前記物体に危害を与える可能性の方が高い場合と、前記移動装置が前記物体から危害を受ける可能性の方が高い場合とで、前記第１の警告音の特徴量を変える
    　請求項５に記載の情報処理装置。
  7. 　前記警告音制御部は、前記移動装置が前記物体に危害を与える危険度に基づいて、前記物体に対して前記移動装置の存在を示す第２の警告音の出力を制御する
    　請求項５に記載の情報処理装置。
  8. 　前記警告音制御部は、複数の物体が検出された場合、各前記物体の存在をそれぞれ示す複数の前記第１の警告音を同時に出力するように制御する
    　請求項１に記載の情報処理装置。
  9. 　前記認識部は、各前記物体の危険度を推定し、
    　前記警告音制御部は、各前記物体の危険度に基づいて、各前記第１の警告音の特徴量をそれぞれ制御する
    　請求項８に記載の情報処理装置。
  10. 　前記警告音制御部は、前記複数の物体が隊列走行をしている場合、前記複数の物体を１つの物体とみなして前記第１の警告音を出力するように制御する
    　請求項８に記載の情報処理装置。
  11. 　前記認識部は、前記移動装置の周囲に複数のゾーンを設定し、前記物体が存在する前記ゾーンを検出し、
    　前記警告音制御部は、前記物体が存在する前記ゾーンに基づいて、前記第１の警告音の特徴量及び音像の位置を制御する
    　請求項１に記載の情報処理装置。
  12. 　前記認識部は、前記移動装置が置かれている状況に基づいて、前記ゾーンの設定を変更する
    　請求項１１に記載の情報処理装置。
  13. 　前記警告音制御部は、前記移動装置が所定の動作を行う場合に前記物体が検出されたとき、前記第１の警告音を出力するように制御する
    　請求項１に記載の情報処理装置。
  14. 　前記警告音制御部は、前記移動装置が自動運転を行っている場合、検出された前記物体により前記移動装置が所定の動作を中止したとき、前記第１の警告音を出力するように制御する
    　請求項１に記載の情報処理装置。
  15. 　前記認識部は、路車間通信により前記移動装置の周囲の物体を認識し、
    　前記警告音制御部は、前記路車間通信により前記移動装置の死角において前記物体が認識された場合、前記第１の警告音を出力するように制御する
    　請求項１に記載の情報処理装置。
  16. 　前記認識部は、前記移動装置が備えるセンサ及び前記移動装置の周囲の地図のうち少なくとも１つに基づいて、前記移動装置が走行中の道路の情報を取得し、前記道路の情報に基づいて、前記物体の位置を補正する
    　請求項１に記載の情報処理装置。
  17. 　移動装置の周囲の物体の検出処理を行い、
    　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する
    　ステップを含む情報処理方法。
  18. 　移動装置の周囲の物体の検出処理を行い、
    　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する
    　ステップを含む処理をコンピュータに実行させるためのプログラム。
  19. 　周囲の物体の検出処理を行う認識部と、
    　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する警告音制御部と
    　を備える移動装置。
  20. 　移動装置の周囲のセンシングを行うセンサ部と、
    　前記センサ部のセンシング結果に基づいて、前記移動装置の周囲の物体の検出処理を行う認識部と、
    　検出された前記物体の位置に基づいて、前記物体の存在を示す警告音の特徴量及び音像の位置を制御する警告音制御部と、
    　前記警告音制御部の制御の下に、前記警告音を出力するスピーカと
    　を備える情報処理システム。
PCT/JP2021/047256 2021-01-04 2021-12-21 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム WO2022145286A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022573011A JPWO2022145286A1 (ja) 2021-01-04 2021-12-21
EP21915146.1A EP4273834A1 (en) 2021-01-04 2021-12-21 Information processing device, information processing method, program, moving device, and information processing system
US18/259,074 US20240054897A1 (en) 2021-01-04 2021-12-21 Information processing device, information processing method, program, mobile device, and information processing system
CN202180087735.0A CN116670006A (zh) 2021-01-04 2021-12-21 信息处理设备、信息处理方法、程序、移动设备和信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-000071 2021-01-04
JP2021000071 2021-01-04

Publications (1)

Publication Number Publication Date
WO2022145286A1 true WO2022145286A1 (ja) 2022-07-07

Family

ID=82259285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047256 WO2022145286A1 (ja) 2021-01-04 2021-12-21 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム

Country Status (5)

Country Link
US (1) US20240054897A1 (ja)
EP (1) EP4273834A1 (ja)
JP (1) JPWO2022145286A1 (ja)
CN (1) CN116670006A (ja)
WO (1) WO2022145286A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126948A (ja) * 1991-10-30 1993-05-25 Nissan Motor Co Ltd 立体音場警報装置
JP2002127854A (ja) * 2000-10-27 2002-05-09 Toyota Motor Corp 車載警報装置
JP2007253721A (ja) 2006-03-22 2007-10-04 Toyota Motor Corp 運転支援装置
JP2007328603A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 車両用警告装置
JP2012146316A (ja) * 2012-03-01 2012-08-02 Nissan Motor Co Ltd 警報装置およびその方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126948A (ja) * 1991-10-30 1993-05-25 Nissan Motor Co Ltd 立体音場警報装置
JP2002127854A (ja) * 2000-10-27 2002-05-09 Toyota Motor Corp 車載警報装置
JP2007253721A (ja) 2006-03-22 2007-10-04 Toyota Motor Corp 運転支援装置
JP2007328603A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 車両用警告装置
JP2012146316A (ja) * 2012-03-01 2012-08-02 Nissan Motor Co Ltd 警報装置およびその方法

Also Published As

Publication number Publication date
CN116670006A (zh) 2023-08-29
EP4273834A1 (en) 2023-11-08
US20240054897A1 (en) 2024-02-15
JPWO2022145286A1 (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
KR20190007286A (ko) 차량용 주행 시스템 및 차량
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2020100585A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
WO2020129687A1 (ja) 車両制御装置、車両制御方法、プログラム、及び、車両
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019003278A (ja) 車外報知装置
WO2019078010A1 (ja) 情報処理装置、情報処理方法、移動体、及び、車両
US20200035100A1 (en) Driving support apparatus and driving support method
WO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
JP2022113054A (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022113772A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915146

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573011

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18259074

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180087735.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021915146

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021915146

Country of ref document: EP

Effective date: 20230804