WO2023166982A1 - 情報処理装置、情報処理方法、及び、移動体 - Google Patents

情報処理装置、情報処理方法、及び、移動体 Download PDF

Info

Publication number
WO2023166982A1
WO2023166982A1 PCT/JP2023/005123 JP2023005123W WO2023166982A1 WO 2023166982 A1 WO2023166982 A1 WO 2023166982A1 JP 2023005123 W JP2023005123 W JP 2023005123W WO 2023166982 A1 WO2023166982 A1 WO 2023166982A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
visual information
driver
information
visual
Prior art date
Application number
PCT/JP2023/005123
Other languages
English (en)
French (fr)
Inventor
英寛 小松
智弘 有門
真一 入矢
正紘 田森
大輔 久保田
拓也 小路
佑二 森田
寛之 植山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023166982A1 publication Critical patent/WO2023166982A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present technology relates to an information processing device, an information processing method, and a mobile body, and relates to an information processing device, an information processing method, and a mobile body that support driving using visual information.
  • This technology was created in view of this situation, and uses visual information to appropriately support driving.
  • An information processing device supports driving based on at least one of sensing results around a mobile body, information acquired from the outside, and information accumulated in the mobile body. and an output control unit that superimposes the visual information on at least one of the visual field of the driver and the surrounding image of the moving body to be presented to the driver.
  • An information processing method supports driving based on at least one of sensing results around a moving body, information acquired from the outside, and information accumulated in the moving body.
  • the visual information is superimposed on at least one of the visual field of the driver and the surrounding image of the moving body presented to the driver.
  • visual information that assists driving based on at least one of sensing results around a mobile object, information acquired from the outside, and information accumulated in the mobile object. is superimposed on at least one of a driver's field of view and an ambient image of the vehicle's surroundings presented to the driver.
  • a mobile object includes a sensing unit that senses the surroundings, a communication unit that communicates with the outside, a sensing result of the sensing unit, information acquired from the outside, and information stored inside. an output unit that superimposes visual information for assisting driving on at least one of a driver's field of view and a surrounding image presented to the driver, based on at least one of the information received by the driver. .
  • surrounding sensing is performed, communication is performed with the outside, and based on at least one of the sensing result, the information acquired from the outside, and the information accumulated inside , visual information to assist driving is superimposed within the driver's field of vision and/or on an image of the surroundings presented to the driver.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system
  • FIG. FIG. 4 is a diagram showing an example of a sensing area
  • It is a block diagram which shows the example of a detailed structure of HMI.
  • It is a figure which shows the structural example of the display which comprises the display system of a vehicle.
  • 4 is a flowchart for explaining parking assistance processing;
  • FIG. 4 is a diagram for explaining a first display example of visual information during parking assistance;
  • FIG. 4 is a diagram for explaining a first display example of visual information during parking assistance;
  • FIG. 4 is a diagram for explaining a first display example of visual information during parking assistance;
  • FIG. 4 is a diagram for explaining a first display example of visual information during parking assistance;
  • FIG. 4 is a diagram for explaining a first display example of visual information during parking assistance;
  • FIG. 4 is a diagram for explaining a first display example of visual information during parking assistance;
  • FIG. 4 is a diagram for explaining a first display example
  • FIG. 10 is a diagram for explaining a second display example of visual information during parking assistance;
  • FIG. 10 is a diagram for explaining a second display example of visual information during parking assistance;
  • FIG. 10 is a diagram for explaining a second display example of visual information during parking assistance;
  • FIG. 10 is a diagram for explaining a second display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a third display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fourth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fourth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fourth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fourth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fourth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fourth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fifth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fifth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fifth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fifth display example of visual information during parking assistance;
  • FIG. 11 is a diagram for explaining a fifth display example of visual information during parking assistance;
  • 11 is a diagram for explaining a fifth display example of visual information during parking assistance; It is a flow chart for explaining left turn support processing. It is a figure for demonstrating a left turn assistance process. It is a figure for demonstrating a left turn assistance process. It is a figure for demonstrating a left turn assistance process. It is a figure for demonstrating a left turn assistance process. 7 is a flowchart for explaining toll gate passage support processing; It is a figure for demonstrating a toll gate passage assistance process. It is a figure for demonstrating a toll gate passage assistance process. It is a figure for demonstrating a toll gate passage assistance process. It is a figure for demonstrating a toll gate passage assistance process. 4 is a flowchart for explaining roundabout driving support processing; It is a figure for demonstrating a roundabout driving assistance process.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11, which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a travel Assistance/automatic driving control unit 29 , DMS (Driver Monitoring System) 30 , HMI (Human Machine Interface) 31 , and vehicle control unit 32 .
  • vehicle control ECU Electronic Control Unit
  • communication unit 22 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a travel Assistance/automatic driving control unit 29 , DMS (Driver Monitoring System) 30 , HMI (Human Machine Interface) 31 , and vehicle control unit 32 .
  • HMI Human Machine Interface
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30 , human machine interface (HMI) 31 , and vehicle control unit 32 are connected via a communication network 41 so as to be able to communicate with each other.
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near-field wireless communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication)
  • Bluetooth registered trademark
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part thereof.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 is, for example, 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on the external network communicates with a server (hereinafter referred to as an external server) located in the external network.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 22 can communicate with a terminal located near the vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving objects that move at relatively low speeds, terminals installed at fixed locations in stores, etc., or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., and vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • radio wave beacons such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a predetermined communication speed or higher through wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). can communicate with each device in the vehicle.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is, for example, a map adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lane and traffic signal positions with a point cloud map.
  • the point cloud map and the vector map may be provided from an external server or the like, and based on the sensing results of the camera 51, radar 52, LiDAR 53, etc., as a map for matching with a local map described later. It may be created by the vehicle 1 and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 24 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites and acquires position information of the vehicle 1 .
  • the acquired position information is supplied to the driving support/automatic driving control unit 29 .
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using beacons, for example.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51, radar 52, LiDAR 53, and ultrasonic sensor .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the imaging method of the camera 51 is not particularly limited.
  • cameras of various types such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are capable of distance measurement, can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, weather, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are the types and number that can be realistically installed in the vehicle 1 .
  • the in-vehicle sensor 26 can include one or more sensors among cameras, radars, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, on a seat, a steering wheel, or the like, and detect various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as the types and number are practically installable in the vehicle 1 .
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used as, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and storage media include magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each unit of the vehicle control system 11 .
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information of the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 1 and a recognition process for recognizing the situation outside the vehicle 1 .
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the radar 52 or the LiDAR 53 or the like for each cluster of point groups. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the masses of point groups classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 51 . Further, the recognition unit 73 may recognize types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the position and state of traffic lights, the content of traffic signs and road markings, the content of traffic restrictions, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • the surrounding environment to be recognized by the recognition unit 73 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • global path planning is the process of planning a rough path from the start to the goal. This route planning is called trajectory planning, and in the planned route, trajectory generation (local path planning) that allows safe and smooth progress in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is performed. It also includes the processing to be performed.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs coordinated control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, vehicle collision warning, and vehicle lane departure warning.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • the driver's state to be recognized includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, and the like.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 31 includes an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 performs output control for controlling the output, output content, output timing, output method, and the like of each generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 1, a warning display, an image such as a monitor image showing the situation around the vehicle 1, and information indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, and a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can use a display device provided in the vehicle 1 such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a horn ECU for controlling the car horn, an actuator for driving the car horn, and the like.
  • FIG. 2 is a diagram showing an example of sensing areas by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 2 schematically shows the vehicle 1 viewed from above, the left end side is the front end (front) side of the vehicle 1, and the right end side is the rear end (rear) side of the vehicle 1.
  • a sensing area 101F and a sensing area 101B are examples of sensing areas of the ultrasonic sensor 54.
  • FIG. The sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 1 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 102F covers the front of the vehicle 1 to a position farther than the sensing area 101F.
  • the sensing area 102B covers the rear of the vehicle 1 to a position farther than the sensing area 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 102R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 102B is used, for example, for the rear collision prevention function of the vehicle 1 or the like.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • the sensing area 103F covers the front of the vehicle 1 to a position farther than the sensing area 102F.
  • the sensing area 103B covers the rear of the vehicle 1 to a position farther than the sensing area 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 103R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • a sensing result in the sensing area 103B can be used for parking assistance and a surround view system, for example.
  • Sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • the sensing area 105 covers the front of the vehicle 1 to a position farther than the sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • FIG. 3 shows a detailed configuration example of the HMI 31 in FIG.
  • the HMI 31 includes an input section 151 , an output information generation section 152 , an output control section 153 and an output section 154 .
  • the input unit 151 has an input device for a person to input data, generates an input signal based on the data and instructions input by the input device, and supplies it to each unit of the vehicle control system 11 .
  • the output information generation unit 152 generates at least one of visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the output control unit 153 controls the output of the information generated by the output information generation unit 152 by the output unit 154 .
  • the output control unit 153 controls the driving by the driver based on at least one of the sensing result of the surroundings of the vehicle 1 by the external recognition sensor 25, the information acquired from the outside, and the information accumulated in the vehicle 1. is superimposed on at least one of the visual field of the driver and an image of the surroundings of the vehicle presented to the driver (hereinafter referred to as a surrounding image).
  • the information acquired from the outside includes, for example, various maps such as high-precision maps and maps for automatic driving.
  • the information stored in the vehicle 1 includes various maps stored in the map information storage unit 23, for example.
  • the output unit 154 includes an output device that outputs at least one of visual information, auditory information, and tactile information, and outputs at least one of visual information, auditory information, and tactile information.
  • the output unit 154 includes, for example, a speaker provided at each door of the vehicle 1, and can realize 360-degree real audio.
  • 360-degree real audio for example, it is possible to enjoy movies, music, and the like in a vehicle with realistic sound. Also, the position of a dangerous object such as an obstacle existing around the vehicle 1 can be notified by the output direction of the sound.
  • FIG. 4 is a schematic diagram showing the front inside the vehicle.
  • a center display 211 Inside the vehicle, a center display 211, a console display 212, a head-up display (only the display 213 is shown), and a digital rear mirror 214 are provided.
  • the center display 211 is provided in front of the driver's seat 201 and the front passenger's seat 202 so as to extend left and right in front of the dashboard.
  • the center display 211 is roughly divided into a left end portion 211L, a central portion 211C, and a right end portion 211R depending on the orientation of the display. That is, the center display 211 has a configuration in which a left end portion 211L, a central portion 211C, and a right end portion 211R, which are oriented in different directions, are continuous in the left-right direction and integrated.
  • the left end portion 211L, the central portion 211C, and the right end portion 211R can be individually displayed independently, or can be integrally displayed.
  • the central portion 211C extends laterally from near the left end of the driver's seat 201 to near the right end of the passenger's seat 202, and extends to the rear (rear of the vehicle 1) as viewed from the driver's seat 201 or the passenger's seat 202. ).
  • the central portion 211C faces slightly obliquely upward.
  • the left end portion 211L and the right end portion 211R are provided at both left and right ends of the center display 211 and are substantially symmetrical.
  • the left end portion 211L is bent inward (inside the vehicle) at the left end of the center display 211, is angled toward the inside of the vehicle with respect to the central portion 211C, and is obliquely rearward to the right when viewed from the driver's seat 201 or the front passenger seat 202 (the right side of the vehicle 1). diagonally backward).
  • the right end portion 211R is bent inward (inside the vehicle) at the right end of the center display 211, is angled toward the interior of the vehicle with respect to the central portion 211C, and is obliquely left rearward (the left side of the vehicle 1) when viewed from the driver's seat 201 or the front passenger seat 202. diagonally backward).
  • the angle of the left end portion 211L with respect to the central portion 211C is adjusted, for example, so that the angle of reflection with respect to the angle of incidence of the standard driver's line of sight on the left end portion 211L is directed in an appropriate direction diagonally left behind the vehicle 1.
  • the angle of the right end portion 211R with respect to the central portion 211C is adjusted, for example, so that the angle of reflection with respect to the angle of incidence of a standard driver's line of sight on the right end portion 211R is directed in an appropriate direction diagonally right behind the vehicle 1. .
  • a central portion 211C of the center display 211 is divided into a display portion 211CL in front of the driver's seat 201, a display portion 211CC between the driver's seat 201 and the passenger's seat 202, and a display portion 211CR in front of the passenger's seat 202. Note that it is also possible to configure one display unit by connecting the display unit 211CL, the display unit 211CC, and the display unit 211CR.
  • a central portion 211C of the center display 211 displays, for example, information for assisting driving, an image of the surroundings of the vehicle 1, infotainment-related information, and the like.
  • the display unit 211CL mainly displays information for the driver.
  • the display unit 211CC displays information related to infotainment (in-vehicle infotainment) such as audio, video, websites, and maps.
  • the display unit 211CR displays infotainment-related information for passengers in the front passenger seat.
  • a left end portion 211L of the center display 211 is provided with a display portion 211LL.
  • a right end portion 211R of the center display 211 is provided with a display portion 211RR.
  • the display unit 211LL and the display unit 211RR are mainly used as digital outer mirrors (electronic side mirrors) that replace conventional side mirrors. That is, the display unit 211LL and the display unit 211RR are used for CMS.
  • the display unit 211LL displays an image of the oblique left rear of the vehicle 1 photographed by the camera 51 .
  • the display unit 211RR displays an image of the oblique right rear of the vehicle 1 photographed by the camera 51 .
  • the console display 212 is provided on a console provided between the driver's seat 201 and the front passenger's seat 202, and is arranged below the central portion 211C of the center display 211.
  • the console display 212 is composed of, for example, a two-dimensional or three-dimensional touch panel, and can be operated by touching or bringing a finger or the like into contact with it.
  • the console display 212 faces the rear of the vehicle 1 .
  • the console display 212 faces obliquely upward at an angle substantially similar to that of the central portion 211C of the center display 211 .
  • the center display 211 and the console display 212 create a sense of unity as if they were connected in a continuous manner. Further, like the center portion 211C of the center display 211, the visibility of the console display 212 is improved.
  • the console display 212 displays, for example, an operation screen for operating information displayed on the center display 211, an operation screen for operating air conditioning equipment in the vehicle, and the like.
  • the head-up display includes a display 213 (hereinafter referred to as HUD display 213) provided in front of the driver's seat 201, as shown in FIG.
  • the HUD display 213 may be part of the windshield 204 or may be provided separately from the windshield 204 . In the latter case, for example, the HUD display 213 is attached to the windshield 204 .
  • the visual information is superimposed within the field of view of the driver.
  • the HUD display 213 displays information that assists driving, for example.
  • the display range of the HUD display 213 is expected to expand in the future. For example, it is assumed that the display range of the HUD display 213 is expanded to near the upper end of the windshield 204 or expanded to near the left and right ends of the windshield 204 .
  • the digital rearview mirror 214 is used in place of a conventional rearview mirror and is also called a smart rearview mirror.
  • the digital rear mirror 214 is provided at the upper end of the windshield 204 and slightly forward near the center, and is arranged above the central portion 211C of the center display 211, like a conventional rearview mirror.
  • the digital rear mirror 214 displays an image of the rear of the vehicle 1 captured by the camera 51, for example.
  • directions in images displayed on each display of the vehicle 1 are basically expressed with the direction of the vehicle 1 as a reference.
  • the left direction in the rearward image of the vehicle 1 is the right direction with respect to the vehicle 1 (as seen from the driver in the vehicle 1), and is therefore referred to as the right direction.
  • This process is started, for example, when the driver performs an operation for parking the vehicle 1, or when the recognition unit 73 detects that the vehicle 1 is approaching the planned parking position. .
  • step S ⁇ b>1 the output unit 154 starts parking assistance under the control of the output control unit 153 .
  • the output unit 154 starts displaying visual information for assisting parking under the control of the output control unit 153 .
  • a specific example of visual information for assisting parking will be described later.
  • step S2 the recognition unit 73 determines whether or not an obstacle exists. Specifically, the recognition unit 73 executes detection processing of obstacles near the position where the vehicle 1 is going to park, based on sensor data from the external recognition sensor 25 and the like.
  • the obstacle is not limited to an object with which the vehicle 1 may collide or come into contact with during parking. It also includes an object that exists at a certain position.
  • step S3 the output unit 154 displays an obstacle warning under the control of the output control unit 153.
  • a specific example of warning display will be described later.
  • step S2 determines whether obstacle exists. If it is determined in step S2 that no obstacle exists, the process of step S3 is skipped and the process proceeds to step S4.
  • step S4 the vehicle control unit 32 determines whether parking has been stopped. If it is determined that parking has not been stopped, the process proceeds to step S5.
  • step S5 the vehicle control unit 32 determines whether or not parking is completed. If it is determined that parking is not completed, the process returns to step S2.
  • step S2 After that, the processing from step S2 to step S5 is repeatedly executed until it is determined that parking is stopped in step S4 or that parking is completed in step S5.
  • step S5 determines whether parking has been completed. If it is determined in step S5 that parking has been completed, the process proceeds to step S6.
  • step S6 the output unit 154 displays the parking position under the control of the output control unit 153.
  • a specific example of displaying the parking position will be described later.
  • step S4 determines whether parking has been stopped. If it is determined in step S4 that parking has been stopped, the processing of steps S5 and S6 is skipped, and the processing proceeds to step S7.
  • step S7 the output unit 154 ends parking assistance under the control of the output control unit 153.
  • the output unit 154 ends the display of visual information for assisting parking under the control of the output control unit 153 .
  • FIGS. 6 to 9 show examples of images displayed on the display section 211CC of the central section 211C of the center display 211 when the vehicle is parked. Specifically, an example of parking the vehicle 1 in the parking space 303 between the vehicle 301 and the vehicle 302 is shown. A pillar 304 stands on the left rear of the parking space 303 .
  • FIGS. 6 and 7 are displayed side by side on the display section 211CC of the center display 211.
  • visual information 311 and visual information 312 are superimposed on an image of the surroundings of the vehicle 1 viewed from above (hereinafter referred to as a top-view image).
  • the visual information 311 is superimposed on the road surface behind the vehicle 1 and guides the traveling direction for parking the vehicle 1 .
  • the color of the visual information 311 is set to translucent green, for example.
  • the visual information 312 indicates the recommended position of the rear end of the vehicle 1 when parked.
  • the color of the visual information 312 is set, for example, to a color that attracts attention (eg, translucent red).
  • visual information 313 and visual information 314 are superimposed on the image behind the vehicle 1 (hereinafter referred to as the rear image).
  • the visual information 313 corresponds to the visual information 311 in FIG. 6, is superimposed on the road surface of the rear image, and guides the traveling direction for parking the vehicle 1 .
  • the color of the visual information 313 is set to the same color as the visual information 311 .
  • Visual information 314 corresponds to visual information 312 of FIG. 6 and extends vertically and indicates the recommended position of the rear end of vehicle 1 when parked.
  • the color of the visual information 314 is set to the same translucent color as the visual information 312 , and the pillars 304 and the like behind the visual information 314 are visible through the visual information 314 .
  • the visual information 314 is represented only by dotted lines for the sake of easy understanding of the figure.
  • FIGS. 8 and 9 show examples of images displayed on the display section 211CC of the center display 211 when the vehicle 1 backs up from the states of FIGS. 6 and 7.
  • FIG. 8 and 9 show examples of images displayed on the display section 211CC of the center display 211 when the vehicle 1 backs up from the states of FIGS. 6 and 7.
  • visual information 313 and visual information 314 are superimposed on the rear image. Additionally, visual information 315 is superimposed on the rear image.
  • the visual information 315 includes translucent rectangular cells arranged in a grid so as to overlap the visual information 314 . For example, the driver can recognize the width and height of the rear obstacle from the rectangular squares.
  • the grid overlapping the obstacle has a different display mode (for example, a different color) from the other grids.
  • Obstacles with which the back door may collide or contact include, for example, objects in the air such as tree branches.
  • the pillar 304 exists at a position where there is a possibility of collision or contact when the back door of the vehicle 1 is opened.
  • translucent red The colors of other squares are set to, for example, a color indicating safety (eg, translucent blue).
  • FIG. 10 Specifically, as shown in FIG. 10, an example of parking the vehicle 1 in a parking space 331 with a low ceiling will be described.
  • the images of A and B in FIG. 11 are displayed side by side on the display section 211CC in the central section 211C of the center display 211.
  • the image of A in FIG. 11 is a top-view image of the surroundings of the vehicle 1.
  • visual information 341L, visual information 341R, and visual information 342 are superimposed on the rearward image of the vehicle 1 .
  • the visual information 341L and the visual information 341R include auxiliary lines of a predetermined color (for example, white) that guide the direction of travel for parking the vehicle 1.
  • the visual information 341L and the visual information 341R are arranged side by side according to the width of the vehicle 1 and superimposed on the road surface of the rear image.
  • the visual information 342 indicates the range of the entrance of the parking lot with a plurality of translucent rectangular cells arranged along the frame of the entrance of the parking lot. This prevents the vehicle 1 from colliding or contacting the entrance of the parking lot.
  • the display mode of the upper side of the visual information 342 is changed as shown in FIG. 12B. changes.
  • the color of the upper side of the visual information 342 changes or blinks. This prevents the upper end of the vehicle 1 from colliding or contacting the entrance of the parking lot.
  • FIG. 13 shows an example in which the vehicle 1 is further backed up compared to the states of FIGS. 11 and 12.
  • FIG. 13 shows an example in which the vehicle 1 is further backed up compared to the states of FIGS. 11 and 12.
  • the image of A in FIG. 13 is a top-view image of the surroundings of the vehicle 1.
  • visual information 341L and visual information 341R are superimposed on the rearward image of the vehicle 1 in the same manner as in B of FIG. 11 and B of FIG. Also, visual information 343 and visual information 344 are superimposed on the rear image.
  • the visual information 343 indicates the position and shape of the pillar 332 on the front of the pillar 332 on the right rear of the vehicle 1 by means of a plurality of translucent rectangular cells of a predetermined color (eg, yellow). Each square of the visual information 343 blinks at a constant cycle so that the light appears to move in a predetermined direction, for example. Thereby, even if the visual information 343 is superimposed, the visibility of the column 332 is improved.
  • a predetermined color eg, yellow
  • the visual information 344 indicates the position and shape of the wall 333 by translucent rectangular cells of a predetermined color (eg, yellow) arranged along the left rear wall 333 of the vehicle 1 .
  • a predetermined color eg, yellow
  • Each square of the visual information 344 blinks at a constant cycle so that the light appears to move in a predetermined direction, for example. This improves the visibility of the wall 333 even when the visual information 343 is superimposed.
  • FIG. 14 a third display example of visual information during parking assistance will be described with reference to FIGS. 14 to 18.
  • FIG. 14 an example will be described in which the vehicle 1 is parked in a place where a trash can 361 and a trash can 362 are placed behind.
  • the trash can 361 and the trash can 362 are arranged side by side, and the trash can 361 is placed behind the vehicle 1 .
  • the trash can 361 has a small protrusion at the bottom right and back.
  • the images of A and B in FIG. 15 are displayed side by side on the display section 211CC in the central section 211C of the center display 211.
  • visual information 371 is superimposed on the top-view image of the surroundings of the vehicle 1 .
  • the visual information 371 is superimposed slightly in front of the front of the trash can 361 located within a predetermined distance from the rear end of the vehicle 1 .
  • the visual information 371 is linear and set to an attention-getting color (eg, yellow).
  • visual information 372L, visual information 372R, and visual information 373 are superimposed on the rearward image of the vehicle 1 .
  • the visual information 372L and the visual information 372R include auxiliary lines that guide the traveling direction for parking the vehicle 1, similar to the visual information 341L and the visual information 341R in FIG.
  • the visual information 372L and the visual information 372R extend to a position where the vehicle 1 can back up without colliding or contacting the trash can 361 .
  • the visual information 373 corresponds to the visual information 371 in FIG. 15A, and indicates the position and shape of the front surface of the trash can 361 by means of rectangular cells arranged in a grid on the front surface of the trash can 361 .
  • the color of each cell is set to be translucent and the same color as the visual information 371, for example.
  • the images of A and B in FIG. displayed side by side.
  • the color of the visual information 371 changes to a color that indicates danger (eg, red).
  • the visual information 374 is superimposed slightly before the front surface of the protrusion of the trash can 361 located within a predetermined distance from the rear end of the vehicle 1 .
  • the visual information 374 is linear and set to the same color as the visual information 371 in FIG. 15A.
  • the color of the visual information 373 changes to a color indicating danger (eg, translucent red), similar to the visual information 371 in A of FIG.
  • the visual information 375 corresponds to the visual information 374 in FIG. 16A, and indicates the position and shape of the projection of the trash can 361 by means of rectangular cells arranged in a grid pattern in front of the projection of the trash can 361.
  • the color of each square is set to the same color as the visual information 373 in B of FIG.
  • the driver can recognize the position and shape of the trash can 361, which is an obstacle. Also, the driver can recognize a position where the vehicle 1 can be backed up and park the vehicle 1 without colliding or contacting the trash can 361 .
  • FIG. 17 and 18 show modified examples of visual information indicating the position and shape of the trash can 361.
  • the visual information 381 is indicated by a dotted line in the drawing, but actually includes a rectangular frame represented by a flow of light that rotates in a predetermined direction along the contour (outer circumference) of the front surface of the trash can 361. .
  • the color of visual information 381 is set to a color that attracts attention (eg, yellow).
  • the visual information 381 changes to a color (eg, red) indicating danger.
  • the visual information 381 is superimposed only on the outline without covering the front surface of the trash can 361, so the visibility of the trash can 361 is improved.
  • FIG. 19 an example of an image displayed on the display portion 211CC of the central portion 211C of the center display 211 when the vehicle 1 is parked on the shoulder will be described.
  • a top-view image of the surroundings of the vehicle 1 is displayed on the left side of the display section 211CC, and a rear image of the vehicle 1 or an image in front of the vehicle 1 (hereinafter referred to as a front image) is displayed on the right side. .
  • the visual information 411 and the visual information 412 are superimposed on the top view image.
  • the visual information 411 indicates the appropriate parking position with a dotted frame of a predetermined color (eg, white) that is approximately the same size as the vehicle 1 .
  • a predetermined color eg, white
  • the visual information 411 is superimposed on the road surface between the vehicles 401 and 402 at positions where the distance between the vehicles 401 and 402 is approximately equal.
  • the visual information 412 includes an auxiliary line of a predetermined color (eg, white) that indicates the trajectory of the vehicle 1 predicted based on the current state of the vehicle 1 (eg, the state of the steering system).
  • a predetermined color eg, white
  • FIG. 21 to 23 show examples of top view images when the vehicle 1 is parked in the space indicated by the visual information 411.
  • FIG. 21 to 23 show examples of top view images when the vehicle 1 is parked in the space indicated by the visual information 411.
  • the visual information 412 has disappeared and the display mode of the visual information 411 has changed.
  • the line type of the visual information 411 changes from a dotted line to a straight line.
  • the color may also be changed from white to green or the like.
  • the visual information 413 includes a rectangular frame surrounding the area between the vehicle 401 and the vehicle 402 in front of and behind the vehicle 1, and a cross auxiliary line indicating the center of the rectangular frame.
  • the visual information 414 includes a frame surrounding the vehicle 1 and an auxiliary line indicating the inter-vehicle distance between the vehicle 401 and the vehicle 402 in front of and behind the frame.
  • FIGS. 21 to 23 The visual information in FIGS. 21 to 23 allows the driver to recognize that the vehicle 1 has been parked in an appropriate position.
  • the visual information 411 remains displayed without changing its display mode, as shown in FIG. Thereby, the driver can recognize that the vehicle 1 is not parked in an appropriate position.
  • the driver can park the vehicle 1 at an appropriate position.
  • Figures 25 and 26 show examples of images displayed when searching for a parking space.
  • FIG. 25 shows an example of an image displayed on the display portion 211CC of the center portion 211C of the center display 211 when a parking space is detected between the vehicle 431 and the vehicle 432. .
  • a parking space is, for example, a space that is longer than the full length of the vehicle 1 by a predetermined length or longer.
  • the visual information 441 includes a rectangular parallelepiped gradation area whose color gradually becomes lighter as it goes upward from the road surface.
  • the display mode (for example, color) of the gradation area changes, for example, depending on the size of the parking space. For example, if the difference between the total length of the parking space and the total length of the vehicle 1 is greater than or equal to a predetermined threshold, the color is set to a color (eg, translucent green) indicating that the parking space is sufficiently large. On the other hand, for example, when the difference between the total length of the parking space and the total length of the vehicle 1 is less than a predetermined threshold, the color is set to indicate that the parking space is narrow (eg, translucent yellow).
  • FIG. 26 shows an example of an image displayed on the display portion 211RR of the right end portion 211R of the center display 211 when a parking space is detected between the vehicle 431 and the vehicle 432.
  • the visual information 442 is superimposed on the parking space.
  • the visual information 442 includes a gradation area similar to the visual information 441 in FIG.
  • the display mode (for example, color) of the gradation area changes according to the size of the parking space, similar to the visual information 441 .
  • FIGS. 27 and 28 show examples of images displayed when the vehicle 1 is parked in the found available parking space.
  • FIG. 27 shows an example of an image displayed on the display section 211CC of the central section 211C of the center display 211 when parallel parking is performed between the vehicle 431 and the vehicle 432.
  • the visual information 451 is superimposed on the top view image around the vehicle 1 .
  • the visual information 451 indicates the predicted trajectory of the vehicle 1 based on the current state of the vehicle 1 (eg, the state of the steering system) in a predetermined color (eg, green).
  • FIG. 28A shows an image of the left rear of the vehicle 1 displayed on the display portion 211LL of the left end portion 211L of the center display 211 when the vehicle is parked between the vehicle 431 and the vehicle 432 (hereinafter referred to as a left rear image).
  • FIG. 28B shows an example of the right rear image of the vehicle 1 displayed on the display portion 211RR of the right end portion 211R of the center display 211 when the vehicle is parked between the vehicles 431 and 432.
  • FIG. 28A shows an image of the left rear of the vehicle 1 displayed on the display portion 211LL of the left end portion 211L of the center display 211 when the vehicle is parked between the vehicle 431 and the vehicle 432 (hereinafter referred to as a left rear image).
  • FIG. 28B shows an example of the right rear image of the vehicle 1 displayed on the display portion 211RR of the right end portion 211R of the center display 211 when the vehicle is parked between the vehicles 431 and 432.
  • visual information 452 that corresponds to the visual information 451 in FIG. 27 and indicates the trajectory of the vehicle 1 predicted based on the current state of the vehicle 1 is superimposed on the right rear image in B of FIG.
  • the driver can safely and easily park the vehicle 1 while confirming the predicted trajectory of the vehicle 1.
  • This process is started, for example, when the recognition unit 73 recognizes that the vehicle 1 is turning left at a right-hand traffic intersection.
  • the left-turn support process of FIG. 29 will be described below, taking as an example the case where the vehicle 1 turns left in the direction of arrow A1 at a two-lane, right-hand traffic intersection as shown in FIG.
  • the vehicle 501 is turning left in the intersection in the middle lane of the oncoming lane, and the vehicles 502 and 503 are about to turn left following the vehicle 501 .
  • the vehicle 504 is about to go straight through the intersection in the direction of arrow A2.
  • FIG. 31 shows an example of the forward field of view seen from the driver's seat 201 of the vehicle 1 in the state of FIG. In this way, the vehicle 504 may be in the blind spot from the driver's perspective, and the driver may not be able to visually recognize the vehicle 504 .
  • the vehicle 504 is in either the sensing area 102F of the short-range radar 52 shown in FIG.
  • the recognition unit 73 can detect the vehicle 504 even if the driver cannot visually recognize the vehicle 504 .
  • step S101 the recognition unit 73 determines whether or not the vehicle can safely turn left. For example, based on the sensor data from the external recognition sensor 25, the recognition unit 73 detects an approaching vehicle in the oncoming lane that the vehicle 1 crosses to turn left at the intersection. For example, the recognition unit 73 detects a situation in which there is no approaching vehicle that may collide or contact the vehicle 1 for a predetermined period of time (for example, 5 seconds), it is determined that the left turn can be made safely, and the process proceeds to step S102.
  • a predetermined period of time for example, 5 seconds
  • step S ⁇ b>102 the output unit 154 displays left turn guidance under the control of the output control unit 153 .
  • FIG. 32 shows an example of guidance display that is superimposed on the driver's field of vision in front of the driver's seat 201 by the HUD display 213 .
  • the visual information 511 is displayed slightly to the left of the driver's center, below the driver's line of sight, and above the lower end of the windshield 204 by a predetermined height.
  • the visual information 511 includes a leftward double arrow indicating the direction of travel of the vehicle 1 .
  • the color of the visual information 511 is set to a color (for example, translucent green) that reminds that the vehicle 1 can safely turn left.
  • the center of the driver is, for example, the central axis of the driver sitting in a predetermined position in the driver's seat 201 and facing forward.
  • step S101 for example, the recognition unit 73 detects the presence of an approaching vehicle that may collide with or contact the vehicle 1 based on the relative position, relative speed, and traveling direction of the vehicle in the oncoming lane. If detected, it is determined that the left turn cannot be made safely, and the process proceeds to step S103.
  • step S103 the output unit 154 displays a warning under the control of the output control unit 153.
  • FIG. 33 shows an example of a warning display that is superimposed in the field of view of the driver in front of the driver's seat 201 by the HUD display 213.
  • FIG. 33 shows an example of a warning display that is superimposed in the field of view of the driver in front of the driver's seat 201 by the HUD display 213.
  • visual information 512 indicating the presence of an approaching vehicle is displayed slightly to the right of the center of the driver (closer to the approaching vehicle), below the driver's line of sight, and above the lower end of the windshield 204 by a predetermined height. Is displayed.
  • Visual information 512 includes triangular indicators that call attention. The color of the sign is set to, for example, black for the symbol and an attention-getting color (eg, yellow) for the background.
  • visual information 513 is displayed in the background of visual information 512 .
  • the visual information 513 includes a translucent gradation area whose color gradually becomes darker toward the right from approximately the center of the visual information 512 .
  • the color of visual information 513 is set to a color that attracts attention (eg, translucent yellow).
  • visual information 514 is displayed at the same position as the visual information 511 in FIG.
  • Visual information 514 includes a vertical double line graphic indicating a pause.
  • the color of the graphic is set, for example, to a color that attracts attention (eg, translucent yellow).
  • step S104 the vehicle control unit 32 determines whether the left turn has been stopped. If it is determined that the left turn has not been canceled, the process proceeds to step S105.
  • step S105 the vehicle control unit 32 determines whether the left turn has been completed. If it is determined that the left turn has not been completed, the process returns to step S101.
  • steps S101 to S105 is repeatedly executed until it is determined in step S104 that the left turn has been canceled or until it is determined in step S105 that the left turn has been completed.
  • step S101 when the warning display of FIG. 32 is displayed, if it is determined in step S101 that the left turn can be made safely, the warning display disappears and the guidance display of FIG. 31 is displayed.
  • the guidance display of FIG. 32 when the guidance display of FIG. 32 is performed, if it is determined in step S101 that the left turn cannot be made safely, the guidance display disappears and the warning display of FIG. 33 is performed.
  • step S104 determines whether the left turn has been canceled, or if it is determined in step S105 that the left turn has been completed. If it is determined in step S104 that the left turn has been canceled, or if it is determined in step S105 that the left turn has been completed, the process proceeds to step S106.
  • step S106 the output unit 154 ends the left turn support under the control of the output control unit 153.
  • the output unit 154 terminates the display of visual information for assisting left turns.
  • This process can also be applied, for example, when the vehicle 1 makes a right turn at a left-hand traffic intersection.
  • the position and direction of each visual information are bilaterally symmetrical with the example described above.
  • vehicle-to-vehicle communication or road-to-vehicle communication may be used to detect vehicles in oncoming lanes.
  • This process is started, for example, when the recognition unit 73 recognizes that the vehicle 1 has approached the toll gate within a predetermined distance.
  • the vehicle 1 displays the charge.
  • the recognition unit 73 recognizes the toll to be paid at the tollgate based on information obtained by the communication unit 22 communicating with the tollgate system or map information stored in the map information storage unit 23. recognize.
  • the output section 154 displays the recognized charge under the control of the output control section 153 .
  • the HUD display 213 superimposes visual information 611 in front of the driver's seat 201 within the field of view of the driver.
  • the visual information 611 is displayed in the center of the driver, below the driver's line of sight, and above the lower edge of the windshield 204 by a predetermined height.
  • Visual information 611 indicates the toll that must be paid at the toll booth.
  • an icon of a predetermined color eg, yellow is displayed to indicate that the fee has not yet been paid.
  • the output unit 154 controls the output control unit 153 before the charge is displayed, at the same time as the charge is displayed, or after the charge is displayed.
  • the driver may be alerted to grip the steering wheel 203 . This alerting is performed using at least one of visual information and auditory information.
  • step S202 the recognition unit 73 determines whether or not the lane ahead is a lane in which automatic payment is not possible. For example, the recognizing unit 73 determines the forward direction (the lane in which the vehicle 1 is traveling) based on information obtained by the communication unit 22 communicating with the system of the tollgate, image data supplied from the camera 51, or the like. It is determined whether or not the lane is for which automatic payment is not possible. If it is determined that the lane in front cannot be automatically paid, the process proceeds to step S203.
  • step S203 the output unit 154, under the control of the output control unit 153, notifies that the lane in front cannot be automatically paid.
  • the HUD display 213 superimposes visual information 612 in front of the driver's seat 201 within the field of view of the driver.
  • the visual information 612 is displayed according to the position of the toll gate lane in front of the vehicle 1 .
  • a triangular sign calling attention and a message indicating that the lane cannot be automatically paid are displayed side by side.
  • an underline appears below the message and a translucent area appears in the background of the message.
  • the color of the sign is set, for example, to black for the symbol and a color that calls attention to the background (eg, translucent yellow).
  • the color of the message, underline, and translucent areas of the background are set to a color that calls attention (eg, yellow).
  • the driver can recognize that the lane that the vehicle 1 is about to enter is a lane in which automatic payment is not possible, and can change lanes to a lane in which automatic payment is possible, if necessary.
  • step S202 determines whether the lane in front can be automatically paid. If it is determined in step S202 that the lane in front can be automatically paid, the process of step S203 is skipped and the process proceeds to step S204.
  • step S204 the vehicle control ECU 21 determines whether the automatic payment has been completed. If it is determined that automatic payment has not been completed, the process proceeds to step S205.
  • step S205 the recognition unit 73 determines whether or not the vehicle has passed through the tollgate. For example, when the recognition unit 73 determines that the vehicle has not yet passed through the toll gate based on the image data supplied from the camera 51, the process returns to step S202.
  • steps S202 to S205 is repeatedly executed until it is determined in step S204 that the automatic payment has been completed, or until it is determined in step S205 that the toll gate has been passed.
  • step S205 if it is determined in step S205 that the tollgate has been passed, the process proceeds to step S206. This is assumed, for example, when the toll is paid directly at the gate and passed through the toll booth without using automatic payment.
  • the visual information 612 in FIG. 36 disappears, for example, when the vehicle 1 enters a gate that does not allow automatic payment.
  • step S206 the output unit 154, under the control of the output control unit 153, ends the toll booth passage assistance.
  • step S204 for example, the vehicle control ECU 21 communicates with the toll gate system via the communication unit 22, and if it is determined that the automatic payment has been completed, the process proceeds to step S207.
  • step S207 the output unit 154, under the control of the output control unit 153, notifies completion of automatic payment.
  • the HUD display 213 superimposes visual information 613 in front of the driver's seat 201 within the field of view of the driver.
  • the visual information 613 has substantially the same content as the visual information 611 in FIG. 35, and is displayed at the same position as the visual information 611 .
  • an icon of a predetermined color for example, green
  • the visual information 613 is, for example, displayed for a predetermined period of time and then erased.
  • step S208 the output unit 154, under the control of the output control unit 153, ends the toll booth passage assistance.
  • the driver can easily recognize lanes in which automatic payment is possible and lanes in which automatic payment is not possible, and can select appropriately.
  • the output unit 154 outputs at least one of visual information and auditory information under the control of the output control unit 153 may be used to encourage the use of automatic driving level 2+.
  • This process is started, for example, when the recognition unit 73 predicts that the vehicle 1 will enter a roundabout (roundabout).
  • the method by which the recognition unit 73 predicts that the vehicle 1 will enter the roundabout is not particularly limited.
  • the recognition unit 73 identifies the roundabout entrance based on at least one of the sensor data from the external recognition sensor 25, the current position of the vehicle 1, and the map information accumulated in the map information accumulation unit 23. recognize. Then, for example, when the recognition unit 73 recognizes the stop line at the entrance of the roundabout, when it stops before the stop line at the entrance of the roundabout, or near the entrance of the roundabout, is activated, it is predicted that the vehicle 1 will enter the roundabout.
  • the vehicle 1 enters the roundabout 701 from the entrance 701A1, proceeds counterclockwise in the direction of the arrow A11, and exits from the exit 701B4 will be described.
  • the roundabout 701 is arranged counterclockwise in order of entrance 701A1, exit 701B2, entrance 701A2, exit 701B3, entrance 701A3, exit 701B4, entrance 701A4, and exit 701B1.
  • the vehicle 702 is running between the entrance 701A3 and the exit 701B4, and the vehicle 703 is waiting in front of the entrance 701A4.
  • step S301 the recognition unit 73 determines whether another vehicle is approaching based on sensor data from the external recognition sensor 25 or the like. If it is determined that another vehicle is approaching, the process proceeds to step S302.
  • step S302 the output unit 154 displays a warning under the control of the output control unit 153. That is, a warning is displayed before entering the roundabout 701 .
  • FIG. 40 shows an example of a warning display that is superimposed in the field of view of the driver in front of the driver's seat 201 by the HUD display 213.
  • FIG. 40 shows an example of a warning display that is superimposed in the field of view of the driver in front of the driver's seat 201 by the HUD display 213.
  • the visual information 711 is displayed on the left side of the center of the driver (toward the approaching vehicle), below the line of sight of the driver, and above the lower end of the windshield 204 by a predetermined height.
  • Visual information 711 includes triangular indicators that call attention.
  • the color of the sign is set to, for example, black for the symbol and an attention-getting color (eg, yellow) for the background.
  • visual information 712 is displayed in the background of visual information 711.
  • the visual information 712 includes, for example, a translucent gradation area whose color gradually becomes darker toward the left from approximately the center of the visual information 711 .
  • the color of visual information 712 is set to a color that attracts attention (eg, translucent yellow).
  • visual information 713 is displayed slightly to the right of the center of the driver, below the line of sight of the driver, and above the lower end of the windshield 204 by a predetermined height.
  • Visual information 711 includes a right-pointing double arrow indicating the direction of travel at roundabout 701 , more specifically, the direction of entry into roundabout 701 .
  • the vehicle 702 is approaching from the left and entering the roundabout 701 is dangerous, so the color of the double arrow is set to a color that evokes danger (for example, translucent red). .
  • FIG. 41 shows a state in which the viewpoint is moved toward the window of the driver's seat 201 in the state of FIG.
  • the visual information 711 and the visual information 712 are arranged at positions where the movement of the vehicle 702 and the vehicle 703 can be confirmed from the window of the driver's seat 201 and can be visually recognized at the same time.
  • the output unit 154 outputs a warning sound that notifies the approach of the vehicle from the direction in which the vehicle is approaching using 360-degree real audio under the control of the output control unit 153. good too.
  • step S301 determines whether another vehicle is approaching. If it is determined in step S301 that another vehicle is not approaching, the process proceeds to step S303.
  • step S ⁇ b>303 the output unit 154 determines the approach direction under the control of the output control unit 153 .
  • the HUD display 213 superimposes only the visual information 713 in FIG.
  • step S304 the recognition unit 73 determines whether or not the vehicle has entered the roundabout 701 based on sensor data from the external recognition sensor 25 and the like. If it is determined that the roundabout 701 has not yet been entered, the process returns to step S301.
  • steps S301 to S304 is repeatedly executed until it is determined that the vehicle has entered the roundabout 701 in step S304.
  • step S304 determines whether the vehicle has entered the roundabout 701 or not. If it is determined in step S304 that the vehicle has entered the roundabout 701, the process proceeds to step S305.
  • step S305 the output unit 154 displays the traveling direction under the control of the output control unit 153.
  • FIG. 43 shows a display example of the traveling direction superimposed on the driver's field of vision in front of the driver's seat 201 by the HUD display 213 in the state of FIG.
  • the visual information 741 is displayed slightly to the left of the center of the driver (from the direction of travel), below the line of sight of the driver, and above the lower end of the windshield 204 by a predetermined height.
  • the visual information 741 includes a left-pointing double arrow of a predetermined color (eg, translucent green) that indicates the traveling direction of the vehicle 1 .
  • FIG. 44 shows a state in which the viewpoint is moved toward the window of the driver's seat 201 in the state of FIG.
  • the visual information 741 is arranged at a position where it can be visually recognized while simultaneously confirming the movement of the vehicle 731 and the vehicle 732 from the window of the driver's seat 201 .
  • the driver can confirm the safety in the direction of travel while recognizing the direction of travel.
  • step S306 the recognition unit 73 determines whether or not the vehicle is approaching an exit different from the exit from which the vehicle exits. For example, when the recognition unit 73 detects that an exit different from the exit exiting exists within the display range of the HUD display 213 based on sensor data or the like from the external recognition sensor 25, the exit exit is different from the exit exit. It is determined that the vehicle is approaching the exit, and the process proceeds to step S307.
  • step S307 the output unit 154, under the control of the output control unit 153, warns that it is not the exit to leave.
  • FIG. 46 shows an example of a warning display superimposed in front of the driver's seat 201 within the field of view of the driver by the HUD display 213 in the state of FIG.
  • visual information 771 is displayed in addition to visual information 741 similar to that in FIG.
  • the visual information 771 includes diagonal stripes displayed in line with the position of the exit 701B3.
  • the color of the stripe is set to a color that attracts attention (eg, translucent yellow).
  • the visual information 771 is displayed on the outer circumference of the roundabout 701 at the exit 701B3, the driver may misunderstand that the circular road inside the roundabout 701 is prohibited.
  • visual information 771 is superimposed on the road surface extending out of roundabout 701 from exit 701B3 outside the perimeter of roundabout 701, within the driver's field of vision.
  • the visual information 771 is displayed according to the position of the pedestrian crossing located outside the perimeter of the roundabout 701 near the exit 701B3.
  • the display position of the visual information 771 relative to the exit 701B3 is fixed. Therefore, the display position of the visual information 771 moves along with the movement of the vehicle 1 and the movement of the position of the exit 701B3 seen through the HUD display 213 .
  • step S ⁇ b>306 for example, when the recognition unit 73 detects that an exit different from the exit exit does not exist within the display range of the HUD display 213 based on sensor data or the like from the external recognition sensor 25 . , it is determined that the vehicle is not approaching an exit different from the exit from which the vehicle exits, the process of step S307 is skipped, and the process proceeds to step S308.
  • step S308 the recognition unit 73 determines whether or not the exit is approaching. For example, when the recognizing unit 73 detects that the exit exit is within the display range of the HUD display 213 based on the sensor data or the like from the external recognition sensor 25, it is determined that the exit exit is approaching. It is determined, and the process proceeds to step S309.
  • step S309 the output unit 154 guides the exit to exit under the control of the output control unit 153.
  • FIG. 48 shows a first example of guidance display for exiting, which is superimposed in front of the driver's seat 201 and within the field of view of the driver by the HUD display 213 in the state of FIG.
  • visual information 811 and visual information 812 are displayed.
  • the visual information 811 is displayed at the same position as the visual information 741 in FIG. However, in this case, the direction of travel of the vehicle 1 is reversed, so the visual information 811 is a right-pointing double arrow of a predetermined color (for example, translucent green) indicating the direction of travel opposite to that of the visual information 741 . include.
  • the visual information 812 includes a line indicating the position of the exit 701B4 from which the vehicle 1 exits, and a gradation area above the line whose color gradually fades.
  • the color of the line is set to a color (eg, green) that evokes an exit exit.
  • the gradation area is set to a color (eg, translucent green) that evokes an exit exit.
  • the visual information 812 is displayed at the same position as the visual information 771 in FIG. 46 with respect to the exit 701B4. That is, the visual information 812 is superimposed on the road surface extending outside the roundabout 701 from the exit 701B4 outside the perimeter of the roundabout 701 within the driver's field of vision.
  • the display position of the visual information 812 relative to the exit 701B4 is fixed. Therefore, the vehicle 1 moves, and the display position of the visual information 812 moves along with the movement of the position of the exit 701B4 seen through the HUD display 213.
  • FIG. 1 the display position of the visual information 812 relative to the exit 701B4 is fixed. Therefore, the vehicle 1 moves, and the display position of the visual information 812 moves along with the movement of the position of the exit 701B4 seen through the HUD display 213.
  • the visual information 811 and the visual information 812 disappear when the vehicle 1 moves to a position where the visual information 812 whose display position is fixed relative to the exit 701B4 disappears.
  • 49 to 51 show examples in which a vehicle 803 is present preceding the display areas of the visual information 811 and the visual information 812.
  • FIG. 49 to 51 show examples in which a vehicle 803 is present preceding the display areas of the visual information 811 and the visual information 812.
  • visual information 811 and visual information 812 are superimposed and displayed on the vehicle 803 as they are.
  • the display mode for example, color
  • the portion of the visual information 812 that overlaps with the vehicle 803 may be changed.
  • the visual information 811 is superimposed on the vehicle 803 and displayed.
  • the portion of the visual information 812 that overlaps with the vehicle 803 has disappeared.
  • the visual information 811 is superimposed on the vehicle 803 and displayed.
  • the line overlapping the vehicle 803 is a dotted line.
  • FIG. 52 shows a second example of a guidance display for exiting, which is superimposed in front of the driver's seat 201 and within the field of view of the driver by the HUD display 213 in the state of FIG.
  • visual information 811 is displayed in the same way as compared with the example of FIG. 48, and visual information 813 is displayed instead of visual information 812.
  • the visual information 813 includes auxiliary lines extending along both ends of the road extending out of the roundabout 701 from the exit 701B3.
  • the color of the auxiliary line is set to a color (for example, green) that reminds us of the exit.
  • the visual information 811 and the visual information 813 disappear when the vehicle 1 exits from the exit 701B4 and proceeds to a predetermined position, for example, when it crosses the pedestrian crossing at the exit 701B4. At this time, for example, the visual information 811 and the visual information 813 may be faded out.
  • FIGS. 53 to 55 show examples in which a vehicle 803 precedes the display areas of the visual information 811 and the visual information 813.
  • FIG. 53 shows examples in which a vehicle 803 precedes the display areas of the visual information 811 and the visual information 813.
  • visual information 811 and visual information 813 are superimposed and displayed on the vehicle 803 as they are.
  • the display mode for example, color
  • the portion of the visual information 813 that overlaps with the vehicle 803 may be changed.
  • the visual information 811 is superimposed on the vehicle 803 and displayed.
  • the portion overlapping the vehicle 803 has disappeared.
  • the visual information 811 is superimposed on the vehicle 803 and displayed.
  • the auxiliary line of the portion overlapping the vehicle 803 is a dotted line.
  • FIG. 56 shows a third example of guidance display for exiting, which is superimposed in front of the driver's seat 201 and within the field of view of the driver by the HUD display 213 in the state of FIG.
  • visual information 811 is displayed in the same way as compared with the example of FIG. 52, and visual information 814 is displayed instead of visual information 813.
  • the visual information 814 differs from the visual information 813 in FIG. 52 in that the auxiliary lines are dotted lines.
  • the color of the auxiliary line is set to a color (for example, green) that reminds us of the exit.
  • the visual information 811 and the visual information 814 disappear when the vehicle 1 exits from the exit 701B4 and proceeds to a predetermined position, for example, when it crosses the pedestrian crossing at the exit 701B4. At this time, for example, the visual information 811 and the visual information 814 may be faded out.
  • FIG. 57 to 59 show examples in which a vehicle 803 is present preceding the display areas of the visual information 811 and the visual information 814.
  • FIG. 57 to 59 show examples in which a vehicle 803 is present preceding the display areas of the visual information 811 and the visual information 814.
  • visual information 811 and visual information 814 are superimposed and displayed on the vehicle 803 as they are.
  • the display mode for example, color
  • the portion of the visual information 814 that overlaps with the vehicle 803 may be changed.
  • the visual information 811 is superimposed on the vehicle 803 and displayed.
  • the portion overlapping the vehicle 803 has disappeared.
  • the visual information 811 is superimposed on the vehicle 803 and displayed.
  • the points of the auxiliary lines in the portion overlapping the vehicle 803 are small.
  • the driver can accurately recognize the exit to exit from and exit the vehicle 1 through the recognized exit.
  • step S308 for example, based on sensor data from the external recognition sensor 25 or the like, the recognition unit 73 detects that the exit to exit does not exist within the display range of the HUD display 213. is not approached, the process of step S309 is skipped, and the process proceeds to step S310.
  • step S ⁇ b>310 the recognition unit 73 determines whether or not the vehicle has left the roundabout 701 based on sensor data from the external recognition sensor 25 . If it is determined that the vehicle has not left the roundabout 701, the process returns to step S305.
  • steps S305 to S310 are repeatedly executed until it is determined in step S310 that the vehicle has left the roundabout 701.
  • step S310 determines whether the vehicle has left the roundabout 701 or not. If it is determined in step S310 that the vehicle has left the roundabout 701, the process proceeds to step S311.
  • step S311 the output unit 154 ends the roundabout driving assistance under the control of the output control unit 153.
  • the driver can safely enter the roundabout 701, drive the vehicle 1 safely through the roundabout 701, and exit from the desired exit.
  • This process can also be applied, for example, when the vehicle 1 runs on a clockwise roundabout.
  • the position and direction of each visual information are bilaterally symmetrical with the example described above.
  • the visual information that assists driving in accordance with the driving action is displayed within the field of view of the driver and the surroundings of the vehicle 1 that are presented to the driver. It is superimposed on at least one of the surrounding images. As a result, driving can be appropriately assisted using visual information.
  • the types of vehicles to which this technology can be applied are not particularly limited.
  • this technology can also be applied to moving bodies (for example, motorbikes, etc.) that are equipped with windshields other than vehicles.
  • the present technology can also be applied to a moving object that includes a transparent member such as a windshield that allows a display to be installed within the driver's field of vision.
  • FIG. 22 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by means of a program.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is further connected to the bus 1004 .
  • An input unit 1006 , an output unit 1007 , a storage unit 1008 , a communication unit 1009 and a drive 1010 are connected to the input/output interface 1005 .
  • the input unit 1006 consists of input switches, buttons, a microphone, an imaging device, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, nonvolatile memory, and the like.
  • a communication unit 1009 includes a network interface and the like.
  • a drive 1010 drives a removable medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 1001 loads, for example, a program recorded in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program. A series of processes are performed.
  • the program executed by the computer 1000 can be provided by being recorded on removable media 1011 such as package media, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by loading the removable medium 1011 into the drive 1010 . Also, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 1002 and the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this technology can take the configuration of cloud computing in which a single function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • the information processing apparatus wherein at least one of the second visual information, which is the visual information for deterrence, is superimposed within the field of view of the driver.
  • the second visual information is superimposed on the road surface extending from the second exit to the outside of the roundabout outside the perimeter of the roundabout within the field of view of the driver.
  • Information processing equipment (5) The information processing apparatus according to any one of (2) to (4), wherein the output control unit superimposes the visual information indicating the traveling direction of the moving body on the roundabout within the visual field of the driver.
  • the information processing apparatus according to (5), wherein the visual information is superimposed closer to the traveling direction than the center of the driver within the visual field of the driver.
  • the output control unit superimposes within the field of view of the driver the visual information that draws attention to another moving object approaching the moving object within the roundabout before entering the roundabout. ) to (4).
  • the information processing apparatus according to (7) wherein the visual information is superimposed toward the direction of the other mobile body from the center of the driver within the visual field of the driver.
  • the output control unit converts the visual information indicating at least one of the position and shape of an obstacle behind the vehicle to the surrounding image behind the vehicle.
  • the information processing apparatus according to (1) which is superimposed on a rear image.
  • the output control unit changes the display mode of the visual information when the obstacle exists at a position where the back door collides or contacts when the back door of the moving body is opened.
  • the visual information includes at least one of a frame surrounding an outer circumference of at least a portion of the obstacle, and rectangular cells arranged in a grid pattern and superimposed on at least a portion of the obstacle.
  • the information processing device according to (10).
  • the output control unit superimposes the visual information indicating a parking space on the surrounding image, and changes the display mode of the visual information when the moving object is parked in the space.
  • the information processing apparatus wherein the visual information indicates a trajectory of the mobile object predicted from the state of the mobile object when the vehicle is parked, and superimposes the visual information on the surrounding image.
  • the output control unit determines whether or not the moving object can safely turn at the intersection based on the presence or absence of another moving object approaching the intersection in the oncoming lane when the moving object turns at the intersection and crosses the oncoming lane.
  • the information processing apparatus according to (1), wherein the visual information indicating whether or not is superimposed on the visual field of the driver.
  • the output control unit further superimposes the visual information indicating the existence of the other mobile object on the visual field of the driver.
  • a sensing unit that senses the surroundings; a communication unit that communicates with the outside; Based on at least one of a sensing result by the sensing unit, externally acquired information, and internally accumulated information, visual information for assisting driving is displayed within the driver's field of vision and to the driver. and an output superimposed on at least one of the surrounding images to be presented to the moving object.
  • Vehicle 11 Vehicle control system, 21 Vehicle control ECU, 23 Map information storage unit, 25 External recognition sensor, 31 HMI, 32 Vehicle control unit, 51 Camera, 52 Radar, 53 LiDAR, 54 Ultrasonic sensor, 71 Self position estimation section, 73 recognition section, 81 steering control section, 153 output control section, 154 output section, 201 driver's seat, 204 windshield, 211 center display, 211LL to 211RR display section, 213 display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、視覚情報を用いて適切に運転を支援することができるようにする情報処理装置、情報処理方法、及び、移動体に関する。 情報処理装置は、移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、前記運転者の視界内、及び、運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる出力制御部を備える。本技術は、例えば、車両に適用できる。

Description

情報処理装置、情報処理方法、及び、移動体
　本技術は、情報処理装置、情報処理方法、及び、移動体に関し、視覚情報を用いて運転を支援する情報処理装置、情報処理方法、及び、移動体に関する。
　近年、ヘッドアップディスプレイ（ＨＵＤ）を用いて運転者を支援する視覚情報を提示する車両の開発が進んでいる（例えば、特許文献１参照）。
国際公開第２０１８／１６８５３１号
　今後、車両に搭載される表示装置の数が増加したり、ヘッドアップディスプレイ等の表示装置のサイズが大型化したりすることが予想される。そして、それらの表示装置により表示される視覚情報を用いて適切に運転を支援できるようにすることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、視覚情報を用いて適切に運転を支援できるようにするものである。
　本技術の第１の側面の情報処理装置は、移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる出力制御部を備える。
　本技術の第１の側面の情報処理方法は、移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる。
　本技術の第１の側面においては、移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報が、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳される。
　本技術の第２の側面の移動体は、周囲のセンシングを行うセンシング部と、外部と通信を行う通信部と、前記センシング部によるセンシング結果、外部から取得した情報、及び、内部に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する周囲の画像のうち少なくとも一方に重畳する出力部とを備える。
　本技術の第２の側面においては、周囲のセンシングが行われ、外部と通信が行われ、センシング結果、外部から取得した情報、及び、内部に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報が、運転者の視界内、及び、前記運転者に対して提示する周囲の画像のうち少なくとも一方に重畳される。
車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 ＨＭＩの詳細な構成例を示すブロック図である。 車両の表示システムを構成するディスプレイの構成例を示す図である。 駐車支援処理を説明するためのフローチャートである。 駐車支援時の視覚情報の第１の表示例を説明するための図である。 駐車支援時の視覚情報の第１の表示例を説明するための図である。 駐車支援時の視覚情報の第１の表示例を説明するための図である。 駐車支援時の視覚情報の第１の表示例を説明するための図である。 駐車支援時の視覚情報の第２の表示例を説明するための図である。 駐車支援時の視覚情報の第２の表示例を説明するための図である。 駐車支援時の視覚情報の第２の表示例を説明するための図である。 駐車支援時の視覚情報の第２の表示例を説明するための図である。 駐車支援時の視覚情報の第３の表示例を説明するための図である。 駐車支援時の視覚情報の第３の表示例を説明するための図である。 駐車支援時の視覚情報の第３の表示例を説明するための図である。 駐車支援時の視覚情報の第３の表示例を説明するための図である。 駐車支援時の視覚情報の第３の表示例を説明するための図である。 駐車支援時の視覚情報の第４の表示例を説明するための図である。 駐車支援時の視覚情報の第４の表示例を説明するための図である。 駐車支援時の視覚情報の第４の表示例を説明するための図である。 駐車支援時の視覚情報の第４の表示例を説明するための図である。 駐車支援時の視覚情報の第４の表示例を説明するための図である。 駐車支援時の視覚情報の第４の表示例を説明するための図である。 駐車支援時の視覚情報の第５の表示例を説明するための図である。 駐車支援時の視覚情報の第５の表示例を説明するための図である。 駐車支援時の視覚情報の第５の表示例を説明するための図である。 駐車支援時の視覚情報の第５の表示例を説明するための図である。 左折支援処理を説明するためのフローチャートである。 左折支援処理を説明するための図である。 左折支援処理を説明するための図である。 左折支援処理を説明するための図である。 左折支援処理を説明するための図である。 料金所通過支援処理を説明するためのフローチャートである。 料金所通過支援処理を説明するための図である。 料金所通過支援処理を説明するための図である。 料金所通過支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するためのフローチャートである。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 ラウンドアバウト運転支援処理を説明するための図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．車両制御システムの構成例＞＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
　＜＜２．実施の形態＞＞
　次に、図３乃至図５９を参照して、本技術の実施の形態について説明する。
　　＜ＨＭＩ３１の詳細な構成例＞
　図３は、図１のＨＭＩ３１の詳細な構成例を示している。
　ＨＭＩ３１は、入力部１５１、出力情報生成部１５２、出力制御部１５３、及び、出力部１５４を備える。
　入力部１５１は、人がデータを入力するための入力デバイスを備え、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。
　出力情報生成部１５２は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報のうち少なくとも１つの生成を行う。
　出力制御部１５３は、出力情報生成部１５２により生成された情報の出力部１５４による出力制御を実行する。例えば、出力制御部１５３は、外部認識センサ２５による車両１の周囲のセンシング結果、外部から取得した情報、及び、車両１に蓄積されている情報のうち少なくとも１つに基づいて、運転者による運転を支援する視覚情報を、運転者の視界内、及び、運転者に対して提示する車両の周囲の画像（以下、周囲画像と称する）のうち少なくとも一方に重畳させる。外部から取得した情報には、例えば、高精度地図、自動運転用地図等の各種の地図が含まれる。車両１に蓄積されている情報には、例えば、地図情報蓄積部２３に蓄積されている各種の地図が含まれる。
　出力部１５４は、視覚情報、聴覚情報、及び、触覚情報のうち少なくとも１つを出力する出力デバイスを備え、視覚情報、聴覚情報、及び、触覚情報のうち少なくとも１つを出力する。
　なお、図示は省略するが、出力部１５４は、例えば、車両１の各ドア等に設けられたスピーカを備え、３６０度リアルオーディオを実現することが可能である。３６０度リアルオーディオが実現されることにより、例えば、車内で動画や音楽等を臨場感のある音で楽しむことができる。また、車両１の周囲に存在する障害物等の危険な物体の位置を、音の出力方向により通知することができる。
　　＜車内のディスプレイの構成例＞
　次に、図４を参照して、車両１の内部に設けられ、ＨＭＩ３１の出力部１５４の一部を構成し、車両１の表示システムを構成するディスプレイ（表示部）の構成例について説明する。図４は、車内の前方を示す模式図である。
　車内には、センターディスプレイ２１１、コンソールディスプレイ２１２、ヘッドアップディスプレイ（ディスプレイ２１３のみ図示）、及び、デジタルリアミラー２１４が備えられている。
　センターディスプレイ２１１は、運転席２０１及び助手席２０２の前方において、ダッシュボードの前面に左右に延びるように設けられている。センターディスプレイ２１１は、ディスプレイの向きにより、左端部２１１Ｌ、中央部２１１Ｃ、及び、右端部２１１Ｒに大きく分かれる。すなわち、センターディスプレイ２１１は、向きが互いに異なる左端部２１１Ｌ、中央部２１１Ｃ、及び、右端部２１１Ｒが、左右方向に連続し、一体化された構成を有している。左端部２１１Ｌ、中央部２１１Ｃ、及び、右端部２１１Ｒは、それぞれ独立して個々に表示を行うことも可能であるし、一体となって表示を行うことも可能である。
　中央部２１１Ｃは、運転席２０１及び助手席２０２の前方において、運転席２０１の左端付近から助手席２０２の右端付近まで左右に延び、運転席２０１又は助手席２０２から見て後方（車両１の後方）を向いている。また、中央部２１１Ｃは、やや斜め上方向を向いている。これにより、運転席２０１に座っている運転者、及び、助手席２０２に座っている搭乗者が中央部２１１Ｃを見る場合の視線の入射角が垂直に近づき、視認性が向上する。
　左端部２１１Ｌ及び右端部２１１Ｒは、センターディスプレイ２１１の左右の両端において略左右対称に設けられている。左端部２１１Ｌは、センターディスプレイ２１１の左端において内側（車内側）に折れ曲がり、中央部２１１Ｃに対して車内方向に角度がつき、運転席２０１又は助手席２０２から見て右斜め後方（車両１の右斜め後方）を向いている。右端部２１１Ｒは、センターディスプレイ２１１の右端において内側（車内側）に折れ曲がり、中央部２１１Ｃに対して車内方向に角度がつき、運転席２０１又は助手席２０２から見て左斜め後方（車両１の左斜め後方）を向いている。
　左端部２１１Ｌの中央部２１１Ｃに対する角度は、例えば、標準的な運転者の視線の左端部２１１Ｌへの入射角に対する反射角が、車両１の左斜め後ろの適切な方向を向くように調整される。右端部２１１Ｒの中央部２１１Ｃに対する角度は、例えば、標準的な運転者の視線の右端部２１１Ｒへの入射角に対する反射角が、車両１の右斜め後ろの適切な方向を向くように調整される。
　センターディスプレイ２１１の中央部２１１Ｃは、運転席２０１の前方の表示部２１１ＣＬ、運転席２０１と助手席２０２の間の表示部２１１ＣＣ、及び、助手席２０２の前方の表示部２１１ＣＲに分割されている。なお、表示部２１１ＣＬ、表示部２１１ＣＣ、及び、表示部２１１ＣＲを連結して、１つの表示部を構成することも可能である。
　センターディスプレイ２１１の中央部２１１Ｃは、例えば、運転を支援する情報、車両１の周囲画像、インフォテイメント関連の情報等を表示する。例えば、表示部２１１ＣＬには、主に運転者向けの情報が表示される。例えば、表示部２１１ＣＣには、オーディオ、ビデオ、ウエブサイト、地図等のインフォテイメント（車載インフォテイメント）関連の情報が表示される。例えば、表示部２１１ＣＲには、助手席の搭乗者向けのインフォテイメント関連の情報が表示される。
　センターディスプレイ２１１の左端部２１１Ｌには、表示部２１１ＬＬが設けられている。センターディスプレイ２１１の右端部２１１Ｒには、表示部２１１ＲＲが設けられている。
　表示部２１１ＬＬ及び表示部２１１ＲＲは、従来のサイドミラーの代替となるデジタルアウターミラー（電子サイドミラー）として主に用いられる。すなわち、表示部２１１ＬＬ及び表示部２１１ＲＲは、ＣＭＳに用いられる。例えば、表示部２１１ＬＬは、カメラ５１により撮影される車両１の左斜め後方の画像を表示する。表示部２１１ＲＲは、カメラ５１により撮影される車両１の右斜め後方の画像を表示する。
　コンソールディスプレイ２１２は、運転席２０１と助手席２０２との間に設けられているコンソールに設けられ、センターディスプレイ２１１の中央部２１１Ｃの下方に配置されている。
　コンソールディスプレイ２１２は、例えば、２次元又は３次元のタッチパネルにより構成され、指等を接触又は近接させて操作することが可能である。コンソールディスプレイ２１２は、車両１の後方を向いている。また、コンソールディスプレイ２１２は、センターディスプレイ２１１の中央部２１１Ｃと略同様な角度で斜め上方向を向いている。これにより、センターディスプレイ２１１とコンソールディスプレイ２１２とが、一続きに連なるような一体感が生じる。また、センターディスプレイ２１１の中央部２１１Ｃと同様に、コンソールディスプレイ２１２の視認性が向上する。
　コンソールディスプレイ２１２は、例えば、センターディスプレイ２１１に表示されている情報を操作するための操作画面、車内の空調設備を操作するための操作画面等を表示する。
　ヘッドアップディスプレイは、図４に示されるように、運転席２０１の前方に設けられているディスプレイ２１３（以下、ＨＵＤ用ディスプレイ２１３と称する）を備えている。例えば、ＨＵＤ用ディスプレイ２１３は、ウインドシールド２０４の一部により構成されてもよいし、ウインドシールド２０４とは別に設けられてもよい。後者の場合、例えば、ウインドシールド２０４にＨＵＤ用ディスプレイ２１３が貼付される。そして、ＡＲ技術を用いて、ＨＵＤ用ディスプレイ２１３に視覚情報が投影されることにより、運転者の視界内に視覚情報が重畳される。
　ＨＵＤ用ディスプレイ２１３は、例えば、運転を支援する情報を表示する。
　なお、ＨＵＤ用ディスプレイ２１３の表示範囲は、今後拡大することが想定される。例えば、ＨＵＤ用ディスプレイ２１３の表示範囲は、ウインドシールド２０４の上端付近まで拡大したり、ウインドシールド２０４の左右の端部付近まで拡大したりすることが想定される。
　デジタルリアミラー２１４は、従来のバックミラー（rearview mirror）の代わりに用いられ、スマートルームミラーとも称される。デジタルリアミラー２１４は、従来のバックミラーと同様に、ウインドシールド２０４の上端かつ中央付近の少し手前に設けられ、センターディスプレイ２１１の中央部２１１Ｃの上方に配置されている。
　デジタルリアミラー２１４は、例えば、カメラ５１により撮影される車両１の後方の画像を表示する。
　　＜運転支援処理＞
　次に、図５乃至図５９を参照して、車両１により実行される運転支援処理の例について説明する。
　なお、以下、車両１の各ディスプレイに表示される画像内の方向を、基本的に車両１の方向を基準にして表すものとする。例えば、車両１の後方を撮影した後方画像における左方向は、車両１に対しては（車両１内の運転者から見れば）、右方向であるので、右方向と記載する。
　　　＜駐車支援処理＞
　まず、図５のフローチャートを参照して、車両１により実行される駐車支援処理について説明する。
　この処理は、例えば、運転者が車両１を駐車するための操作を実行した場合、又は、認識部７３が、計画されていた駐車位置への車両１の接近を検出した場合等に開始される。
　ステップＳ１において、出力部１５４は、出力制御部１５３の制御の下に、駐車支援を開始する。例えば、出力部１５４は、出力制御部１５３の制御の下に、駐車を支援するための視覚情報の表示を開始する。なお、駐車を支援するための視覚情報の具体例は、後述する。
　ステップＳ２において、認識部７３は、障害物が存在するか否かを判定する。具体的には、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、車両１が駐車しようとしている位置付近の障害物の検出処理を実行する。ここで、障害物は、例えば、駐車中に車両１が衝突又は接触する可能性がある物体だけでなく、駐車後に車両１のバックドアを開けたときにバックドアが衝突又は接触する可能性がある位置に存在する物体も含む。認識部７３は、障害物の検出処理の結果、障害物が存在すると判定した場合、処理はステップＳ３に進む。
　ステップＳ３において、出力部１５４は、出力制御部１５３の制御の下に、障害物に対する警告表示を行う。なお、警告表示の具体例は、後述する。
　その後、処理はステップＳ４に進む。
　一方、ステップＳ２において、障害物が存在しないと判定された場合、ステップＳ３の処理はスキップされ、処理はステップＳ４に進む。
　ステップＳ４において、車両制御部３２は、駐車が中止されたか否かを判定する。駐車が中止されていないと判定された場合、処理はステップＳ５に進む。
　ステップＳ５において、車両制御部３２は、駐車が完了したか否かを判定する。駐車が完了していないと判定された場合、処理はステップＳ２に戻る。
　その後、ステップＳ４において、駐車が中止されたと判定されるか、ステップＳ５において、駐車が完了したと判定されるまで、ステップＳ２乃至ステップＳ５の処理が繰り返し実行される。
　一方、ステップＳ５において、駐車が完了したと判定された場合、処理はステップＳ６に進む。
　ステップＳ６において、出力部１５４は、出力制御部１５３の制御の下に、駐車位置を表示する。なお、駐車位置の表示の具体例は、後述する。
　その後、処理はステップＳ７に進む。
　一方、ステップＳ４において、駐車が中止されたと判定された場合、ステップＳ５及びステップＳ６の処理はスキップされ、処理はステップＳ７に進む。
　ステップＳ７において、出力部１５４は、出力制御部１５３の制御の下に、駐車支援を終了する。例えば、出力部１５４は、出力制御部１５３の制御の下に、駐車を支援するための視覚情報の表示を終了する。
　その後、駐車支援処理は終了する。
　　　＜駐車支援時の視覚情報の表示例＞
　次に、図６乃至図２８を参照して、駐車支援時の視覚情報の表示例について説明する。
　　　　＜駐車支援時の視覚情報の第１の表示例＞
　まず、図６乃至図９を参照して、駐車支援時の視覚情報の第１の表示例について説明する。
　図６乃至図９は、駐車時にセンターディスプレイ２１１の中央部２１１Ｃの表示部２１１ＣＣに表示される画像の例を示している。具体的には、車両３０１と車両３０２との間の駐車スペース３０３に車両１を駐車する例が示されている。駐車スペース３０３の左後方には、柱３０４が立っている。
　例えば、図６及び図７の画像が、センターディスプレイ２１１の表示部２１１ＣＣに横に並べて表示される。
　図６の画像においては、車両１の周囲を上方から見た画像（以下、トップビュー画像と称する）に、視覚情報３１１及び視覚情報３１２が重畳されている。視覚情報３１１は、車両１の後方の路面に重畳され、車両１を駐車するための進行方向を案内する。視覚情報３１１の色は、例えば、半透明の緑に設定される。視覚情報３１２は、駐車時の車両１の後端の推奨位置を示す。視覚情報３１２の色は、例えば、注意を喚起する色（例えば、半透明の赤）に設定される。
　図７の画像においては、車両１の後方の画像（以下、後方画像と称する）に、視覚情報３１３及び視覚情報３１４が重畳されている。視覚情報３１３は、図６の視覚情報３１１に対応し、後方画像の路面に重畳され、車両１を駐車するための進行方向を案内する。視覚情報３１３の色は、視覚情報３１１と同じ色に設定される。視覚情報３１４は、図６の視覚情報３１２に対応し、垂直方向に延びており、駐車時の車両１の後端の推奨位置を示す。視覚情報３１４の色は、視覚情報３１２と同じ半透明の色に設定されて、視覚情報３１４から後方の柱３０４等が透けて見える。なお、この図では、図を分かりやすくするために、視覚情報３１４を点線のみで表している。
　図８及び図９は、図６及び図７の状態より車両１がバックした場合に、センターディスプレイ２１１の表示部２１１ＣＣに表示される画像の例を示している。
　図８は、図６と同様に、視覚情報３１１及び視覚情報３１２がトップビュー画像に重畳されている。
　図９は、図７と同様に、視覚情報３１３及び視覚情報３１４が後方画像に重畳されている。さらに、視覚情報３１５が後方画像に重畳されている。視覚情報３１５は、視覚情報３１４と重なるように格子状に並べられた半透明の矩形のマスを含む。例えば、運転者は、矩形のマスにより後方の障害物の幅や高さを認識することができる。
　例えば、車両１のバックドアを開けた場合に衝突又は接触する可能性がある位置に障害物が存在する場合、その障害物と重なるマスが、他のマスと異なる表示態様（例えば、異なる色）に設定される。なお、バックドアが衝突又は接触する可能性がある障害物には、例えば、木の枝等の空中にある物体も含まれる。
　この例の場合、車両１のバックドアを開けた場合に衝突又は接触する可能性がある位置に柱３０４が存在するため、柱３０４と重なるマスの色は、例えば、注意を喚起する色（例えば、半透明の赤）に設定される。他のマスの色は、例えば、安全であることを示す色（例えば、半透明の青）に設定される。
　これにより、駐車後に車両１のバックドアを不用意に開けて、車両１の後方の障害物にバックドアを衝突又は接触させることを防止することができる。
　　　　＜駐車支援時の視覚情報の第２の表示例＞
　次に、図１０乃至図１３を参照して、駐車支援時の視覚情報の第２の表示例について説明する。具体的には、図１０に示されるように、天井の低い駐車スペース３３１に車両１を駐車する場合の例について説明する。
　例えば、図１１のＡ及びＢの画像が、センターディスプレイ２１１の中央部２１１Ｃの表示部２１１ＣＣに横に並べて表示される。
　図１１のＡの画像は、車両１の周囲のトップビュー画像である。
　図１１のＢの画像において、車両１の後方画像に、視覚情報３４１Ｌ、視覚情報３４１Ｒ、及び、視覚情報３４２が重畳されている。
　視覚情報３４１Ｌ及び視覚情報３４１Ｒは、車両１を駐車するための進行方向を案内する所定の色（例えば、白）の補助線を含む。視覚情報３４１Ｌ及び視覚情報３４１Ｒは、車両１の幅に合わせて、左右に並べて、後方画像の路面に重畳される。
　視覚情報３４２は、駐車場の入口の枠に沿って並べられた複数の半透明の矩形のマスにより、駐車場の入口の範囲を示す。これにより、駐車場の入口に車両１を衝突又は接触させることが防止される。
　また、例えば、車両１の車高が高く、車両１の上方が駐車場の入口に衝突又は接触する可能性がある場合、図１２のＢに示されるように、視覚情報３４２の上辺の表示態様が変化する。例えば、視覚情報３４２の上辺の色が変化したり、点滅したりする。これにより、駐車場の入口に車両１の上端部を衝突又は接触させることが防止される。
　図１３は、図１１及び図１２の状態と比較して、車両１がさらにバックした場合の例を示している。
　図１３のＡの画像は、車両１の周囲のトップビュー画像である。
　図１３のＢの画像においては、車両１の後方画像に、図１１のＢ及び図１２のＢと同様に、視覚情報３４１Ｌ及び視覚情報３４１Ｒが重畳されている。また、視覚情報３４３及び視覚情報３４４が、後方画像に重畳されている。
　視覚情報３４３は、車両１の右後方の柱３３２の前面に並べた複数の半透明の所定の色（例えば、黄）の矩形のマスにより、柱３３２の位置及び形状を示す。視覚情報３４３の各マスは、例えば、所定の方向に光が移動して見えるように、一定周期で明滅する。これにより、視覚情報３４３が重畳されていても、柱３３２の視認性が向上する。
　視覚情報３４４は、車両１の左後方の壁３３３に沿って並べられた半透明の所定の色（例えば、黄）の矩形のマスにより、壁３３３の位置及び形状を示す。視覚情報３４４の各マスは、例えば、所定の方向に光が移動して見えるように、一定周期で明滅する。これにより、視覚情報３４３が重畳されていても、壁３３３の視認性が向上する。
　これにより、駐車時に周囲の障害物に車両１を衝突又は接触させることが防止される。
　　　　＜駐車支援時の視覚情報の第３の表示例＞
　次に、図１４乃至図１８を参照して、駐車支援時の視覚情報の第３の表示例について説明する。具体的には、図１４に示されるように、後方にゴミ箱３６１及びゴミ箱３６２が置かれている場所に車両１を駐車する場合の例について説明する。なお、ゴミ箱３６１及びゴミ箱３６２は横方向に並んでおり、ゴミ箱３６１が車両１の後方に置かれている。ゴミ箱３６１は、右下かつ奥に小さな突起部を備えている。
　例えば、図１５のＡ及びＢの画像が、センターディスプレイ２１１の中央部２１１Ｃの表示部２１１ＣＣに横に並べて表示される。
　図１５のＡの画像において、車両１の周囲のトップビュー画像に、視覚情報３７１が重畳されている。
　視覚情報３７１は、車両１の後端から所定の距離の範囲内に位置するゴミ箱３６１の前面より少し手前に重畳されている。視覚情報３７１は、直線状であり、注意を喚起する色（例えば、黄）に設定される。
　図１５のＢの画像において、車両１の後方画像に、視覚情報３７２Ｌ、視覚情報３７２Ｒ、及び、視覚情報３７３が重畳されている。
　視覚情報３７２Ｌ及び視覚情報３７２Ｒは、図１１の視覚情報３４１Ｌ及び視覚情報３４１Ｒと同様に、車両１を駐車するための進行方向を案内する補助線を含む。視覚情報３７２Ｌ及び視覚情報３７２Ｒは、車両１がゴミ箱３６１に衝突又は接触せずにバックできる位置まで延びている。
　視覚情報３７３は、図１５のＡの視覚情報３７１に対応し、ゴミ箱３６１の前面に格子状に並べられた矩形のマスにより、ゴミ箱３６１の前面の位置及び形状を示す。各マスの色は、例えば、半透明かつ視覚情報３７１と同じ色に設定される。
　例えば、車両１がさらにゴミ箱３６１に接近し、車両１とゴミ箱３６１との間の距離が所定の閾値以下になると、図１６のＡ及びＢの画像が、センターディスプレイ２１１の表示部２１１ＣＣに横に並べて表示される。
　図１６のＡの画像を図１５のＡの画像と比較すると、視覚情報３７１の表示態様が変化し、視覚情報３７４が追加されている点が異なる。
　例えば、視覚情報３７１の色が、危険を示す色（例えば、赤）に変化する。
　視覚情報３７４は、車両１の後端から所定の距離の範囲内に位置するゴミ箱３６１の突起部の前面の少し手前に重畳されている。視覚情報３７４は、直線状であり、図１５のＡの視覚情報３７１と同様の色に設定される。
　図１６のＢの画像を図１５のＢの画像と比較すると、視覚情報３７３の表示態様が変化し、視覚情報３７５が追加されている点が異なる。
　例えば、視覚情報３７３の色が、図１６のＡの視覚情報３７１と同様に、危険を示す色（例えば、半透明の赤）に変化する。
　視覚情報３７５は、図１６のＡの視覚情報３７４に対応し、ゴミ箱３６１の突起部の前面に格子状に並べられた矩形のマスにより、ゴミ箱３６１の突起部の位置及び形状を示す。各マスの色は、図１５のＢの視覚情報３７３と同様の色に設定される。
　これにより、運転者は、障害物であるゴミ箱３６１の位置及び形状を認識することができる。また、運転者は、車両１をバック可能な位置を認識し、車両１をゴミ箱３６１に衝突又は接触させることなく車両１を駐車させることができる。
　図１７及び図１８は、ゴミ箱３６１の位置及び形状を示す視覚情報の変形例を示している。
　図１７の画像を図１５の画像と比較すると、図１７のＢの画像において、図１５のＢの視覚情報３７３の代わりに、視覚情報３８１が重畳されている点が異なる。
　視覚情報３８１は、図内では点線で示されているが、実際には、ゴミ箱３６１の前面の輪郭（外周）に沿って所定の方向に回転する光の流れにより表現される矩形の枠を含む。
視覚情報３８１の色は、注意を喚起する色（例えば、黄）に設定される。
　図１８の画像を図１６の画像と比較すると、図１８のＢの画像において、図１６のＢの視覚情報３７３の代わりに、視覚情報３８１が重畳されており、視覚情報３７５が表示されていない点が異なる。
　視覚情報３８１は、図１７のＢにおける視覚情報３８１の色と異なり、危険を示す色（例えば、赤）に変化する。
　このように、視覚情報３８１は、ゴミ箱３６１の前面を覆わずに、輪郭のみに重畳されるため、ゴミ箱３６１に対する視認性が向上する。
　　　　＜駐車支援時の視覚情報の第３の表示例＞
　次に、図１９乃至図２４を参照して、駐車支援時の視覚情報の第４の表示例について説明する。具体的には、図１９に示されるように、車両１を路肩に駐車する場合に、センターディスプレイ２１１の中央部２１１Ｃの表示部２１１ＣＣに表示される画像の例について説明する。表示部２１１ＣＣの左側には、車両１の周囲のトップビュー画像が表示され、右側には、車両１の後方画像、又は、車両１の前方の画像（以下、前方画像と称する）が表示される。
　例えば、図２０に示されるように、車両４０１と車両４０２の間に車両１を縦列駐車する場合、トップビュー画像に視覚情報４１１及び視覚情報４１２が重畳される。
　視覚情報４１１は、車両１とほぼ同じサイズの所定の色（例えば、白）の点線の枠により適切な駐車位置を示す。例えば、視覚情報４１１は、車両４０１及び車両４０２の間の路面において、車両４０１及び車両４０２との間隔がほぼ等しくなる位置に重畳される。
　視覚情報４１２は、現在の車両１の状態（例えば、ステアリングシステムの状態）により予測される車両１の軌跡を示す所定の色（例えば、白）の補助線を含む。
　図２１乃至図２３は、視覚情報４１１により示されるスペース内に車両１を駐車した場合のトップビュー画像の例を示している。
　図２１の例では、視覚情報４１２が消え、視覚情報４１１の表示態様が変化している。例えば、視覚情報４１１の線種が点線から直線に変化する。なお、視覚情報４１１の線種だけでなく、例えば、色も白から緑等に変化するようにしてもよい。
　図２２の例では、視覚情報４１１及び視覚情報４１２が消え、視覚情報４１３がトップビュー画像に重畳されている。視覚情報４１３は、車両１の前後の車両４０１と車両４０２との間の領域を囲む矩形の枠、及び、矩形の枠の中央を示す十字の補助線を含む。
　図２３の例では、視覚情報４１１及び視覚情報４１２が消え、視覚情報４１４がトップビュー画像に重畳されている。視覚情報４１４は、車両１を囲む枠、並びに、枠の前後において車両４０１及び車両４０２との車間距離を示す補助線を含む。
　図２１乃至図２３の視覚情報により、運転者は、車両１を適切な位置に駐車できたことを認識することができる。
　なお、例えば、車両１が適切な位置に駐車できていない場合、図２４に示されるように、視覚情報４１１が、表示態様が変化せずに表示されたままになる。これにより、運転者は、車両１を適切な位置に駐車できていないことを認識することができる。
　以上のようにして、運転者は、車両１を適切な位置に駐車させることができる。
　　　　＜駐車支援時の視覚情報の第５の表示例＞
　次に、図２５乃至図２８を参照して、駐車支援時の視覚情報の第５の表示例について説明する。
　図２５及び図２６は、駐車可能なスペースを探している場合に表示される画像の例を示している。
　具体的には、図２５は、車両４３１と車両４３２の間に駐車可能なスペースが検出された場合に、センターディスプレイ２１１の中央部２１１Ｃの表示部２１１ＣＣに表示される画像の例を示している。
　例えば、車両１の前方画像において、駐車可能なスペースに視覚情報４４１が重畳される。駐車可能なスペースとは、例えば、車両１の全長より所定の長さ以上長いスペースである。この図では詳細な図示が省略されているが、例えば、視覚情報４４１は、路面から上方に進むにつれて徐々に色が薄くなる直方体のグラデーション領域を含む。
　グラデーション領域の表示態様（例えば、色）は、例えば、駐車可能なスペースの広さにより変化する。例えば、駐車可能なスペースの全長と車両１の全長との差が所定の閾値以上である場合、駐車スペースが十分に広いことを示す色（例えば、半透明の緑）に設定される。一方、例えば、駐車可能なスペースの全長と車両１の全長との差が所定の閾値未満である場合、駐車スペースが狭いことを示す色（例えば、半透明の黄）に設定される。
　図２６は、車両４３１と車両４３２の間に駐車可能なスペースが検出された場合に、センターディスプレイ２１１の右端部２１１Ｒの表示部２１１ＲＲに表示される画像の例を示している。
　例えば、車両１の右後方の画像（以下、右後方画像と称する）において、駐車可能なスペースに視覚情報４４２が重畳される。この図では詳細な図示が省略されているが、例えば、視覚情報４４２は、図２５の視覚情報４４１と同様のグラデーション領域を含む。グラデーション領域の表示態様（例えば、色）は、視覚情報４４１と同様に、駐車スペースの広さにより変化する。
　これにより、運転者は、駐車可能なスペースを容易に見つけることができる。
　図２７及び図２８は、見つかった駐車可能なスペースに車両１を駐車する場合に表示される画像の例を示している。
　図２７は、車両４３１と車両４３２の間に縦列駐車する場合に、センターディスプレイ２１１の中央部２１１Ｃの表示部２１１ＣＣに表示される画像の例を示している。例えば、車両１の周囲のトップビュー画像に、視覚情報４５１が重畳される。視覚情報４５１は、現在の車両１の状態（例えば、ステアリングシステムの状態）により予測される車両１の軌跡を所定の色（例えば、緑）で示す。
　図２８のＡは、車両４３１と車両４３２の間に駐車する場合に、センターディスプレイ２１１の左端部２１１Ｌの表示部２１１ＬＬに表示される車両１の左後方の画像（以下、左後方画像と称する）の例を示している。図２８のＢは、車両４３１と車両４３２の間に駐車する場合に、センターディスプレイ２１１の右端部２１１Ｒの表示部２１１ＲＲに表示される車両１の右後方画像の例を示している。
　例えば、図２７の視覚情報４５１に対応し、現在の車両１の状態により予測される車両１の軌跡を示す視覚情報４５２が、図２８のＢの右後方画像に重畳される。
　これにより、運転者は、車両１の予測される軌跡を確認しながら、安全かつ容易に車両１を駐車することができる。
　なお、車両１を並列駐車したり、駐車位置を示す区画線が示された駐車場に駐車したりする場合にも、図２５及び図２６に示される視覚情報と同様の視覚情報を駐車可能なスペースに対して表示することも可能である。
　　＜左折支援処理＞
　次に、図２９のフローチャートを参照して、車両１により実行される左折支援処理について説明する。
　この処理は、例えば、認識部７３が、車両１が右側通行の交差点において左折することを認識した場合に開始される。
　以下、例えば、図３０に示されるように、片側２車線の右側通行の交差点において、車両１が矢印Ａ１の方向に左折する場合を適宜例に挙げながら、図２９の左折支援処理について説明する。この例では、対向車線の中央寄りの車線において、車両５０１が交差点内を左折中であり、車両５０２及び車両５０３が、車両５０１に続いて左折しようとしている。また、対向車線の端側の車線において、車両５０４が矢印Ａ２の方向に交差点を直進しようとしている。
　図３１は、図３０の状態において、車両１の運転席２０１から見た前方の視界の例を示している。このように、運転者から見て車両５０４が死角に入り、運転者が車両５０４を視認できない場合がある。
　一方、図２に示される短距離用のレーダ５２のセンシング領域１０２Ｆ、カメラ５１のセンシング領域１０３Ｆ、ＬｉＤＡＲ５３のセンシング領域１０４Ｆ、又は、遠距離用のレーダ５２のセンシング領域１０５Ｆのいずれかに車両５０４が存在する場合、運転者が車両５０４を視認できなくても、認識部７３が、車両５０４を検出することが可能である。
　ステップＳ１０１において、認識部７３は、安全に左折できるか否かを判定する。例えば、認識部７３は、外部認識センサ２５からのセンサデータに基づいて、車両１が交差点を左折するために横切る対向車線における接近車両の検出処理を実行する。例えば、認識部７３は、対向車線の車両の相対位置、相対速度、及び、進行方向に基づいて、車両１に衝突又は接触する可能性がある接近車両が存在しない状況を所定の時間（例えば、５秒間）継続して検出した場合、安全に左折できると判定し、処理はステップＳ１０２に進む。
　ステップＳ１０２において、出力部１５４は、出力制御部１５３の制御の下に、左折のガイダンスを表示する。
　図３２は、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に重畳されるガイダンス表示の例を示している。
　例えば、運転者の中心よりやや左寄り、かつ、運転者の目線より下、かつ、ウインドシールド２０４の下端より所定の高さだけ上方において、視覚情報５１１が表示される。視覚情報５１１は、車両１の進行方向を示す左向きの二重矢印を含む。視覚情報５１１の色は、車両１が安全に左折できることを想起させる色（例えば、半透明の緑）に設定される。
　ここで、運転者の中心とは、例えば、運転席２０１の所定の位置に座り正面を向いた状態の運転者の中心軸とされる。
　これにより、運転者の視界を妨げずに、対向車線から接近車両が接近しておらず、安全に左折できることを運転者に認識させることができる。
　その後、処理はステップＳ１０４に進む。
　一方、ステップＳ１０１において、例えば、認識部７３は、対向車線の車両の相対位置、相対速度、及び、進行方向に基づいて、車両１に衝突又は接触する可能性がある接近車両が存在することを検出した場合、安全に左折できないと判定し、処理はステップＳ１０３に進む。
　ステップＳ１０３において、出力部１５４は、出力制御部１５３の制御の下に、警告表示を行う。
　図３３は、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に重畳される警告表示の例を示している。
　例えば、運転者の中心より少し右寄り（接近車両寄り）、かつ、運転車の目線より下、かつ、ウインドシールド２０４の下端より所定の高さだけ上方において、接近車両の存在を示す視覚情報５１２が表示される。視覚情報５１２は、注意を喚起する三角形の標識を含む。標識の色は、例えば、記号が黒で、背景が注意を喚起する色（例えば、黄）に設定される。
　また、視覚情報５１２の背景に、視覚情報５１３が表示される。この図では詳細な図示が省略されているが、例えば、視覚情報５１３は、視覚情報５１２のほぼ中心から右側に進むにつれて徐々に色が濃くなる半透明のグラデーション領域を含む。視覚情報５１３の色は、注意を喚起する色（例えば、半透明の黄）に設定される。
　また、図３２の視覚情報５１１と同じ位置に、視覚情報５１４が表示される。視覚情報５１４は、一時停止を示す縦の二重線の図形を含む。図形の色は、例えば、注意を喚起する色（例えば、半透明の黄）に設定される。
　これにより、運転者の視界を妨げずに、運転者に対向車線から接近車両が接近しているため、安全に左折できないことを認識させ、一旦停止するよう促すことができる。
　その後、処理はステップＳ１０４に進む。
　ステップＳ１０４において、車両制御部３２は、左折が中止されたか否かを判定する。左折が中止されていないと判定された場合、処理はステップＳ１０５に進む。
　ステップＳ１０５において、車両制御部３２は、左折が完了したか否かを判定する。左折が完了していないと判定された場合、処理はステップＳ１０１に戻る。
　その後、ステップＳ１０４において、左折が中止されたと判定されるか、ステップＳ１０５において、左折が完了したと判定されるまで、ステップＳ１０１乃至ステップＳ１０５の処理が繰り返し実行される。
　これにより、例えば、図３２の警告表示が行われている場合に、ステップＳ１０１において、安全に左折できると判定された場合、警告表示が消え、図３１のガイダンス表示が行われる。一方、例えば、図３２のガイダンス表示が行われている場合に、ステップＳ１０１において、安全に左折できないと判定された場合、ガイダンス表示が消え、図３３の警告表示が行われる。
　一方、ステップＳ１０４において、左折が中止されたと判定されるか、ステップＳ１０５において、左折が完了したと判定された場合、処理はステップＳ１０６に進む。
　ステップＳ１０６において、出力部１５４は、出力制御部１５３の制御の下に、左折支援を終了する。例えば、出力部１５４は、出力制御部１５３の制御の下に、左折を支援するための視覚情報の表示を終了する。
　その後、左折支援処理は終了する。
　このようにして、運転者は、車両１を安全に左折させることができる。
　この処理は、例えば、車両１が左側通行の交差点において右折する場合にも適用することができる。この場合、例えば、車両１が右ハンドルであるとき、各視覚情報の位置や向きは、上述した例と左右対称となる。
　また、例えば、対向車線の車両の検出に、車車間通信又は路車間通信が用いられてもよい。
　　＜料金所通過支援処理＞
　次に、図３４乃至図３７を参照して、車両１により実行される料金所通過支援処理について説明する。
　この処理は、例えば、認識部７３が、車両１が料金所まで所定の距離以内に接近したことを認識した場合に開始される。
　ステップＳ２０１において、車両１は、料金を表示する。例えば、認識部７３は、通信部２２が料金所のシステムと通信することにより得た情報、又は、地図情報蓄積部２３に蓄積されている地図情報等に基づいて、料金所で支払われる料金を認識する。出力部１５４は、出力制御部１５３の制御の下に、認識された料金を表示する。
　例えば、図３５に示されるように、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に視覚情報６１１が重畳される。視覚情報６１１は、運転者の中心、かつ、運転車の目線より下、かつ、ウインドシールド２０４の下端より所定の高さだけ上方に表示される。視覚情報６１１は、料金所で支払う必要がある料金を示す。また、料金の左側に、料金がまだ支払われていないことを示す所定の色（例えば、黄）のアイコンが表示される。
　なお、例えば、自動運転レベル２＋では、運転者がステアリングホイール２０３から手を放した状態で運転することが可能になることが想定される。一方、自動運転レベル２＋においても、料金所の通過前に、運転者にステアリングホイール２０３を握ることが要求されることが想定される。
　これに対して、車両１が自動運転レベル２＋で走行中である場合に、料金の表示前、料金の表示と同時、又は、料金の表示後に、出力部１５４は、出力制御部１５３の制御の下に、運転者にステアリングホイール２０３を握るように注意喚起を行うようにしてもよい。この注意喚起は、視覚情報及び聴覚情報のうち少なくとも１つを用いて実行される。
　ステップＳ２０２において、認識部７３は、前方が自動支払いできないレーンであるか否かを判定する。例えば、認識部７３は、通信部２２が料金所のシステムと通信することにより得た情報、又は、カメラ５１から供給される画像データ等に基づいて、前方（車両１が進行中のレーン）が自動支払いできないレーンであるか否かを判定する。前方が自動支払いできないレーンであると判定された場合、処理はステップＳ２０３に進む。
　ステップＳ２０３において、出力部１５４は、出力制御部１５３の制御の下に、前方が自動払いできないレーンであることを通知する。
　例えば、図３６に示されるように、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に視覚情報６１２が重畳される。視覚情報６１２は、車両１の前方の料金所のレーンの位置に合わせて表示される。視覚情報６１２には、注意を促す三角形の標識、及び、自動支払いできないレーンであることをメッセージが上下に並べて表示される。また、メッセージの下に下線が表示され、メッセージの背景に半透明の領域が表示される。標識の色は、例えば、記号が黒で、背景が注意を喚起する色（例えば、半透明の黄）に設定される。メッセージ、下線、及び、背景の半透明の領域の色は、注意を喚起する色（例えば、黄）に設定される。
　これにより、運転者は、車両１が進入しようとしているレーンが、自動支払いできないレーンであることを認識することができ、必要に応じて、自動支払い可能なレーンに車線変更することができる。
　その後、処理はステップＳ２０４に進む。
　一方、ステップＳ２０２において、前方が自動支払いできるレーンであると判定された場合、ステップＳ２０３の処理はスキップされ、処理はステップＳ２０４に進む。
　ステップＳ２０４において、車両制御ＥＣＵ２１は、自動支払いが完了したか否かを判定する。自動支払いが完了していないと判定された場合、処理はステップＳ２０５に進む。
　ステップＳ２０５において、認識部７３は、料金所を通過したか否かを判定する。例えば、認識部７３は、カメラ５１から供給される画像データ等に基づいて、まだ料金所を通過していないと判定した場合、処理はステップＳ２０２に戻る。
　その後、ステップＳ２０４において、自動支払いが完了したと判定されるか、ステップＳ２０５において、料金所を通過したと判定されるまで、ステップＳ２０２乃至ステップＳ２０５の処理が繰り返し実行される。
　一方、ステップＳ２０５において、料金所を通過したと判定された場合、処理はステップＳ２０６に進む。これは、例えば、自動支払いを利用せずに、ゲートで直接料金を支払って、料金所を通過した場合が想定される。
　なお、この場合、図３６の視覚情報６１２は、例えば、車両１が自動支払いできないゲートに進入したとき消える。
　ステップＳ２０６において、出力部１５４は、出力制御部１５３の制御の下に、料金所通過支援を終了する。
　その後、料金所通過支援処理は終了する。
　一方、ステップＳ２０４において、例えば、車両制御ＥＣＵ２１は、通信部２２を介して、料金所のシステムと通信することにより、自動支払いが完了したと判定された場合、処理はステップＳ２０７に進む。
　ステップＳ２０７において、出力部１５４は、出力制御部１５３の制御の下に、自動支払いの完了を通知する。
　例えば、図３７に示されるように、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に視覚情報６１３が重畳される。視覚情報６１３は、図３５の視覚情報６１１とほぼ同様の内容であり、視覚情報６１１と同じ位置に表示される。ただし、視覚情報６１３においては、視覚情報６１１と異なり、料金の左側に、料金が支払い済みであることを示す所定の色（例えば、緑）のアイコンが表示される。視覚情報６１３は、例えば、所定の時間表示され、消去される。
　ステップＳ２０８において、出力部１５４は、出力制御部１５３の制御の下に、料金所通過支援を終了する。
　その後、料金所通過支援処理は終了する。
　これにより、運転者は、料金所で支払う料金を事前に認識することができる。また、運転者は、自動支払い可能なレーンと自動支払い不可であるレーンを容易に認識し、適切に選択することができる。
　なお、例えば、車両１が自動運転レベル２＋に対応可能である場合、料金所を通過した後、出力部１５４は、出力制御部１５３の制御の下に、視覚情報及び聴覚情報のうち少なくとも１つを用いて、自動運転レベル２＋の利用を促すようにしてもよい。
　　＜ラウンドアバウト運転支援処理＞
　次に、図３８のフローチャートを参照して、車両１により実行されるラウンドアバウト運転支援処理について説明する。
　この処理は、例えば、認識部７３が、車両１のラウンドアバウト（環状交差点）への進入を予測したとき開始される。
　なお、認識部７３が、車両１のラウンドアバウトへの進入を予測する方法は、特に限定されない。例えば、認識部７３は、外部認識センサ２５からのセンサデータ、車両１の現在位置、及び、地図情報蓄積部２３に蓄積されている地図情報のうち少なくとも１つに基づいて、ラウンドアバウトの入口を認識する。そして、例えば、認識部７３は、ラウンドアバウトの入口の停止線を認識したとき、ラウンドアバウトの入口の停止線の手前で停止したとき、又は、ラウンドアバウトの入口付近で、ラウンドアバウトの進入方向へのウインカーが作動したき、車両１がラウンドアバウトに進入すると予測する。
　以下、例えば、図３９に示されるように、車両１が入口７０１Ａ１からラウンドアバウト７０１に進入した後、矢印Ａ１１の方向に左回りに進み、出口７０１Ｂ４から出る場合の例について説明する。ラウンドアバウト７０１は、左回りに、入口７０１Ａ１、出口７０１Ｂ２、入口７０１Ａ２、出口７０１Ｂ３、入口７０１Ａ３、出口７０１Ｂ４、入口７０１Ａ４、及び、出口７０１Ｂ１の順に並んでいる。
　なお、図３９の状態において、車両７０２が、入口７０１Ａ３と出口７０１Ｂ４の間を走行中であり、車両７０３は、入口７０１Ａ４の前で待機中である。
　ステップＳ３０１において、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、他の車両が接近しているか否かを判定する。他の車両が接近していると判定された場合、処理はステップＳ３０２に進む。
　ステップＳ３０２において、出力部１５４は、出力制御部１５３の制御の下に、警告表示を行う。すなわち、ラウンドアバウト７０１への進入前に警告表示が行われる。
　図４０は、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に重畳される警告表示の例を示している。
　例えば、運転者の中心より左寄り（接近車両の方向寄り）、かつ、運転車の目線より下、かつ、ウインドシールド２０４の下端より所定の高さだけ上方において、視覚情報７１１が表示される。視覚情報７１１は、注意を喚起する三角形の標識を含む。標識の色は、例えば、記号が黒で、背景が注意を喚起する色（例えば、黄）に設定される。
　また、視覚情報７１１の背景に、視覚情報７１２が表示される。視覚情報７１２は、この図では詳細な図示が省略されているが、例えば、視覚情報７１２は、視覚情報７１１のほぼ中心から左側に進むにつれて徐々に色が濃くなる半透明のグラデーション領域を含む。視覚情報７１２の色は、注意を喚起する色（例えば、半透明の黄）に設定される。
　さらに、運転者の中心よりやや右寄り、かつ、運転車の目線より下、かつ、ウインドシールド２０４の下端より所定の高さだけ上方において、視覚情報７１３が表示される。視覚情報７１１は、ラウンドアバウト７０１における進行方向、より具体的には、ラウンドアバウト７０１への進入方向を示す右向きの二重矢印を含む。この場合、車両７０２が左方向から接近しており、ラウンドアバウト７０１への進入は危険であるため、二重矢印の色は、危険を想起させる色（例えば、半透明の赤）に設定される。
　図４１は、図４０の状態において、運転席２０１の窓方向に視点を移動した状態を示している。このように、視覚情報７１１及び視覚情報７１２は、運転席２０１の窓から車両７０２及び車両７０３の動向を確認しながら、同時に視認することが可能な位置に配置される。
　これにより、運転者が、ラウンドアバウト７０１への進入前に、左方向から接近する車両を認識することができる。そして、運転者が接近する車両に気付かずに、車両１をラウンドアバウト７０１に進入させ、接近する車両に衝突又は接触させることが防止される。
　なお、例えば、出力部１５４は、出力制御部１５３の制御の下に、３６０度リアルオーディオを用いて、車両が接近している方向から、車両の接近を通知する警告音を出力するようにしてもよい。
　その後、処理はステップＳ３０４に進む。
　一方、ステップＳ３０１において、他の車両が接近していないと判定された場合、処理はステップＳ３０３に進む。
　ステップＳ３０３において、出力部１５４は、出力制御部１５３の制御の下に、進入方向を行う。例えば、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に図４０の視覚情報７１３のみが重畳される。
　その後、処理はステップＳ３０４に進む。
　ステップＳ３０４において、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、ラウンドアバウト７０１に進入したか否かを判定する。まだラウンドアバウト７０１に進入していないと判定された場合、処理はステップＳ３０１に戻る。
　その後、ステップＳ３０４において、ラウンドアバウト７０１に進入したと判定されるまで、ステップＳ３０１乃至ステップＳ３０４の処理が繰り返し実行される。
　一方、ステップＳ３０４において、ラウンドアバウト７０１に進入したと判定された場合、処理はステップＳ３０５に進む。
　ステップＳ３０５において、出力部１５４は、出力制御部１５３の制御の下に、進行方向を表示する。
　ここで、図４２に示される状態の場合において、車両１において表示される進行方向の表示例について説明する。図４２の状態において、車両１は、矢印Ａ２１で示されるように、入口７０１Ａ２付近を左回りに走行中である。また、車両７３１が出口７０１Ｂ３から退出し、車両７３２が入口７０１Ａ３の前で待機中である。
　図４３は、図４２の状態において、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に重畳される進行方向の表示例を示している。
　例えば、運転者の中心よりやや左寄り（進行方向より）、かつ、運転車の目線より下、かつ、ウインドシールド２０４の下端より所定の高さだけ上方において、視覚情報７４１が表示される。視覚情報７４１は、車両１の進行方向を示す所定の色（例えば、半透明の緑）の左向きの二重矢印を含む。
　図４４は、図４３の状態において、運転席２０１の窓方向に視点を移動した状態を示している。このように、視覚情報７４１は、運転席２０１の窓から車両７３１及び車両７３２の動向を確認しながら、同時に視認することが可能な位置に配置される。これにより、運転者は、進行方向を認識しつつ、進行方向の安全を確認することができる。
　ステップＳ３０６において、認識部７３は、退出する出口と異なる出口に接近しているか否かを判定する。例えば、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、退出する出口と異なる出口が、ＨＵＤ用ディスプレイ２１３の表示範囲内に存在することを検出した場合、退出する出口と異なる出口に接近していると判定し、処理はステップＳ３０７に進む。
　例えば、図４５に示されるように、車両１が矢印Ａ３１の方向に進行し、出口７０１Ｂ４から退出しようとしている場合に、出口７０１Ｂ３に接近した場合、退出する出口と異なる出口に接近したと判定される。
　なお、図４５の状態において、車両７６１が出口７０１Ｂ３から退出し、車両７６２が入口７０１Ａ３の前で待機している。
　ステップＳ３０７において、出力部１５４は、出力制御部１５３の制御の下に、退出する出口でないことを警告する。
　図４６は、図４５の状態において、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方において運転者の視界内に重畳される警告表示の例を示している。この例では、図４３と同様の視覚情報７４１に加えて、視覚情報７７１が表示されている。
　視覚情報７７１は、出口７０１Ｂ３の位置に合わせて表示される斜線のストライプを含む。ストライプの色は、注意を喚起する色（例えば、半透明の黄）に設定される。
　なお、例えば、視覚情報７７１を出口７０１Ｂ３におけるラウンドアバウト７０１の外周上に表示した場合、運転者が、ラウンドアバウト７０１内の環状の道路を進んではいけないと誤認するおそれがある。これに対して、例えば、視覚情報７７１は、運転者の視界内において、ラウンドアバウト７０１の外周より外側において出口７０１Ｂ３からラウンドアバウト７０１の外に延びる路面上に重畳される。例えば、視覚情報７７１は、出口７０１Ｂ３付近においてラウンドアバウト７０１の外周より外に配置されている横断歩道の位置に合わせて表示される。
　また、出口７０１Ｂ３に対する視覚情報７７１の相対的な表示位置は固定される。従って、車両１が移動し、ＨＵＤ用ディスプレイ２１３から透過して見える出口７０１Ｂ３の位置の移動に追従して、視覚情報７７１の表示位置が移動する。
　これにより、運転者が車両１を異なる出口から退出させることが抑止される。
　その後、処理はステップＳ３０８に進む。
　一方、ステップＳ３０６において、例えば、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、退出する出口と異なる出口が、ＨＵＤ用ディスプレイ２１３の表示範囲内に存在しないことを検出した場合、退出する出口と異なる出口に接近していないと判定し、ステップＳ３０７の処理はスキップされ、処理はステップＳ３０８に進む。
　ステップＳ３０８において、認識部７３は、退出する出口に接近しているか否かを判定する。例えば、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、退出する出口がＨＵＤ用ディスプレイ２１３の表示範囲内に存在することを検出した場合、退出する出口に接近していると判定し、処理はステップＳ３０９に進む。
　例えば、図４７に示されるように、車両１が矢印Ａ４１の方向に進行し、出口７０１Ｂ４から退出する場合に、車両１が出口７０１Ｂ４に接近した場合、退出する出口に接近したと判定される。
　なお、図４７の状態において、車両８０１が、入口７０１Ａ３で待機しており、車両８０２が出口７０１Ｂ３から退出している。
　ステップＳ３０９において、出力部１５４は、出力制御部１５３の制御の下に、退出する出口を案内する。
　ここで、図４８乃至図５９を参照して、退出する出口の案内表示の例について説明する。
　図４８は、図４７の状態において、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方に運転者の視界内に重畳される、退出する出口の案内表示の第１の例を示している。この例では、視覚情報８１１及び視覚情報８１２が表示されている。
　視覚情報８１１は、図４３の視覚情報７４１と同様の位置に表示される。ただし、この場合、車両１の進行方向は逆になるので、視覚情報８１１は、視覚情報７４１とは逆の進行方向を示す所定の色（例えば、半透明の緑）の右向きの二重矢印を含む。
　この図では詳細な図示が省略されているが、視覚情報８１２は、車両１が退出する出口７０１Ｂ４の位置を示すライン、及び、そのラインの上に徐々に色が薄くなるグラデーション領域を含む。ラインの色は、退出する出口であることを想起させる色（例えば、緑）に設定される。グラデーション領域は、退出する出口であることを想起させる色（例えば、半透明の緑）に設定される。
　例えば、視覚情報８１２は、出口７０１Ｂ４に対して、図４６の視覚情報７７１と同様の位置に表示される。すなわち、視覚情報８１２は、運転者の視界内において、ラウンドアバウト７０１の外周より外側において出口７０１Ｂ４からラウンドアバウト７０１の外に延びる路面上に重畳される。
　また、出口７０１Ｂ４に対する視覚情報８１２の相対的な表示位置は固定される。従って、車両１が移動し、ＨＵＤ用ディスプレイ２１３から透過して見える出口７０１Ｂ４の位置の移動に追従して、視覚情報８１２の表示位置が移動する。
　例えば、視覚情報８１１及び視覚情報８１２は、出口７０１Ｂ４に対する相対的な表示位置が固定されている視覚情報８１２が見えなくなる位置まで車両１が移動したときに消える。
　図４９乃至図５１は、視覚情報８１１及び視覚情報８１２の表示領域に先行する車両８０３が存在する場合の例を示している。
　例えば、図４９の例の場合、視覚情報８１１及び視覚情報８１２が、そのまま車両８０３に重畳されて表示されている。なお、例えば、視覚情報８１２のうち車両８０３と重なる部分の表示態様（例えば、色）を変化させるようにしてもよい。
　例えば、図５０の例の場合、視覚情報８１１は、車両８０３に重畳されて表示されている。一方、視覚情報８１２については、車両８０３と重なる部分が消えている。
　例えば、図５１の例の場合、視覚情報８１１は、車両８０３に重畳されて表示されている。一方、視覚情報８１２については、車両８０３と重なる部分のラインが点線になっている。
　図５２は、図４７の状態において、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方に運転者の視界内に重畳される、退出する出口の案内表示の第２の例を示している。図５２の例では、図４８の例と比較して、視覚情報８１１は同様に表示され、視覚情報８１２の代わりに視覚情報８１３が表示されている。
　視覚情報８１３は、出口７０１Ｂ３からラウンドアバウト７０１の外に延びる道路の両端に沿って延びる補助線を含む。補助線の色は、退出する出口であることを想起させる色（例えば、緑）に設定される。
　例えば、視覚情報８１１及び視覚情報８１３は、車両１が出口７０１Ｂ４から退出し、所定の位置まで進んだとき、例えば、出口７０１Ｂ４の横断歩道を超えたときに消える。このとき、例えば、視覚情報８１１及び視覚情報８１３がフェードアウトされるようにしてもよい。
　図５３乃至図５５は、視覚情報８１１及び視覚情報８１３の表示領域に先行する車両８０３が存在する場合の例を示している。
　例えば、図５３の例の場合、視覚情報８１１及び視覚情報８１３が、そのまま車両８０３に重畳されて表示されている。なお、例えば、視覚情報８１３のうち車両８０３と重なる部分の表示態様（例えば、色）を変化させるようにしてもよい。
　例えば、図５４の例の場合、視覚情報８１１は、車両８０３に重畳されて表示されている。一方、視覚情報８１３については、車両８０３と重なる部分が消えている。
　例えば、図５５の例の場合、視覚情報８１１は、車両８０３に重畳されて表示されている。一方、視覚情報８１３については、車両８０３と重なる部分の補助線が点線になっている。
　図５６は、図４７の状態において、ＨＵＤ用ディスプレイ２１３により、運転席２０１の前方に運転者の視界内に重畳される、退出する出口の案内表示の第３の例を示している。図５６の例では、図５２の例と比較して、視覚情報８１１は同様に表示され、視覚情報８１３の代わりに視覚情報８１４が表示されている。
　視覚情報８１４は、図５２の視覚情報８１３と比較して、補助線が点線になっている点が異なる。補助線の色は、退出する出口であることを想起させる色（例えば、緑）に設定される。
　例えば、視覚情報８１１及び視覚情報８１４は、車両１が出口７０１Ｂ４から退出し、所定の位置まで進んだとき、例えば、出口７０１Ｂ４の横断歩道を超えたときに消える。このとき、例えば、視覚情報８１１及び視覚情報８１４がフェードアウトされるようにしてもよい。
　図５７乃至図５９は、視覚情報８１１及び視覚情報８１４の表示領域に先行する車両８０３が存在する場合の例を示している。
　例えば、図５７の例の場合、視覚情報８１１及び視覚情報８１４が、そのまま車両８０３に重畳されて表示されている。なお、例えば、視覚情報８１４のうち車両８０３と重なる部分の表示態様（例えば、色）を変化させるようにしてもよい。
　例えば、図５８の例の場合、視覚情報８１１は、車両８０３に重畳されて表示されている。一方、視覚情報８１４については、車両８０３と重なる部分が消えている。
　例えば、図５９の例の場合、視覚情報８１１は、車両８０３に重畳されて表示されている。一方、視覚情報８１４については、車両８０３と重なる部分の補助線の点が小さくなっている。
　これにより、運転者が、退出する出口を正確に認識し、認識した出口から車両１を退出させることができる。
　その後、処理はステップＳ３１０に進む。
　一方、ステップＳ３０８において、例えば、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、退出する出口がＨＵＤ用ディスプレイ２１３の表示範囲内に存在しないことを検出した場合、退出する出口に接近していないと判定し、ステップＳ３０９の処理はスキップされ、処理はステップＳ３１０に進む。
　ステップＳ３１０において、認識部７３は、外部認識センサ２５からのセンサデータ等に基づいて、ラウンドアバウト７０１から退出したか否かを判定する。ラウンドアバウト７０１から退出していないと判定された場合、処理はステップＳ３０５に戻る。
　その後、ステップＳ３１０において、ラウンドアバウト７０１から退出したと判定されるまで、ステップＳ３０５乃至ステップＳ３１０の処理が繰り返し実行される。
　一方、ステップＳ３１０において、ラウンドアバウト７０１から退出したと判定された場合、処理はステップＳ３１１に進む。
　ステップＳ３１１において、出力部１５４は、出力制御部１５３の制御の下に、ラウンドアバウト運転支援を終了する。
　その後、ラウンドアバウト運転支援処理は終了する。
　以上のようにして、運転者は、車両１をラウンドアバウト７０１に安全に進入させ、ラウンドアバウト７０１内を安全に走行させ、所望の出口から退出させることができる。
　この処理は、例えば、車両１が右回りのラウンドアバウトを走行する場合にも適用することができる。この場合、例えば、車両１が右ハンドルであるとき、各視覚情報の位置や向きは、上述した例と左右対称となる。
　以上のようにして、車両１の周囲のセンシング結果に基づいて、運転動作に応じて運転を支援する視覚情報が、運転者の視界内、及び、運転者に対して提示する車両１の周囲の周囲画像のうち少なくとも一方に重畳される。その結果、視覚情報を用いて適切に運転を支援することができる。
　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　以上に示した視覚情報のデザイン等は、適宜変更することが可能である。
　本技術を適用可能な車両の種類は、特に限定されない。
　本技術は、例えば、車両以外のウインドシールドを備える移動体（例えば、モータバイク等）にも適用することが可能である。また、本技術は、例えば、ウインドシールドのように運転者の視界内にディスプレイを設置可能な透明な部材を備える移動体にも適用することが可能である。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１、ROM（Read Only Memory）１００２、RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる出力制御部を
　備える情報処理装置。
（２）
　前記出力制御部は、ラウンドアバウトにおける運転を支援する前記視覚情報を前記運転者の視界内に重畳させる
　前記（１）に記載の情報処理装置。
（３）
　前記出力制御部は、前記移動体が前記ラウンドアバウトから退出する第１の出口を示す前記視覚情報である第１の視覚情報、及び、前記第１の出口と異なる第２の出口からの退出を抑止するための前記視覚情報である第２の視覚情報のうち少なくとも１つを前記運転者の視界内に重畳させる
　前記（２）に記載の情報処理装置。
（４）
　前記第２の視覚情報は、前記運転者の視界内において、前記ラウンドアバウトの外周より外側において前記第２の出口から前記ラウンドアバウトの外に延びる路面上に重畳される
　前記（３）に記載の情報処理装置。
（５）
　前記出力制御部は、前記ラウンドアバウトにおける前記移動体の進行方向を示す前記視覚情報を前記運転者の視界内に重畳させる
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記視覚情報は、前記運転者の視界内において、前記運転者の中心より前記進行方向寄りに重畳される
　前記（５）に記載の情報処理装置。
（７）
　前記出力制御部は、前記ラウンドアバウトへの進入前に前記ラウンドアバウト内において前記移動体に接近する他の移動体に対する注意を喚起する前記視覚情報を前記運転者の視界内に重畳させる
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（８）
　前記視覚情報は、前記運転者の視界内において、前記運転者の中心より前記他の移動体の方向寄りに重畳される
　前記（７）に記載の情報処理装置。
（９）
　前記出力制御部は、前記移動体を駐車する場合に、前記移動体の後方の障害物の位置及び形状のうち少なくとも１つを示す前記視覚情報を、前記移動体の後方の前記周囲画像である後方画像に重畳させる
　前記（１）に記載の情報処理装置。
（１０）
　前記出力制御部は、前記障害物が前記移動体のバックドアを開けた場合に前記バックドアが衝突又は接触する位置に存在する場合、前記視覚情報の表示態様を変化させる
　前記（９）に記載の情報処理装置。
（１１）
　前記視覚情報は、前記障害物の少なくとも一部の外周を囲む枠、及び、前記障害物の少なくとも一部に格子状に並べて重畳される矩形のマスのうち少なくとも１つを含む
　前記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、駐車可能なスペースを示す前記視覚情報を前記周囲画像に重畳させ、前記スペースの広さに基づいて前記視覚情報の表示態様を変化させる
　前記（１）に記載の情報処理装置。
（１３）
　前記出力制御部は、駐車可能なスペースを示す前記視覚情報を前記周囲画像に重畳させ、前記移動体が前記スペース内に駐車された場合、前記視覚情報の表示態様を変化させる
　前記（１）に記載の情報処理装置。
（１４）
　前記視覚情報は、駐車時に前記移動体の状態により予測される前記移動体の軌跡を示す前記視覚情報を前記周囲画像に重畳させる
　前記（１）に記載の情報処理装置。
（１５）
　前記出力制御部は、前記移動体が交差点を曲がって対向車線を横切る場合に、前記対向車線において前記交差点に接近している他の移動体の有無に基づいて、前記交差点を安全に曲がれるか否かを示す前記視覚情報を前記運転者の視界に重畳させる
　前記（１）に記載の情報処理装置。
（１６）
　前記出力制御部は、前記他の移動体が存在する場合、前記他の移動体の存在を示す前記視覚情報を前記運転者の視界にさらに重畳させる
　前記（１５）に記載の情報処理装置。
（１７）
　前記出力制御部は、料金所において自動支払いできないレーンを示す前記視覚情報を前記運転者の視界内に重畳させる
　前記（１）に記載の情報処理装置。
（１８）
　前記出力制御部は、ヘッドアップディスプレイを制御して、前記視覚情報を前記運転者の視界内に重畳させる
　前記（１）に記載の情報処理装置。
（１９）
　移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる
　備える情報処理方法。
（２０）
　周囲のセンシングを行うセンシング部と、
　外部と通信を行う通信部と、
　前記センシング部によるセンシング結果、外部から取得した情報、及び、内部に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する周囲の画像のうち少なくとも一方に重畳する出力部と
　を備える移動体。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１　車両，　１１　車両制御システム，　２１　車両制御ＥＣＵ，　２３　地図情報蓄積部，　２５　外部認識センサ，　３１　ＨＭＩ，　３２　車両制御部，　５１　カメラ，　５２　レーダ，　５３　ＬｉＤＡＲ，　５４　超音波センサ，　７１　自己位置推定部，　７３　認識部，　８１　ステアリング制御部，　１５３　出力制御部，　１５４　出力部，　２０１　運転席，　２０４　ウインドシールド，　２１１　センターディスプレイ，　２１１ＬＬ乃至２１１ＲＲ　表示部，　２１３　ディスプレイ

Claims (20)

  1. 　移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる出力制御部を
    　備える情報処理装置。
  2. 　前記出力制御部は、ラウンドアバウトにおける運転を支援する前記視覚情報を前記運転者の視界内に重畳させる
    　請求項１に記載の情報処理装置。
  3. 　前記出力制御部は、前記移動体が前記ラウンドアバウトから退出する第１の出口を示す前記視覚情報である第１の視覚情報、及び、前記第１の出口と異なる第２の出口からの退出を抑止するための前記視覚情報である第２の視覚情報のうち少なくとも１つを前記運転者の視界内に重畳させる
    　請求項２に記載の情報処理装置。
  4. 　前記第２の視覚情報は、前記運転者の視界内において、前記ラウンドアバウトの外周より外側において前記第２の出口から前記ラウンドアバウトの外に延びる路面上に重畳される
    　請求項３に記載の情報処理装置。
  5. 　前記出力制御部は、前記ラウンドアバウトにおける前記移動体の進行方向を示す前記視覚情報を前記運転者の視界内に重畳させる
    　請求項２に記載の情報処理装置。
  6. 　前記視覚情報は、前記運転者の視界内において、前記運転者の中心より前記進行方向寄りに重畳される
    　請求項５に記載の情報処理装置。
  7. 　前記出力制御部は、前記ラウンドアバウトへの進入前に前記ラウンドアバウト内において前記移動体に接近する他の移動体に対する注意を喚起する前記視覚情報を前記運転者の視界内に重畳させる
    　請求項２に記載の情報処理装置。
  8. 　前記視覚情報は、前記運転者の視界内において、前記運転者の中心より前記他の移動体の方向寄りに重畳される
    　請求項７に記載の情報処理装置。
  9. 　前記出力制御部は、前記移動体を駐車する場合に、前記移動体の後方の障害物の位置及び形状のうち少なくとも１つを示す前記視覚情報を、前記移動体の後方の前記周囲画像である後方画像に重畳させる
    　請求項１に記載の情報処理装置。
  10. 　前記出力制御部は、前記障害物が前記移動体のバックドアを開けた場合に前記バックドアが衝突又は接触する位置に存在する場合、前記視覚情報の表示態様を変化させる
    　請求項９に記載の情報処理装置。
  11. 　前記視覚情報は、前記障害物の少なくとも一部の外周を囲む枠、及び、前記障害物の少なくとも一部に格子状に並べて重畳される矩形のマスのうち少なくとも１つを含む
    　請求項９に記載の情報処理装置。
  12. 　前記出力制御部は、駐車可能なスペースを示す前記視覚情報を前記周囲画像に重畳させ、前記スペースの広さに基づいて前記視覚情報の表示態様を変化させる
    　請求項１に記載の情報処理装置。
  13. 　前記出力制御部は、駐車可能なスペースを示す前記視覚情報を前記周囲画像に重畳させ、前記移動体が前記スペース内に駐車された場合、前記視覚情報の表示態様を変化させる
    　請求項１に記載の情報処理装置。
  14. 　前記視覚情報は、駐車時に前記移動体の状態により予測される前記移動体の軌跡を示す前記視覚情報を前記周囲画像に重畳させる
    　請求項１に記載の情報処理装置。
  15. 　前記出力制御部は、前記移動体が交差点を曲がって対向車線を横切る場合に、前記対向車線において前記交差点に接近している他の移動体の有無に基づいて、前記交差点を安全に曲がれるか否かを示す前記視覚情報を前記運転者の視界に重畳させる
    　請求項１に記載の情報処理装置。
  16. 　前記出力制御部は、前記他の移動体が存在する場合、前記他の移動体の存在を示す前記視覚情報を前記運転者の視界にさらに重畳させる
    　請求項１５に記載の情報処理装置。
  17. 　前記出力制御部は、料金所において自動支払いできないレーンを示す前記視覚情報を前記運転者の視界内に重畳させる
    　請求項１に記載の情報処理装置。
  18. 　前記出力制御部は、ヘッドアップディスプレイを制御して、前記視覚情報を前記運転者の視界内に重畳させる
    　請求項１に記載の情報処理装置。
  19. 　移動体の周囲のセンシング結果、外部から取得した情報、及び、前記移動体に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する前記移動体の周囲の周囲画像のうち少なくとも一方に重畳させる
    　備える情報処理方法。
  20. 　周囲のセンシングを行うセンシング部と、
    　外部と通信を行う通信部と、
    　前記センシング部によるセンシング結果、外部から取得した情報、及び、内部に蓄積されている情報のうち少なくとも１つに基づいて、運転を支援する視覚情報を、運転者の視界内、及び、前記運転者に対して提示する周囲の画像のうち少なくとも一方に重畳する出力部と
    　を備える移動体。
PCT/JP2023/005123 2022-03-04 2023-02-15 情報処理装置、情報処理方法、及び、移動体 WO2023166982A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-033776 2022-03-04
JP2022033776 2022-03-04

Publications (1)

Publication Number Publication Date
WO2023166982A1 true WO2023166982A1 (ja) 2023-09-07

Family

ID=87883424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005123 WO2023166982A1 (ja) 2022-03-04 2023-02-15 情報処理装置、情報処理方法、及び、移動体

Country Status (1)

Country Link
WO (1) WO2023166982A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141589A (ja) * 2001-10-31 2003-05-16 Matsushita Electric Ind Co Ltd 自動料金収受車載装置
JP2007091046A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd 車両駐車支援装置
JP2009031968A (ja) * 2007-07-26 2009-02-12 Denso Corp 交差点安全運転支援装置
JP2010064750A (ja) * 2009-12-25 2010-03-25 Fujitsu Ten Ltd 運転支援装置
JP2010260494A (ja) * 2009-05-11 2010-11-18 Suzuki Motor Corp 車両用駐車支援装置
JP2016008912A (ja) * 2014-06-25 2016-01-18 日産自動車株式会社 車両用表示装置
WO2020110217A1 (ja) * 2018-11-28 2020-06-04 三菱電機株式会社 運転支援装置および運転支援方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141589A (ja) * 2001-10-31 2003-05-16 Matsushita Electric Ind Co Ltd 自動料金収受車載装置
JP2007091046A (ja) * 2005-09-29 2007-04-12 Clarion Co Ltd 車両駐車支援装置
JP2009031968A (ja) * 2007-07-26 2009-02-12 Denso Corp 交差点安全運転支援装置
JP2010260494A (ja) * 2009-05-11 2010-11-18 Suzuki Motor Corp 車両用駐車支援装置
JP2010064750A (ja) * 2009-12-25 2010-03-25 Fujitsu Ten Ltd 運転支援装置
JP2016008912A (ja) * 2014-06-25 2016-01-18 日産自動車株式会社 車両用表示装置
WO2020110217A1 (ja) * 2018-11-28 2020-06-04 三菱電機株式会社 運転支援装置および運転支援方法

Similar Documents

Publication Publication Date Title
KR20190007286A (ko) 차량용 주행 시스템 및 차량
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2020129687A1 (ja) 車両制御装置、車両制御方法、プログラム、及び、車両
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
US20230400321A1 (en) Ar display device for vehicle and method for operating same
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2021131789A1 (ja) 車両
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2021145227A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763243

Country of ref document: EP

Kind code of ref document: A1