WO2023042418A1 - 車両制御システム、車両制御方法およびプログラム - Google Patents

車両制御システム、車両制御方法およびプログラム Download PDF

Info

Publication number
WO2023042418A1
WO2023042418A1 PCT/JP2022/006036 JP2022006036W WO2023042418A1 WO 2023042418 A1 WO2023042418 A1 WO 2023042418A1 JP 2022006036 W JP2022006036 W JP 2022006036W WO 2023042418 A1 WO2023042418 A1 WO 2023042418A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
content
passenger
information
Prior art date
Application number
PCT/JP2022/006036
Other languages
English (en)
French (fr)
Inventor
幸治 三浦
洋 今村
幹憲 松田
健太 宮川
徹 長良
毅 籠谷
浩二 長田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280060884.2A priority Critical patent/CN117916139A/zh
Publication of WO2023042418A1 publication Critical patent/WO2023042418A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00—Mobile visual advertising
    • G09F21/04—Mobile visual advertising by land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present invention relates to a vehicle control system, vehicle control method and program.
  • a technology that displays information on the windshield, etc., to assist the driver in driving is known. Recently, initiatives related to automated driving are progressing, and Level 3 automated driving, which is freed from driving obligations, is being realized.
  • the interior of the car can be used as an entertainment space. Passengers can enjoy various entertainment contents presented in the vehicle. However, conventional vehicle control systems do not consider the convenience of passengers in enjoying entertainment content.
  • the present disclosure proposes a vehicle control system, a vehicle control method, and a program capable of enhancing convenience for passengers to enjoy entertainment content.
  • a vehicle control system that has a human-machine interface that controls the display of entertainment content based on the passenger's monitoring results. Further, according to the present disclosure, there are provided a vehicle control method in which information processing of the vehicle control system is executed by a computer, and a program that causes a computer to implement the information processing of the vehicle control system.
  • FIG. 4 is a diagram for explaining an overview of display control of entertainment content
  • 1 is a block diagram showing a configuration example of a vehicle control system
  • FIG. 4 is a diagram showing an example of a sensing area by an external recognition sensor 25
  • FIG. It is a figure which shows the structural example of an in-vehicle sensor and an image display part.
  • FIG. 4 is a diagram showing a display example of video provided as content.
  • FIG. 10 is a diagram showing another configuration example of the image display unit;
  • FIG. 4 is a diagram showing a display example of video provided as content.
  • 1 is a diagram listing conditions inside and outside a vehicle that can be detected by a sensor;
  • FIG. FIG. 4 is a diagram showing an example of a content display control method;
  • FIG. 10 is a diagram showing an example of a correspondence relationship between an information transmission level, a surrounding situation, and a display method;
  • FIG. 10 is a flowchart showing an example of content display control based on the results of monitoring inside and outside the vehicle;
  • FIG. It is a figure which shows the detail of a process. It is a figure which shows the detail of a process. It is a figure which shows the detail of a process. It is a figure which shows the detail of a process. It is a figure which shows the detail of a process. It is a figure which shows the detail of a process.
  • FIG. 10 is a diagram illustrating an example of event notification;
  • FIG. 10 is a diagram showing an example of transparent display of events;
  • FIG. 5 is a diagram showing an example of control of content display positions based on brightness distribution;
  • FIG. 5 is a diagram showing an example of control of content display positions based on brightness distribution
  • FIG. 10 is a diagram illustrating an example of control of an event notification method based on an information transmission level
  • FIG. 10 is a diagram illustrating an example of controlling a content display position based on an event occurrence position
  • FIG. 10 is a diagram showing an example of control of a content display position based on a passenger's viewing state
  • FIG. 10 is a diagram showing an example of control of a content display position based on a passenger's viewing state
  • It is a figure which shows the example of display control based on the viewing-and-listening state of several passengers.
  • It is a figure which shows the example of display control based on the viewing-and-listening state of several passengers.
  • It is a figure which shows the example of display control based on the viewing-and-listening state of several passengers.
  • It is a figure which shows the example of display control based on the viewing-and-listening state of several passengers.
  • FIG. 1 is a diagram for explaining an overview of display control of entertainment content CT.
  • the vehicle 1 has a vehicle control system 11 capable of automatic driving.
  • Passenger PA can use the interior of the vehicle as an entertainment space.
  • the vehicle 1 has an image display section 93 capable of displaying content CT for entertainment.
  • the entertainment content CT is content intended to entertain the passenger PA rather than to assist the driver in driving.
  • Entertainment content CT includes, for example, movies, music, games, news, mail, maps/tourist information, SNS, and chat.
  • the video display unit 93 can switch between, for example, a display state and a transparent state.
  • the image display unit 93 is arranged along the inner wall or partition wall of the vehicle 1 so as to surround the vehicle interior space.
  • the video display unit 93 presents the content CT in the display state, and allows the passenger PA to see through the outside of the vehicle in the transparent state.
  • Display state includes a semi-transparent state where information such as images displayed on the scenery outside the vehicle can be superimposed like AR (Augmented Reality).
  • the image display unit 93 can perform AR display by superimposing an image on the scenery outside the vehicle.
  • the image display unit 93 adjusts the brightness of the display, the transparency or the haze of the image display unit 93 according to the brightness outside the vehicle, for example. Thereby, the visibility of the content CT can be improved.
  • the vehicle control system 11 has a monitor unit MU and a human machine interface (HMI) 31.
  • the monitor unit MU acquires various types of information inside and outside the vehicle using various sensors mounted on the vehicle 1 .
  • the monitor unit MU outputs the acquired information to the HMI 31 as monitor information.
  • the monitor unit MU is composed of, for example, a DMS 30 and a recognition unit 73, which will be described later.
  • the monitor information includes information on the viewing state of the passenger PA (viewing state information VS), information on events outside the vehicle (event information ET), information on the surrounding environment (environment information CE), information on the driving status DS, and the like.
  • the HMI 31 performs display control of the entertainment content CT based on the monitor information.
  • the monitor unit MU records, for example, the display position of the content CT and the gaze state of the passenger PA on the content CT as a record of the in-vehicle conditions during driving, and stores them in the storage unit 28 (see FIG. 2).
  • a part of the vehicle control system 11 including the storage unit 28 may be implemented as functions on the cloud via the communication unit 22 .
  • FIG. 2 is a block diagram showing a configuration example of the vehicle control system 11. As shown in FIG.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information accumulation unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a travel It has a support/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30 , human machine interface (HMI) 31 , and vehicle control unit 32 are connected via a communication network 41 so as to be able to communicate with each other.
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • Each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark)
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part thereof.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 uses a wireless communication method such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on an external network communicates with a server (hereinafter referred to as an external server) located in the
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 22 can communicate with a terminal existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving objects that move at relatively low speeds, terminals installed at fixed locations in stores, etc., or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, and vehicle-to-home communication. communication, and communication between a vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (registered trademark)) such as radio beacons, optical beacons, and FM multiplex broadcasting.
  • VICS vehicle information and communication system
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a communication speed above a predetermined level by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link). can communicate with each device in the vehicle.
  • wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link).
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is a map adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lane and traffic signal positions with a point cloud map.
  • the point cloud map and the vector map may be provided from an external server or the like, and based on the sensing results of the camera 51, radar 52, LiDAR 53, etc., as a map for matching with a local map described later. It may be created by the vehicle 1 and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 24 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites and acquires position information of the vehicle 1 .
  • the acquired position information is supplied to the driving support/automatic driving control unit 29 .
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using beacons, for example.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51 , a radar 52 , a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53 , and an ultrasonic sensor 54 .
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51 , radar 52 , LiDAR 53 , and ultrasonic sensor 54 .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the imaging method of the camera 51 is not particularly limited.
  • various types of cameras such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are capable of distance measurement, can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are the types and number that can be realistically installed in the vehicle 1 .
  • the in-vehicle sensor 26 may comprise one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biometric sensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, on a seat, a steering wheel, or the like, and detect various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as the types and number are practically installable in the vehicle 1 .
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • Vehicle sensor 27 includes a sensor that detects driving status DS.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used as, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and storage media include magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each unit of the vehicle control system 11 .
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information about the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26 .
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 1 and a recognition process for recognizing the situation outside the vehicle 1 .
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the radar 52 or the LiDAR 53 or the like for each cluster of point groups. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognizing unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the cluster of points classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 51 . Further, the recognition unit 73 may recognize types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the position and state of traffic lights, the content of traffic signs and road markings, the content of traffic restrictions, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • Surrounding environments to be recognized by the recognizing unit 73 include presence/absence of pedestrians and surrounding vehicles, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is called trajectory planning, and in the planned route, trajectory generation (local path planning) that can proceed safely and smoothly in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1. It also includes the processing to be performed.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and the target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • As the state of the driver to be recognized for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, etc. are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to passengers including the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 performs output control for controlling the output, output content, output timing, output method, and the like of each generated information.
  • visual information the HMI 31 generates, for example, an operation screen, a status display of the vehicle 1, a warning display, a monitor image showing the situation around the vehicle 1, and information indicated by images and lights such as content CT for entertainment. and output.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device provided in the vehicle 1, such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a horn ECU for controlling the car horn, an actuator for driving the car horn, and the like.
  • FIG. 3 is a diagram showing an example of sensing areas by the camera 51, the radar 52, the LiDAR 53, the ultrasonic sensor 54, etc. of the external recognition sensor 25. As shown in FIG. Note that FIG. 3 schematically shows a state in which the vehicle 1 is viewed from above. 3, the left side is the front end (front) of the vehicle 1, and the right end is the rear end (rear) of the vehicle 1, when viewing FIG.
  • a sensing area 101F and a sensing area 101B are examples of sensing areas of the ultrasonic sensor 54.
  • FIG. The sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 1 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 102F covers the front of the vehicle 1 to a position farther than the sensing area 101F.
  • the sensing area 102B covers the rear of the vehicle 1 to a position farther than the sensing area 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 102R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 102B is used for the rear collision prevention function of the vehicle 1, for example.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • the sensing area 103F covers the front of the vehicle 1 to a position farther than the sensing area 102F.
  • the sensing area 103B covers the rear of the vehicle 1 to a position farther than the sensing area 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 103R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • a sensing result in the sensing area 103B can be used for parking assistance and a surround view system, for example.
  • Sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • the sensing area 105 covers the front of the vehicle 1 to a position farther than the sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • FIG. 4 is a diagram showing a configuration example of the in-vehicle sensor 26 and the image display unit 93.
  • FIG. 5 is a diagram showing a display example of the image IM provided as the content CT.
  • the image display unit 93 is arranged so as to separate the front row seats (driver's seat and front passenger seat) and the rear row seats.
  • a camera CM is installed in the vehicle for monitoring the passenger PA in the back row seat.
  • the camera CM functions as an in-vehicle sensor 26 .
  • two cameras CM monitor the entire interior space (rear space) behind the front row seats.
  • the DMS 30 acquires the viewing state information VS of the passenger PA in the rear space based on the image captured by the camera CM.
  • the viewing state information VS includes, for example, information regarding the number of passengers PA, whether the passengers PA are awake, the visual field of the passengers PA, and whether the passengers PA are gazing at the content CT. .
  • the visual field of the passenger PA, whether the passenger PA is awake, and whether the passenger PA is gazing at the content CT is determined.
  • the HMI 31 controls display of the content CT based on the viewing state information VS.
  • the image display unit 93 is an optical see-through type or video see-through type display capable of transparently displaying the background.
  • an optical see-through display is used as the image display unit 93 as an example.
  • a known transparent display or technology such as HUD (Head-Up Display), transparent OLED (Organic Light Emitting Diode), and transparent LED (Light Emitting Diode) is used.
  • HUD Head-Up Display
  • transparent OLED Organic Light Emitting Diode
  • transparent LED Light Emitting Diode
  • a configuration for projecting an image onto a transparent screen SCR is employed as the image display unit 93 .
  • the video display unit 93 has, for example, a transparent screen SCR and a projector PJ.
  • the transparent screen SCR has an optical lens film that reflects the light projected from the projector PJ.
  • a light control film capable of electrically controlling the transmittance of external light is laminated on the optical lens film.
  • the HMI 31 adjusts the brightness of the display or the transparency or haze of the image display section 93 (transparent screen SCR) based on the brightness information outside the vehicle extracted from the environment information CE.
  • the passenger PA can see through the scenery outside the vehicle through the transparent screen SCR from the gap between the driver's seat and the passenger's seat.
  • FIG. 6 is a diagram showing another configuration example of the video display unit 93.
  • FIG. 7 is a diagram showing a display example of the image IM provided as the content CT.
  • the image display unit 93 is installed on the side of the passenger PA on the back row seat.
  • the side windows of the vehicle 1 have been replaced by transparent screens SCR.
  • a film-like transparent screen may be attached to the surface of the side glass or sandwiched inside the side glass.
  • the side glass of the rear seat has the function of the transparent screen SCR, but what has the function of the transparent screen SCR is not limited to the side glass of the rear seat.
  • the windshield, the front side windows or the rear window may have the function of the transparent screen SCR.
  • FIG. 8 is a diagram listing conditions inside and outside the vehicle that can be detected by sensors.
  • A1 to A5 are in the state of "watching something alone”
  • A4 to A7 are in the state of “watching together”
  • A6 to A7 are in the state of "not looking at anything in particular”
  • A8 is in the state of "looking at nothing”. It is in the state of "using a device on hand” and A9 is in the state of "sleeping”.
  • "I'm watching something by myself” and “I'm watching something with others” are states in which the image display unit 93 is being used, and “I'm not watching anything”, “I'm using a hand-held device” and " Sleeping” is a state in which the image display unit 93 is not used.
  • the DMS 30 detects how the passenger PA uses the video display unit 93 as a viewing state.
  • the states of the vehicle 1 include “in manual operation”, “in automatic operation”, and “in fallback”.
  • "Under automatic operation” or “under manual operation” is a state in which operation is being performed automatically or manually.
  • "During fallback” is a state in which authority is being transferred from automatic driving to manual driving or a transition is being requested.
  • "During automatic driving” is a state in which the content CT can be freely enjoyed, and “during manual driving” and “during fallback” are states in which provision of the content CT should be refrained so that the driver can concentrate on driving. .
  • “During fallback” can also be said to be a state in which it is necessary for passengers PA other than the driver to be notified that something is wrong with the vehicle 1 .
  • the vehicle sensor 27 detects, as the driving status DS, which state the vehicle 1 is currently in among the three states described above.
  • External environments include “dangerous surroundings”, “sunset” and “clear weather”. "There is a danger in the surroundings” is a state in which there is an event that should be notified to the passenger PA, and "Sunlight enters” and “Sunny weather” are states in which brightness control, etc., according to the surrounding environment are required. is.
  • the recognition unit 73 recognizes the external environment based on sensor information from the external recognition sensor 25 .
  • the vehicle control system 11 appropriately controls the display of the content CT according to the viewing state of the passenger PA, the driving status DS, the event outside the vehicle, and the surrounding environment.
  • FIG. 9 is a diagram showing an example of a display control method for content CT.
  • the HMI 31 performs display control of entertainment content CT based on the monitoring results of the passenger PA.
  • the HMI 31 has an information transmission method control section 91 , a display method control section 92 and an image display section 93 .
  • the information transmission method control unit 91 determines the information transmission level of the event that occurred outside the vehicle based on the monitor information acquired from the monitor unit MU.
  • the information transmission level indicates the urgency or importance of information transmission about an event that has occurred outside the vehicle.
  • the information transmission method control unit 91 determines the event notification method based on the information transmission level.
  • the determined notification method is the method of broadly communicating information about the event.
  • the display method control unit 92 determines a detailed display method (display position, display timing, etc.) of various types of information including the content CT in accordance with the notification method based on the monitor information.
  • FIG. 10 is a diagram showing an example of correspondence relationships between information transmission levels, surrounding situations, and display methods.
  • rank S corresponds to a situation in which an accident is occurring ahead.
  • viewing of the entertainment content CT displayed in front is stopped.
  • a forward field of view outside the vehicle is secured, and warning information is displayed in the forward display area.
  • Rank A corresponds to a situation where an accident has occurred in the left or right direction of vehicle 1.
  • Rank A secures the required side view (the side where the accident occurred) outside the vehicle.
  • the entertainment content CT displayed in the left or right display area where the accident occurred is moved to the display area where the accident did not occur. Then, warning information is displayed in the display area on the side where the accident has occurred.
  • Rank B corresponds to situations where there are other vehicles in close proximity. Rank B ensures visibility outside the vehicle in the required direction (the side where other vehicles are present).
  • the content CT for entertainment is moved to a non-obstructive position (for example, a position not superimposed on other cars). Then, warning information is displayed in the display area on the side where other cars are present.
  • Rank C corresponds to situations where there are other vehicles in the distance. Rank C ensures visibility outside the vehicle in the required direction (the side where other vehicles are present). Since the risk of collision with other vehicles is small, the size of the secured field of view is smaller than rank S, rank A, and rank B, and no warning information is displayed.
  • Rank D corresponds to situations where there are no other vehicles in the vicinity. Rank D does not have an event that assumes a danger such as a collision. Therefore, the viewing of the content CT for entertainment is continued.
  • FIG. 11 is a flowchart showing an example of content CT display control based on the results of monitoring inside and outside the vehicle.
  • 12 to 16 are diagrams showing the details of the processing.
  • the monitor unit MU acquires the information inside the vehicle, the information around the outside of the vehicle, and the driving status DS based on the sensor information (steps SA1 to SA3).
  • the monitor unit MU supplies the acquired various information to the HMI 31 as monitor information.
  • the monitor unit MU confirms the number of passengers based on the image captured by the camera CM (step SB1).
  • the monitor unit MU checks the activity level of each passenger PA (step SB2) and determines whether all the passengers are asleep or one or more are awake. If more than one person is awake, the monitor unit MU confirms the action details (whether or not the content CT is viewed) for each awake passenger PA (step SB3).
  • the monitor unit MU checks weather information based on sensor information acquired from the external recognition sensor 25, and determines whether visibility is good (step SC1). When the visibility is good, the monitor unit MU acquires the direction of the sun using the self-position information and the time information detected using SLAM (step SC2). Further, the monitor unit MU acquires surrounding accident information and surrounding vehicle information based on the sensor information obtained from the external recognition sensor 25 (steps SC3 to SC4).
  • the information transmission method control unit 91 detects the situation around the vehicle 1 based on the monitor information.
  • the storage unit 28 stores a table that defines information transmission level definition information for each situation.
  • the table defines, as definition information, the correspondence relationship between the information transmission level, the surrounding situation, and the display method.
  • the information transmission method control unit 91 defines the information transmission level according to the situation based on the table (step SA4).
  • the information transmission method control section 91 selects an information transmission level according to the surrounding situation, and determines an event notification method based on the selected information transmission level (steps SA5 and SA6).
  • the information transmission level is determined, for example, according to the flow of FIG.
  • the information transmission method control unit 91 acquires accident information and information on surrounding vehicles from the monitor unit MU (steps SD1 to SD2). Based on the acquired information, the information transmission method control section 91 determines the urgency of information transmission regarding the event that occurred outside the vehicle (step SD3).
  • the information transmission method control unit 91 determines the direction in which information about the event needs to be displayed based on the position where the event (for example, a threat to the vehicle 1) occurred. (step SD4). If there is a threat ahead, the information transmission method control section 91 selects rank S as the information transmission level. If there is a threat other than the front, the information transmission method control section 91 selects rank A as the information transmission level.
  • the information transmission method control unit 91 determines the degree of danger posed by surrounding vehicles (step SD5). For example, if there is another vehicle nearby, the direction in which information about the other vehicle needs to be displayed is determined (step SD6). If another vehicle is on the left or right, the information transmission method control section 91 selects rank B as the information transmission level. If there is another vehicle behind, the information transmission method control section 91 selects rank C as the information transmission level. If there is no other vehicle nearby, the information transmission method control section 91 selects rank D as the information transmission level.
  • the display method control unit 92 detects the viewing state information VS of the passenger PA based on the monitor information (steps SA7-SA8).
  • the viewing state information VS includes information on the visual field of the passenger PA (visual field information) and information on the state of the passenger PA (state information).
  • the state information includes information regarding whether or not the passenger PA is awake, and information regarding whether or not the passenger PA is gazing at the content CT.
  • the viewing state of the passenger PA is detected according to the flow of FIG. 15, for example.
  • the display method control unit 92 selects all the passengers PA detected based on the monitor information as detection targets (step SE1).
  • the display method control unit 92 defines the state of each passenger PA based on the monitor information, and determines whether or not each passenger PA is gazing at the content CT (step SE2). For example, when the line of sight is directed to the display area, it is determined that the user is gazing at the content CT, and when the line of sight is not directed to the display area, it is determined that the user is not gazing at the content CT.
  • the display method control unit 92 determines all passengers PA who are gazing at the content CT as detection targets (step SE3).
  • the display method control unit 92 acquires the determined visual field information of each passenger PA based on the monitor information (step SE4).
  • the display method control unit 92 determines the display area of the content CT based on the visual field information of the passenger PA (step SA9).
  • the display method control unit 92 determines the display timing of the event information and the content CT based on the state information of the passenger PA (step SA10).
  • the display method is determined by the display area and display timing.
  • the display method control unit 92 displays the content CT based on the determined display method (step SA11).
  • the display method is determined, for example, according to the flow of FIG.
  • the display method control unit 92 calculates a display area in which external light (for example, sunlight) causes a brightness distribution exceeding the allowable standard. Acceptance criteria are set in advance based on the visibility of the content CT. If the brightness distribution reduces the visibility beyond the acceptable limit, it is determined that the acceptable standard has been exceeded. For example, the display method control unit 92 calculates the display area in which the sun is reflected based on the direction of the sun. The display method control unit 92 recognizes the calculated display area as an area affected by external light (step SF1).
  • external light for example, sunlight
  • the display method control unit 92 calculates information (common visual field information) regarding the common field of view of the plurality of passengers PA (step SF2).
  • a common field of view means a portion where the fields of view of a plurality of passengers PA overlap on the transparent screen SCR.
  • the display method control unit 92 switches the display area according to the common field of view (step SF3). For example, the display method control unit 92 sets the display area of the content CT to an area other than the area affected by external light and including the common field of view. If there is no common field of view, the display area is switched according to the field of view of the specific passenger PA with a high degree of gaze (step SF4). For example, the display method control unit 92 sets the display area of the content CT to an area other than the area affected by external light and including the field of view of the specific passenger PA. Then, the display method control unit 92 displays the content CT according to the defined rank (step SF5).
  • FIG. 17 is a diagram illustrating an example of event notification.
  • the HMI 31 displays an event notification NT in the display area overlapping the visual field VA of the passenger PA in time with the occurrence of the event outside the vehicle. conduct.
  • Events that should be notified to the passenger PA include an accident that threatens the safety of the own vehicle and the existence of another vehicle that is driving dangerously.
  • the HMI 31 performs event notification NT by displaying event information ET on the video display unit 93, for example.
  • the event information ET includes, for example, information such as the type of event and the location of occurrence of the event.
  • a message "Emergency" is displayed in the lower left of the visual field VA of the passenger PA, and the other vehicle approaches in the lower right of the visual field VA.
  • An arrow will appear to indicate the direction to "Emergency" indicates the type of event, and the arrow indicates the position where the event occurs.
  • the event notification NT is performed in the display area of the portion of the entire display area (displayable area DA) of the video display unit 93 that overlaps the visual field VA of the passenger PA. Therefore, the passenger PA can acquire the event information ET without moving the field of view VA while viewing the content CT.
  • FIG. 18 is a diagram illustrating an example of transparent display of events.
  • the HMI 31 makes the display area of the portion overlapping the visual field VA of the passenger PA transparent at the timing when an event occurring outside the vehicle is confirmed within the visual field VA of the passenger PA. According to this configuration, the situation of the event can be visually recognized through the transparent display area (transparent area TA) without moving the visual field VA.
  • the HMI 31 moves the display position of the content CT displayed in the display area overlapping the visual field VA, or stops displaying the display area overlapping the visual field VA. As a result, the HMI 31 makes the portion of the display area overlapping the field of view VA transparent.
  • the display area of the content CT (content display area CDA) has moved from the lower right position of the screen where it overlaps with the field of view VA to the upper left position of the screen where it does not overlap with the field of view VA.
  • the lower right area of the screen where the content CT was displayed becomes a transparent area TA.
  • a passenger PA can visually recognize the situation of an event outside the vehicle through the transparent area TA. According to this configuration, the continuity of the content CT before and after the event is displayed is maintained. Therefore, the passenger PA viewing the content CT is less likely to feel uncomfortable. In other words, since the passenger PA can see the event outside the vehicle and grasp the situation, he/she can continue to view the content CT if it can be determined that there is no major problem.
  • the vehicle control system 11 may have a means for the user to notify the HMI 31 of whether or not there is a problem.
  • the HMI 31 moves the display position of the content CT to another display area whose brightness distribution satisfies the allowable standard when the content display area CDA has a brightness distribution exceeding the allowable standard due to external light. For example, the HMI 31 determines that the brightness distribution exceeds the permissible standard when the ratio of brightness between the brightest and darkest portions in the content display area CDA is greater than a preset threshold.
  • the reflection of the sun SN in the content display area CDA causes a brightness distribution exceeding the permissible standard in the content display area CDA. Therefore, the HMI 31 moves the content display area CDA to avoid the reflection of the sun SN. This suppresses deterioration in the visibility of the content CT due to external light.
  • the HMI 31 When the HMI 31 moves the display position of the content CT to another display area, the HMI 31 displays guidance information GI that guides the line of sight of the passenger PA to the other display area.
  • the guidance information FI As the guidance information FI, a message "Change the display position" and an arrow indicating the destination of the content display area CDA are displayed at the lower left of the content display area CDA.
  • the passenger PA can grasp in advance that the content display area CDA will move and the moving direction of the content display area CDA. Therefore, the display position of the content CT can be moved without making the passenger PA feel uncomfortable.
  • a brightness distribution exceeding the permissible standard occurs in the content display area CDA due to the direct incidence of external light on part of the content display area CDA. If the area DL directly exposed to outside light is much brighter than the other areas (shadow areas), the brightness distribution cannot be sufficiently resolved even if the transparency and haze of the transparent screen SCR are adjusted. Therefore, the HMI 31 moves the content display area CDA to a position avoiding the direct hit area DL after notifying with the guidance information GI.
  • 19 and 20 show an example in which sunlight causes a brightness distribution in the content display area CDA, but a brightness distribution can also occur due to external light other than sunlight.
  • a brightness distribution may occur in the content display area CDA due to streetlights, city lights reflected in a night view, or the like.
  • the HMI 31 moves the content display area CDA to an area with less brightness distribution.
  • FIG. 21 is a diagram illustrating a control example of an event notification method based on the information transmission level.
  • Passenger PA uses image display unit 93 at the center of the vehicle shown in FIG.
  • the HMI 31 determines the event notification method based on the urgency or importance of information transmission regarding the event that occurred outside the vehicle. For example, in the upper example of FIG. 21, there are no other vehicles OT around the own vehicle OW. Therefore, HMI 31 determines that an event to be notified to passenger PA has not occurred, and does not notify the event.
  • the other vehicle OT is located slightly behind and to the right of the own vehicle OW.
  • the HMI 31 determines that an event of low urgency has occurred right behind the host vehicle OW.
  • the HMI 31 illuminates the right end of the content CT in accordance with the event occurrence direction. As a result, event notification NT is performed.
  • the level of urgency is represented by the intensity of the light.
  • HMI 31 changes the intensity of light according to the distance between own vehicle OW and other vehicle OT. The shorter the distance, the higher the urgency and the higher the light intensity. In the middle example of FIG. 21, the distance between the own vehicle OW and the other vehicle OT is relatively large. Therefore, the intensity of the light that illuminates the right end of the content CT is relatively low.
  • the other vehicle OT runs close to the right side of the own vehicle OW.
  • the HMI 31 determines that a highly urgent event has occurred on the right side of the own vehicle OW.
  • the HMI 31 strongly lights the right end of the content CT to notify NT of the event.
  • FIG. 22 is a diagram illustrating an example of controlling a content display position based on an event occurrence position.
  • Passenger PA uses image display unit 93 at the center of the vehicle shown in FIG.
  • the HMI 31 controls the display position of the content CT based on the event occurrence position. For example, in the upper example of FIG. 22, there are no other vehicles OT around the own vehicle OW. Therefore, the HMI 31 determines that an event to be notified to the passenger PA has not occurred, and does not change the display position of the content CT.
  • the HMI 31 reduces the display size of the content CT so as to ensure a forward field of view.
  • the HMI 31 arranges the reduced content CT at a position that does not overlap the line of sight of the passenger PA (for example, the lower end of the transparent screen SCR) so as not to interfere with the passenger PA seeing through the accident site AS.
  • the HMI 31 reduces the display size of the content CT so as to secure the right field of view.
  • the HMI 31 arranges the reduced content CT at a position that does not overlap the line of sight of the passenger PA (for example, the left end of the transparent screen SCR) so as not to interfere with the passenger PA seeing through the accident site AS.
  • the passenger PA is leaning back to view the content CT.
  • HMI 31 detects a state in which passenger PA is gazing at content CT based on viewing state information VS.
  • the HMI 31 displays the content CT over the entire transparent screen SCR so that the passenger PA can view the content CT on a large screen.
  • the passenger PA is looking at the scenery GA outside the vehicle with his face close to the transparent screen SCR.
  • the HMI 31 detects the state in which the passenger PA is looking at the scenery GA outside the vehicle based on the viewing state information VS.
  • the HMI 31 reduces the display size of the content CT so as to secure a side view.
  • the HMI 31 arranges the reduced content CT at a position that does not overlap the line of sight of the passenger PA (for example, the corner of the transparent screen SCR) so as not to interfere with the passenger PA seeing through the scenery GA.
  • FIGS. 25 to 28 are diagrams showing display control examples based on the viewing states of a plurality of passengers PA.
  • individual passengers PA are distinguished by a number attached after the reference number, if necessary.
  • the method of distinguishing the field of view VA of each passenger PA is similar.
  • the HMI 31 detects the visual field VA of one or more passengers PA who are watching the content CT based on the viewing state information VS.
  • the HMI 31 displays the content CT in the display area overlapping the field of view VA for each detected field of view VA.
  • the HMI 31 selectively displays the content CT in the display area of the portion overlapping the visual field VA-1 of the passenger PA-1.
  • the HMI 31 makes the display area of the portion overlapping the visual field VA-2 of the passenger PA-2 transparent so that the passenger PA-2 can see through the outside of the vehicle.
  • the HMI 31 When the HMI 31 detects that the passenger PA has started driving based on the results of in-vehicle monitoring, the HMI 31 stops displaying the entertainment content CT that the passenger PA, who has started driving, is watching. According to this configuration, the passenger PA can concentrate on driving, so the safety of driving is enhanced.
  • the start of manual operation is detected based on the operation status DS. Which passenger PA has started driving is specified by image analysis of the image captured by the camera installed in the vehicle.
  • FIGS. 27 and 28 are diagrams showing an example of display control based on the common visual field CVA of a plurality of passengers PA.
  • the HMI 31 controls the display of event information ET and the like based on the position of the common visual field CVA.
  • multiple passengers PA are viewing common content CT.
  • a common field of view CVA exists on the content CT.
  • the HMI 31 issues a notification NT of the approach of the other vehicle OT in the display area overlapping the common visual field CVA.
  • the HMI 31 moves the content display area CDA to a position not overlapping with the common visual field CVA, and makes the display area overlapping with the common visual field CVA transparent.
  • the content display area CDA is moved to avoid the reflection of the sun SN.
  • the HMI 31 moves the display position of the content CT to another display area, the HMI 31 displays the guidance information GI in the display area overlapping the common visual field CVA. This allows all passengers PA who view the common content CT to recognize the movement of the content display area CDA and the movement direction of the content display area CDA.
  • the vehicle control system 11 has an HMI 31 .
  • the HMI 31 performs display control of the content CT for entertainment based on the monitoring result of the passenger PA.
  • the processing of the vehicle control system 11 is executed by a computer.
  • the program of the present disclosure causes the computer to implement the processing of the vehicle control system 11 .
  • the content CT is displayed by the video display unit 93.
  • the image display section 93 can switch between a display state and a transparent state.
  • the HMI 31 adjusts the brightness of the display or the transparency or haze of the display area (transparent screen SCR) of the content CT based on the brightness information outside the vehicle.
  • the video display unit 93 can have a content display function and a window function. It is also possible to perform AR display by superimposing the image IM on the scenery outside the vehicle. Also, by adjusting the brightness of the display and the transparency or haze of the display area of the content CT according to the brightness outside the vehicle, the visibility of the content CT is enhanced.
  • the HMI 31 determines the event notification method based on the urgency or importance of information transmission regarding the event that occurred outside the vehicle.
  • the vehicle control system 11 has a monitor unit MU.
  • the monitor unit MU records the display position of the content CT and the status of gaze of the passenger PA on the content CT.
  • This configuration makes it easier to investigate the cause of an accident in the event of an accident.
  • a vehicle control system having a human-machine interface that controls the display of entertainment content based on passenger monitoring results.
  • the human-machine interface determines a notification method of the event based on the urgency or importance of information transmission regarding the event that occurred outside the vehicle.
  • the vehicle control system according to (1) above.
  • the human-machine interface notifies the event in a display area overlapping the visual field of the passenger in accordance with the timing of the occurrence of the event outside the vehicle.
  • the human-machine interface makes the display area of the portion overlapping the passenger's field of view transparent in accordance with the timing when an event occurring outside the vehicle is confirmed in the passenger's field of view.
  • a vehicle control system according to any one of (1) to (3) above.
  • the human-machine interface moves the display position of the content displayed in the display area or stops displaying the display area, thereby making the display area transparent.
  • the vehicle control system according to (4) above.
  • the human-machine interface moves the display position of the content to another display area where the brightness distribution satisfies the allowable standard when the brightness distribution exceeding the allowable standard occurs in the display area of the content due to external light.
  • a vehicle control system according to any one of (1) to (5) above.
  • the human-machine interface displays guidance information for guiding the line of sight of the passenger to the other display area when moving the display position of the content to the other display area.
  • the vehicle control system according to (6) above.
  • the human-machine interface stops displaying the content that is being watched by the passenger who has started driving.
  • a vehicle control system according to any one of (1) to (7) above.
  • a monitor unit that records the display position of the content and the gaze status of the passenger on the content, A vehicle control system according to any one of (1) to (8) above.
  • the human-machine interface adjusts the brightness of the display or the transparency or haze of the content display area based on the brightness information outside the vehicle.
  • a vehicle control system according to any one of (1) to (9) above.
  • (11) A computer-implemented vehicle control method, comprising controlling display of entertainment content based on passenger monitoring results.
  • (12) A program that allows a computer to control the display of entertainment content based on the passenger's monitoring results.
  • vehicle control system 31 HMI (human machine interface) 93 Video display section CT Contents GI Guidance information MU Monitor section PA Passenger VA Visual field

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両制御システム（１１）は、ヒューマンマシンインタフェース（３１）を有する。ヒューマンマシンインタフェース（３１）は、搭乗者（ＰＡ）のモニタリング結果に基づいて、エンタテイメント用のコンテンツ（ＣＴ）の表示制御を行う。

Description

車両制御システム、車両制御方法およびプログラム
　本発明は、車両制御システム、車両制御方法およびプログラムに関する。
　フロントガラス等に情報を表示してドライバの運転支援を行う技術が知られている。最近では自動運転に関する取り組みが進んでおり、運転義務から解放されるレベル３の自動運転も実現されつつある。
特開２０１７－１７４０４３号公報
　自動運転が進むと、車内をエンタテイメント空間として利用することができる。搭乗者は車内に呈示された様々なエンタテイメント用のコンテンツを楽しむことができる。しかし、従来の車両制御システムでは、エンタテイメント用のコンテンツを楽しむための搭乗者の利便性については何ら考慮されていない。
　そこで、本開示では、エンタテイメント用のコンテンツを楽しむための搭乗者の利便性を高めることが可能な車両制御システム、車両制御方法およびプログラムを提案する。
　本開示によれば、搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うヒューマンマシンインタフェースを有する、車両制御システムが提供される。また、本開示によれば、前記車両制御システムの情報処理がコンピュータにより実行される車両制御方法、ならびに、前記車両制御システムの情報処理をコンピュータに実現させるプログラムが提供される。
エンタテイメント用コンテンツの表示制御の概要を説明する図である。 車両制御システムの構成例を示すブロック図である。 外部認識センサ２５によるセンシング領域の例を示す図である。 車内センサおよび映像表示部の構成例を示す図である。 コンテンツとして提供される映像の表示例を示す図である。 映像表示部の他の構成例を示す図である。 コンテンツとして提供される映像の表示例を示す図である。 センサによって検出し得る車内外の状態を列挙した図である。 コンテンツの表示制御方法の一例を示す図である。 情報伝達レベルと、周囲の状況および表示方法と、の対応関係の一例を示す図である。 車内および車外のモニタリング結果に基づくコンテンツの表示制御の一例を示すフローチャートである。 処理の詳細を示す図である。 処理の詳細を示す図である。 処理の詳細を示す図である。 処理の詳細を示す図である。 処理の詳細を示す図である。 イベントの通知例を示す図である。 イベントの透過表示例を示す図である。 明るさ分布に基づくコンテンツ表示位置の制御例を示す図である。 明るさ分布に基づくコンテンツ表示位置の制御例を示す図である。 情報伝達レベルに基づくイベントの通知方法の制御例を示す図である。 イベントの発生位置に基づくコンテンツ表示位置の制御例を示す図である。 搭乗者の視聴状態に基づくコンテンツ表示位置の制御例を示す図である。 搭乗者の視聴状態に基づくコンテンツ表示位置の制御例を示す図である。 複数の搭乗者の視聴状態に基づく表示制御例を示す図である。 複数の搭乗者の視聴状態に基づく表示制御例を示す図である。 複数の搭乗者の視聴状態に基づく表示制御例を示す図である。 複数の搭乗者の視聴状態に基づく表示制御例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．エンタテイメント用コンテンツの表示制御の概要］
［２．車両制御システムの構成例］
［３．外部認識センサのセンシング領域］
［４．車内センサおよび映像表示部の構成例］
［５．車内外のモニタリング結果に基づくコンテンツの表示制御］
　［５－１．モニタリングの対象］
　［５－２．情報伝達レベルに応じたコンテンツの表示制御］
　［５－３．処理フロー］
［６．表示制御例］
　［６－１．イベントの通知］
　［６－２．イベントの透過表示］
　［６－３．明るさ分布に基づくコンテンツ表示位置の制御］
　［６－４．情報伝達レベルに基づくイベントの通知方法の制御］
　［６－５．イベントの発生位置に基づくコンテンツ表示位置の制御］
　［６－６．搭乗者の視聴状態に基づくコンテンツ表示位置の制御］
　［６－７．複数の搭乗者の視聴状態に基づく表示制御］
［７．効果］
［１．エンタテイメント用コンテンツの表示制御の概要］
　図１は、エンタテイメント用コンテンツＣＴの表示制御の概要を説明する図である。
　車両１は、自動運転を行うことが可能な車両制御システム１１を有する。搭乗者ＰＡは、車内をエンタテイメント空間として利用することができる。車両１は、エンタテイメント用のコンテンツＣＴを表示可能な映像表示部９３を有する。エンタテイメント用コンテンツＣＴは、ドライバの運転支援を行うものではなく、搭乗者ＰＡを楽しませることを目的としたコンテンツである。エンタテイメント用コンテンツＣＴとしては、例えば、映画、音楽、ゲーム、ニュース、メール、地図・観光案内、ＳＮＳ、チャットなどがある。
　映像表示部９３は、例えば、表示状態と透明状態とを切り替え可能である。映像表示部９３は、車両１の内壁または仕切り壁に沿って車内空間を囲むように配置される。映像表示部９３は、表示状態においてコンテンツＣＴを呈示し、透明状態において搭乗者ＰＡに車外を透視させる。
　「表示状態」は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のように車外の景色に表示された映像などの情報を重ねてみることができる半透明な状態を含む。映像表示部９３は、車外の景色に映像を重畳することで、ＡＲ表示を行うことができる。映像表示部９３は、例えば、車外の明るさに応じて表示の明るさ、映像表示部９３の透明度もしくはヘイズを調整する。これにより、コンテンツＣＴの視認性を高めることができる。
　車両制御システム１１は、モニタ部ＭＵおよびヒューマンマシンインタフェース（ＨＭＩ）３１を有する。モニタ部ＭＵは、車両１に搭載された各種センサを用いて、車内および車外の各種情報を取得する。モニタ部ＭＵは、取得した情報をモニタ情報としてＨＭＩ３１に出力する。モニタ部ＭＵは、例えば、後述するＤＭＳ３０および認識部７３によって構成される。
　モニタ情報には、搭乗者ＰＡの視聴状態に関する情報（視聴状態情報ＶＳ）、車外のイベントに関する情報（イベント情報ＥＴ）、周囲の環境に関する情報（環境情報ＣＥ）および運転ステータスＤＳに関する情報などが含まれる。ＨＭＩ３１は、モニタ情報に基づいて、エンタテイメント用コンテンツＣＴの表示制御を行う。モニタ部ＭＵは、例えば、走行時の車内状況の記録として、コンテンツＣＴの表示位置、および、コンテンツＣＴに対する搭乗者ＰＡの注視状況を記録し、記憶部２８（図２参照）に保存する。記憶部２８をはじめとした車両制御システム１１の一部は、通信部２２を介してクラウド上にある機能として実装されてもよい。
［２．車両制御システムの構成例］
　図２は、車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）３０、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車－車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路側器等との間の路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩行者が所持する端末等との間の歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Ｏｖｅｒ　Ｔｈｅ　Ａｉｒ）。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Ｖｅｈｉｃｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）やＡＤ（Ａｕｔｏｎｏｍｏｕｓ　Ｄｒｉｖｉｎｇ）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォンおよび生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラおよび赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。車両センサ２７は、運転ステータスＤＳを検出するセンサを備える。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）として用いられ、記憶媒体としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Ｅｖｅｎｔ　Ｄａｔａ　Ｒｅｃｏｒｄｅｒ）やＤＳＳＡＤ（Ｄａｔａ　Ｓｔｏｒａｇｅ　Ｓｙｓｔｅｍ　ｆｏｒ　Ａｕｔｏｍａｔｅｄ　Ｄｒｉｖｉｎｇ）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、歩行者および周辺車両の有無、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Ｇｌｏｂａｌ　ｐａｔｈ　ｐｌａｎｎｉｎｇ）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Ｌｏｃａｌ　ｐａｔｈ　ｐｌａｎｎｉｎｇ）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの、運転者を含む搭乗者への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像、および、エンタテイメント用のコンテンツＣＴ等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Ｃａｍｅｒａ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
［３．外部認識センサのセンシング領域］
　図３は、外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図３は、車両１を上面から見た様子を模式的に示している。符号が正しい向きで表示されるような姿勢で図３を見た場合、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図３以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
［４．車内センサおよび映像表示部の構成例］
　図４は、車内センサ２６および映像表示部９３の構成例を示す図である。図５は、コンテンツＣＴとして提供される映像ＩＭの表示例を示す図である。
　図４および図５の例では、映像表示部９３は、前列シート（運転席および助手席）と後列シートとの間を仕切るように配置される。車内には、後列シートの搭乗者ＰＡをモニタリングするためのカメラＣＭが設置されている。カメラＣＭは車内センサ２６として機能する。図４の例では、２台のカメラＣＭが前列シートよりも後ろ側の車内空間（後部空間）全体をモニタリングする。
　ＤＭＳ３０は、カメラＣＭの撮影映像に基づいて、後部空間の搭乗者ＰＡの視聴状態情報ＶＳを取得する。視聴状態情報ＶＳには、例えば、搭乗者ＰＡの人数、搭乗者ＰＡが起きているかどうか、搭乗者ＰＡの視野、および、搭乗者ＰＡがコンテンツＣＴを注視しているかどうか、に関する情報が含まれる。複数の搭乗者ＰＡが存在する場合には、搭乗者ＰＡごとに、搭乗者ＰＡの視野、搭乗者ＰＡが起きているか否か、および、搭乗者ＰＡがコンテンツＣＴを注視しているか否か、が判定される。ＨＭＩ３１は、視聴状態情報ＶＳに基づいて、コンテンツＣＴの表示を制御する。
　映像表示部９３は、背景を透過表示することが可能な光学シースルー型またはビデオシースルー型のディスプレイである。本開示では、一例として、光学シースルー型のディスプレイが映像表示部９３として用いられる。映像表示部９３としては、ＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）、透明ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）および透明ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの公知の透明ディスプレイまたは技術が用いられる。本開示では、映像表示部９３として、例えば、透明スクリーンＳＣＲに映像を投影する構成が採用される。
　映像表示部９３は、例えば、透明スクリーンＳＣＲとプロジェクタＰＪとを有する。透明スクリーンＳＣＲは、プロジェクタＰＪから投射された光を反射させる光学レンズフィルムを有する。光学レンズフィルムには、外光の透過率を電気的に制御可能な調光フィルムが積層される。ＨＭＩ３１は、環境情報ＣＥから抽出される車外の明るさ情報に基づいて、表示の明るさ、または、映像表示部９３（透明スクリーンＳＣＲ）の透明度もしくはヘイズを調整する。映像表示部９３にコンテンツＣＴが表示されていないときは、搭乗者ＰＡは、運転席と助手席の隙間から透明スクリーンＳＣＲを介して車外の景色を透視することができる。
　図６は、映像表示部９３の他の構成例を示す図である。図７は、コンテンツＣＴとして提供される映像ＩＭの表示例を示す図である。
　図６および図７の例では、映像表示部９３は、後列シートの搭乗者ＰＡの側方に設置される。車両１のサイドガラスは、透明スクリーンＳＣＲによって置き換えられている。サイドガラスを透明スクリーンＳＣＲとして用いる代わりに、フィルム状の透明スクリーンがサイドガラスの表面に貼り付けられる、またはサイドガラスの内部に挟み込まれてもよい。搭乗者ＰＡは、映像ＩＭが表示されていないときは、透明スクリーンＳＣＲを介して車外の景色を透視することができる。
　図６および図７の例では、後席のサイドガラスが透明スクリーンＳＣＲの機能を有しているが、透明スクリーンＳＣＲの機能を有するものは後席のサイドガラスに限定されない。フロントガラス、前席のサイドガラス、またはリアガラスが透明スクリーンＳＣＲの機能を有していてもよい。
［５．車内外のモニタリング結果に基づくコンテンツの表示制御］
［５－１．モニタリングの対象］
　図８は、センサによって検出し得る車内外の状態を列挙した図である。
　車内の過ごし方としては、「Ａ１：映画、音楽、ゲーム」、「Ａ２：ニュース、メールを見る」、「Ａ３：ＶＲ映像を見る」、「Ａ４：地図、観光案内を見る」、「Ａ５：ＶＣ（ボイスチャット）をする」、「Ａ６：外の景色を見る」、「Ａ７：乗客どうしで会話する」、「Ａ８：スマートフォンで通話する」および「Ａ９：寝る、ぼーっとする」などがある。
　Ａ１～Ａ５は「一人で何か見ている」状態であり、Ａ４～Ａ７は「皆で見ている」状態であり、Ａ６～Ａ７は「特に何も見ていない」状態であり、Ａ８は「手持ちの機器を使っている」状態であり、Ａ９は「寝ている」状態である。「一人で何か見ている」および「皆で見ている」は映像表示部９３を使っている状態であり、「特に何も見ていない」、「手持ちの機器を使っている」および「寝ている」は映像表示部９３を使っていない状態である。ＤＭＳ３０は、搭乗者ＰＡがどのような態様で映像表示部９３を利用しているのかを視聴状態として検出する。
　車両１の状態としては、「手動運転中」、「自動運転中」および「フォールバック中」がある。「自動運転中」または「手動運転中」は、自動または手動で運転が行われている状態である。「フォールバック中」は、自動運転から手動運転に権限を移行している又は移行を要求している状態である。「自動運転中」は、コンテンツＣＴを自由に楽しむことができる状態であり、「手動運転中」および「フォールバック中」は、ドライバを運転に集中させるべくコンテンツＣＴの提供を控えるべき状態である。「フォールバック中」はドライバ以外の搭乗者ＰＡにとっても、車両１に何か異常が起きた状態であるということを知らせることが必要な状態ともいえる。車両センサ２７は、上述の３つの状態のうち現在車両１がどのような状態にあるかを運転ステータスＤＳとして検出する。
　外部環境としては、「周囲に危険がある」、「西日が入る」および「晴天時」などがある。「周囲に危険がある」は、搭乗者ＰＡに通知すべきイベントがある状態であり、「西日が入る」および「晴天時」は、周辺環境に応じた明るさの制御などが求められる状態である。認識部７３は、外部認識センサ２５のセンサ情報に基づいて外部環境を認識する。
　車両制御システム１１は、搭乗者ＰＡの視聴状態、運転ステータスＤＳ、車外のイベントおよび周辺環境に応じて、コンテンツＣＴの表示を適切に制御する。
［５－２．情報伝達レベルに応じたコンテンツの表示制御］
　図９は、コンテンツＣＴの表示制御方法の一例を示す図である。
　ＨＭＩ３１は、搭乗者ＰＡのモニタリング結果に基づいて、エンタテイメント用のコンテンツＣＴの表示制御を行う。例えば、ＨＭＩ３１は、情報伝達方法制御部９１、表示方法制御部９２および映像表示部９３を有する。
　情報伝達方法制御部９１は、モニタ部ＭＵから取得したモニタ情報に基づいて、車外で発生したイベントの情報伝達レベルを判定する。情報伝達レベルは、車外で発生したイベントについての情報伝達の緊急性または重要性を示す。情報伝達方法制御部９１は、情報伝達レベルに基づいてイベントの通知方法を決定する。決定される通知方法は、イベントについての大枠の情報伝達の方法である。表示方法制御部９２は、通知方法に即した、コンテンツＣＴを含む各種情報の詳細な表示方法（表示位置および表示タイミングなど）をモニタ情報に基づいて決定する。
　図１０は、情報伝達レベルと、周囲の状況および表示方法と、の対応関係の一例を示す図である。
　図１０の例では、情報伝達レベルとして、ランクＳからランクＤまでの５つのランクが定義されている。ランクＳは、前方に事故が発生している状況に対応する。ランクＳでは、前方に表示されていたエンタテイメント用のコンテンツＣＴの視聴は停止される。前方の車外の視野が確保され、前方の表示領域に警告の情報が表示される。
　ランクＡは、車両１の左方向または右方向において事故が発生している状況に対応する。ランクＡでは、必要な側面側（事故が発生している側）の車外の視野が確保される。事故が発生している左側または右側の表示領域に表示されていたエンタテイメント用のコンテンツＣＴは、事故が発生していない側の表示領域に移動される。そして、事故が発生している側の表示領域に警告の情報が表示される。
　ランクＢは、近距離に他の車が存在する状況に対応する。ランクＢでは、必要な方向（他の車が存在する側）の車外の視野が確保される。エンタテイメント用のコンテンツＣＴは、邪魔にならない位置（例えば、他の車と重畳されない位置）に移動される。そして、他の車が存在する側の表示領域に警告の情報が表示される。
　ランクＣは、遠距離に他の車が存在する状況に対応する。ランクＣでは、必要な方向（他の車が存在する側）の車外の視野が確保される。他の車との衝突の危険性が少ないため、確保される視野の大きさは、ランクＳ、ランクＡおよびランクＢよりも小さく、警告の情報も表示されない。
　ランクＤは、周囲に他の車が存在しない状況に対応する。ランクＤでは、衝突などの危険を想定するイベントが存在しない。そのため、エンタテイメント用のコンテンツＣＴの視聴は継続される。
［５－３．処理フロー］
　図１１は、車内および車外のモニタリング結果に基づくコンテンツＣＴの表示制御の一例を示すフローチャートである。図１２ないし図１６は、処理の詳細を示す図である。
　図１１に示すように、モニタ部ＭＵは、センサ情報に基づいて車内の情報、車外周囲の情報および運転ステータスＤＳを取得する（ステップＳＡ１～ＳＡ３）。モニタ部ＭＵは、取得した各種情報をモニタ情報としてＨＭＩ３１に供給する。
　車内の情報は、例えば、図１２のフローにしたがって取得される。まず、モニタ部ＭＵは、カメラＣＭの撮影画像に基づいて乗車人数を確認する（ステップＳＢ１）。モニタ部ＭＵは、搭乗者ＰＡごとの活動レベルを確認し（ステップＳＢ２）、全員寝ているのか、それとも一人以上起きているのかを判定する。一人以上起きている場合には、モニタ部ＭＵは、起きている搭乗者ＰＡごとに行動内容（コンテンツＣＴを視聴しているか否か）を確認する（ステップＳＢ３）。
　車外周囲の情報、例えば、図１３のフローにしたがって取得される。まず、モニタ部ＭＵは、外部認識センサ２５から取得したセンサ情報に基づいて天候情報を確認し、視界が良好であるか否かを判定する（ステップＳＣ１）。視界が良好である場合には、モニタ部ＭＵは、ＳＬＡＭを用いて検出された自己位置の情報および時刻情報を用いて太陽の方向を取得する（ステップＳＣ２）。また、モニタ部ＭＵは、外部認識センサ２５から取得したセンサ情報に基づいて、周囲の事故情報および周囲の車の情報を取得する（ステップＳＣ３～ＳＣ４）。
　図１１に戻って、情報伝達方法制御部９１は、モニタ情報に基づいて車両１の周囲の状況を検出する。記憶部２８には、状況ごとに情報伝達レベルの定義情報が規定されたテーブルが記憶されている。テーブルには、定義情報として、情報伝達レベルと、周囲の状況および表示方法と、の対応関係が規定されている。情報伝達方法制御部９１は、テーブルに基づいて、状況に即した情報伝達レベルの定義を行う（ステップＳＡ４）。情報伝達方法制御部９１は、周囲の状況に応じた情報伝達レベルを選択し、選択された情報伝達レベルに基づいてイベントの通知方法を決定する（ステップＳＡ５～ＳＡ６）。
　情報伝達レベルは、例えば、図１４のフローにしたがって決定される。まず、情報伝達方法制御部９１は、モニタ部ＭＵから事故情報および周囲の車の情報を取得する（ステップＳＤ１～ＳＤ２）。情報伝達方法制御部９１は、取得した情報に基づいて、車外で発生したイベントについての情報伝達の緊急性を判断する（ステップＳＤ３）。
　情報伝達の緊急性があると判断された場合には、情報伝達方法制御部９１は、イベント（例えば、車両１に対する脅威）の発生した位置に基づいて、イベントに関する情報の表示が必要となる方向を判断する（ステップＳＤ４）。前方に脅威がある場合には、情報伝達方法制御部９１は、情報伝達レベルとしてランクＳを選択する。前方以外に脅威がある場合には、情報伝達方法制御部９１は、情報伝達レベルとしてランクＡを選択する。
　情報伝達の緊急性がないと判断された場合には、情報伝達方法制御部９１は、周囲の車による危険度を判断する（ステップＳＤ５）。例えば、近くに他の車が存在する場合には、他車に関する情報の表示が必要となる方向を判断する（ステップＳＤ６）。他の車が左方向または右方向に存在する場合には、情報伝達方法制御部９１は、情報伝達レベルとしてランクＢを選択する。他の車が後方に存在する場合には、情報伝達方法制御部９１は、情報伝達レベルとしてランクＣを選択する。近くに他の車が存在しない場合には、情報伝達方法制御部９１は、情報伝達レベルとしてランクＤを選択する。
　図１１に戻って、表示方法制御部９２は、モニタ情報に基づいて搭乗者ＰＡの視聴状態情報ＶＳを検出する（ステップＳＡ７～ＳＡ８）。視聴状態情報ＶＳには、搭乗者ＰＡの視野に関する情報（視野情報）、および、搭乗者ＰＡの状態に関する情報（状態情報）が含まれる。状態情報には、搭乗者ＰＡが起きているか否かに関する情報、および、搭乗者ＰＡがコンテンツＣＴを注視しているか否かに関する情報が含まれる。
　搭乗者ＰＡの視聴状態は、例えば、図１５のフローにしたがって検出される。まず、表示方法制御部９２は、モニタ情報に基づいて検出された全ての搭乗者ＰＡを検出対象として選択する（ステップＳＥ１）。表示方法制御部９２は、モニタ情報に基づいて個々の搭乗者ＰＡの状態を定義し、搭乗者ＰＡごとに、コンテンツＣＴを注視しているか否かを判定する（ステップＳＥ２）。例えば、表示領域に視線が向いている場合には、コンテンツＣＴを注視していると判定され、表示領域に視線が向いていない場合には、コンテンツＣＴを注視していないと判定される。
　表示方法制御部９２は、コンテンツＣＴを注視している全ての搭乗者ＰＡを検出対象として決定する（ステップＳＥ３）。表示方法制御部９２は、モニタ情報に基づいて、決定された個々の搭乗者ＰＡの視野情報を取得する（ステップＳＥ４）。
　表示方法制御部９２は、搭乗者ＰＡの視野情報に基づいて、コンテンツＣＴの表示領域を決定する（ステップＳＡ９）。表示方法制御部９２は、搭乗者ＰＡの状態情報に基づいて、イベントの情報およびコンテンツＣＴの表示タイミングを決定する（ステップＳＡ１０）。表示領域および表示タイミングによって表示方法が決定される。表示方法制御部９２は、決定された表示方法に基づいてコンテンツＣＴを表示する（ステップＳＡ１１）。
　表示方法は、例えば、図１６のフローにしたがって決定される。まず、表示方法制御部９２は、外光（例えば太陽光）によって許容基準を超える明るさ分布が生じる表示領域を算出する。許容基準は、コンテンツＣＴの視認性などに基づいて予め設定される。明るさ分布によって視認性が許容限度を超えて低下する場合には、許容基準を超えたと判定される。例えば、表示方法制御部９２は、太陽の方向に基づいて、太陽が映り込む表示領域を算出する。表示方法制御部９２は、算出された表示領域を外光による影響領域として認識する（ステップＳＦ１）。
　表示方法制御部９２は、コンテンツＣＴを注視する搭乗者ＰＡが複数存在する場合には、複数の搭乗者ＰＡの共通視野に関する情報（共通視野情報）を算出する（ステップＳＦ２）。共通視野とは、複数の搭乗者ＰＡの視野が透明スクリーンＳＣＲ上で重なり合う部分を意味する。
　共通視野がある場合には、表示方法制御部９２は、共通視野に合わせて表示領域の切り替えを行う（ステップＳＦ３）。例えば、表示方法制御部９２は、外光による影響領域以外の領域で且つ共通視野を含む領域にコンテンツＣＴの表示領域を設定する。共通視野がない場合には、注視度が高い特定の搭乗者ＰＡの視野に合わせて表示領域の切り替えを行う（ステップＳＦ４）。例えば、表示方法制御部９２は、外光による影響領域以外の領域で且つ特定の搭乗者ＰＡの視野を含む領域にコンテンツＣＴの表示領域を設定する。そして、表示方法制御部９２は、定義されたランクに合わせてコンテンツＣＴの表示を行う（ステップＳＦ５）。
［６．表示制御例］
［６－１．イベントの通知］
　以下、図１７ないし図２８を用いて、ＨＭＩ３１による表示制御の一例を説明する。図１７は、イベントの通知例を示す図である。
　ＨＭＩ３１は、車外に搭乗者ＰＡに通知すべきイベントが発生した場合には、車外でイベントが発生したタイミングに合わせて、搭乗者ＰＡの視野ＶＡと重畳する部分の表示領域にイベントの通知ＮＴを行う。搭乗者ＰＡに通知すべきイベントとしては、自車の安全を脅かすような事故や、危険運転を行っている他車の存在などが挙げられる。
　ＨＭＩ３１は、例えば、映像表示部９３にイベント情報ＥＴを表示することによりイベントの通知ＮＴを行う。イベント情報ＥＴには、例えば、イベントの種類およびイベントの発生位置などの情報が含まれる。図１７の例では、他の車が所定の距離まで自車に近づいたタイミングで、搭乗者ＰＡの視野ＶＡの左下に「Ｅｍｅｒｇｅｎｃｙ」というメッセージが表示され、視野ＶＡの右下に他車が近接する方向を示す矢印が表示される。「Ｅｍｅｒｇｅｎｃｙ」がイベントの種類を示し、矢印がイベントの発生位置を示す。
　イベントの通知ＮＴが行われるのは、映像表示部９３の全表示領域（表示可能領域ＤＡ）のうち、搭乗者ＰＡの視野ＶＡと重畳する部分の表示領域である。そのため、搭乗者ＰＡは、コンテンツＣＴを視聴しながら、視野ＶＡを動かすことなくイベント情報ＥＴを取得することができる。
［６－２．イベントの透過表示］
　図１８は、イベントの透過表示例を示す図である。
　ＨＭＩ３１は、車外で発生したイベントが搭乗者ＰＡの視野ＶＡ内で確認されるタイミングに合わせて、搭乗者ＰＡの視野ＶＡと重畳する部分の表示領域を透明状態にする。この構成によれば、視野ＶＡを動かすことなく、透明状態となった表示領域（透明領域ＴＡ）を介してイベントの状況を視認することができる。
　例えば、ＨＭＩ３１は、視野ＶＡと重畳する部分の表示領域に表示されていたコンテンツＣＴの表示位置を移動させる、または、視野ＶＡと重畳する部分の表示領域の表示を停止する。これにより、ＨＭＩ３１は、視野ＶＡと重畳する部分の表示領域を透明状態にする。
　図１８の例では、コンテンツＣＴの表示領域（コンテンツ表示領域ＣＤＡ）が、視野ＶＡと重畳する画面右下の位置から、視野ＶＡと重畳しない画面左上の位置に移動している。コンテンツＣＴが表示されていた画面右下の領域は透明領域ＴＡとなる。搭乗者ＰＡは、透明領域ＴＡを介して車外のイベントの状況を視認することができる。この構成によれば、イベントを表示する前と後のコンテンツＣＴの連続性は保たれる。そのため、コンテンツＣＴを視聴する搭乗者ＰＡに違和感が生じにくい。つまり搭乗者ＰＡは車外のイベントを目視し状況を把握することが可能なため、大きな問題がないと判断できればコンテンツＣＴを継続して見ることができる。車両制御システム１１は、問題がないかの判断をユーザがＨＭＩ３１に通知する手段を持っていてもよい。
［６－３．明るさ分布に基づくコンテンツ表示位置の制御］
　図１９および図２０は、明るさ分布に基づくコンテンツ表示位置の制御例を示す図である。
　ＨＭＩ３１は、外光によってコンテンツ表示領域ＣＤＡに許容基準を超える明るさ分布が生じたときに、明るさ分布が許容基準を満たす他の表示領域にコンテンツＣＴの表示位置を移動させる。例えば、ＨＭＩ３１は、コンテンツ表示領域ＣＤＡ内の最も明るい部分と最も暗い部分の明るさの比が予め設定された閾値よりも大きい場合に、明るさ分布が許容基準を超えたと判定する。
　図１９の例では、太陽ＳＮがコンテンツ表示領域ＣＤＡに映り込むことにより、コンテンツ表示領域ＣＤＡに許容基準を超える明るさ分布が生じている。そのため、ＨＭＩ３１は、コンテンツ表示領域ＣＤＡを移動させ、太陽ＳＮの映り込みを回避する。これにより、外光によるコンテンツＣＴの視認性の低下が抑制される。
　ＨＭＩ３１は、コンテンツＣＴの表示位置を他の表示領域に移動させる際に、他の表示領域に搭乗者ＰＡの視線を誘導する誘導情報ＧＩを表示する。図１９の例では、誘導情報ＦＩとして、コンテンツ表示領域ＣＤＡの左下に、「表示位置を変えます」というメッセージととともに、コンテンツ表示領域ＣＤＡの移動先を示す矢印が表示される。誘導情報ＧＩによって、コンテンツ表示領域ＣＤＡが移動すること、および、コンテンツ表示領域ＣＤＡの移動方向が搭乗者ＰＡによって事前に把握される。そのため、搭乗者ＰＡに違和感を与えることなくコンテンツＣＴの表示位置を移動させることができる。
　図２０の例では、コンテンツ表示領域ＣＤＡの一部に外光が直射することにより、コンテンツ表示領域ＣＤＡに許容基準を超える明るさ分布が生じている。外光の直射領域ＤＬがそれ以外の領域（影になる領域）に比べて非常に明るい場合には、透明スクリーンＳＣＲの透明度やヘイズを調節しても明るさ分布は十分には解消されない。そのため、ＨＭＩ３１は、誘導情報ＧＩによって通知を行った後、直射領域ＤＬを避けた位置にコンテンツ表示領域ＣＤＡを移動させる。
　図１９および図２０では、太陽光によってコンテンツ表示領域ＣＤＡに明るさ分布が生じる例が示されたが、明るさ分布は太陽光以外の外光によっても生じうる。例えば、街灯や夜景に映る街の明かりなどによって、コンテンツ表示領域ＣＤＡに明るさ分布が生じることがある。この場合も、ＨＭＩ３１は明るさ分布が少ない領域にコンテンツ表示領域ＣＤＡを移動させる。
［６－４．情報伝達レベルに基づくイベントの通知方法の制御］
　図２１は、情報伝達レベルに基づくイベントの通知方法の制御例を示す図である。なお、搭乗者ＰＡは、図４に示した車両中央部の映像表示部９３を利用するものとする。
　ＨＭＩ３１は、車外で発生したイベントについての情報伝達の緊急性または重要性に基づいて、イベントの通知方法を決定する。例えば、図２１の上段の例では、自車ＯＷの周囲に他車ＯＴが存在しない。そのため、ＨＭＩ３１は、搭乗者ＰＡに通知すべきイベントが発生していないと判定し、イベントの通知を行わない。
　図２１の中段の例では、自車ＯＷの右後方の少し離れた位置に他車ＯＴが存在する。ＨＭＩ３１は、自車ＯＷの右後方に緊急性の低いイベントが発生したと判定する。ＨＭＩ３１は、イベントの発生方向に合わせてコンテンツＣＴの右端を光らせる。これにより、イベントの通知ＮＴが行われる。
　緊急性の高さは、光の強さによって表される。ＨＭＩ３１は、自車ＯＷと他車ＯＴとの距離に応じて光の強さを変える。距離が短いほど、緊急性は高く、光の強度も大きい。図２１の中段の例では、自車ＯＷと他車ＯＴとの距離は比較的大きい。そのため、コンテンツＣＴの右端を照らす光の強度は比較的小さい。
　図２１の下段の例では、自車ＯＷの右側に他車ＯＴが近接して走行する。ＨＭＩ３１は、自車ＯＷの右側に緊急性の高いイベントが発生したと判定する。ＨＭＩ３１は、コンテンツＣＴの右端を強く光らせてイベントの通知ＮＴを行う。
［６－５．イベントの発生位置に基づくコンテンツ表示位置の制御］
　図２２は、イベントの発生位置に基づくコンテンツ表示位置の制御例を示す図である。なお、搭乗者ＰＡは、図４に示した車両中央部の映像表示部９３を利用するものとする。
　ＨＭＩ３１は、イベント発生位置に基づいて、コンテンツＣＴの表示位置を制御する。例えば、図２２の上段の例では、自車ＯＷの周囲に他車ＯＴが存在しない。そのため、ＨＭＩ３１は、搭乗者ＰＡに通知すべきイベントが発生していないと判定し、コンテンツＣＴの表示位置を変更しない。
　図２２の中段の例では、自車ＯＷの前方に事故（イベント）が発生している。ＨＭＩ３１は、前方の視界が確保されるように、コンテンツＣＴの表示サイズを縮小する。ＨＭＩ３１は、搭乗者ＰＡが事故現場ＡＳを透視する際に邪魔にならないように、縮小されたコンテンツＣＴを搭乗者ＰＡの視線と重ならない位置（例えば、透明スクリーンＳＣＲの下端）に配置する。
　図２２の下段の例では、自車ＯＷの右側で事故が発生している。ＨＭＩ３１は、右側の視野が確保されるように、コンテンツＣＴの表示サイズを縮小する。ＨＭＩ３１は、搭乗者ＰＡが事故現場ＡＳを透視する際に邪魔にならないように、縮小されたコンテンツＣＴを搭乗者ＰＡの視線と重ならない位置（例えば、透明スクリーンＳＣＲの左端）に配置する。
［６－６．搭乗者の視聴状態に基づくコンテンツ表示位置の制御］
　図２３および図２４は、搭乗者ＰＡの視聴状態に基づくコンテンツ表示位置の制御例を示す図である。なお、搭乗者ＰＡは、図６に示した車両側面部の映像表示部９３を利用するものとする。
　図２３の例では、搭乗者ＰＡは、リーンバックしてコンテンツＣＴを視聴している。ＨＭＩ３１は、視聴状態情報ＶＳに基づいて、搭乗者ＰＡがコンテンツＣＴを注視している状態を検出する。ＨＭＩ３１は、搭乗者ＰＡが大画面でコンテンツＣＴを視聴できるように、透明スクリーンＳＣＲ全体にコンテンツＣＴを表示する。
　図２４の例では、搭乗者ＰＡは、透明スクリーンＳＣＲに顔を近づけて車外の景色ＧＡを眺めている。ＨＭＩ３１は、視聴状態情報ＶＳに基づいて、搭乗者ＰＡが車外の景色ＧＡを見ようとしている状態を検出する。ＨＭＩ３１は、側方の視界が確保されるように、コンテンツＣＴの表示サイズを縮小する。ＨＭＩ３１は、搭乗者ＰＡが景色ＧＡを透視する際に邪魔にならないように、縮小されたコンテンツＣＴを搭乗者ＰＡの視線と重ならない位置（例えば、透明スクリーンＳＣＲの角部）に配置する。
［６－７．複数の搭乗者の視聴状態に基づく表示制御］
　図２５ないし図２８は、複数の搭乗者ＰＡの視聴状態に基づく表示制御例を示す図である。図２５ないし図２８では、個々の搭乗者ＰＡは、必要に応じて、符号の後に付された番号により区別される。個々の搭乗者ＰＡの視野ＶＡを区別する方法も同様である。
　ＨＭＩ３１は、視聴状態情報ＶＳに基づいて、コンテンツＣＴを注視している１以上の搭乗者ＰＡの視野ＶＡを検出する。ＨＭＩ３１は、検出された視野ＶＡごとに、視野ＶＡと重畳する部分の表示領域にコンテンツＣＴを表示する。
　図２５および図２６の例では、搭乗者ＰＡ－２は車外の景色を眺めている。そのため、ＨＭＩ３１は、搭乗者ＰＡ－１の視野ＶＡ－１と重畳する部分の表示領域に対して選択的にコンテンツＣＴを表示する。ＨＭＩ３１は、搭乗者ＰＡ－２が車外を透視できるように、搭乗者ＰＡ－２の視野ＶＡ－２と重畳する部分の表示領域を透明状態とする。
　ＨＭＩ３１は、車内のモニタリング結果に基づいて、搭乗者ＰＡが運転を開始したことを検出すると、運転を開始した搭乗者ＰＡが注視しているエンタテイメント用のコンテンツＣＴの表示を停止する。この構成によれば、搭乗者ＰＡを運転に集中させることができるため、運転の安全性が高まる。なお、手動運転が開始されたことは、運転ステータスＤＳに基づいて検出される。どの搭乗者ＰＡが運転を開始したのかは、車内に設置されたカメラの映像を画像解析することにより特定される。
　図２７および図２８は、複数の搭乗者ＰＡの共通視野ＣＶＡに基づく表示制御の一例を示す図である。
　ＨＭＩ３１は、複数の搭乗者ＰＡの視野ＶＡに共通視野ＣＶＡが存在する場合には、共通視野ＣＶＡの位置に基づいてイベント情報ＥＴ等の表示制御を行う。
　例えば、図２７の例では、複数の搭乗者ＰＡが共通のコンテンツＣＴを視聴している。コンテンツＣＴ上には共通視野ＣＶＡが存在する。このとき、他車ＯＴの接近（イベント）が検知された場合には、ＨＭＩ３１は、他車ＯＴの接近を知らせる通知ＮＴを、共通視野ＣＶＡと重畳する部分の表示領域に行う。他車ＯＴが共通視野ＣＶＡと重畳する位置まで来たら、ＨＭＩ３１は、コンテンツ表示領域ＣＤＡを共通視野ＣＶＡと重畳しない位置に移動させ、共通視野ＣＶＡと重畳する部分の表示領域を透明状態にする。
　図２８の例では、太陽ＳＮの映り込みを避けるために、コンテンツ表示領域ＣＤＡが移動される。ＨＭＩ３１は、コンテンツＣＴの表示位置を他の表示領域に移動させる際に、共通視野ＣＶＡと重畳する部分の表示領域に誘導情報ＧＩを表示する。これにより、共通のコンテンツＣＴを視聴する全ての搭乗者ＰＡに、コンテンツ表示領域ＣＤＡが移動すること、および、コンテンツ表示領域ＣＤＡの移動方向を認識させることができる。
［７．効果］
　車両制御システム１１は、ＨＭＩ３１を有する。ＨＭＩ３１は、搭乗者ＰＡのモニタリング結果に基づいて、エンタテイメント用のコンテンツＣＴの表示制御を行う。本開示の車両制御方法は、車両制御システム１１の処理がコンピュータにより実行される。本開示のプログラムは、車両制御システム１１の処理をコンピュータに実現させる。
　この構成によれば、搭乗者ＰＡの視聴状態を考慮した表示制御を行うことができる。そのため、コンテンツＣＴを楽しむための搭乗者ＰＡの利便性が高まる。
　コンテンツＣＴは、映像表示部９３により表示される。映像表示部９３は、表示状態と透明状態とを切り替え可能である。ＨＭＩ３１は、車外の明るさ情報に基づいて、表示の明るさ、または、コンテンツＣＴの表示領域（透明スクリーンＳＣＲ）の透明度もしくはヘイズを調整する。
　この構成によれば、映像表示部９３に、コンテンツ表示機能とウィンドウ機能を持たせることができる。車外の景色に映像ＩＭを重畳することで、ＡＲ表示を行うことも可能である。また、車外の明るさに応じて表示の明るさ、コンテンツＣＴの表示領域の透明度もしくはヘイズを調整することで、コンテンツＣＴの視認性が高まる。
　ＨＭＩ３１は、車外で発生したイベントについての情報伝達の緊急性または重要性に基づいて、イベントの通知方法を決定する。
　この構成によれば、コンテンツＣＴを楽しみながら、車外で発生したイベントの存在、および、イベントの緊急性または重要性を認識することができる。
　車両制御システム１１は、モニタ部ＭＵを有する。モニタ部ＭＵは、コンテンツＣＴの表示位置、および、コンテンツＣＴに対する搭乗者ＰＡの注視状況を記録する。
　この構成によれば、事故が起こった場合に、事故原因を究明しやすくなる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うヒューマンマシンインタフェースを有する、車両制御システム。
（２）
　前記ヒューマンマシンインタフェースは、車外で発生したイベントについての情報伝達の緊急性または重要性に基づいて前記イベントの通知方法を決定する、
　上記（１）に記載の車両制御システム。
（３）
　前記ヒューマンマシンインタフェースは、車外でイベントが発生したタイミングに合わせて、前記搭乗者の視野と重畳する部分の表示領域に前記イベントの通知を行う、
　上記（１）または（２）に記載の車両制御システム。
（４）
　前記ヒューマンマシンインタフェースは、車外で発生したイベントが前記搭乗者の視野内で確認されるタイミングに合わせて、前記搭乗者の視野と重畳する部分の表示領域を透明状態にする、
　上記（１）ないし（３）のいずれか１つに記載の車両制御システム。
（５）
　前記ヒューマンマシンインタフェースは、前記表示領域に表示されていたコンテンツの表示位置を移動させる、または、前記表示領域の表示を停止することにより、前記表示領域を透明状態にする、
　上記（４）に記載の車両制御システム。
（６）
　前記ヒューマンマシンインタフェースは、外光によって前記コンテンツの表示領域に許容基準を超える明るさ分布が生じたときに、前記明るさ分布が許容基準を満たす他の表示領域に前記コンテンツの表示位置を移動させる、
　上記（１）ないし（５）のいずれか１つに記載の車両制御システム。
（７）
　前記ヒューマンマシンインタフェースは、前記コンテンツの表示位置を前記他の表示領域に移動させる際に、前記他の表示領域に前記搭乗者の視線を誘導する誘導情報を表示する、
　上記（６）に記載の車両制御システム。
（８）
　前記ヒューマンマシンインタフェースは、運転を開始した搭乗者が注視している前記コンテンツの表示を停止する、
　上記（１）ないし（７）のいずれか１つに記載の車両制御システム。
（９）
　前記コンテンツの表示位置、および、前記コンテンツに対する前記搭乗者の注視状況を記録するモニタ部を有する、
　上記（１）ないし（８）のいずれか１つに記載の車両制御システム。
（１０）
　前記ヒューマンマシンインタフェースは、車外の明るさ情報に基づいて、表示の明るさ、または、前記コンテンツの表示領域の透明度もしくはヘイズを調整する、
　上記（１）ないし（９）のいずれか１つに記載の車両制御システム。
（１１）
　搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うことを有する、コンピュータにより実行される車両制御方法。
（１２）
　搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うことをコンピュータに実現させるプログラム。
１１　車両制御システム
３１　ＨＭＩ（ヒューマンマシンインタフェース）
９３　映像表示部
ＣＴ　コンテンツ
ＧＩ　誘導情報
ＭＵ　モニタ部
ＰＡ　搭乗者
ＶＡ　視野

Claims (12)

  1. 　搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うヒューマンマシンインタフェースを有する、車両制御システム。
  2. 　前記ヒューマンマシンインタフェースは、車外で発生したイベントについての情報伝達の緊急性または重要性に基づいて前記イベントの通知方法を決定する、
    　請求項１に記載の車両制御システム。
  3. 　前記ヒューマンマシンインタフェースは、車外でイベントが発生したタイミングに合わせて、前記搭乗者の視野と重畳する部分の表示領域に前記イベントの通知を行う、
    　請求項１に記載の車両制御システム。
  4. 　前記ヒューマンマシンインタフェースは、車外で発生したイベントが前記搭乗者の視野内で確認されるタイミングに合わせて、前記搭乗者の視野と重畳する部分の表示領域を透明状態にする、
    　請求項１に記載の車両制御システム。
  5. 　前記ヒューマンマシンインタフェースは、前記表示領域に表示されていたコンテンツの表示位置を移動させる、または、前記表示領域の表示を停止することにより、前記表示領域を透明状態にする、
    　請求項４に記載の車両制御システム。
  6. 　前記ヒューマンマシンインタフェースは、外光によって前記コンテンツの表示領域に許容基準を超える明るさ分布が生じたときに、前記明るさ分布が許容基準を満たす他の表示領域に前記コンテンツの表示位置を移動させる、
    　請求項１に記載の車両制御システム。
  7. 　前記ヒューマンマシンインタフェースは、前記コンテンツの表示位置を前記他の表示領域に移動させる際に、前記他の表示領域に前記搭乗者の視線を誘導する誘導情報を表示する、
    　請求項６に記載の車両制御システム。
  8. 　前記ヒューマンマシンインタフェースは、運転を開始した搭乗者が注視している前記コンテンツの表示を停止する、
    　請求項１に記載の車両制御システム。
  9. 　前記コンテンツの表示位置、および、前記コンテンツに対する前記搭乗者の注視状況を記録するモニタ部を有する、
    　請求項１に記載の車両制御システム。
  10. 　前記ヒューマンマシンインタフェースは、車外の明るさ情報に基づいて、表示の明るさ、または、前記コンテンツの表示領域の透明度もしくはヘイズを調整する、
    　請求項１に記載の車両制御システム。
  11. 　搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うことを有する、コンピュータにより実行される車両制御方法。
  12. 　搭乗者のモニタリング結果に基づいて、エンタテイメント用のコンテンツの表示制御を行うことをコンピュータに実現させるプログラム。
PCT/JP2022/006036 2021-09-15 2022-02-16 車両制御システム、車両制御方法およびプログラム WO2023042418A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280060884.2A CN117916139A (zh) 2021-09-15 2022-02-16 车辆控制系统、车辆控制方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-150607 2021-09-15
JP2021150607 2021-09-15

Publications (1)

Publication Number Publication Date
WO2023042418A1 true WO2023042418A1 (ja) 2023-03-23

Family

ID=85602619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006036 WO2023042418A1 (ja) 2021-09-15 2022-02-16 車両制御システム、車両制御方法およびプログラム

Country Status (2)

Country Link
CN (1) CN117916139A (ja)
WO (1) WO2023042418A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174043A (ja) 2016-03-23 2017-09-28 パイオニア株式会社 表示装置
JP2019133260A (ja) * 2018-01-29 2019-08-08 トヨタ自動車株式会社 車両用表示システム
JP2019135614A (ja) * 2018-02-05 2019-08-15 トヨタ自動車株式会社 車両用表示システム
JP2020098610A (ja) * 2017-06-16 2020-06-25 本田技研工業株式会社 車両およびサービス管理装置
JP2020192877A (ja) * 2019-05-28 2020-12-03 本田技研工業株式会社 制御装置、制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174043A (ja) 2016-03-23 2017-09-28 パイオニア株式会社 表示装置
JP2020098610A (ja) * 2017-06-16 2020-06-25 本田技研工業株式会社 車両およびサービス管理装置
JP2019133260A (ja) * 2018-01-29 2019-08-08 トヨタ自動車株式会社 車両用表示システム
JP2019135614A (ja) * 2018-02-05 2019-08-15 トヨタ自動車株式会社 車両用表示システム
JP2020192877A (ja) * 2019-05-28 2020-12-03 本田技研工業株式会社 制御装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
CN117916139A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
KR20190007286A (ko) 차량용 주행 시스템 및 차량
US11694408B2 (en) Information processing device, information processing method, program, and movable object
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
WO2023042418A1 (ja) 車両制御システム、車両制御方法およびプログラム
US20230001845A1 (en) Vehicle
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023074126A1 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024043053A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22869570

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023548095

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022869570

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022869570

Country of ref document: EP

Effective date: 20240415