WO2020050324A1 - 車両用表示システム、車両システム及び車両 - Google Patents

車両用表示システム、車両システム及び車両 Download PDF

Info

Publication number
WO2020050324A1
WO2020050324A1 PCT/JP2019/034815 JP2019034815W WO2020050324A1 WO 2020050324 A1 WO2020050324 A1 WO 2020050324A1 JP 2019034815 W JP2019034815 W JP 2019034815W WO 2020050324 A1 WO2020050324 A1 WO 2020050324A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
control unit
hud
road surface
Prior art date
Application number
PCT/JP2019/034815
Other languages
English (en)
French (fr)
Inventor
俊彦 紅林
政昭 中林
滝井　直樹
美紗子 神谷
美昭 伏見
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2020541273A priority Critical patent/JP7282789B2/ja
Priority to EP19858518.4A priority patent/EP3848245A1/en
Priority to CN201980058218.3A priority patent/CN112689579A/zh
Priority to US17/274,063 priority patent/US12005832B2/en
Publication of WO2020050324A1 publication Critical patent/WO2020050324A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/797—Instrument locations other than the dashboard at the vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/14—Other vehicle conditions
    • B60Q2300/146—Abnormalities, e.g. fail-safe
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/20—Indexing codes relating to the driver or the passengers
    • B60Q2300/21—Manual control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/20—Indexing codes relating to the driver or the passengers
    • B60Q2300/23—Driver's line of sight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2900/00—Features of lamps not covered by other groups in B60Q
    • B60Q2900/50—Arrangements to reconfigure features of lighting or signalling devices, or to choose from a list of pre-defined settings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present disclosure relates to a vehicle display system, a vehicle system, and a vehicle.
  • the vehicle system automatically controls traveling of the vehicle. Specifically, in the automatic driving mode, the vehicle system performs steering control based on information indicating the surrounding environment of the vehicle (surrounding environment information) obtained from sensors such as a camera and a radar (for example, a laser radar or a millimeter wave radar). At least one of (control of the traveling direction of the vehicle), brake control, and accelerator control (control of braking and acceleration / deceleration of the vehicle) is automatically performed.
  • the driver controls the running of the vehicle as in many conventional vehicles.
  • the traveling of the vehicle is controlled according to the driver's operation (steering operation, brake operation, accelerator operation), and the vehicle system does not automatically perform the steering control, the brake control, and the accelerator control.
  • the vehicle driving mode is not a concept that exists only in some vehicles, but a concept that exists in all vehicles including a conventional vehicle that does not have an automatic driving function. Classified according to the method.
  • autonomous driving vehicles vehicles traveling in the automatic driving mode
  • manual driving vehicles vehicles traveling in the manual driving mode
  • Patent Literature 1 discloses an automatic following system in which a following vehicle automatically runs following a preceding vehicle.
  • each of the preceding vehicle and the following vehicle has an illumination system, and character information for preventing another vehicle from interrupting between the preceding vehicle and the following vehicle is transmitted to the illumination system of the preceding vehicle. While being displayed, character information indicating that the vehicle is in automatic follow-up running is displayed on the lighting system of the following vehicle.
  • visual communication between autonomous vehicles and humans is expected to become important.
  • visual communication between a vehicle and an object such as a pedestrian existing outside the vehicle and visual communication between the vehicle and an occupant of the vehicle will become increasingly important.
  • visual communication between the vehicle and the object can be realized using a road surface drawing device that emits a light pattern onto the road surface, and the vehicle and the occupant can be communicated using a head-up display (HUD).
  • HUD head-up display
  • the display control unit (vehicle computer) of the vehicle display system automatically controls the emission of the light pattern, but the occupant himself or herself manually controls the emission of the light pattern according to the situation of the surrounding environment of the vehicle.
  • you want to control For example, it is assumed that the occupant wants to emit a light pattern toward a specific pedestrian existing around the vehicle in a situation where the light pattern is not emitted on the road surface.
  • a vehicle equipped with the road surface drawing device and the HUD if at least one of the road surface drawing device and the HUD becomes abnormal, visual communication between the vehicle and the occupant cannot be continued.
  • a vehicle display system capable of continuing visual communication between a vehicle and an occupant even when an abnormality occurs in at least one of the road surface drawing device and the HUD.
  • a first object of the present disclosure is to provide a vehicle display system and a vehicle with improved usability when a passenger manually controls a light pattern.
  • 2A second object of the present disclosure is to provide a vehicle display system and a vehicle capable of continuing visual communication between the vehicle and an occupant even when an abnormality occurs in the vehicle display system.
  • 3A third object of the present disclosure is to provide a vehicle system and a vehicle that can speed up the operation of the HUD and the road surface drawing device.
  • a display system for a vehicle is provided in a vehicle, A first display device configured to emit a light pattern toward a road surface outside the vehicle; A second display device located inside the vehicle and configured to display the predetermined information to an occupant of the vehicle such that the predetermined information is superimposed on a real space outside the vehicle; and , A display control unit configured to control the first display device.
  • the display control unit is configured to control the emission of the light pattern in accordance with the occupant's input operation on a display area in which the predetermined information can be displayed.
  • the emission of the light pattern is controlled in accordance with the occupant's input operation on the display area.
  • the occupant can control the emission of the light pattern by an intuitive input operation. Accordingly, it is possible to provide a vehicle display system with improved usability when the occupant manually controls the light pattern.
  • the display control unit may be configured to control an emission position of the light pattern based on a position of the occupant's viewpoint and an input position of the input operation.
  • the light pattern emission position is controlled based on the occupant's viewpoint position and the occupant's input operation input position.
  • the occupant can determine the emission position of the light pattern by intuitive input operation. Accordingly, it is possible to provide a vehicle display system with improved usability when the occupant manually controls the light pattern.
  • the display control unit may be configured to start emitting the light pattern in response to the input operation on the display area.
  • the emission of the light pattern is started according to the input operation on the display area.
  • the light pattern can be emitted toward an object (for example, a pedestrian or the like) existing outside the vehicle by an intuitive input operation by the occupant.
  • the display control unit includes: Based on the position of the viewpoint of the occupant and a first input position of the input operation, a start position of the light pattern on the road surface is specified, Based on the position of the viewpoint and a second input position of the input operation, specify an end position of the light pattern on the road surface, The light pattern may be emitted on the road surface based on the start position and the end position.
  • the start position of the light pattern is specified based on the position of the occupant's viewpoint and the first input position of the input operation, and the light pattern is determined based on the occupant's viewpoint and the second input position of the input operation.
  • the end position is specified.
  • the light pattern is emitted on the road surface based on the start position and the end position of the light pattern. In this manner, the light pattern can be emitted toward the object outside the vehicle by the intuitive input operation by the occupant.
  • the display control unit may be configured to change an emission position of the light pattern in accordance with the input operation on the display area.
  • the emission position of the light pattern is changed according to the input operation on the display area.
  • the light pattern emission position can be changed by an intuitive input operation by the occupant.
  • the display control unit includes: A first specified position on the road surface is specified based on a position of the occupant's viewpoint and a third input position of the input operation, When the first designated position overlaps with the light pattern emitted on the road surface, the second designated position on the road surface is specified based on the viewpoint position and the fourth input position of the input operation, Changing an emission position of the light pattern based on the second designated position; It may be configured as follows.
  • the emission position of the light pattern is changed to the second designated position.
  • the light pattern emission position can be changed by an intuitive input operation by the occupant.
  • the display area may include a touch panel configured to receive the input operation.
  • the emission of the light pattern is controlled according to the occupant's input operation on the touch panel. In this way, the emission of the light pattern can be controlled by an intuitive input operation by the occupant.
  • the display system for a vehicle may further include a tracking camera located inside the vehicle and configured to acquire image data indicating the occupant.
  • the display control unit Based on the image data, specify the position of the occupant's viewpoint and the position of the occupant's hand, Based on the position of the hand, specify the input position of the input operation,
  • the emission position of the light pattern may be controlled based on the viewpoint position and the input position of the input operation.
  • the input position of the occupant's input operation is determined based on the position of the occupant's hand. Is specified. Further, the emission position of the light pattern is controlled based on the occupant's viewpoint position and the input position of the input operation. In this way, it is possible to control the emission position of the light pattern by the movement of the hand in the space (without using the touch panel). Accordingly, it is possible to provide a vehicle display system with improved usability when the occupant manually controls the light pattern.
  • a display system for a vehicle is a display system for a vehicle provided in a vehicle, A first display device configured to emit a light pattern toward a road surface outside the vehicle; The vehicle running information is located inside the vehicle, and the vehicle running information related to the running of the vehicle is displayed to an occupant of the vehicle such that the vehicle running information is superimposed on a real space outside the vehicle.
  • a second display device A display control unit configured to control the first display device and the second display device; Is provided. The display control unit, When it is determined that there is an abnormality in the first display device, information corresponding to the light pattern is displayed on the second display device.
  • the display control unit when it is determined that there is an abnormality in the first display device, the display control unit, when the first display device emits the plurality of light patterns, respectively applies the plurality of light patterns.
  • the corresponding information may be displayed on the second display device.
  • the display control unit may cause the second display device to display abnormality information of the first display device.
  • the information indicating that the first display device is abnormal is displayed on the second display device.
  • the occupant can grasp that the first display device is abnormal.
  • the display control unit causes the first display device to emit a light pattern corresponding to the vehicle travel information when it is determined that the second display device has an abnormality.
  • the light pattern corresponding to the vehicle traveling information is emitted to the first display device.
  • a vehicle display system capable of performing visual communication between a vehicle and an occupant even when an abnormality occurs in the second display device.
  • a display system for a vehicle is a display system for a vehicle provided in a vehicle, A first display device configured to emit a light pattern toward a road surface outside the vehicle; The vehicle running information is located inside the vehicle, and the vehicle running information related to the running of the vehicle is displayed to an occupant of the vehicle such that the vehicle running information is superimposed on a real space outside the vehicle.
  • a second display device A display control unit configured to control the first display device and the second display device; Is provided. The display control unit, When it is determined that there is an abnormality in the second display device, a light pattern corresponding to the vehicle travel information is emitted to the first display device.
  • the light pattern corresponding to the vehicle traveling information is emitted to the first display device.
  • a vehicle display system capable of performing visual communication between a vehicle and an occupant even when an abnormality occurs in the second display device.
  • the display control unit is configured to, when the second display device displays a plurality of the vehicle travel information, display the plurality of the vehicle travel information.
  • the first display device may emit a light pattern corresponding to at least one of the vehicle travel information.
  • the light pattern corresponding to at least one of the plurality of vehicle travel information is emitted to the first display device.
  • the first display device emits a light pattern corresponding to vehicle travel information including graphic information that is easy to read from the light pattern and simple text information. In this way, even if an abnormality occurs in the second display device, the occupant can continuously and accurately grasp almost the same information as before the abnormality.
  • a vehicle provided with the vehicle display system may be provided.
  • a vehicle system in a vehicle, and includes a vehicle control unit configured to control traveling of the vehicle, and a display system for a vehicle.
  • the vehicle display system A head-up display (HUD) that is located inside the vehicle and configured to display the predetermined information to an occupant of the vehicle such that the predetermined information is superimposed on a real space outside the vehicle.
  • HUD head-up display
  • a road surface drawing device configured to emit a light pattern toward a road surface outside the vehicle
  • a display control unit configured to determine whether to operate the road surface drawing device and the HUD and to control the operation of the road surface drawing device and the HUD.
  • the display control unit determines whether to operate the road surface drawing device and the HUD, and controls the operations of the road surface drawing device and the HUD. As described above, the calculation load on the vehicle control unit can be reduced, and the operations of the road surface drawing device and the HUD can be accelerated.
  • the display control unit includes: A first electronic control unit comprising a first processor, a first memory, and configured to control the operation of the HUD; A second electronic control unit comprising a second processor and a second memory; May be provided.
  • the second electronic control unit may control the operation of the road surface drawing device when the HUD is not operating.
  • the first electronic control unit may control operations of the HUD and the road surface drawing device.
  • the second electronic control unit controls the operation of the road surface drawing apparatus, while when the HUD is operating, the first electronic control unit is controlled by the HUD and the road surface. Controls the operation of the drawing device.
  • the HUD and the road surface drawing device are operating, it is possible to operate at least one of the HUD and the road surface drawing device efficiently and at high speed.
  • the first electronic control unit when the HUD and the road surface drawing device are operating in cooperation with each other (in other words, when the operation content of one of the HUD and the road surface drawing device is determined according to the operation content of the other), the first electronic control unit generates not only a control signal for controlling the operation of the HUD but also a control signal for controlling the operation of the road surface drawing apparatus. Therefore, it is possible to operate the road surface drawing device efficiently and at high speed in consideration of the operation content of the HUD. Alternatively, the HUD can be operated efficiently and at high speed in consideration of the operation content of the road surface drawing apparatus.
  • the vehicle may further include a lighting device configured to emit the low beam and / or the high beam toward the outside of the vehicle.
  • the second electronic control unit may control operations of the road surface drawing device and the lighting device.
  • the first electronic control unit controls the operation of the HUD and the road surface drawing device, while the second electronic control unit controls the operation of the lighting device. Good.
  • the second electronic control unit controls the operations of the road surface drawing device and the lighting device, while when the HUD is operating, the first electronic control unit is controlled by the first electronic control unit.
  • the operation of both the HUD and the road surface drawing device is controlled.
  • the vehicle may further include a lighting device configured to emit the low beam and / or the high beam toward the outside of the vehicle.
  • the second electronic control unit may control operations of the road surface drawing device and the lighting device.
  • the first electronic control unit may control operations of the HUD, the road surface drawing device, and the lighting device.
  • the second electronic control unit controls the operations of the road surface drawing device and the lighting device
  • the first electronic control unit is controlled by the first electronic control unit. It controls all operations of the HUD, the road surface drawing device, and the lighting device.
  • the first electronic control unit performs not only the control signal for controlling the operation of the HUD but also the operation of the road surface drawing device.
  • a control signal for controlling the operation of the lighting device Therefore, it is possible to operate the road surface drawing device and the lighting device efficiently and at high speed in consideration of the operation content of the HUD.
  • the HUD can be operated efficiently and at high speed in consideration of the operation contents of the road surface drawing device and the lighting device.
  • a vehicle display system capable of continuing visual communication between a vehicle and an occupant even when an abnormality occurs in the vehicle display system, and a vehicle including the vehicle display system.
  • FIG. 1 is a front view of a vehicle equipped with a vehicle system according to a first embodiment of the present invention.
  • 1 is a block diagram of a vehicle system according to a first embodiment. It is a figure which shows the occupant of a vehicle, HUD (Head-Up @ Display) arrange
  • 5 is a flowchart for describing a first operation example of the display system of the first embodiment. It is a figure which shows a vehicle and the pedestrian existing around the vehicle. It is a figure for explaining the method of specifying the starting position of a light pattern based on a crew member's viewpoint position and a touch position.
  • HUD Head-Up @ Display
  • FIG. 11 is a diagram illustrating a state where two input positions on the HUD display area are specified by a swipe operation. It is a figure showing signs that a light pattern is emitted on a road surface based on two input positions specified by swipe operation.
  • FIG. 5 is a diagram illustrating a light pattern emitted from a vehicle toward a pedestrian. 5 is a flowchart illustrating a second operation example of the display system according to the first embodiment. It is a figure showing the light pattern emitted from the vehicle. It is a figure showing signs that a light pattern overlaps with a 1st specified position specified by a crew member's input operation in a crew member's view.
  • FIG. 5 is a diagram illustrating a state where two input positions on the HUD display area are specified by a swipe operation. It is a figure showing signs that a light pattern is emitted on a road surface based on two input positions specified by swipe operation.
  • FIG. 5 is a diagram illustrating a light pattern emitted from
  • FIG. 7 is a diagram illustrating a manner in which an emission position of a light pattern is changed by an occupant swiping an HUD display area. It is a figure showing signs that an emission position of a light pattern emitted from a vehicle is changed.
  • FIG. 7 is a diagram for explaining a method of specifying an input position of an input operation based on image data obtained by an internal camera.
  • It is a block diagram of a vehicle system according to a second embodiment of the present invention.
  • 9 is a flowchart for explaining an example of display control by a display control unit according to a second embodiment. It is a figure for explaining an example of road surface drawing display concerning a 2nd embodiment. It is a figure for explaining an example of HUD display concerning a 2nd embodiment.
  • FIG. 5 is a diagram illustrating an example of HUD information displayed in a HUD display area.
  • left-right direction is a direction including the “left direction” and the “right direction”.
  • the “vertical direction” is a direction including “upward” and “downward”.
  • the “front-rear direction” is a direction including the “front direction” and the “back direction”.
  • the front-back direction is a direction orthogonal to the left-right direction and the up-down direction.
  • FIG. 1 is a front view of a vehicle 1 on which a vehicle system 2 is mounted.
  • FIG. 2 is a block diagram of the vehicle system 2.
  • the vehicle 1 is a vehicle (automobile) that can run in the automatic driving mode.
  • the vehicle system 2 includes a vehicle control unit 3, a vehicle display system 4 (hereinafter, simply referred to as “display system 4”), a sensor 5, a camera 6, and a radar 7. . Further, the vehicle system 2 includes an HMI (Human Machine Interface) 8, a GPS (Global Positioning System) 9, a wireless communication unit 10, a storage device 11, a steering actuator 12, a steering device 13, a brake actuator 14, , A brake device 15, an accelerator actuator 16, and an accelerator device 17.
  • HMI Human Machine Interface
  • GPS Global Positioning System
  • the vehicle control unit 3 is configured to control the traveling of the vehicle 1.
  • the vehicle control unit 3 includes, for example, at least one electronic control unit (ECU: Electronic Control Unit).
  • the electronic control unit includes a computer system including one or more processors and one or more memories (eg, SoC (System on a Chip)), and an electronic circuit including active elements such as transistors and passive elements.
  • the processor includes, for example, at least one of a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), and a TPU (Tensor Processing Unit).
  • the CPU may be configured by a plurality of CPU cores.
  • the GPU may be configured by a plurality of GPU cores.
  • the memory includes a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the vehicle control program may be stored in the ROM.
  • the vehicle control program may include an artificial intelligence (AI) program for automatic driving.
  • AI is a program (learned model) constructed by supervised or unsupervised machine learning (particularly, deep learning) using a multilayer neural network.
  • the RAM may temporarily store a vehicle control program, vehicle control data, and / or surrounding environment information indicating a surrounding environment of the vehicle.
  • the processor may be configured to load a program specified from various vehicle control programs stored in the ROM on the RAM and execute various processes in cooperation with the RAM.
  • the computer system may be constituted by a non-Neumann computer such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array). Further, the computer system may be configured by a combination of a Neumann computer and a non-Neumann computer.
  • a non-Neumann computer such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • the computer system may be configured by a combination of a Neumann computer and a non-Neumann computer.
  • the display system 4 includes a left headlamp 20L, a right headlamp 20R, a left road surface drawing device 45L, and a right road surface drawing device 45R. Further, the display system 4 includes a HUD (Head-Up @ Display) 42 and a display control unit 43.
  • HUD Head-Up @ Display
  • the left headlamp 20L is arranged on the front left side of the vehicle 1 and irradiates a low beam lamp configured to irradiate a low beam to the front of the vehicle 1 and a high beam to a front of the vehicle 1. And a high beam lamp configured to perform the operation.
  • the right headlamp 20R is arranged on the right front side of the vehicle 1 and is configured to irradiate a low beam to the front of the vehicle 1 and a high beam configured to irradiate a high beam to the front of the vehicle 1. And a lamp.
  • Each of the low beam lamp and the high beam lamp has one or more light emitting elements such as an LED (Light Emitting Diode) and an LD (Laser Diode), and optical members such as a lens and a reflector.
  • LED Light Emitting Diode
  • LD Laser Diode
  • optical members such as a lens and a reflector.
  • the left head lamp 20L and the right head lamp 20R may be simply referred to as a head lamp 20 for convenience of explanation.
  • the left road surface drawing device 45L (an example of a first display device) is disposed in the lamp room of the left headlamp 20L.
  • the left road surface drawing device 45L is configured to emit a light pattern toward a road surface outside the vehicle 1.
  • the left road surface drawing device 45L includes, for example, a light source unit, a driving mirror, an optical system such as a lens and a mirror, a light source driving circuit, and a mirror driving circuit.
  • the light source unit is a laser light source or an LED light source.
  • the laser light source is an RGB laser light source configured to emit red laser light, green laser light, and blue laser light, respectively.
  • the drive mirror is, for example, a MEMS (Micro Electro Mechanical Systems) mirror, a DMD (Digital Mirror Device), a galvano mirror, a polygon mirror, or the like.
  • the light source drive circuit is configured to drive and control the light source unit.
  • the light source driving circuit generates a control signal for controlling the operation of the light source unit based on a signal related to the predetermined light pattern transmitted from the display control unit 43, and then transmits the generated control signal to the light source.
  • the mirror driving circuit is configured to drive and control the driving mirror.
  • the mirror driving circuit generates a control signal for controlling the operation of the driving mirror based on a signal related to the predetermined light pattern transmitted from the display control unit 43, and then drives the generated control signal. It is configured to send to a mirror.
  • the left road surface drawing device 45L can draw light patterns of various colors on the road surface by scanning the laser light.
  • the light pattern may be an arrow-shaped light pattern indicating the traveling direction of the vehicle 1.
  • the right road surface drawing device 45R (an example of a first display device) is disposed in the lamp room of the right headlamp 20R.
  • the right road surface drawing device 45R is configured to emit a light pattern toward a road surface outside the vehicle 1.
  • the right road surface drawing device 45R includes a light source unit, a driving mirror, an optical system such as a lens, a light source driving circuit, and a mirror driving circuit.
  • the drawing method of the left road surface drawing device 45L and the right road surface drawing device 45R may be a raster scan method, a DLP (Digital Light Processing) method, or an LCOS (Liquid Crystal on silicon) method.
  • the light source unit may be an LED light source.
  • a projection method may be adopted as a drawing method of the left road surface drawing device 45L and the right road surface drawing device 45R.
  • the light source unit may be a plurality of LED light sources arranged in a matrix.
  • the left road surface drawing device 45L and the right road surface drawing device 45R may be arranged on the vehicle body roof 100A.
  • one road surface drawing device may be arranged on the vehicle body roof 100A.
  • the left road surface drawing device 45L and the right road surface drawing device 45R may be simply referred to as the road surface drawing device 45 for convenience of description.
  • the road surface drawing device 45 indicates a left road surface drawing device 45L, a right road surface drawing device 45R, or a combination of the left road surface drawing device 45L and the right road surface drawing device 45R.
  • the HUD 42 (an example of the second display device) is located inside the vehicle 1. Specifically, the HUD 42 is installed at a predetermined location in the room of the vehicle 1. For example, as shown in FIG. 3, the HUD 42 may be arranged on a dashboard of the vehicle 1.
  • the HUD 42 functions as a visual interface between the vehicle 1 and the occupant H.
  • the HUD 42 displays the HUD information to the occupant H such that predetermined information (hereinafter, referred to as HUD information) is superimposed on a real space outside the vehicle 1 (particularly, a surrounding environment in front of the vehicle 1).
  • predetermined information hereinafter, referred to as HUD information
  • the HUD 42 functions as an AR (Augmented Reality) display.
  • the HUD information displayed by the HUD 42 is, for example, vehicle travel information related to the travel of the vehicle 1 and / or surrounding environment information related to the surrounding environment of the vehicle 1 (particularly, information related to an object existing outside the vehicle 1). Information).
  • the HUD 42 has a HUD body 420 and a transparent screen 421.
  • the HUD main unit 420 has a light source unit, a driving mirror, an optical system, a light source driving circuit, and a mirror driving circuit.
  • the light source unit is, for example, a laser light source or an LED light source.
  • the laser light source is, for example, an RGB laser light source configured to emit red laser light, green laser light, and blue laser light, respectively.
  • the driving mirror is, for example, a MEMS mirror, a DMD, a galvano mirror, a polygon mirror, or the like.
  • the optical system includes at least one of a prism, a lens, a diffuser, and a magnifier.
  • the light source drive circuit is configured to drive and control the light source unit.
  • the light source driving circuit generates a control signal for controlling the operation of the light source unit based on the image data transmitted from the display control unit 43, and then transmits the generated control signal to the light source unit. It is configured.
  • the mirror driving circuit is configured to drive and control the driving mirror.
  • the mirror drive circuit generates a control signal for controlling the operation of the drive mirror based on the image data transmitted from the display control unit 43, and then transmits the generated control signal to the drive mirror. It is configured.
  • the transparent screen 421 is a transparent combiner (transparent plate member).
  • the transparent screen 421 has a HUD display area D1 on which HUD information can be displayed (see FIGS. 6, 7 and the like).
  • the light (image) emitted from the HUD main body 420 is applied to the HUD display area D1 of the transparent screen 421.
  • the HUD display area D1 reflects the light emitted from the HUD body 420 toward the occupant H's viewpoint E.
  • the occupant H recognizes the light (image) emitted from the HUD main body 420 as a virtual image formed at a predetermined position in front of the transparent screen 421.
  • the occupant E can feel as if the HUD information is floating on the road.
  • the transparent screen 421 has a touch panel configured to receive an input operation by the occupant H.
  • a touch panel is provided in the HUD display area D1 of the transparent screen 421.
  • a predetermined operation signal corresponding to the occupant H's input operation is generated from the transparent screen 421 (particularly, the touch panel), and the operation signal is transmitted to the display control unit 43.
  • the display control unit 43 is configured to execute a predetermined process in accordance with the occupant H's input operation on the touch panel.
  • the transparent screen 421 may be constituted by a part of the front window 60. Even in this case, a part of the front window 60 has the HUD display area D1. Furthermore, the occupant H recognizes the light (image) emitted from the HUD main body 420 as a virtual image formed at a predetermined position in front of the front window 60.
  • the position where the virtual image is formed may be changed by adjusting the position of the optical system of the HUD 42 (particularly, the focal length of the projection optical system).
  • the display control unit 43 can control the HUD 42 based on the position information of the object existing in front of the vehicle 1 so that the position of the object substantially matches the virtual image formation position.
  • the drawing method of the HUD 42 may be a raster scan direction, a DLP method, or an LCOS method.
  • the light source unit of the HUD 42 may be an LED light source.
  • the display control unit 43 includes a road surface drawing device 45 (specifically, a left road surface drawing device 45L and a right road surface drawing device 45R), a head lamp 20 (specifically, a left head lamp 20L and a right head lamp 20R), and a HUD. Is configured to control the operation. At this point, the display control unit 43 controls the operation of the road surface drawing device 45 (specifically, the left road surface drawing device 45L and the right road surface drawing device 45R) so that a predetermined position on the road surface is irradiated with the light pattern. It is configured to control. In particular, the display control unit 43 is configured to control the emission of the light pattern according to the input operation of the occupant H on the HUD display area D1 (touch panel). Further, the display control unit 43 is configured to control the operation of the HUD 42 so that the HUD information is displayed in the HUD display area D1.
  • a road surface drawing device 45 specifically, a left road surface drawing device 45L and a right road surface drawing device 45R
  • the display control unit 43 is configured by an electronic control unit (ECU).
  • the electronic control unit includes a computer system (eg, SoC, etc.) including one or more processors and one or more memories, and an electronic circuit including active elements such as transistors and passive elements.
  • the processor includes at least one of a CPU, an MPU, a GPU, and a TPU.
  • the memory includes a ROM and a RAM.
  • the computer system may be configured by a non-Neumann computer such as an ASIC or an FPGA.
  • the vehicle control unit 3 and the display control unit 43 are provided as separate components, but the vehicle control unit 3 and the display control unit 43 may be integrally configured.
  • the display control unit 43 and the vehicle control unit 3 may be configured by a single electronic control unit.
  • the display control unit 43 includes two electronic control units, an electronic control unit configured to control the operation of the headlamp 20 and the road surface drawing device 45 and an electronic control unit configured to control the operation of the HUD 42. It may be constituted by a unit.
  • the sensor 5 includes at least one of an acceleration sensor, a speed sensor, and a gyro sensor.
  • the sensor 5 is configured to detect a traveling state of the vehicle 1 and output traveling state information to the vehicle control unit 3.
  • the sensor 5 includes a seating sensor that detects whether the driver is sitting in the driver's seat, a face orientation sensor that detects the direction of the driver's face, an external weather sensor that detects an external weather condition, and whether a person is in the vehicle. It may further include a human sensor or the like for detecting.
  • the camera 6 is a camera including an image sensor such as a charge-coupled device (CCD) or a complementary MOS (CMOS).
  • the camera 6 includes one or more external cameras 6A and an internal camera 6B.
  • the external camera 6 ⁇ / b> A is configured to acquire image data indicating the surrounding environment of the vehicle 1 and transmit the image data to the vehicle control unit 3.
  • the vehicle control unit 3 acquires surrounding environment information based on the transmitted image data.
  • the surrounding environment information may include information on an object (a pedestrian, another vehicle, a sign, or the like) existing outside the vehicle 1.
  • the surrounding environment information may include information on an attribute of an object existing outside the vehicle 1 and information on a distance and a position of the object with respect to the vehicle 1.
  • the external camera 6A may be configured as a monocular camera, or may be configured as a stereo camera.
  • the internal camera 6B is arranged inside the vehicle 1 and configured to acquire image data indicating the occupant H.
  • the internal camera 6B may be arranged at a predetermined position on the ceiling of the vehicle 1 (see FIG. 3), or may be arranged on a dashboard.
  • the internal camera 6B functions as a tracking camera that tracks the viewpoint E of the occupant H.
  • the viewpoint E of the occupant H may be either the left eye viewpoint or the right eye viewpoint of the occupant H.
  • the viewpoint E may be defined as the midpoint of a line segment connecting the left-eye viewpoint and the right-eye viewpoint.
  • the display control unit 43 may specify the position of the viewpoint E of the occupant H based on the image data acquired by the internal camera 6B.
  • the position of the viewpoint E of the occupant H may be updated at a predetermined cycle based on the image data, or may be determined only once when the vehicle 1 is started.
  • the radar 7 includes at least one of a millimeter-wave radar, a microwave radar, and a laser radar (for example, a LiDAR unit).
  • the LiDAR unit is configured to detect a surrounding environment of the vehicle 1.
  • the LiDAR unit is configured to acquire 3D mapping data (point cloud data) indicating the surrounding environment of the vehicle 1 and then transmit the 3D mapping data to the vehicle control unit 3.
  • the vehicle control unit 3 specifies the surrounding environment information based on the transmitted 3D mapping data.
  • the HMI 8 includes an input unit that receives an input operation from a driver, and an output unit that outputs driving information and the like to the driver.
  • the input unit includes a steering wheel, an accelerator pedal, a brake pedal, an operation mode switching switch for switching an operation mode of the vehicle 1, and the like.
  • the output unit is a display (excluding the HUD) that displays various types of traveling information.
  • the GPS 9 is configured to acquire the current position information of the vehicle 1 and output the acquired current position information to the vehicle control unit 3.
  • the wireless communication unit 10 receives information (for example, travel information and the like) related to another vehicle around the vehicle 1 from the other vehicle and transmits information (for example, travel information and the like) related to the vehicle 1 to the other vehicle.
  • Information for example, travel information and the like
  • the wireless communication unit 10 is configured to receive infrastructure information from infrastructure equipment such as a traffic light and a traffic light, and transmit travel information of the vehicle 1 to the infrastructure equipment (road-vehicle communication).
  • the wireless communication unit 10 receives information about the pedestrian from a portable electronic device (a smartphone, a tablet, a wearable device, or the like) carried by the pedestrian, and transmits own-vehicle traveling information of the vehicle 1 to the portable electronic device.
  • a portable electronic device a smartphone, a tablet, a wearable device, or the like
  • the vehicle 1 may communicate directly with another vehicle, infrastructure equipment, or a portable electronic device in an ad hoc mode, or may communicate with an access point. Further, the vehicle 1 may communicate with another vehicle, infrastructure equipment, or a portable electronic device via a communication network (not shown).
  • the communication network includes at least one of the Internet, a local area network (LAN), a wide area network (WAN), and a radio access network (RAN).
  • the wireless communication standard is, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), LPWA, DSRC (registered trademark), or Li-Fi.
  • the vehicle 1 may communicate with another vehicle, infrastructure equipment, or a portable electronic device using the fifth generation mobile communication system (5G).
  • 5G fifth generation mobile communication system
  • the storage device 11 is an external storage device such as a hard disk drive (HDD) or an SSD (Solid State Drive).
  • the storage device 11 may store two-dimensional or three-dimensional map information and / or a vehicle control program.
  • the three-dimensional map information may be constituted by 3D mapping data (point cloud data).
  • the storage device 11 is configured to output map information and a vehicle control program to the vehicle control unit 3 in response to a request from the vehicle control unit 3.
  • the map information and the vehicle control program may be updated via the wireless communication unit 10 and the communication network.
  • the vehicle control unit 3 When the vehicle 1 runs in the automatic driving mode, the vehicle control unit 3 performs at least one of a steering control signal, an accelerator control signal, and a brake control signal based on driving state information, surrounding environment information, current position information, map information, and the like. Generate one automatically.
  • the steering actuator 12 is configured to receive a steering control signal from the vehicle control unit 3 and control the steering device 13 based on the received steering control signal.
  • the brake actuator 14 is configured to receive a brake control signal from the vehicle control unit 3 and control the brake device 15 based on the received brake control signal.
  • the accelerator actuator 16 is configured to receive an accelerator control signal from the vehicle control unit 3 and control the accelerator device 17 based on the received accelerator control signal.
  • the vehicle control unit 3 automatically controls the traveling of the vehicle 1 based on the traveling state information, the surrounding environment information, the current position information, the map information, and the like. That is, in the automatic driving mode, the traveling of the vehicle 1 is automatically controlled by the vehicle system 2.
  • the vehicle control unit 3 when the vehicle 1 runs in the manual driving mode, the vehicle control unit 3 generates a steering control signal, an accelerator control signal, and a brake control signal according to a manual operation of the accelerator pedal, the brake pedal, and the steering wheel by the driver.
  • the steering control signal, the accelerator control signal, and the brake control signal are generated by the driver's manual operation, so that the driving of the vehicle 1 is controlled by the driver.
  • the operation mode includes an automatic operation mode and a manual operation mode.
  • the automatic driving mode includes a fully automatic driving mode, an advanced driving support mode, and a driving support mode.
  • the vehicle system 2 In the fully automatic driving mode, the vehicle system 2 automatically performs all traveling control of steering control, brake control, and accelerator control, and the driver is not in a state where the vehicle 1 can be driven.
  • the vehicle system 2 In the advanced driving support mode, the vehicle system 2 automatically performs all of the driving control such as steering control, brake control, and accelerator control, and the driver does not drive the vehicle 1 although the driver can drive the vehicle 1.
  • the vehicle system 2 In the driving support mode, the vehicle system 2 automatically performs a part of the driving control among the steering control, the brake control, and the accelerator control, and the driver drives the vehicle 1 with the driving support of the vehicle system 2.
  • the vehicle system 2 In the manual driving mode, the vehicle system 2 does not automatically perform the traveling control, and the driver drives the vehicle 1 without driving assistance of the vehicle system 2.
  • the driving mode of the vehicle 1 may be switched by operating a driving mode switch.
  • the vehicle control unit 3 changes the driving mode of the vehicle 1 into four driving modes (a fully automatic driving mode, an advanced driving support mode, a driving support mode, and a manual driving mode) according to the driver's operation on the driving mode changeover switch. ) Switch between.
  • the driving mode of the vehicle 1 is automatically set based on information on a travelable section in which the automatic driving vehicle can travel, a driving prohibited section in which the driving of the automatic driving vehicle is prohibited, or information on the external weather condition. It may be switched.
  • the vehicle control unit 3 switches the operation mode of the vehicle 1 based on the information.
  • the driving mode of the vehicle 1 may be automatically switched by using a seating sensor, a face direction sensor, or the like. In this case, the vehicle control unit 3 switches the driving mode of the vehicle 1 based on the output signal from the sitting sensor or the face orientation sensor.
  • FIG. 4 is a flowchart for explaining a first operation example of the display system 4 of the present embodiment.
  • FIG. 5 is a diagram illustrating the vehicle 1 and a pedestrian P1 existing around the vehicle 1.
  • FIG. 6 is a diagram for explaining a method of specifying the start position e1 of the light pattern L1 based on the position of the viewpoint E of the occupant H and the touch position C1.
  • FIG. 7 is a diagram illustrating a state where two input positions (a touch position C1 and an end position C2) on the HUD display area D1 are designated by a swipe operation.
  • FIG. 5 is a diagram illustrating the vehicle 1 and a pedestrian P1 existing around the vehicle 1.
  • FIG. 6 is a diagram for explaining a method of specifying the start position e1 of the light pattern L1 based on the position of the viewpoint E of the occupant H and the touch position C1.
  • FIG. 7 is a diagram illustrating a state where two input positions (a touch position C1 and an end position C2) on the HUD
  • FIG. 8 is a diagram illustrating a state in which the light pattern L1 is emitted on the road surface based on two input positions designated by the swipe operation.
  • FIG. 9 is a diagram showing a light pattern L1 emitted from the vehicle 1 toward the pedestrian P1. 7 and 8 show the surrounding environment in front of the vehicle that is visually recognized by the occupant E through the HUD display area D1 of the transparent screen 421.
  • step S1 the display control unit 43 determines whether or not the occupant H has touched the HUD display area D1 (touch panel). If the decision result in the step S1 is YES, the process proceeds to a step S2. On the other hand, if the decision result in the step S1 is NO, the decision processing in the step S1 is repeatedly executed until a touch operation is detected.
  • step S2 the display control unit 43 sets the position of the viewpoint E of the occupant H and the touch position C1 of the hand T of the occupant H (an example of a first input position; see FIG. 7).
  • the start position e1 (see FIG. 9) of the light pattern L1 is specified.
  • the display control unit 43 specifies the position of the viewpoint E of the occupant H based on the image data indicating the occupant H acquired by the internal camera 6B.
  • the transparent screen 421 (touch panel) generates an operation signal indicating the touch position C1 of the hand T in response to the touch operation of the occupant H, and transmits the operation signal to the display control unit 43.
  • the display control unit 43 specifies the start position e1 of the light pattern L1 based on the position of the viewpoint E and the touch position C1. At this point, as shown in FIG. 6, the intersection of the road surface and the straight line passing through the position of the viewpoint E and the touch position C1 is specified as the start position e1.
  • step S3 the display control unit 43 determines whether or not the occupant H has completed the swipe operation on the HUD display area D1. If the decision result in the step S3 is YES, the process proceeds to a step S4. On the other hand, if the decision result in the step S3 is NO, the display control unit 43 waits until the occupant H finishes the swipe operation.
  • step S4 the display control unit 43 determines the light pattern L1 on the road surface based on the position of the viewpoint E of the occupant H and the end position C2 of the swipe operation (an example of the second input position, see FIG. 7). (See FIG. 9). Specifically, the display control unit 43 specifies the position of the viewpoint E of the occupant H based on the image data acquired by the internal camera 6B. Further, the transparent screen 421 generates an operation signal indicating the end position C2 of the swipe operation of the occupant H, and transmits the operation signal to the display control unit 43. Next, the display control unit 43 specifies the end position e2 of the light pattern L1 based on the position of the viewpoint E and the end position C2.
  • step S5 the display control unit 43 causes the light pattern L1 to be emitted on the road surface based on the start position e1 and the end position e2.
  • the display control unit 43 emits the light pattern L1 such that one end of the light pattern L1 corresponds to the start position e1 and the other end of the light pattern L1 corresponds to the end position e2.
  • Control in the field of view of the occupant H, the touch position C1 overlaps one end of the light pattern L1, and the end position C2 of the swipe operation overlaps the other end of the light pattern L1.
  • the emission of the light pattern is controlled according to the input operation of the occupant H on the HUD display area D1.
  • the occupant H can control the emission of the light pattern by an intuitive input operation (for example, a swipe operation). Therefore, the display system 4 with improved usability when the occupant H manually controls the light pattern can be provided.
  • emission of the light pattern L1 is started in response to an input operation on the HUD display area D1. More specifically, the start position e1 of the light pattern L1 is specified based on the position of the viewpoint E of the occupant H and the touch position C1, and the light position is determined based on the position of the viewpoint E and the end position C2 of the swipe operation. The end position e2 of the pattern L1 is specified. Further, based on the start position e1 and the end position e2, the light pattern L1 is emitted on the road surface. As described above, the light pattern L1 can be emitted toward the target such as the pedestrian P1 existing outside the vehicle 1 by the intuitive input operation by the occupant H.
  • the pedestrian P1 can clearly recognize that the vehicle 1 recognizes the pedestrian P1, and can be relieved. As described above, it is possible to realize rich visual communication between the vehicle 1 and an object such as the pedestrian P1 by the light pattern L1.
  • the emission of the light pattern is controlled by the swipe operation of the occupant H, but the input operation of the occupant H is not limited to the swipe operation.
  • the emission of the light pattern may be controlled by an input operation (two touch operations) other than the swipe operation.
  • the start position e1 of the light pattern L1 may be specified by the first touch operation
  • the end position e2 of the light pattern L1 may be specified by the second touch operation.
  • the light pattern L1 is a linear light pattern, but the shape of the light pattern L1 is not limited to a linear shape, but may be any shape such as a triangle or an arrow. There may be.
  • the position of the viewpoint E is updated at a predetermined cycle based on the image data acquired by the internal camera 6B, but the present embodiment is not limited to this. For example, the position of the viewpoint E may be determined only once when the vehicle 1 is started.
  • FIG. 10 is a flowchart illustrating a second operation example of the display system 4 of the present embodiment.
  • FIG. 11 is a diagram showing a light pattern L2 emitted from the vehicle 1.
  • FIG. 12 is a diagram illustrating a state where the first specified position C3 specified by the input operation of the occupant H and the light pattern L2 overlap in the occupant H's field of view.
  • FIG. 13 is a diagram illustrating a state in which the emission position of the light pattern L2 is changed by a swipe operation of the occupant H on the HUD display area D1.
  • FIG. 14 is a diagram illustrating a manner in which the emission position of the light pattern L2 emitted from the vehicle 1 is changed. In this operation example, it is assumed that the vehicle 1 has already emitted the light pattern L2 onto the road surface as a precondition.
  • step S10 the display control unit 43 determines whether or not a touch operation of the occupant H on the HUD display area D1 has been detected. If the decision result in the step S10 is YES, the process proceeds to a step S11. On the other hand, if the decision result in the step S10 is NO, the decision process in the step S10 is repeatedly executed until a touch operation is detected.
  • step S11 the display control unit 43 controls the occupant H based on the position of the viewpoint E of the occupant H and the touch position C3 of the hand T of the occupant H (an example of a third input position, see FIG. 12).
  • the first specified position e3 (see FIG. 14) on the specified road surface is specified.
  • the first designated position e3 is specified as an intersection between a straight line passing through the position of the viewpoint E and the touch position C3 and the road surface.
  • step S12 the display control unit 43 determines whether the first designated position e3 on the road surface overlaps with the light pattern L2 emitted on the road surface. If the decision result in the step S12 is YES, the process proceeds to a step S13. On the other hand, if the decision result in the step S12 is NO, the process ends. Next, the display control unit 43 determines whether or not the occupant H has completed the swipe operation on the HUD display area D1 (Step S13). If the decision result in the step S13 is YES, the process proceeds to a step S14. On the other hand, if the determination result in step S13 is NO, the display control unit 43 waits until the occupant H finishes the swipe operation.
  • step S14 the display control unit 43 performs the second designation on the road surface based on the position of the viewpoint E of the occupant H and the end position C4 of the swipe operation (an example of the fourth input position, see FIG. 13).
  • the position e4 (see FIG. 14) is specified. Specifically, the display control unit 43 specifies the position of the viewpoint E of the occupant H based on the image data acquired by the internal camera 6B. Further, the transparent screen 421 generates an operation signal indicating the end position C4 of the occupant H's swipe operation, and then transmits the operation signal to the display control unit 43. Next, the display control unit 43 specifies the second designated position e4 based on the position of the viewpoint E and the end position C4.
  • step S15 the display control unit 43 changes the emission position of the light pattern L2 based on the second designated position e4.
  • the display control unit 43 changes the emission position of the light pattern L2 such that the predetermined position of the light pattern L2 overlaps the second designated position e4.
  • the emission position of the light pattern L2 may be changed such that a predetermined position of the light pattern L2 overlapping the first designated position e3 overlaps the second designated position e4.
  • the end position C4 of the swipe operation overlaps a predetermined position of the light pattern L2.
  • the emission position of the light pattern L2 is changed according to the input operation on the HUD display area D1.
  • the output position of the light pattern L2 can be changed by an intuitive input operation (for example, a swipe operation) by the occupant H. Therefore, the display system 4 with improved usability when the occupant H manually controls the light pattern can be provided.
  • the second designated position e4 is specified based on the position of the viewpoint E and the end position C4 of the swipe operation.
  • the emission position of the light pattern L2 is changed based on the second designated position e4.
  • the output position of the light pattern L2 can be changed by the intuitive input operation by the occupant H.
  • the display control unit 43 uses the two input positions (the touch position and the touch position) of the occupant H based on the operation signal generated by the touch panel.
  • the swipe operation end position is specified, the present embodiment is not limited to this.
  • the transparent screen 421 may not have a touch panel.
  • the input position of the input operation of the occupant H may be specified by the internal camera 6B.
  • the display control unit 43 specifies the position of the hand T of the occupant H based on the image data acquired by the internal camera 6B, and then, based on the position of the hand T.
  • the input position C0 of the input operation may be specified.
  • the display control unit 43 may specify the position of the viewpoint E of the occupant H based on the image data. As described above, the display control unit 43 can control the emission position of the light pattern based on the position of the viewpoint E and the input position C0. Here, the intersection of the straight line passing through the viewpoint E and the input position C0 and the road surface is specified as the position e0 related to the emission of the light pattern. Further, the input position C0 may correspond to the position of the tip of the index finger of the hand T.
  • the emission position of the light pattern can be controlled by the operation of the hand T in the space instead of the input operation on the touch panel.
  • the input position may be determined by the operation of the hand T in space. Therefore, the display system 4 with improved usability when the occupant H manually controls the light pattern can be provided.
  • FIG. 16 is a block diagram of the vehicle system 2A.
  • the vehicle 1A is a vehicle (automobile) that can run in the automatic driving mode.
  • the vehicle system 2A includes a vehicle control unit 3, a vehicle display system 4A (hereinafter, simply referred to as “display system 4A”), a sensor 5, a camera 6, and a radar 7. .
  • the vehicle system 2A includes an HMI 8, a GPS 9, a wireless communication unit 10, and a storage device 11.
  • the vehicle system 2A includes a steering actuator 12, a steering device 13, a brake actuator 14, a brake device 15, an accelerator actuator 16, and an accelerator device 17.
  • the display system 4A includes a display control unit 40A, a lighting device 41A, a road surface drawing device 42A, and a head-up display (HUD) 43A.
  • the road surface drawing device 42A is an example of a first display device.
  • the HUD 43A is an example of a second display device.
  • the illumination device 41A is configured to emit light toward the outside of the vehicle.
  • the lighting device 41A is, for example, a head lamp or a position lamp provided at the front of the vehicle, a rear combination lamp provided at the rear of the vehicle, a turn signal lamp provided at the front or side of the vehicle, a pedestrian or other vehicle. It is equipped with various lamps that notify the driver of the status of the vehicle.
  • the road surface drawing device 42A is configured to emit a light pattern toward a road surface outside the vehicle.
  • the road surface drawing device 42A includes, for example, a laser light source configured to emit laser light, an optical deflecting device configured to deflect laser light emitted from the laser light source, and an optical system member such as a lens.
  • the laser light source is, for example, an RGB laser light source configured to emit a red laser light, a green laser light, and a blue laser light, respectively.
  • the light deflecting device is, for example, a MEMS mirror, a galvanometer mirror, a polygon mirror, or the like.
  • the road surface drawing device 42A is configured to draw light patterns M0 and M1 (see FIG. 19A) on a road surface by scanning with a laser beam.
  • the laser light source is an RGB laser light source
  • the road surface drawing device 42A can draw light patterns of various colors on the road surface.
  • the number, arrangement, and shape of the road surface drawing devices 42A are not particularly limited as long as the road surface drawing device 42A can draw a light pattern on the road surface.
  • the road surface drawing device 42A may be disposed in the front-side or rear-side center of the vehicle body roof in the horizontal direction.
  • the number of the road surface drawing devices 42A is two, the left head lamp (not shown) and the right head lamp (not shown) or the vicinity thereof, or the left rear combination lamp (not shown) and the right head lamp (not shown)
  • One road surface drawing device 42A may be mounted in or near a rear combination lamp (not shown).
  • One road surface drawing device 42A may be mounted inside or in the vicinity thereof.
  • the drawing method of the road surface drawing device 42A may be a DLP method or an LCOS method.
  • an LED is used instead of a laser as the light source.
  • the HUD 43A is installed at a predetermined location in the vehicle.
  • the HUD 43A is installed on a dashboard of a vehicle.
  • the location of the HUD 43A is not particularly limited.
  • the HUD 43A functions as a visual interface between the vehicle and the occupant.
  • the HUD 43A is configured to display vehicle traveling information related to traveling of the vehicle to the occupants of the vehicle.
  • the vehicle travel information includes information related to driving of the vehicle 1A (for example, information related to automatic driving, etc.), pedestrian information, and the like.
  • the HUD 43A is configured to display information obtained by vehicle-to-vehicle communication between a vehicle and another vehicle and / or road-to-vehicle communication between a vehicle and infrastructure equipment (such as a traffic light).
  • HUD 43A is configured to display messages transmitted from other vehicles and / or infrastructure equipment.
  • the HUD 43A is configured to display information obtained from the sensor 5 and / or the camera 6. The occupant of the vehicle can grasp the traveling state of the vehicle and / or pedestrian information by looking at the message displayed by the HUD 43A.
  • the information displayed by the HUD 43A is visually presented to the occupant of the vehicle such that the information is superimposed on the real space in front of the vehicle.
  • the HUD 43A functions as an AR display.
  • the HUD 43A includes an image generation unit and a transparent screen on which an image generated by the image generation unit is displayed.
  • the image generating unit includes, for example, a laser light source configured to emit a laser beam, and a light source configured to deflect the laser beam emitted from the laser light source.
  • a deflecting device and an optical system member such as a lens are provided.
  • the laser light source is, for example, an RGB laser light source configured to emit a red laser light, a green laser light, and a blue laser light, respectively.
  • the light deflecting device is, for example, a MEMS mirror.
  • the drawing method of the HUD 43A may be the DLP method or the LCOS method. In this case, an LED is used instead of a laser as the light source.
  • the HUD 43A does not have to include a transparent screen.
  • the image generated by the image generation unit may be displayed on a windshield of the vehicle.
  • the HMI 8 further includes an abnormality switch for notifying an abnormality of the road surface drawing device 42A and / or the HUD 43A.
  • the display control unit 40A is configured to control driving of the lighting device 41A.
  • the display control unit 40A controls the lighting device 41A to emit predetermined light based on information related to the vehicle or information related to the surrounding environment of the vehicle.
  • the display control unit 40A is configured to control driving of the road surface drawing device 42A and the HUD 43A.
  • the display control unit 40A presents a predetermined light pattern to an object (pedestrian, other vehicle, or the like) or a passenger based on information related to the vehicle or information related to the surrounding environment of the vehicle.
  • the road surface drawing device 42A is controlled as described above.
  • the display control unit 40A controls the HUD 43A based on the information related to the vehicle or the information related to the surrounding environment of the vehicle such that a predetermined message is presented to the occupant.
  • the display control unit 40A controls the HUD 43A so as to display information corresponding to the light pattern. For example, when it is determined that there is an abnormality in the road surface drawing device 42A that emits the light pattern, the display control unit 40A causes the HUD 43A to display information corresponding to the light pattern emitted by the road surface drawing device 42A. Control. When it is determined that the road surface drawing device 42A is abnormal before the light pattern is emitted, the display control unit 40A controls the HUD 43A so that the road surface drawing device 42A displays information corresponding to the light pattern to be emitted. Control.
  • the display control unit 40A may control the HUD 43A to display information corresponding to each of the plurality of light patterns.
  • the display control unit 40A may control the HUD 43A to display information corresponding to a part of the plurality of light patterns.
  • Some of the light patterns are, for example, a light pattern for a vehicle occupant (for example, a light pattern for navigation), and when there is common information displayed on both the road surface drawing device 42A and the HUD 43A, other than the common information. Information, etc.
  • the display control unit 40A may control the HUD 43A so as to display the abnormality information of the road surface drawing device 42A.
  • the display control unit 40A controls the road surface drawing device 42A to display a light pattern corresponding to the vehicle travel information. For example, when it is determined that there is an abnormality in the HUD 43A displaying the vehicle travel information, the display control unit 40A causes the road surface drawing device 42A to emit a light pattern corresponding to the vehicle travel information displayed on the HUD 43A. Control. When it is determined that the HUD 43A is abnormal before displaying the vehicle travel information, the display control unit 40A controls the road surface drawing device 42A to emit a light pattern corresponding to the vehicle travel information to be displayed on the HUD 43A. Control.
  • the display control unit 40A may control the road surface drawing device 42A to emit a light pattern corresponding to at least one of the plurality of vehicle travel information.
  • the road surface drawing device 42A is controlled so as to emit a light pattern corresponding to the vehicle running information composed of information on a graphic or information on a simple character which is easy to read from the light pattern among a plurality of vehicle running information.
  • each vehicle traveling information is composed of graphic information, character information, or information obtained by combining them.
  • the display control unit 40A can easily correct (delete, or read from the light pattern) the vehicle travel information.
  • Information for example, graphic information
  • the light pattern corresponding to the corrected vehicle traveling information may be emitted to the road surface drawing device 42A.
  • the display control unit 40A is configured by an electronic control unit (ECU), and is electrically connected to a power supply (not shown).
  • the electronic control unit includes a computer system (eg, SoC, etc.) including one or more processors and one or more memories, and an analog processing circuit including active elements such as transistors and passive elements.
  • the analog processing circuit includes a lamp driving circuit (for example, an LED driver or the like) configured to control driving of the lamp of the lighting device 41A.
  • the analog processing circuit is configured to control the driving of the laser light source of the road surface drawing device 42A, and to control the driving of the optical deflection device of the road surface drawing device 42A.
  • a first light deflection device control circuit is configured to control the driving of the laser light source of the road surface drawing device 42A, and to control the driving of the optical deflection device of the road surface drawing device 42A.
  • the analog processing circuit includes a second laser light source control circuit configured to control driving of the laser light source of the HUD 43A, and a second optical deflection device control configured to control driving of the optical deflector of the HUD 43A.
  • the processor is, for example, a CPU, an MPU, a GPU, and / or a TPU.
  • the memory includes a ROM and a RAM. Further, the computer system may be configured by a non-Neumann computer such as an ASIC or an FPGA.
  • the computer system of the display control unit 40A specifies a light pattern to be applied to the outside of the vehicle, and then outputs a signal indicating the specified light pattern.
  • the signal is transmitted to the first laser light source control circuit and the first light deflection device control circuit.
  • the first laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the light pattern, and transmits the generated control signal to the laser light source of the road surface drawing device 42A. I do.
  • the first optical deflector control circuit generates a control signal for controlling the driving of the optical deflector based on the signal indicating the light pattern, and then transmits the generated control signal to the road surface drawing device 42A. Transmit to the light deflector. In this way, the display control unit 40A can control the driving of the road surface drawing device 42A.
  • the computer system of the display control unit 40A specifies image information (for example, information of characters and graphics) displayed on the HUD 43A based on the instruction signal transmitted from the vehicle control unit 3, and then specifies the specified information.
  • a signal indicating the image information is transmitted to the second laser light source control circuit and the second light deflection device control circuit.
  • the second laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the image information, and transmits the generated control signal to the laser light source of the HUD 43A.
  • the second light deflecting device control circuit generates a control signal for controlling the driving of the light deflecting device based on the signal indicating the image information, and then transmits the generated control signal to the light deflecting device of the HUD 43A.
  • the display control unit 40A can control the driving of the HUD 43A.
  • the computer system of the display control unit 40A displays image information (for example, information of characters and graphics) displayed on the HUD 43A based on the specified light pattern. ). Then, the computer system of the display control unit 40A transmits a signal indicating the specified image information to the second laser light source control circuit and the second light deflection device control circuit.
  • image information for example, information of characters and graphics
  • the computer system of the display control unit 40A determines that the HUD 43A is abnormal, based on the image information displayed on the specified HUD 43A, the light emitted to the outside of the vehicle by the road surface drawing device 42A is determined. Identify the pattern. Then, the computer system of the display control unit 40A transmits a signal indicating the specified light pattern to the first laser light source control circuit and the first light deflection device control circuit.
  • a common display control unit 40A is provided for the lighting device 41A, the road surface drawing device 42A, and the HUD 43A, but a separate display control unit may be provided for each.
  • the vehicle control unit 3 and the display control unit 40A are provided as separate components, but the vehicle control unit 3 and the display control unit 40A may be integrally configured.
  • the display control unit 40A and the vehicle control unit 3 may be configured by a single electronic control unit.
  • the vehicle display system 4A has a configuration that also includes the vehicle control unit 3.
  • the determination of the abnormality of the road surface drawing device 42A and the HUD 43A is performed by, for example, the display control unit 40A.
  • the display control unit 40A determines an abnormality of the road surface drawing device 42A based on, for example, a captured image of a light pattern drawn on the road surface.
  • the display control unit 40A acquires a captured image of the light pattern captured by the camera 6 from the vehicle control unit 3, and determines whether the light pattern of the captured image matches the light pattern emitted by the road surface drawing device 42A. .
  • the display control unit 40A determines that an abnormality has occurred in the laser light source of the road surface drawing device 42A or a signal path to the laser light source.
  • the display control unit 40A determines that an abnormality has occurred in the light deflection device of the road surface drawing device 42A.
  • the reference light pattern is stored in the memory or the storage device 11 of the display control unit 40A in advance, and is, for example, a light pattern extracted from a captured image by drawing and imaging each light pattern on a road surface.
  • the display control unit 40A determines an abnormality of the road surface drawing device 42A based on a signal from the road surface drawing device 42A, for example.
  • the road surface drawing device 42A has a self-diagnosis function, and may transmit an abnormality signal to the display control unit 40A when an abnormality occurs.
  • the display control unit 40A When the road surface drawing device 42A has a configuration of transmitting a reception confirmation signal to the display control unit 40A when receiving a signal (for example, a signal indicating a light pattern) from the display control unit 40A, the display control unit 40A When the reception confirmation signal is not received from the device 42A, it may be determined that an abnormality has occurred in the road surface drawing device 42A.
  • the display control unit 40A determines, for example, an abnormality of the road surface drawing device 42A based on an abnormal signal from a passenger of the vehicle.
  • the occupant of the vehicle checks the light pattern drawn on the road surface, and operates the HMI 8 abnormal switch or the like when it is determined that the light pattern is abnormal.
  • the display control unit 40A may determine that an abnormality has occurred in the road surface drawing device 42A when receiving an abnormality signal based on the operation of the abnormality switch from the vehicle control unit 3.
  • the display control unit 40 ⁇ / b> A may use a camera installed on the vehicle based on a signal from the HUD 43 ⁇ / b> A (for example, an abnormal signal or a reception confirmation signal), an abnormal signal from an occupant of the vehicle, or the like. Then, the abnormality of the HUD 43A is determined based on the captured image of the display screen of the HUD 43A captured by Step 6.
  • the vehicle controller 3 may determine the abnormality of the road surface drawing device 42A and the HUD 43A instead of the display controller 40A. When determining that an abnormality has occurred in the road surface drawing device 42A or the HUD 43A, the vehicle control unit 3 transmits an abnormality signal to the display control unit 40A.
  • FIG. 17 is a flowchart illustrating an example of display control by the display control unit according to the second embodiment.
  • FIG. 18A is a diagram for describing an example of a road surface rendering display according to the second embodiment.
  • FIG. 18B is a diagram illustrating an example of the HUD display according to the second embodiment.
  • FIG. 19 is a diagram for explaining an example of a HUD display when a road surface drawing display is abnormal according to the second embodiment.
  • FIG. 20A is a diagram illustrating an example of a HUD display according to the second embodiment.
  • FIG. 20B is a diagram for describing an example of a road surface rendering display according to the second embodiment.
  • FIG. 21 is a diagram for describing an example of a road surface drawing display when the HUD display is abnormal according to the second embodiment.
  • the display control unit 40A determines that there is an abnormality in the road surface drawing device 42A that emits the predetermined light pattern or the HUD 43A that displays the predetermined vehicle travel information.
  • the display control unit 40A determines that the abnormality is abnormal. Information to be displayed by the device is displayed on a normal device.
  • step S21 the display control unit 40A controls the road surface drawing device 42A to emit a predetermined light pattern toward the road surface based on the surrounding environment information and the like acquired from the vehicle control unit 3. I do.
  • step S22 the display control unit 40A controls the HUD 43A to display the vehicle traveling information based on the traveling state information and the like acquired from the vehicle control unit 3.
  • FIG. 18A shows the light pattern M0 drawn on the road surface by the road surface drawing device 42A
  • FIG. 18B shows the vehicle travel information M1 displayed on the HUD 43A.
  • the light pattern M0 is composed of character information of 20 m and graphic information of an arrow indicating a left turn, and is a navigation light pattern for urging the occupant of the vehicle 1A to turn left 20 m ahead.
  • the vehicle travel information M1 is vehicle speed information indicating that the vehicle is currently traveling at 50 km / h.
  • step S23 the display control unit 40A determines whether an abnormality has occurred in the road surface drawing device 42A. If the road surface drawing device 42A is abnormal (YES in step S23), the display control unit 40A determines in step S24 whether an abnormality has occurred in the HUD 43A.
  • the display control unit 40A for example, based on a captured image of a light pattern, based on a signal (for example, an abnormal signal) from the road surface drawing device 42A, or based on an abnormal signal from a vehicle occupant, An abnormality of 42A is determined.
  • the display control unit 40A for example, based on a captured image of the display screen of the HUD 43A, based on a signal (for example, an abnormal signal) from the HUD 43A, or based on an abnormal signal from an occupant of the vehicle, Judge the abnormality.
  • a signal for example, an abnormal signal
  • the display controller 40A causes the HUD 43A to display information corresponding to the light pattern emitted by the road surface drawing device 42A in step S25.
  • the display control unit 40A may stop displaying the light pattern by the road surface drawing device 42A.
  • the display control unit 40A transmits the information M2 corresponding to the light pattern M0 drawn on the road surface as shown in FIG. It is displayed on the HUD 43A.
  • the display control unit 40A stops displaying the light pattern M0 by the road surface drawing device 42A.
  • the display control unit 40A may display, on the HUD 43A, a message M3 indicating that an abnormality has occurred in the road surface drawing device 42A, in addition to the information M2 corresponding to the light pattern M0.
  • the display control unit 40A stops displaying by the road surface drawing device 42A and the HUD 43A in step S26.
  • the information M2 uses the same character information and graphic information as the light pattern M0, but is not limited thereto.
  • step S23 If the road surface drawing device 42A is normal in step S23 (NO in step S23), the display control unit 40A continues to display the road surface drawing device 42A in step S27.
  • step S28 the display control unit 40A determines whether an abnormality has occurred in the HUD 43A. If the HUD 43A is abnormal (YES in step S28), the display controller 40A causes the road surface drawing device 42A to emit a light pattern corresponding to the vehicle travel information displayed on the HUD 43A in step S29.
  • FIG. 20A shows the vehicle travel information M1 and the vehicle travel information (pedestrian information) M4 displayed on the HUD 43A
  • FIG. 20B shows the light pattern M5 drawn on the road surface by the road surface drawing device 42A
  • the vehicle travel information M4 is pedestrian information indicating that the pedestrian 101 enters from the left side at a distance of 20 m
  • the light pattern M5 is a navigation light pattern that prompts the occupant of the vehicle 1A to proceed straight by the figure of the arrow.
  • steps S21 and S22 when the HUD 43A and the road surface drawing device 42A are performing the display of FIGS. 20A and 20B, the display control unit 40A determines that an abnormality has occurred in the HUD 43A, as shown in FIG.
  • the road surface drawing device 42A is controlled to emit a light pattern M6 corresponding to the vehicle travel information M4 displayed on the HUD 43A.
  • the light pattern M6 does not partially include the character information (“enter from the left”) of the vehicle travel information M4, and uses graphic information different from the vehicle travel information M4.
  • the display controller 40A continues to display the HUD 43A in step S30.
  • the light pattern M6 uses character information and graphic information different from the vehicle travel information M4, but is not limited thereto.
  • the display control unit 40A when it is determined that the road surface drawing device 42A has an abnormality, the display control unit 40A causes the HUD 43A to display information corresponding to the light pattern emitted by the road surface drawing device 42A.
  • the display control unit 40A causes the road surface drawing device 42A to emit a light pattern corresponding to the vehicle traveling information displayed on the HUD 43A.
  • the display control unit 40A corresponds to the vehicle traveling information M4 that is easy to read from the light pattern among the plurality of vehicle traveling information M1 and M4 displayed on the HUD 43A.
  • the light pattern M6 to be emitted is emitted to the road surface drawing device 42A.
  • the display control unit 40A causes the road surface drawing device 42A to emit an optical pattern M6 including only information (for example, graphic information or simple character information) that can be easily read from the optical pattern in the vehicle travel information M4. .
  • the occupant of the vehicle can accurately grasp the same information as before the abnormality.
  • the display control unit 40A converts some information (for example, graphic information) in the vehicle travel information M4 into information that can be easily read from the light pattern (for example, converts it into different graphic information), and converts the information.
  • the light pattern M6 including the information is emitted to the road surface drawing device 42A. Thereby, the occupant of the vehicle can more accurately grasp the substantially same information as the vehicle traveling information.
  • the road surface drawing device 42A emits one light pattern M0, and the HUD 43A displays information M2 corresponding to the light pattern M0, but is not limited thereto.
  • the display control unit 40A may cause the HUD 43A to display information corresponding to all or a part of the light patterns.
  • the light pattern M6 corresponding to the vehicle travel information M4 is emitted by the road surface drawing device 42A. It is not limited to.
  • the display control unit 40A may cause the road surface drawing device 42A to emit a light pattern corresponding to all vehicle travel information.
  • FIG. 22 is a flowchart illustrating an example of display control by the display control unit according to the third embodiment.
  • members having the same reference numerals as those already described in the description of the second embodiment will not be described for convenience of description.
  • the display control unit 40A is configured to display a predetermined light pattern and predetermined vehicle travel information on the road surface drawing device 42A and the HUD 43A based on the instruction signal transmitted from the vehicle control unit 3 before the road surface drawing device
  • information to be displayed by the device determined to be abnormal is displayed on a normal device.
  • the display control unit 40A determines in step S31 whether an abnormality has occurred in the road surface drawing device. . If the road surface drawing device 42A is abnormal (YES in step S31), the display control unit 40A determines in step S32 whether an abnormality has occurred in the HUD 43A.
  • the display control unit 40A transmits, for example, a signal indicating an optical pattern or image information to the road surface drawing device 42A and the HUD 43A, and if the reception confirmation signal is not received from the road surface drawing device 42A or the HUD 43A within a predetermined period, the road surface drawing device It is determined that an abnormality has occurred in the device 42A or the HUD 43A.
  • the display control unit 40A may store abnormality information of the road surface drawing device 42A and the HUD 43A in the memory or the storage device 11, and determine an abnormality of the road surface drawing device 42A or the HUD 43A based on the abnormality information.
  • the abnormality information is stored in the memory or the storage device by the display control unit 40A, for example, at a timing when an abnormality signal is received from the road surface drawing device 42A, the HUD 43A or an occupant of the vehicle, or a timing when an abnormality is determined in the past road surface drawing display or the HUD display. 11 is stored.
  • the display control unit 40A emits the light pattern specified based on the surrounding environment information and the like acquired from the vehicle control unit 3 from the road surface drawing device 42A in step S33. Instead, information corresponding to the light pattern is displayed on the HUD 43A. For example, when the display control unit 40A determines that the road surface drawing device 42A is abnormal, the road surface drawing device 42A does not perform the road surface drawing of the light pattern M0 of FIG. 18A, and the light pattern M0 as shown in FIG. Is displayed on the HUD 43A.
  • the display control unit 40A may display, on the HUD 43A, a message M3 indicating that an abnormality has occurred in the road surface drawing device 42A, in addition to the information M2 corresponding to the light pattern M0.
  • the display control unit 40A does not perform display by the road surface drawing device 42A and the HUD 43A in step S34.
  • step S31 If the road surface drawing device 42A is normal in step S31 (NO in step S31), the display control unit 40A directs the vehicle toward the road surface based on the surrounding environment information and the like acquired from the vehicle control unit 3 in step S35.
  • the road surface drawing device 42A is controlled to emit a predetermined light pattern. For example, as illustrated in FIG. 18A, the display control unit 40A causes the road surface drawing device 42A to emit the light pattern M0.
  • step S36 the display control unit 40A determines whether an abnormality has occurred in the HUD 43A.
  • the display control unit 40A causes the HUD 43A to display the vehicle travel information specified based on the travel state information and the like acquired from the vehicle control unit 3 in step S37. Instead, a light pattern corresponding to the vehicle travel information is emitted to the road surface drawing device 42A. For example, when the display control unit 40A determines that the HUD 43A is abnormal, the HUD 43A does not display the vehicle travel information M1 and the vehicle travel information M4 in FIG. 20A, and the light pattern M6 corresponding to the vehicle travel information M4. Is emitted by the road surface drawing device 42A.
  • step S36 the display controller 40A controls the HUD 43A to display predetermined vehicle travel information in step S38.
  • the display control unit 40A causes the HUD 43A to display the vehicle travel information M1 and the vehicle travel information M4.
  • the display control unit 40A when it is determined that the road surface drawing device 42A has an abnormality, the display control unit 40A causes the HUD 43A to display information corresponding to the light pattern to be emitted by the road surface drawing device 42A.
  • the display control unit 40A causes the road surface drawing device 42A to emit a light pattern corresponding to the vehicle travel information to be displayed on the HUD 43A.
  • the display control unit 40A corresponds to the vehicle traveling information M4 which is easy to read from the light pattern among the plurality of vehicle traveling information M1 and M4 to be displayed on the HUD 43A.
  • the light pattern M6 is emitted to the road surface drawing device 42A.
  • the display control unit 40A causes the road surface drawing device 42A to emit an optical pattern M6 including only information (for example, graphic information or simple character information) that can be easily read from the optical pattern in the vehicle travel information M4. .
  • the display control unit 40A converts some information (for example, graphic information) in the vehicle travel information M4 into information that can be easily read from the light pattern (for example, converts it into different graphic information), and converts the information.
  • the light pattern M6 including the information is emitted to the road surface drawing device 42A. Thereby, predetermined information can be accurately transmitted to the occupant of the vehicle.
  • the display control unit 40A may cause the HUD 43A to display information corresponding to all or a part of the light patterns.
  • step S37 when the display control unit 40A specifies a plurality of vehicle travel information, the display control unit 40A may cause the road surface drawing device 42A to emit a light pattern corresponding to all the vehicle travel information.
  • the display control unit 40A determines the abnormality of the HUD 43A after determining the abnormality of the road surface drawing device 42A, but is not limited thereto.
  • the display control unit 40A may determine the abnormality of the road surface drawing device 42A after determining the abnormality of the HUD 43A.
  • the display control unit 40A determines the abnormality of both the road surface drawing device 42A and the HUD 43A, but the present invention is not limited to this.
  • the display control unit 40A determines an abnormality in one of the road surface drawing device 42A and the HUD 43A. May be displayed on the other of the road surface drawing device 42A and the HUD 43A.
  • the display control unit 40A determines that the road surface drawing device 42A is abnormal, and when the road surface drawing device 42A is determined to be abnormal, causes the HUD 43A to display information corresponding to the light pattern. You may. Steps S41 to S44 in FIG. 23 correspond to steps S21, S23, S25, and S27 in FIG.
  • steps S51 to S53 in FIG. 24 correspond to steps S31, S33, and S35 in FIG. Description is omitted.
  • FIGS. 23 and 24 show an example in which the abnormality of the road surface drawing apparatus is determined, similarly, the abnormality of only the HUD 43A may be determined.
  • FIG. 25 is a front view of a vehicle 1B on which the vehicle system 2B is mounted.
  • FIG. 26 is a block diagram of the vehicle system 2B.
  • the vehicle 1B is a vehicle (automobile) that can travel in the automatic driving mode.
  • the vehicle system 2B includes a vehicle control unit 3, a vehicle display system 4B (hereinafter, simply referred to as “display system 4B”), a sensor 5, a camera 6, and a radar 7. . Further, the vehicle system 2B includes an HMI 8, a GPS 9, a wireless communication unit 10, a storage device 11, a steering actuator 12, a steering device 13, a brake actuator 14, a brake device 15, an accelerator actuator 16, an accelerator Device 17.
  • the display system 4B includes a left headlamp 20L, a right headlamp 20R, a left road surface drawing device 45L, and a right road surface drawing device 45R. Further, the display system 4B includes a HUD 42B and a display control unit 43BB.
  • the HUD 42B is located inside the vehicle 1B. Specifically, HUD 42B is installed at a predetermined location in the room of vehicle 1B. For example, as shown in FIG. 27, HUD 42B may be arranged in the dashboard of vehicle 1B.
  • the HUD 42B functions as a visual interface between the vehicle 1B and the occupant H.
  • the HUD 42B displays the HUD information to the occupant H such that predetermined information (hereinafter, referred to as HUD information) is superimposed on a real space outside the vehicle 1B (particularly, a surrounding environment in front of the vehicle 1B). It is configured as follows.
  • the HUD 42B functions as an AR display.
  • the HUD information displayed by the HUD 42B is, for example, vehicle travel information related to the travel of the vehicle 1B and / or surrounding environment information related to the surrounding environment of the vehicle 1B (particularly, information related to an object existing outside the vehicle 1B). Information).
  • the HUD 42B has a HUD main body 420B and a transparent screen 421B.
  • the HUD main unit 420B includes a light source unit, a driving mirror, an optical system, a light source driving circuit, and a mirror driving circuit.
  • the light source unit is, for example, a laser light source or an LED light source.
  • the laser light source is, for example, an RGB laser light source configured to emit red laser light, green laser light, and blue laser light, respectively.
  • the driving mirror is, for example, a MEMS mirror, a DMD, a galvano mirror, a polygon mirror, or the like.
  • the optical system includes at least one of a prism, a lens, a diffuser, and a magnifier.
  • the light source drive circuit is configured to drive and control the light source unit.
  • the light source driving circuit generates a control signal for controlling the operation of the light source unit based on the image data transmitted from the display control unit 43B, and then transmits the generated control signal to the light source unit. It is configured.
  • the mirror driving circuit is configured to drive and control the driving mirror.
  • the mirror drive circuit generates a control signal for controlling the operation of the drive mirror based on the image data transmitted from the display control unit 43B, and then transmits the generated control signal to the drive mirror. It is configured.
  • the transparent screen 421B is constituted by a part of the front window 60.
  • the transparent screen 421B has a HUD display area D10 capable of displaying HUD information (see FIG. 30).
  • the light (image) emitted from the HUD body 420B is applied to the HUD display area D10 of the transparent screen 421B.
  • the HUD display area D10 reflects the light emitted from the HUD main body 420B toward the viewpoint E of the occupant H.
  • the occupant H recognizes the light (image) emitted from the HUD body 420B as a virtual image formed at a predetermined position in front of the transparent screen 421B.
  • the occupant H can feel as if the HUD information is floating on the road.
  • the transparent screen 421B may be configured as a transparent combiner separated from the front window 60. Also in this case, the combiner has a HUD display area. Further, the occupant H recognizes the light (image) emitted from the HUD body 420B as a virtual image formed at a predetermined position in front of the combiner. The position where the virtual image is formed (the virtual image formation position) may be changed by adjusting the position of the optical system of the HUD 42B (particularly, the focal length of the projection optical system). At this point, the display control unit 43B (particularly, the first electronic control unit 47B) controls the position of the target object and the virtual image formation position to substantially match based on the position information of the target object existing in front of the vehicle 1B. , HUD42B can be controlled.
  • the drawing method of the HUD 42B may be a raster scan direction, a DLP method, or an LCOS method. When the DLP system or the LCOS system is adopted, the light source unit of the HUD 42B may be an LED
  • the display control unit 43B includes a road surface drawing device 45 (specifically, a left road surface drawing device 45L and a right road surface drawing device 45R), a head lamp 20 (specifically, a left head lamp 20L and a right head lamp 20R), and a HUD 42B. Is configured to control the operation. At this point, the display control unit 43B controls the operation of the road surface drawing device 45 (specifically, the left road surface drawing device 45L and the right road surface drawing device 45R) so that the light pattern is irradiated to a predetermined position on the road surface. It is configured to control. Further, the display control unit 43B is configured to control the operation of the HUD 42B so that the HUD information is displayed in the HUD display area D10.
  • the display control unit 43B is configured to determine whether to operate the road surface drawing device 45 and the HUD 42B. That is, in the present embodiment, the display control unit 43B is not configured to control the driving of the road surface drawing device 45 and the HUD 42B according to the instruction signal from the vehicle control unit 3. Rather, the display control unit 43B specifies an object around the vehicle 1B based on the detection data (for example, image data or the like) of the on-board sensor transmitted from the vehicle control unit 3, and then specifies the road surface drawing device 45 and It is configured to determine whether to operate the HUD 42B.
  • the detection data for example, image data or the like
  • the display control unit 43B includes a first electronic control unit 47B and a second electronic control unit 48B.
  • the first electronic control unit 47B is configured to control the operation of the HUD 42B. Further, when both the HUD 42B and the road surface drawing device 45 operate, the first electronic control unit 47B controls the operations of both the HUD 42B and the road surface drawing device 45.
  • the first electronic control unit 47B includes a computer system (for example, SoC or the like) including one or more processors and one or more memories, and an electronic circuit including active elements such as transistors and passive elements.
  • the processor includes at least one of a CPU, an MPU, a GPU, and a TPU.
  • the memory includes a ROM and a RAM. Further, the computer system may be configured by a non-Neumann computer such as an ASIC or an FPGA.
  • the second electronic control unit 48B is configured to control the operations of the headlamp 20 and the road surface drawing device 45.
  • the second electronic control unit 48B is configured to control the operation of the headlamp 20 and the road surface drawing device 45.
  • the first electronic control unit 47B controls the operation of both the HUD 42B and the road surface drawing device 45, while the second electronic control unit 48B The operation of the headlamp 20 is controlled.
  • the second electronic control unit 48B includes a computer system (for example, SoC or the like) including one or more processors and one or more memories, and an electronic circuit including active elements such as transistors and passive elements.
  • the processor includes at least one of a CPU, an MPU, a GPU, and a TPU.
  • the memory includes a ROM and a RAM.
  • the computer system may be configured by a non-Neumann computer such as an ASIC or an FPGA.
  • one or both of the first electronic control unit 47B and the second electronic control unit 48B constituting the display control unit 43B operate at least one of the HUD 42B, the road surface drawing device 45, and the headlamp 20. You may decide if you should. For example, while the first electronic control unit 47B determines whether to operate the HUD 42B, the second electronic control unit 48B determines whether to operate each of the road surface drawing device 45 and the headlamp 20. Good. Alternatively, the first electronic control unit 47B (or the second electronic control unit 48B) may determine whether to operate each of the HUD 42B, the road surface drawing device 45, and the headlamp 20.
  • first electronic control unit 47B and the second electronic control unit 48B are provided as separate components, but the first electronic control unit 47B and the second electronic control unit 48B are integrally configured. Is also good.
  • the first electronic control unit 47B and the second electronic control unit 48B may be configured by a single electronic control unit.
  • vehicle control unit 3 and the display control unit 43B are provided as separate components.
  • FIG. 28 is a flowchart for explaining an operation example of the display system 4B.
  • FIG. 29 is a diagram illustrating a state in which the vehicle 1B emits the light pattern L10 toward a pedestrian P1 (an example of an object) existing around the vehicle 1B.
  • FIG. 30 is a diagram illustrating an example of HUD information displayed in the HUD display area D10. In particular, FIG. 30 shows the HUD information M11 to M14 in the field of view of the occupant H and the light pattern L10 emitted on the road surface.
  • the first electronic control unit 47B determines whether to operate each of the HUD 42B, the road surface drawing device 45, and the headlamp 20.
  • step S61 the first electronic control unit 47B converts the detection data (for example, image data, 3D mapping data, and the like) acquired by the external camera 6A and / or the radar 7 from the vehicle control unit 3. Receive. Thereafter, when the first electronic control unit 47B specifies the presence of the pedestrian P1 based on the detection data (YES in step S61), the first electronic control unit 47B determines whether the pedestrian P1 exists within a predetermined distance from the vehicle 1B. A determination is made (step S62). On the other hand, if the decision result in the step S61 is NO, the present process ends.
  • the detection data for example, image data, 3D mapping data, and the like
  • the first electronic control unit 47B determines to display the HUD information on the HUD 42B and walks. It is determined that the light pattern L10 is emitted toward the person P1 (step S63). Further, in step S63, the first electronic control unit 47B determines, based on detection data such as image data and 3D mapping data, information (for example, the attribute of the target object) associated with the target object (in this example, the pedestrian P1). Information, position information of the object with respect to the vehicle 1B, and information relating to the future behavior of the object).
  • the first electronic control unit 47B controls the operation of the HUD 42B so that the HUD information M11 to M14 is displayed on the HUD 42B (in particular, the HUD display area D10) based on the information related to the object.
  • the first electronic control unit 47B transmits a control signal for controlling the operation of the HUD 42B to the HUD 42B.
  • HUD information M11 to M14 are displayed on HUD display area D10.
  • the HUD information M11 includes the attribute information of the target and the position information of the target with respect to the vehicle 1B.
  • the HUD information M11 indicates a pedestrian as the attribute information of the target and 26 m as the position information of the target.
  • the HUD information M12 includes information related to the behavior prediction of the target object.
  • the HUD information M12 indicates that the pedestrian P1 is going to cross the pedestrian crossing C as behavior prediction information of the pedestrian P1.
  • the HUD information M13 includes information indicating the presence of the target. As shown in FIG. 30, the HUD information M13 indicates a pedestrian mark as information indicating the presence of the pedestrian P1. Note that the HUD information M13 may include text information such as "there is a pedestrian" or graphic information such as an exclamation mark as information indicating the presence of the target object.
  • the HUD information M14 is a frame pattern surrounding the pedestrian P1.
  • the first electronic control unit 47B causes the road surface drawing device 45 to emit the light pattern L10 onto the road surface toward the pedestrian P1 based on the information related to the object. Control the operation of.
  • the first electronic control unit 47B transmits a control signal for controlling the operation of the road surface drawing device 45 to the road surface drawing device 45 via the second electronic control unit 48B.
  • the road surface drawing device 45 emits the light pattern L10 onto the road surface.
  • the light pattern L10 is a linear light pattern extending from the vehicle 1B toward the pedestrian P1.
  • the light pattern L10 can visually associate the vehicle 1B with the pedestrian P1.
  • the shape of the light pattern L10 is not limited to a linear shape, but may be an arbitrary shape such as a triangular shape or an arrow shape.
  • the HUD 42B operates to realize visual communication between the vehicle 1B and the occupant H.
  • the HUD 42B may not operate.
  • the second electronic control unit 48B may execute the processing of steps S61 to S63.
  • step S63 after the second electronic control unit 48B determines to emit the light pattern L10 toward the pedestrian P1, the light pattern L10 is emitted onto the road surface toward the pedestrian P1.
  • the operation of the road surface drawing device 45 is controlled.
  • the first electronic control unit 47B controls the operations of the HUD 42B and the road surface drawing device 45.
  • the second electronic control unit 48B controls the operation of the road surface drawing device 45.
  • the operation of the headlamp 20 may be constantly controlled by the second electronic control unit 48B. That is, when the HUD 42B does not operate, the second electronic control unit 48B may control the operations of the road surface drawing device 45 and the headlamp 20. On the other hand, when the HUD 42B operates, the first electronic control unit 47B may control the operation of the HUD 42B and the road surface drawing device 45, while the second electronic control unit 48B may control the operation of the headlamp 20.
  • the display control unit 43B (in particular, the first electronic control unit 47B) should operate the road surface drawing device 45 and the HUD 42B instead of the vehicle control unit 3 that controls the traveling of the vehicle 1B.
  • the operations of the road surface drawing device 45 and the HUD 42B are controlled.
  • the calculation load of the vehicle control unit 3 can be reduced, and the operations of the road surface drawing device 45 and the HUD 42B can be accelerated.
  • the second electronic control unit 48B controls the operation of the road surface drawing device 45.
  • the first electronic control unit 47B controls the operations of the HUD 42B and the road surface drawing device 45.
  • the HUD 42B and the road surface drawing device 45 operate in cooperation with each other (for example, when the emission position of the light pattern L10 is determined according to the display position of the HUD information, or according to the emission position of the light pattern L10).
  • the first electronic control unit 47B when the display position of the HUD information is determined), the first electronic control unit 47B generates a control signal for controlling the operation of the HUD 42B and a control signal for controlling the operation of the road surface drawing device 45. Therefore, the road surface drawing device 45 can be operated efficiently and at high speed in consideration of the operation content of the HUD 42B. Alternatively, the HUD 42B can be operated efficiently and at high speed in consideration of the operation content of the road surface drawing device 45.
  • the operation of the headlamp 20 is always controlled by the second electronic control unit 48B, but the present embodiment is not limited to this.
  • the first electronic control unit 47B may control all operations of the HUD 42B, the road surface drawing device 45, and the headlamp 20.
  • the HUD 42B, the road surface drawing device 45, and the headlamp 20 are operating, at least one of them can be operated efficiently and at high speed.
  • the HUD 42B can be operated efficiently and at high speed in consideration of the operation contents of the road surface drawing device 45 and / or the headlamp 20.
  • the driving mode of the vehicle has been described as including the fully automatic driving mode, the advanced driving support mode, the driving support mode, and the manual driving mode.
  • the driving mode of the vehicle includes these four modes. Should not be limited to.
  • the classification of the driving mode of the vehicle may be changed as appropriate in accordance with the laws and regulations regarding automatic driving in each country.
  • the definitions of “fully automatic driving mode”, “advanced driving assistance mode”, and “driving assistance mode” described in the description of the present embodiment are merely examples, and laws and regulations relating to automatic driving in each country or These definitions may be changed as appropriate according to the rules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両に設けられた表示システムは、車両の外部の路面に向けて光パターン（Ｌ１）を出射するように構成された路面描画装置と、車両の内部に位置すると共に、ＨＵＤ情報が車両の外部の現実空間と重畳されるようにＨＵＤ情報を車両の乗員に向けて表示するように構成されたＨＵＤと、路面描画装置を制御するように構成された表示制御部と、を備える。表示制御部は、ＨＵＤ情報が表示可能なＨＵＤ表示領域（Ｄ１）に対する乗員の入力操作に応じて、光パターン（Ｌ１）の出射を制御するように構成されている。

Description

車両用表示システム、車両システム及び車両
　本開示は、車両用表示システム、車両システム及び車両に関する。
　現在、自動車の自動運転技術の研究が各国で盛んに行われており、自動運転モードで車両（以下、「車両」は自動車のことを指す。）が公道を走行することができるための法整備が各国で検討されている。ここで、自動運転モードでは、車両システムが車両の走行を自動的に制御する。具体的には、自動運転モードでは、車両システムは、カメラ、レーダ（例えば、レーザレーダやミリ波レーダ）等のセンサから得られる車両の周辺環境を示す情報（周辺環境情報）に基づいてステアリング制御（車両の進行方向の制御）、ブレーキ制御及びアクセル制御（車両の制動、加減速の制御）のうちの少なくとも１つを自動的に行う。一方、以下に述べる手動運転モードでは、従来型の車両の多くがそうであるように、運転者が車両の走行を制御する。具体的には、手動運転モードでは、運転者の操作（ステアリング操作、ブレーキ操作、アクセル操作）に従って車両の走行が制御され、車両システムはステアリング制御、ブレーキ制御及びアクセル制御を自動的に行わない。尚、車両の運転モードとは、一部の車両のみに存在する概念ではなく、自動運転機能を有さない従来型の車両も含めた全ての車両において存在する概念であって、例えば、車両制御方法等に応じて分類される。
　このように、将来において、公道上では自動運転モードで走行中の車両（以下、適宜、「自動運転車」という。）と手動運転モードで走行中の車両（以下、適宜、「手動運転車」という。）が混在することが予想される。
　自動運転技術の一例として、特許文献１には、先行車に後続車が自動追従走行した自動追従走行システムが開示されている。当該自動追従走行システムでは、先行車と後続車の各々が照明システムを備えており、先行車と後続車との間に他車が割り込むことを防止するための文字情報が先行車の照明システムに表示されると共に、自動追従走行である旨を示す文字情報が後続車の照明システムに表示される。
日本国特開平９－２７７８８７号公報
　将来の自動運転社会では、自動運転車と人間との間の視覚的コミュニケーションが重要になっていくことが予想される。特に、車両と当該車両の外部に存在する歩行者等の対象物との間の視覚的コミュニケーション及び車両と当該車両の乗員との間の視覚的コミュニケーションが益々重要になっていくことが予想される。この点において、光パターンを路面上に出射する路面描画装置を用いて車両と対象物との間の視覚的コミュニケーションを実現することができると共に、ヘッドアップディスプレイ（ＨＵＤ）を用いて車両と乗員との間の視覚的コミュニケーションを実現することができる。
　ところで、通常では車両用表示システムの表示制御部（車載コンピュータ）が光パターンの出射を自動的に制御しているが、車両の周辺環境の状況に応じて、乗員自身が光パターンの出射を手動で制御したい場合がある。例えば、光パターンが路面上に出射されていない状況において、乗員が車両の周辺に存在する特定の歩行者に向けて光パターンを出射したい場合等が想定される。このように、光パターンの出射の手動制御の観点より車両用表示システムをさらに改善する余地がある。
　また、路面描画装置およびＨＵＤが搭載された車両では、路面描画装置及びＨＵＤのうちの少なくとも一方に異常が生じた場合、車両と乗員との間の視覚的コミュニケーションを継続できなくなる。このように、路面描画装置及びＨＵＤのうちの少なくとも一方に異常が生じた場合であっても車両と乗員との間の視覚的コミュニケーションを継続可能な車両用表示システムについて検討する余地がある。
　さらに、車両と人間との間の視覚的コミュニケーションの信頼性をさらに高めるために、路面描画装置とＨＵＤの動作をより高速化させたいといった要望も少なからず存在する。このように、路面描画装置とＨＵＤの動作の高速化の観点から車両システムをさらに改善する余地がある。
　本開示の第１の目的は、乗員が光パターンを手動制御する場合におけるユーザビリティが向上した車両用表示システム及び車両を提供することである。
　本開示の第２の目的は、車両用表示システムに異常が生じた場合でも車両と乗員との間の視覚的コミュニケーションを継続可能な車両用表示システム及び車両を提供することである。
　本開示の第３の目的は、ＨＵＤと路面描画装置の動作を高速化させることが可能な車両システム及び車両を提供することである。
　本開示の一態様の車両用表示システムは、車両に設けられ、
　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
　前記車両の内部に位置すると共に、所定の情報が前記車両の外部の現実空間と重畳されるように前記所定の情報を前記車両の乗員に向けて表示するように構成された第２表示装置と、
　前記第１表示装置を制御するように構成された表示制御部と、を備える。
　前記表示制御部は、前記所定の情報が表示可能な表示領域に対する前記乗員の入力操作に応じて、前記光パターンの出射を制御するように構成されている。
　上記構成によれば、表示領域に対する乗員の入力操作に応じて光パターンの出射が制御される。このように、乗員は、直感的な入力操作によって光パターンの出射を制御することが可能となる。したがって、乗員が光パターンを手動制御する場合におけるユーザビリティが向上した車両用表示システムを提供することができる。
　また、前記表示制御部は、前記乗員の視点の位置と前記入力操作の入力位置に基づいて、前記光パターンの出射位置を制御するように構成されてもよい。
　上記構成によれば、乗員の視点の位置と乗員の入力操作の入力位置に基づいて、光パターンの出射位置が制御される。このように、乗員は、直感的な入力操作により光パターンの出射位置を決定することが可能となる。したがって、乗員が光パターンを手動制御する場合におけるユーザビリティが向上した車両用表示システムを提供することができる。
　また、前記表示制御部は、前記表示領域に対する前記入力操作に応じて、前記光パターンの出射を開始するように構成されてもよい。
　上記構成によれば、表示領域に対する入力操作に応じて光パターンの出射が開始される。このように、乗員による直感的な入力操作によって車両の外部に存在する対象物（例えば、歩行者等）に向けて光パターンを出射することができる。
　また、前記表示制御部は、
　前記乗員の視点の位置と、前記入力操作の第１入力位置に基づいて、前記路面上における前記光パターンの開始位置を特定し、
　前記視点の位置と、前記入力操作の第２入力位置に基づいて、前記路面上における前記光パターンの終了位置を特定し、
　前記開始位置と前記終了位置とに基づいて、前記光パターンを前記路面上に出射する、ように構成されてもよい。
　上記構成によれば、乗員の視点の位置と入力操作の第１入力位置に基づいて光パターンの開始位置が特定されると共に、乗員の視点と入力操作の第２入力位置に基づいて光パターンの終了位置が特定される。さらに、光パターンの開始位置と終了位置に基づいて光パターンが路面上に出射される。このように、乗員による直感的な入力操作によって車両の外部の対象物に向けて光パターンを出射することができる。
　また、前記表示制御部は、前記表示領域に対する前記入力操作に応じて、前記光パターンの出射位置を変更するように構成されてもよい。
　上記構成によれば、表示領域に対する入力操作に応じて光パターンの出射位置が変更される。このように、乗員による直感的な入力操作によって光パターンの出射位置を変更することができる。
　また、前記表示制御部は、
　前記乗員の視点の位置と、前記入力操作の第３入力位置に基づいて、前記路面上における第１指定位置を特定し、
　前記第１指定位置が前記路面上に出射された光パターンと重なる場合に、前記視点の位置と、前記入力操作の第４入力位置に基づいて、前記路面上における第２指定位置を特定し、
　前記第２指定位置に基づいて、前記光パターンの出射位置を変更する、
ように構成されてもよい。
　上記構成によれば、第１指定位置が光パターンの出射位置と重なる場合に、光パターンの出射位置が第２指定位置に変更される。このように、乗員による直感的な入力操作によって光パターンの出射位置を変更することができる。
　また、前記表示領域は、前記入力操作を受付けるように構成されたタッチパネルを有してもよい。
　上記構成によれば、タッチパネルに対する乗員の入力操作に応じて光パターンの出射が制御される。このように、乗員による直感的な入力操作によって光パターンの出射を制御することが可能となる。
　また、車両用表示システムは、前記車両の内部に位置すると共に、前記乗員を示す画像データを取得するように構成されたトラッキングカメラをさらに備えてもよい。
　前記表示制御部は、
　前記画像データに基づいて、前記乗員の視点の位置及び前記乗員の手の位置を特定し、
　前記手の位置に基づいて、前記入力操作の入力位置を特定し、
　前記視点の位置と前記入力操作の入力位置に基づいて、前記光パターンの出射位置を制御するように構成されてもよい。
　上記構成によれば、トラッキングカメラによって取得された画像データに基づいて乗員の視点の位置と乗員の手の位置が特定された上で、乗員の手の位置に基づいて乗員の入力操作の入力位置が特定される。さらに、乗員の視点の位置と入力操作の入力位置に基づいて光パターンの出射位置が制御される。このように、（タッチパネルを用いない）空間中の手の動作によって光パターンの出射位置を制御することが可能となる。したがって、乗員が光パターンを手動制御する場合におけるユーザビリティが向上した車両用表示システムを提供することができる。
　本開示の一態様に係る車両用表示システムは、車両に設けられた車両用表示システムであって、
　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
　前記車両の内部に位置すると共に、前記車両の走行に関連した車両走行情報が前記車両の外部の現実空間と重畳されるように前記車両走行情報を前記車両の乗員に向けて表示するように構成された第２表示装置と、
　前記第１表示装置及び前記第２表示装置を制御するように構成された表示制御部と、
を備える。
　前記表示制御部は、
　前記第１表示装置に異常があると判断された場合に、前記光パターンに対応する情報を前記第２表示装置に表示させる。
　上記構成によれば、第１表示装置に異常があると判断された場合に、光パターンに対応する情報を第２表示装置に表示させる。このように、第１表示装置に異常が生じた場合でも車両と乗員との間の視覚的コミュニケーションを行うことが可能な車両用表示システムを提供することができる。
　また、第１表示装置に異常があると判断された場合に、前記表示制御部は、前記第１表示装置が複数の前記光パターンを出射している場合には、前記複数の光パターンにそれぞれ対応する情報を前記第２表示装置に表示させてもよい。
　上記構成によれば、全ての光パターンに対応する情報を第２表示装置に表示させる。このように、乗員は、第１表示装置に異常が生じた場合でも、異常前と同じ情報を継続的に把握することができる。
　また、前記表示制御部は、前記第１表示装置の異常情報を前記第２表示装置に表示させてもよい。
　上記構成によれば、第１表示装置が異常である情報を第２表示装置に表示させる。このように、乗員は、第１表示装置が異常であることを把握することができる。
　また、前記表示制御部は、前記第２表示装置に異常があると判断された場合に、前記車両走行情報に対応する光パターンを前記第１表示装置に出射させる。
　上記構成によれば、第２表示装置に異常があると判断された場合に、車両走行情報に対応する光パターンを第１表示装置に出射させる。このように、第２表示装置に異常が生じた場合でも車両と乗員との間の視覚的コミュニケーションを行うことが可能な車両用表示システムを提供することができる。
　本開示の他の態様に係る車両用表示システムは、車両に設けられた車両用表示システムであって、
　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
　前記車両の内部に位置すると共に、前記車両の走行に関連した車両走行情報が前記車両の外部の現実空間と重畳されるように前記車両走行情報を前記車両の乗員に向けて表示するように構成された第２表示装置と、
　前記第１表示装置及び前記第２表示装置を制御するように構成された表示制御部と、
を備える。
　前記表示制御部は、
　前記第２表示装置に異常があると判断された場合に、前記車両走行情報に対応する光パターンを前記第１表示装置に出射させる。
　上記構成によれば、第２表示装置に異常があると判断された場合に、車両走行情報に対応する光パターンを第１表示装置に出射させる。このように、第２表示装置に異常が生じた場合でも車両と乗員との間の視覚的コミュニケーションを行うことが可能な車両用表示システムを提供することができる。
　また、第２表示装置に異常があると判断された場合に、前記表示制御部は、前記第２表示装置が複数の前記車両走行情報を表示している場合には、前記複数の車両走行情報の少なくとも１つの車両走行情報に対応する光パターンを前記第１表示装置に出射させてもよい。
　上記構成によれば、複数の車両走行情報のうち少なくとも１つの情報に対応する光パターンを第１表示装置に出射させる。例えば、複数の車両走行情報のうち、光パターンから読み取ることが容易な図形の情報や簡単な文字の情報からなる車両走行情報に対応する光パターンを第１表示装置に出射させる。このように、乗員は、第２表示装置に異常が生じた場合でも、異常前とほぼ同じ情報を継続的に且つ正確に把握することができる。
　また、上記車両用表示システムを備えた、車両が提供されてもよい。
　上記構成によれば、車両用表示システムに異常が生じた場合でも車両と乗員との間の視覚的コミュニケーションを継続可能な車両用表示システムを提供することができる。
　本開示の一態様の車両システムは、車両に設けられており、前記車両の走行を制御するように構成された車両制御部と、車両用表示システムと、を備える。
　前記車両用表示システムは、
　前記車両の内部に位置すると共に、所定の情報が前記車両の外部の現実空間と重畳されるように前記所定の情報を前記車両の乗員に向けて表示するように構成されたヘッドアップディスプレイ（ＨＵＤ）と、
　前記車両の外部の路面に向けて光パターンを出射するように構成された路面描画装置と、
　前記路面描画装置及び前記ＨＵＤを動作させるべきかどうかを決定すると共に、前記路面描画装置及び前記ＨＵＤの動作を制御するように構成された表示制御部と、を備える。
　上記構成によれば、車両制御部に代わって、表示制御部が路面描画装置及びＨＵＤを動作させるべきかどうかを決定すると共に、路面描画装置及びＨＵＤの動作を制御する。このように、車両制御部による演算負荷を減らすことができると共に、路面描画装置及びＨＵＤの動作を高速化させることが可能となる。
　また、前記表示制御部は、
　第１プロセッサと、第１メモリとを備え、前記ＨＵＤの動作を制御するように構成された第１電子制御ユニットと、
　第２プロセッサと、第２メモリとを備えた第２電子制御ユニットと、
を有してもよい。
　前記ＨＵＤが動作していない場合に、前記第２電子制御ユニットが、前記路面描画装置の動作を制御してもよい。
　前記ＨＵＤが動作している場合に、前記第１電子制御ユニットが、前記ＨＵＤ及び前記路面描画装置の動作を制御してもよい。
　上記構成によれば、ＨＵＤが動作していない場合に、第２電子制御ユニットが路面描画装置の動作を制御する一方で、ＨＵＤが動作している場合に、第１電子制御ユニットがＨＵＤ及び路面描画装置の動作を制御する。このように、ＨＵＤと路面描画装置の両方が動作している場合にＨＵＤと路面描画装置のうちの少なくとも一方を効率的且つ高速に動作させることが可能となる。特に、ＨＵＤと路面描画装置が互いに協調して動作している場合に（換言すれば、ＨＵＤと路面描画装置のうちの一方の動作内容に応じて他方の動作内容が決定される場合に）、第１電子制御ユニットは、ＨＵＤの動作を制御するための制御信号だけでなく路面描画装置の動作を制御するための制御信号を生成する。このため、ＨＵＤの動作内容を考慮した上で路面描画装置を効率的且つ高速に動作させることが可能となる。または、路面描画装置の動作内容を考慮した上でＨＵＤを効率的且つ高速に動作させることが可能となる。
　また、前記車両用表示システムは、
　前記車両の外部に向けてロービーム及び／又はハイビームを出射するように構成された照明装置をさらに備えてもよい。
　前記ＨＵＤが動作していない場合に、前記第２電子制御ユニットが、前記路面描画装置及び前記照明装置の動作を制御してもよい。
　前記ＨＵＤが動作している場合に、前記第１電子制御ユニットが、前記ＨＵＤ及び前記路面描画装置の動作を制御する一方、前記第２電子制御ユニットが、前記照明装置の動作を制御してもよい。
　上記構成によれば、ＨＵＤが動作していない場合に、第２電子制御ユニットが路面描画装置及び照明装置の動作を制御する一方で、ＨＵＤが動作している場合に、第１電子制御ユニットがＨＵＤ及び路面描画装置の両方の動作を制御する。このように、ＨＵＤと路面描画装置の両方が動作している場合にＨＵＤと路面描画装置のうちの少なくとも一方を効率的且つ高速に動作させることが可能となる。
　また、前記車両用表示システムは、
　前記車両の外部に向けてロービーム及び／又はハイビームを出射するように構成された照明装置をさらに備えてもよい。
　前記ＨＵＤが動作していない場合に、前記第２電子制御ユニットが、前記路面描画装置及び前記照明装置の動作を制御してもよい。
　前記ＨＵＤが動作している場合に、前記第１電子制御ユニットが、前記ＨＵＤ、前記路面描画装置及び前記照明装置の動作を制御してもよい。
　上記構成によれば、ＨＵＤが動作していない場合に、第２電子制御ユニットが路面描画装置及び照明装置の動作を制御する一方で、ＨＵＤが動作している場合に、第１電子制御ユニットがＨＵＤ、路面描画装置及び照明装置の全ての動作を制御する。このように、ＨＵＤ、路面描画装置、照明装置の全てが動作している場合に、ＨＵＤ、路面描画装置及び照明装置のうちの少なくとも一方を効率的且つ高速に動作させることが可能となる。特に、ＨＵＤと、路面描画装置と、照明装置とが互いに協調して動作している場合に、第１電子制御ユニットは、ＨＵＤの動作を制御するための制御信号だけでなく路面描画装置の動作を制御するための制御信号および照明装置の動作を制御するための制御信号を生成する。このため、ＨＵＤの動作内容を考慮した上で路面描画装置及び照明装置を効率的且つ高速に動作させることが可能となる。または、路面描画装置と照明装置の動作内容を考慮した上でＨＵＤを効率的且つ高速に動作させることが可能となる。
　また、上記車両システムを備えた車両が提供される。
　上記によれば、ＨＵＤと路面描画装置の動作を高速化させることが可能な車両を提供することができる。
　本開示によれば、乗員が光パターンを手動制御する場合におけるユーザビリティが向上した車両用表示システム及び車両を提供することができる。
　また、車両用表示システムに異常が生じた場合でも車両と乗員との間の視覚的コミュニケーションを継続可能な車両用表示システム及び当該車両用表示システムを備えた車両を提供することができる。
　さらに、ＨＵＤと路面描画装置の動作を高速化させることが可能な車両システム及び車両を提供することができる。
本発明の第１実施形態に係る車両システムが搭載された車両の正面図である。 第１実施形態に係る車両システムのブロック図である。 車両の乗員と、ダッシュボード上に配置されたＨＵＤ（Ｈｅａｄ-Ｕｐ　Ｄｉｓｐｌａｙ）と、乗員の視点をトラッキングする内部カメラとをそれぞれ示す図である。 第１実施形態の表示システムの第１動作例を説明するためのフローチャートである。 車両と車両の周辺に存在する歩行者を示す図である。 乗員の視点の位置とタッチ位置とに基づいて光パターンの開始位置を特定する方法を説明するための図である。 スワイプ操作によってＨＵＤ表示領域上における２つの入力位置が指定される様子を示す図である。 スワイプ操作によって指定された２つの入力位置に基づいて光パターンが路面上に出射される様子を示す図である。 車両から歩行者に向けて出射された光パターンを示す図である。 第１実施形態の表示システムの第２動作例を説明するためのフローチャートである。 車両から出射された光パターンを示す図である。 乗員の視界において乗員の入力操作によって指定された第１指定位置と光パターンが重なる様子を示す図である。 ＨＵＤ表示領域に対する乗員のスワイプ操作によって光パターンの出射位置が変更される様子を示す図である。 車両から出射された光パターンの出射位置が変更される様子を示す図である。 内部カメラによって取得された画像データに基づいて入力操作の入力位置を特定する方法を説明するための図である。 本発明の第２実施形態に係る車両システムのブロック図である。 第２実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。 第２実施形態に係る路面描画表示の一例を説明するための図である。 第２実施形態に係るＨＵＤ表示の一例を説明するための図である。 第２実施形態に係る路面描画表示異常時のＨＵＤ表示の一例を説明するための図である。 第２実施形態に係るＨＵＤ表示の一例を説明するための図である。 第２実施形態に係る路面描画表示の一例を説明するための図である。 第２実施形態に係るＨＵＤ表示異常時の路面描画表示の一例を説明するための図である。 本発明の第３実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。 第２実施形態に係る表示制御部による表示制御の変形例を説明するためのフローチャートである。 第３実施形態に係る表示制御部による表示制御の変形例を説明するためのフローチャートである。 本発明の第４実施形態に係る車両システムが搭載された車両の正面図である。 第４実施形態に係る車両システムのブロック図である。 ＨＵＤから出射された光が乗員の目に到達する様子を示す図である。 第４実施形態の表示システムの動作例を説明するためのフローチャートである。 車両が車両の周辺に存在する歩行者に向けて光パターンを出射する様子を示す図である。 ＨＵＤ表示領域に表示されたＨＵＤ情報の一例を示す図である。
（第１実施形態）
　以下、本発明の第１実施形態（以下、本実施形態という。）について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
　また、本実施形態の説明では、説明の便宜上、「左右方向」、「上下方向」、「前後方向」について適宜言及する場合がある。これらの方向は、図１に示す車両１について設定された相対的な方向である。ここで、「左右方向」は、「左方向」及び「右方向」を含む方向である。「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。前後方向は、図１では示されていないが、左右方向及び上下方向に直交する方向である。
　最初に、図１及び図２を参照して、本実施形態に係る車両システム２について以下に説明する。図１は、車両システム２が搭載された車両１の正面図である。図２は、車両システム２のブロック図である。車両１は、自動運転モードで走行可能な車両（自動車）である。
　図２に示すように、車両システム２は、車両制御部３と、車両用表示システム４（以下、単に「表示システム４」という。）と、センサ５と、カメラ６と、レーダ７とを備える。さらに、車両システム２は、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）８と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）９と、無線通信部１０と、記憶装置１１と、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備える。
　車両制御部３は、車両１の走行を制御するように構成されている。車両制御部３は、例えば、少なくとも一つの電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）及びＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のうちの少なくとも一つを含む。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。メモリは、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。ＲＯＭには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能（ＡＩ）プログラムを含んでもよい。ＡＩプログラムは、多層のニューラルネットワークを用いた教師有り又は教師なし機械学習（特に、ディープラーニング）によって構築されたプログラム（学習済みモデル）である。ＲＡＭには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。また、コンピュータシステムは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の非ノイマン型コンピュータによって構成されてもよい。さらに、コンピュータシステムは、ノイマン型コンピュータと非ノイマン型コンピュータの組み合わせによって構成されてもよい。
　表示システム４は、左側ヘッドランプ２０Ｌと、右側ヘッドランプ２０Ｒと、左側路面描画装置４５Ｌと、右側路面描画装置４５Ｒとを備える。さらに、表示システム４は、ＨＵＤ（Ｈｅａｄ-Ｕｐ　Ｄｉｓｐｌａｙ）４２と、表示制御部４３とを備える。
　図１に示すように、左側ヘッドランプ２０Ｌは、車両１の左側前面に配置されており、ロービームを車両１の前方に照射するように構成されたロービームランプと、ハイビームを車両１の前方に照射するように構成されたハイビームランプとを備える。右側ヘッドランプ２０Ｒは、車両１の右側前面に配置されており、ロービームを車両１の前方に照射するように構成されたロービームランプと、ハイビームを車両１の前方に照射するように構成されたハイビームランプとを備える。ロービームランプとハイビームランプの各々は、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）やＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）等の１以上の発光素子と、レンズ及びリフレクタ等の光学部材を有する。また、以降では、説明の便宜上、左側ヘッドランプ２０Ｌ及び右側ヘッドランプ２０Ｒを単にヘッドランプ２０と総称する場合がある。
　左側路面描画装置４５Ｌ（第１表示装置の一例）は、左側ヘッドランプ２０Ｌの灯室内に配置されている。左側路面描画装置４５Ｌは、車両１の外部の路面に向けて光パターンを出射するように構成されている。左側路面描画装置４５Ｌは、例えば、光源部と、駆動ミラーと、レンズやミラー等の光学系と、光源駆動回路と、ミラー駆動回路とを有する。光源部は、レーザ光源又はＬＥＤ光源である。例えば、レーザ光源は、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。駆動ミラーは、例えば、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ガルバノミラー、ポリゴンミラー等である。光源駆動回路は、光源部を駆動制御するように構成されている。光源駆動回路は、表示制御部４３から送信された所定の光パターンに関連する信号に基づいて、光源部の動作を制御するための制御信号を生成した上で、当該生成された制御信号を光源部に送信するように構成されている。ミラー駆動回路は、駆動ミラーを駆動制御するように構成されている。ミラー駆動回路は、表示制御部４３から送信された所定の光パターンに関連する信号に基づいて、駆動ミラーの動作を制御するための制御信号を生成した上で、当該生成された制御信号を駆動ミラーに送信するように構成されている。光源部がＲＧＢレーザ光源である場合、左側路面描画装置４５Ｌは、レーザ光を走査することで様々の色の光パターンを路面上に描画することが可能となる。例えば、光パターンは、車両１の進行方向を示す矢印形状の光パターンであってもよい。
　右側路面描画装置４５Ｒ（第１表示装置の一例）は、右側ヘッドランプ２０Ｒの灯室内に配置されている。右側路面描画装置４５Ｒは、車両１の外部の路面に向けて光パターンを出射するように構成されている。左側路面描画装置４５Ｌと同様に、右側路面描画装置４５Ｒは、光源部と、駆動ミラーと、レンズ等の光学系と、光源駆動回路と、ミラー駆動回路とを有する。
　また、左側路面描画装置４５Ｌ及び右側路面描画装置４５Ｒの描画方式は、ラスタースキャン方式、ＤＬＰ（Ｄｉｇｉｔａｌ　Ｌｉｇｈｔ　Ｐｒｏｃｅｓｓｉｎｇ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　ｏｎ　Ｓｉｌｉｃｏｎ）方式であってもよい。ＤＬＰ方式又はＬＣＯＳ方式が採用される場合、光源部はＬＥＤ光源であってもよい。また、左側路面描画装置４５Ｌ及び右側路面描画装置４５Ｒの描画方式として、プロジェクション方式が採用されてもよい。プロジェクション方式が採用される場合、光源部は、マトリクス状に並んだ複数のＬＥＤ光源であってもよい。さらに、本実施形態では、左側路面描画装置４５Ｌ及び右側路面描画装置４５Ｒは、車体ルーフ１００Ａ上に配置されてもよい。この点において、１つの路面描画装置が車体ルーフ１００Ａ上に配置されてもよい。以降では、説明の便宜上、左側路面描画装置４５Ｌ及び右側路面描画装置４５Ｒを単に路面描画装置４５と総称する場合がある。また、以降の説明において、路面描画装置４５は、左側路面描画装置４５Ｌ、右側路面描画装置４５Ｒ又は左側路面描画装置４５Ｌと右側路面描画装置４５Ｒの組み合わせを示すものとする。
　ＨＵＤ４２（第２表示装置の一例）は、車両１の内部に位置する。具体的には、ＨＵＤ４２は、車両１の室内の所定箇所に設置されている。例えば、図３に示すように、ＨＵＤ４２は、車両１のダッシュボード上に配置されてもよい。ＨＵＤ４２は、車両１と乗員Ｈとの間の視覚的インターフェースとして機能する。ＨＵＤ４２は、所定の情報（以下、ＨＵＤ情報という。）が車両１の外部の現実空間（特に、車両１の前方の周辺環境）と重畳されるように当該ＨＵＤ情報を乗員Ｈに向けて表示するように構成されている。このように、ＨＵＤ４２は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）ディスプレイとして機能する。ＨＵＤ４２によって表示されるＨＵＤ情報は、例えば、車両１の走行に関連した車両走行情報及び／又は車両１の周辺環境に関連した周辺環境情報（特に、車両１の外部に存在する対象物に関連した情報）である。
　図３に示すように、ＨＵＤ４２は、ＨＵＤ本体部４２０と、透明スクリーン４２１とを有する。ＨＵＤ本体部４２０は、光源部と、駆動ミラーと、光学系と、光源駆動回路と、ミラー駆動回路とを有する。光源部は、例えば、レーザ光源又はＬＥＤ光源である。レーザ光源は、例えば、赤色レーザ光と、緑光レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。駆動ミラーは、例えば、ＭＥＭＳミラー、ＤＭＤ、ガルバノミラー、ポリゴンミラー等である。光学系は、プリズム、レンズ、拡散板、拡大鏡のうち少なくとも一つを含む。光源駆動回路は、光源部を駆動制御するように構成されている。光源駆動回路は、表示制御部４３から送信された画像データに基づいて、光源部の動作を制御するための制御信号を生成した上で、当該生成された制御信号を光源部に送信するように構成されている。ミラー駆動回路は、駆動ミラーを駆動制御するように構成されている。ミラー駆動回路は、表示制御部４３から送信された画像データに基づいて、駆動ミラーの動作を制御するための制御信号を生成した上で、当該生成された制御信号を駆動ミラーに送信するように構成されている。
　透明スクリーン４２１は、透明なコンバイナー（透明な板状部材）である。透明スクリーン４２１は、ＨＵＤ情報が表示可能なＨＵＤ表示領域Ｄ１を有する（図６，７等を参照）。ＨＵＤ本体部４２０から出射された光（画像）は、透明スクリーン４２１のＨＵＤ表示領域Ｄ１に照射される。次に、ＨＵＤ表示領域Ｄ１は、ＨＵＤ本体部４２０から出射された光を乗員Ｈの視点Ｅに向けて反射する。この結果、乗員Ｈは、ＨＵＤ本体部４２０から出射された光（画像）を透明スクリーン４２１の前方の所定の位置において形成された虚像として認識する。このように、ＨＵＤ４２によって表示されるＨＵＤ情報（画像）が車両１の前方の現実空間に重畳される結果、乗員Ｅは、当該ＨＵＤ情報が道路上に浮いているように感じることができる。
　また、透明スクリーン４２１は、乗員Ｈの入力操作を受け付けるように構成されたタッチパネルを有する。特に、透明スクリーン４２１のＨＵＤ表示領域Ｄ１にタッチパネルが設けられている。乗員ＨがＨＵＤ表示領域Ｄ１を手指で触れることで、透明スクリーン４２１（特に、タッチパネル）から乗員Ｈの入力操作に対応する所定の操作信号が生成された上、当該操作信号が表示制御部４３に送信される。このように、表示制御部４３は、タッチパネルに対する乗員Ｈの入力操作に応じて所定の処理を実行するように構成されている。
　尚、本実施形態では、透明スクリーン４２１はフロントウィンドウ６０の一部によって構成されてもよい。この場合でも、フロントウィンドウ６０の一部はＨＵＤ表示領域Ｄ１を有する。さらに、乗員Ｈは、ＨＵＤ本体部４２０から出射された光（画像）を、フロントウィンドウ６０の前方の所定の位置において形成された虚像として認識する。
　また、虚像が形成される位置（虚像形成位置）は、ＨＵＤ４２の光学系の位置（特に、投影光学系の焦点距離）を調整することで可変されてもよい。この点において、表示制御部４３は、車両１の前方に存在する対象物の位置情報に基づいて、対象物の位置と虚像形成位置が略一致するように、ＨＵＤ４２を制御することができる。また、ＨＵＤ４２の描画方式は、ラスタースキャン方向、ＤＬＰ方式又はＬＣＯＳ方式であってもよい。ＤＬＰ方式又はＬＣＯＳ方式が採用される場合、ＨＵＤ４２の光源部はＬＥＤ光源であってもよい。
　表示制御部４３は、路面描画装置４５（具体的には、左側路面描画装置４５Ｌと右側路面描画装置４５Ｒ）、ヘッドランプ２０（具体的には、左側ヘッドランプ２０Ｌと右側ヘッドランプ２０Ｒ）及びＨＵＤ４２の動作を制御するように構成されている。この点において、表示制御部４３は、路面上の所定の位置に光パターンが照射されるように路面描画装置４５（具体的には、左側路面描画装置４５Ｌと右側路面描画装置４５Ｒ）の動作を制御するように構成されている。特に、表示制御部４３は、ＨＵＤ表示領域Ｄ１（タッチパネル）に対する乗員Ｈの入力操作に応じて、光パターンの出射を制御するように構成されている。さらに、表示制御部４３は、ＨＵＤ情報がＨＵＤ表示領域Ｄ１に表示されるようにＨＵＤ４２の動作を制御するように構成されている。
　表示制御部４３は、電子制御ユニット（ＥＣＵ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ及びＴＰＵのうちの少なくとも一つを含む。メモリは、ＲＯＭと、ＲＡＭを含む。また、コンピュータシステムは、ＡＳＩＣやＦＰＧＡ等の非ノイマン型コンピュータによって構成されてもよい。
　本実施形態では、車両制御部３と表示制御部４３は、別個の構成として設けられているが、車両制御部３と表示制御部４３は一体的に構成されてもよい。この点において、表示制御部４３と車両制御部３は、単一の電子制御ユニットにより構成されていてもよい。また、表示制御部４３は、ヘッドランプ２０と路面描画装置４５の動作を制御するように構成された電子制御ユニットと、ＨＵＤ４２の動作を制御するように構成された電子制御ユニットの２つの電子制御ユニットによって構成されてもよい。
　センサ５は、加速度センサ、速度センサ及びジャイロセンサのうち少なくとも一つを含む。センサ５は、車両１の走行状態を検出して、走行状態情報を車両制御部３に出力するように構成されている。センサ５は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。
　カメラ６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラ６は、一以上の外部カメラ６Ａと、内部カメラ６Ｂとを含む。外部カメラ６Ａは、車両１の周辺環境を示す画像データを取得した上で、当該画像データを車両制御部３に送信するように構成されている。車両制御部３は、送信された画像データに基づいて、周辺環境情報を取得する。ここで、周辺環境情報は、車両１の外部に存在する対象物（歩行者、他車両、標識等）に関する情報を含んでもよい。例えば、周辺環境情報は、車両１の外部に存在する対象物の属性に関する情報と、車両１に対する対象物の距離や位置に関する情報とを含んでもよい。外部カメラ６Ａは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。
　内部カメラ６Ｂは、車両１の内部に配置されると共に、乗員Ｈを示す画像データを取得するように構成されている。内部カメラ６Ｂは、車両１の天井の所定の位置に配置されてもよいし（図３参照）、ダッシュボード上に配置されてもよい。内部カメラ６Ｂは、乗員Ｈの視点Ｅをトラッキングするトラッキングカメラとして機能する。ここで、乗員Ｈの視点Ｅは、乗員Ｈの左目の視点又は右目の視点のいずれかであってもよい。または、視点Ｅは、左目の視点と右目の視点を結んだ線分の中点として規定されてもよい。表示制御部４３は、内部カメラ６Ｂによって取得された画像データに基づいて、乗員Ｈの視点Ｅの位置を特定してもよい。乗員Ｈの視点Ｅの位置は、画像データに基づいて、所定の周期で更新されてもよいし、車両１の起動時に一回だけ決定されてもよい。
　レーダ７は、ミリ波レーダ、マイクロ波レーダ及びレーザーレーダ（例えば、ＬｉＤＡＲユニット）のうちの少なくとも一つを含む。例えば、ＬｉＤＡＲユニットは、車両１の周辺環境を検出するように構成されている。特に、ＬｉＤＡＲユニットは、車両１の周辺環境を示す３Ｄマッピングデータ（点群データ）を取得した上で、当該３Ｄマッピングデータを車両制御部３に送信するように構成されている。車両制御部３は、送信された３Ｄマッピングデータに基づいて、周辺環境情報を特定する。
　ＨＭＩ８は、運転者からの入力操作を受付ける入力部と、走行情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両１の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、各種走行情報を表示するディスプレイ（ＨＵＤを除く）である。ＧＰＳ９は、車両１の現在位置情報を取得し、当該取得された現在位置情報を車両制御部３に出力するように構成されている。
　無線通信部１０は、車両１の周囲にいる他車に関する情報（例えば、走行情報等）を他車から受信すると共に、車両１に関する情報（例えば、走行情報等）を他車に送信するように構成されている（車車間通信）。また、無線通信部１０は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両１の走行情報をインフラ設備に送信するように構成されている（路車間通信）。また、無線通信部１０は、歩行者が携帯する携帯型電子機器（スマートフォン、タブレット、ウェアラブルデバイス等）から歩行者に関する情報を受信すると共に、車両１の自車走行情報を携帯型電子機器に送信するように構成されている（歩車間通信）。車両１は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接通信してもよいし、アクセスポイントを介して通信してもよい。さらに、車両１は、図示しない通信ネットワークを介して他車両、インフラ設備又は携帯型電子機器と通信してもよい。通信ネットワークは、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及び無線アクセスネットワーク（ＲＡＮ）のうちの少なくとも一つを含む。無線通信規格は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＬＰＷＡ、ＤＳＲＣ（登録商標）又はＬｉ－Ｆｉである。また、車両１は、他車両、インフラ設備又は携帯型電子機器と第５世代移動通信システム（５Ｇ）を用いて通信してもよい。
　記憶装置１１は、ハードディスクドライブ（ＨＤＤ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の外部記憶装置である。記憶装置１１には、２次元又は３次元の地図情報及び／又は車両制御プログラムが記憶されてもよい。例えば、３次元の地図情報は、３Ｄマッピングデータ（点群データ）によって構成されてもよい。記憶装置１１は、車両制御部３からの要求に応じて、地図情報や車両制御プログラムを車両制御部３に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部１０と通信ネットワークを介して更新されてもよい。
　車両１が自動運転モードで走行する場合、車両制御部３は、走行状態情報、周辺環境情報、現在位置情報、地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ１２は、ステアリング制御信号を車両制御部３から受信して、受信したステアリング制御信号に基づいてステアリング装置１３を制御するように構成されている。ブレーキアクチュエータ１４は、ブレーキ制御信号を車両制御部３から受信して、受信したブレーキ制御信号に基づいてブレーキ装置１５を制御するように構成されている。アクセルアクチュエータ１６は、アクセル制御信号を車両制御部３から受信して、受信したアクセル制御信号に基づいてアクセル装置１７を制御するように構成されている。このように、車両制御部３は、走行状態情報、周辺環境情報、現在位置情報、地図情報等に基づいて、車両１の走行を自動的に制御する。つまり、自動運転モードでは、車両１の走行は車両システム２により自動制御される。
　一方、車両１が手動運転モードで走行する場合、車両制御部３は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に従って、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両１の走行は運転者により制御される。
　次に、車両１の運転モードについて説明する。運転モードは、自動運転モードと手動運転モードとからなる。自動運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードとからなる。完全自動運転モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１を運転できる状態にはない。高度運転支援モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両１を運転できる状態にはあるものの車両１を運転しない。運転支援モードでは、車両システム２がステアリング制御、ブレーキ制御及びアクセル制御のうち一部の走行制御を自動的に行うと共に、車両システム２の運転支援の下で運転者が車両１を運転する。一方、手動運転モードでは、車両システム２が走行制御を自動的に行わないと共に、車両システム２の運転支援なしに運転者が車両１を運転する。
　また、車両１の運転モードは、運転モード切替スイッチを操作することで切り替えられてもよい。この場合、車両制御部３は、運転モード切替スイッチに対する運転者の操作に応じて、車両１の運転モードを４つの運転モード（完全自動運転モード、高度運転支援モード、運転支援モード、手動運転モード）の間で切り替える。また、車両１の運転モードは、自動運転車が走行可能である走行可能区間や自動運転車の走行が禁止されている走行禁止区間についての情報または外部天候状態についての情報に基づいて自動的に切り替えられてもよい。この場合、車両制御部３は、これらの情報に基づいて車両１の運転モードを切り替える。さらに、車両１の運転モードは、着座センサや顔向きセンサ等を用いることで自動的に切り替えられてもよい。この場合、車両制御部３は、着座センサや顔向きセンサからの出力信号に基づいて、車両１の運転モードを切り替える。
　次に、図４から図９を参照することで本実施形態の表示システム４の第１動作例について以下に説明する。図４は、本実施形態の表示システム４の第１動作例を説明するためのフローチャートである。図５は、車両１と車両１の周辺に存在する歩行者Ｐ１を示す図である。図６は、乗員Ｈの視点Ｅの位置とタッチ位置Ｃ１とに基づいて光パターンＬ１の開始位置ｅ１を特定する方法を説明するための図である。図７は、スワイプ操作によってＨＵＤ表示領域Ｄ１上における２つの入力位置（タッチ位置Ｃ１と終了位置Ｃ２）が指定される様子を示す図である。図８は、スワイプ操作によって指定された２つの入力位置に基づいて光パターンＬ１が路面上に出射される様子を示す図である。図９は、車両１から歩行者Ｐ１に向けて出射された光パターンＬ１を示す図である。尚、図７，８では、透明スクリーン４２１のＨＵＤ表示領域Ｄ１を通じて乗員Ｅにより視認される前方の周辺環境が示されている。
　図４に示すように、ステップＳ１において、表示制御部４３は、ＨＵＤ表示領域Ｄ１（タッチパネル）に対する乗員Ｈのタッチ操作が検出されたかどうかを判定する。ステップＳ１の判定結果がＹＥＳの場合、処理はステップＳ２に進む。一方、ステップＳ１の判定結果がＮＯである場合、タッチ操作が検出されるまでステップＳ１の判定処理が繰り返し実行される。
　次に、ステップＳ２において、表示制御部４３は、乗員Ｈの視点Ｅの位置と乗員Ｈの手Ｔのタッチ位置Ｃ１（第１入力位置の一例、図７参照）とに基づいて、路面上における光パターンＬ１の開始位置ｅ１（図９参照）を特定する。具体的には、表示制御部４３は、内部カメラ６Ｂによって取得された乗員Ｈを示す画像データに基づいて、乗員Ｈの視点Ｅの位置を特定する。また、透明スクリーン４２１（タッチパネル）は、乗員Ｈのタッチ操作に応じて手Ｔのタッチ位置Ｃ１を示す操作信号を生成した上で、当該操作信号を表示制御部４３に送信する。次に、表示制御部４３は、視点Ｅの位置とタッチ位置Ｃ１とに基づいて光パターンＬ１の開始位置ｅ１を特定する。この点において、図６に示すように、視点Ｅの位置とタッチ位置Ｃ１とを通る直線と路面との交点が開始位置ｅ１として特定される。
　次に、ステップＳ３において、表示制御部４３は、ＨＵＤ表示領域Ｄ１に対する乗員Ｈのスワイプ操作が終了したかどうかを判定する。ステップＳ３の判定結果がＹＥＳの場合、処理はステップＳ４に進む。一方、ステップＳ３の判定結果がＮＯである場合、表示制御部４３は乗員Ｈのスワイプ操作が終了するまで待機する。
　次に、ステップＳ４において、表示制御部４３は、乗員Ｈの視点Ｅの位置とスワイプ操作の終了位置Ｃ２（第２入力位置の一例、図７参照）とに基づいて、路面上における光パターンＬ１の終了位置ｅ２（図９参照）を特定する。具体的には、表示制御部４３は、内部カメラ６Ｂによって取得された画像データに基づいて、乗員Ｈの視点Ｅの位置を特定する。さらに、透明スクリーン４２１は、乗員Ｈのスワイプ操作の終了位置Ｃ２を示す操作信号を生成した上で、当該操作信号を表示制御部４３に送信する。次に、表示制御部４３は、視点Ｅの位置と終了位置Ｃ２とに基づいて光パターンＬ１の終了位置ｅ２を特定する。
　次に、ステップＳ５において、表示制御部４３は、開始位置ｅ１と終了位置ｅ２とに基づいて光パターンＬ１を路面上に出射させる。特に、図９に示すように、表示制御部４３は、光パターンＬ１の一端が開始位置ｅ１に対応すると共に、光パターンＬ１の他端が終了位置ｅ２に対応するように光パターンＬ１の出射を制御する。また、図８に示すように、乗員Ｈの視界において、タッチ位置Ｃ１は光パターンＬ１の一端に重なると共に、スワイプ操作の終了位置Ｃ２は光パターンＬ１の他端に重なる。
　表示システム４の第１動作例によれば、ＨＵＤ表示領域Ｄ１に対する乗員Ｈの入力操作に応じて光パターンの出射が制御される。このように、乗員Ｈは、直感的な入力操作（例えば、スワイプ操作）によって光パターンの出射を制御することが可能となる。したがって、乗員Ｈが光パターンを手動制御する場合におけるユーザビリティが向上した表示システム４を提供することができる。
　特に、本動作例では、ＨＵＤ表示領域Ｄ１に対する入力操作に応じて光パターンＬ１の出射が開始される。より具体的には、乗員Ｈの視点Ｅの位置とタッチ位置Ｃ１とに基づいて光パターンＬ１の開始位置ｅ１が特定されると共に、視点Ｅの位置とスワイプ操作の終了位置Ｃ２とに基づいて光パターンＬ１の終了位置ｅ２が特定される。さらに、開始位置ｅ１と終了位置ｅ２に基づいて光パターンＬ１が路面上に出射される。このように、乗員Ｈによる直感的な入力操作によって車両１の外部に存在する歩行者Ｐ１等の対象物に向けて光パターンＬ１を出射することができる。歩行者Ｐ１は、路面上に出射された光パターンＬ１を見ることで、車両１が歩行者Ｐ１を認識していることを明確に把握することができるため、安心することができる。このように、光パターンＬ１によって車両１と歩行者Ｐ１等の対象物との間のリッチな視覚的コミュニケーションを実現することが可能となる。
　尚、本実施形態では、乗員Ｈのスワイプ操作によって光パターンの出射が制御されているが、乗員Ｈの入力操作はスワイプ操作に限定されるものではない。例えば、スワイプ操作以外の入力操作（２回のタッチ操作）によって光パターンの出射が制御されてもよい。この場合、１回目のタッチ操作によって光パターンＬ１の開始位置ｅ１が特定されると共に、２回目のタッチ操作によって光パターンＬ１の終了位置ｅ２が特定されてもよい。
　さらに、本実施形態の説明では、光パターンＬ１は直線状の光パターンであるが、光パターンＬ１の形状は、直線状に限定されるものではなく、三角形状や矢印形状等の任意の形状であってもよい。また、本実施形態では、視点Ｅの位置は、内部カメラ６Ｂによって取得された画像データに基づいて所定の周期で更新されているが、本実施形態はこれに限定されるものではない。例えば、視点Ｅの位置は車両１の起動時に一回だけ決定されてもよい。
　次に、図１０から図１４を参照することで本実施形態の表示システム４の第２動作例について以下に説明する。図１０は、本実施形態の表示システム４の第２動作例を説明するためのフローチャートである。図１１は、車両１から出射された光パターンＬ２を示す図である。図１２は、乗員Ｈの視界において乗員Ｈの入力操作によって指定された第１指定位置Ｃ３と光パターンＬ２が重なる様子を示す図である。図１３は、ＨＵＤ表示領域Ｄ１に対する乗員Ｈのスワイプ操作によって光パターンＬ２の出射位置が変更される様子を示す図である。図１４は、車両１から出射された光パターンＬ２の出射位置が変更される様子を示す図である。尚、本動作例では、前提条件として、車両１は路面上に光パターンＬ２を既に出射しているものとする。
　図１０に示すように、ステップＳ１０において、表示制御部４３は、ＨＵＤ表示領域Ｄ１に対する乗員Ｈのタッチ操作が検出されたかどうかを判定する。ステップＳ１０の判定結果がＹＥＳの場合、処理はステップＳ１１に進む。一方、ステップＳ１０の判定結果がＮＯである場合、タッチ操作が検出されるまでステップＳ１０の判定処理が繰り返し実行される。
　次に、ステップＳ１１において、表示制御部４３は、乗員Ｈの視点Ｅの位置と乗員Ｈの手Ｔのタッチ位置Ｃ３（第３入力位置の一例、図１２参照）とに基づいて、乗員Ｈによって指定された路面上の第１指定位置ｅ３（図１４参照）を特定する。ここで、第１指定位置ｅ３は、視点Ｅの位置とタッチ位置Ｃ３とを通る直線と路面との交点として特定される。
　次に、ステップＳ１２において、表示制御部４３は、路面上の第１指定位置ｅ３が路面上に出射されている光パターンＬ２と重なるかどうかを判定する。ステップＳ１２の判定結果がＹＥＳの場合、処理はステップＳ１３に進む。一方、ステップＳ１２の判定結果がＮＯである場合、処理は終了する。次に、表示制御部４３は、ＨＵＤ表示領域Ｄ１に対する乗員Ｈのスワイプ操作が終了したかどうかを判定する（ステップＳ１３）。ステップＳ１３の判定結果がＹＥＳの場合、処理はステップＳ１４に進む。一方、ステップＳ１３の判定結果がＮＯである場合、表示制御部４３は乗員Ｈのスワイプ操作が終了するまで待機する。
　次に、ステップＳ１４において、表示制御部４３は、乗員Ｈの視点Ｅの位置とスワイプ操作の終了位置Ｃ４（第４入力位置の一例、図１３参照）とに基づいて、路面上における第２指定位置ｅ４（図１４参照）を特定する。具体的には、表示制御部４３は、内部カメラ６Ｂによって取得された画像データに基づいて、乗員Ｈの視点Ｅの位置を特定する。さらに、透明スクリーン４２１は、乗員Ｈのスワイプ操作の終了位置Ｃ４を示す操作信号を生成した上で、当該操作信号を表示制御部４３に送信する。次に、表示制御部４３は、視点Ｅの位置と終了位置Ｃ４とに基づいて第２指定位置ｅ４を特定する。
　次に、ステップＳ１５において、表示制御部４３は、第２指定位置ｅ４に基づいて光パターンＬ２の出射位置を変更する。この点において、図１４に示すように、表示制御部４３は、光パターンＬ２の所定の位置が第２指定位置ｅ４に重なるように光パターンＬ２の出射位置を変更する。例えば、第１指定位置ｅ３と重なる光パターンＬ２の所定の位置が第２指定位置ｅ４に重なるように光パターンＬ２の出射位置が変更されてもよい。また、図１３に示すように、乗員Ｈの視界において、スワイプ操作の終了位置Ｃ４は光パターンＬ２の所定の位置と重なる。
　表示システム４の第２動作例によれば、ＨＵＤ表示領域Ｄ１に対する入力操作に応じて光パターンＬ２の出射位置が変更される。このように、乗員Ｈによる直感的な入力操作（例えば、スワイプ操作）によって光パターンＬ２の出射位置を変更することができる。したがって、乗員Ｈが光パターンを手動制御する場合におけるユーザビリティが向上した表示システム４を提供することができる。
　特に、本動作例では、第１指定位置ｅ３が光パターンＬ２の出射位置と重なる場合に、視点Ｅの位置とスワイプ操作の終了位置Ｃ４に基づいて第２指定位置ｅ４が特定された上で、第２指定位置ｅ４に基づいて光パターンＬ２の出射位置が変更される。このように、乗員Ｈによる直感的な入力操作によって光パターンＬ２の出射位置を変更することができる。
　尚、表示システム４の第１動作例及び第２動作例の説明では、表示制御部４３は、タッチパネルによって生成された操作信号に基づいて、乗員Ｈの入力操作の２つの入力位置（タッチ位置及びスワイプ操作の終了位置）を特定しているが、本実施形態はこれに限定されるものではない。例えば、透明スクリーン４２１はタッチパネルを有さなくてもよい。この場合、内部カメラ６Ｂによって乗員Ｈの入力操作の入力位置が特定されてもよい。具体的には、図１５に示すように、表示制御部４３は、内部カメラ６Ｂによって取得された画像データに基づいて乗員Ｈの手Ｔの位置を特定した上で、手Ｔの位置に基づいて入力操作の入力位置Ｃ０を特定してもよい。さらに、表示制御部４３は、当該画像データに基づいて、乗員Ｈの視点Ｅの位置を特定してもよい。このように、表示制御部４３は、視点Ｅの位置と入力位置Ｃ０とに基づいて光パターンの出射位置を制御することができる。ここで、視点Ｅと入力位置Ｃ０とを通る直線と路面との交点が光パターンの出射に関連する位置ｅ０として特定される。また、入力位置Ｃ０は、手Ｔの人差し指の先端の位置に対応してもよい。
　このように、タッチパネルに対する入力操作ではなく、空間中の手Ｔの動作によって光パターンの出射位置を制御することが可能となる。特に、ホログラム式のＨＵＤがＨＵＤ４２として採用される場合に、空間中の手Ｔの動作によって入力位置が決定されてもよい。したがって、乗員Ｈが光パターンを手動制御する場合におけるユーザビリティが向上した表示システム４を提供することができる。
（第２実施形態）
　以下、本発明の第２実施形態（以下、第２実施形態という。）について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。また、以降では、第１実施形態において既に説明された構成要素と同一の参照番号を有する構成要素については特に再度説明しない。
　最初に、図１６を参照して、本実施形態に係る車両システム２Ａについて以下に説明する。車両システム２Ａは、車両１Ａ（図１８Ａ参照）に搭載されている。図１６は、車両システム２Ａのブロック図である。車両１Ａは、自動運転モードで走行可能な車両（自動車）である。
　図１６に示すように、車両システム２Ａは、車両制御部３と、車両用表示システム４Ａ（以下、単に「表示システム４Ａ」という。）と、センサ５と、カメラ６と、レーダ７とを備える。さらに、車両システム２Ａは、ＨＭＩ８と、ＧＰＳ９と、無線通信部１０と、記憶装置１１とを備える。さらに、車両システム２Ａは、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備える。
　表示システム４Ａは、表示制御部４０Ａと、照明装置４１Ａと、路面描画装置４２Ａと、ヘッドアップディスプレイ（ＨＵＤ）４３Ａと、を備える。路面描画装置４２Ａは、第１表示装置の一例である。ＨＵＤ４３Ａは、第２表示装置の一例である。
　照明装置４１Ａは、車両の外部に向けて光を出射するように構成されている。照明装置４１Ａは、例えば、車両の前部に設けられるヘッドランプやポジションランプ、車両の後部に設けられるリアコンビネーションランプ、車両の前部または側部に設けられるターンシグナルランプ、歩行者や他車両のドライバーに自車両の状況を知らせる各種ランプなどを備える。
　路面描画装置４２Ａは、車両の外部の路面に向けて光パターンを出射するように構成されている。路面描画装置４２Ａは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。レーザ光源は、例えば、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光偏向装置は、例えば、ＭＥＭＳミラー、ガルバノミラー、ポリゴンミラー等である。路面描画装置４２Ａは、レーザ光を走査することで光パターンＭ０，Ｍ１（図１９Ａ参照）を路面上に描画するように構成されている。レーザ光源がＲＧＢレーザ光源である場合、路面描画装置４２Ａは、様々な色の光パターンを路面上に描画することが可能となる。
　路面描画装置４２Ａは、路面上に光パターンを描画することが可能である限りにおいて、路面描画装置４２Ａの数、配置場所及び形状は特に限定されるものではない。例えば、路面描画装置４２Ａの数が１つである場合、車体ルーフ上の前側または後側における左右方向の真ん中に配置されてもよい。また、路面描画装置４２Ａの数が２つである場合、左側ヘッドランプ（図示せず）および右側ヘッドランプ（図示せず）またはそれらの近傍、あるいは、左側リアコンビネーションランプ（図示せず）及び右側リアコンビネーションランプ（図示せず）内またはそれらの近傍にそれぞれ１つの路面描画装置４２Ａが搭載されてもよい。また、路面描画装置４２Ａの数が４つである場合、左側ヘッドランプ（図示せず）、右側ヘッドランプ（図示せず）、左側リアコンビネーションランプ（図示せず）及び右側リアコンビネーションランプ（図示せず）内またはそれらの近傍にそれぞれ１つの路面描画装置４２Ａが搭載されてもよい。
　また、路面描画装置４２Ａの描画方式は、ＤＬＰ方式又はＬＣＯＳ方式であってもよい。この場合、光源としてレーザの代わりにＬＥＤが使用される。
　ＨＵＤ４３Ａは、車両の車内の所定箇所に設置されている。例えば、図１８Ｂに示すように、ＨＵＤ４３Ａは、車両のダッシュボード上に設置されている。尚、ＨＵＤ４３Ａの設置個所については特に限定されない。ＨＵＤ４３Ａは、車両と乗員との間の視覚的インターフェースとして機能する。特に、ＨＵＤ４３Ａは、車両の走行に関連した車両走行情報を車両の乗員に向けて表示するように構成されている。車両走行情報は、車両１Ａの運転に係る情報（例えば、自動運転に関連する情報等）や歩行者情報等を含む。例えば、ＨＵＤ４３Ａは、車両と他車両との間の車車間通信及び／又は車両とインフラ設備（信号機等）との間の路車間通信によって得られた情報を表示するように構成されている。この点において、ＨＵＤ４３Ａは、他車両及び／又はインフラ設備から送信されたメッセージを表示するように構成されている。車両の乗員は、ＨＵＤ４３Ａによって表示されたメッセージを見ることで、他車両の意図等を把握することができる。また、例えば、ＨＵＤ４３Ａは、センサ５及び／又はカメラ６から得られた情報を表示するように構成されている。車両の乗員は、ＨＵＤ４３Ａによって表示されたメッセージを見ることで、車両の走行状態及び／又は歩行者情報等を把握することができる。
　ＨＵＤ４３Ａによって表示された情報は、車両の前方の現実空間に重畳されるように車両の乗員に視覚的に提示される。このように、ＨＵＤ４３Ａは、ＡＲディスプレイとして機能する。
　ＨＵＤ４３Ａは、画像生成ユニットと、画像生成ユニットにより生成された画像が表示される透明スクリーンとを備える。ＨＵＤ４３Ａの描画方式がレーザプロジェクタ方式である場合、画像生成ユニットは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。レーザ光源は、例えば、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光偏向装置は、例えば、ＭＥＭＳミラーである。尚、ＨＵＤ４３Ａの描画方式は、ＤＬＰ方式又はＬＣＯＳ方式であってもよい。この場合、光源としてレーザの代わりにＬＥＤが使用される。
　また、ＨＵＤ４３Ａは、透明スクリーンを備えなくてもよい。この場合、画像生成ユニットにより生成された画像は、車両のフロントガラス上に表示されてもよい。
　ＨＭＩ８は、路面描画装置４２Ａ及び／又はＨＵＤ４３Ａの異常を知らせる異常スイッチ等をさらに含む。
　表示制御部４０Ａは、照明装置４１Ａの駆動を制御するように構成されている。例えば、表示制御部４０Ａは、車両に関連する情報又は車両の周辺環境に関連する情報に基づいて、所定の光を出射するように照明装置４１Ａを制御する。また、表示制御部４０Ａは、路面描画装置４２Ａ及びＨＵＤ４３Ａの駆動を制御するように構成されている。例えば、表示制御部４０Ａは、車両に関連する情報又は車両の周辺環境に関連する情報に基づいて、対象物（歩行者、他車両、等）又は乗員に向けて所定の光パターンが提示されるように路面描画装置４２Ａを制御する。また、表示制御部４０Ａは、車両に関連する情報又は車両の周辺環境に関連する情報に基づいて、乗員に向けて所定のメッセージが提示されるようにＨＵＤ４３Ａを制御する。
　また、表示制御部４０Ａは、路面描画装置４２Ａに異常があると判断された場合、光パターンに対応する情報を表示するようにＨＵＤ４３Ａを制御する。例えば、光パターンを出射している路面描画装置４２Ａに異常があると判断された場合、表示制御部４０Ａは、路面描画装置４２Ａにより出射されている光パターンに対応する情報を表示するようにＨＵＤ４３Ａを制御する。また、光パターンを出射する前に路面描画装置４２Ａに異常があると判断された場合、表示制御部４０Ａは、路面描画装置４２Ａにより出射予定の光パターンに対応する情報を表示するようにＨＵＤ４３Ａを制御する。また、光パターンが複数ある場合、表示制御部４０Ａは、複数の光パターンにそれぞれ対応する情報を表示するようにＨＵＤ４３Ａを制御してもよい。また、表示制御部４０Ａは、複数の光パターンのうち一部の光パターンに対応する情報を表示するようＨＵＤ４３Ａを制御してもよい。一部の光パターンは、例えば、車両の乗員向け光パターン（例えば、ナビゲーション用光パターン）、路面描画装置４２ＡおよびＨＵＤ４３Ａの両方で表示されている共通の情報がある場合には共通の情報以外の情報、等である。また、表示制御部４０Ａは、路面描画装置４２Ａの異常情報を表示するようにＨＵＤ４３Ａを制御してもよい。
　また、表示制御部４０Ａは、ＨＵＤ４３Ａに異常があると判断された場合、車両走行情報に対応する光パターンを表示するように路面描画装置４２Ａを制御する。例えば、車両走行情報を表示しているＨＵＤ４３Ａに異常があると判断された場合、表示制御部４０Ａは、ＨＵＤ４３Ａに表示されている車両走行情報に対応する光パターンを出射するように路面描画装置４２Ａを制御する。また、車両走行情報を表示する前にＨＵＤ４３Ａに異常があると判断された場合、表示制御部４０Ａは、ＨＵＤ４３Ａに表示予定の車両走行情報に対応する光パターンを出射するように路面描画装置４２Ａを制御する。また、車両走行情報が複数ある場合、表示制御部４０Ａは、複数の車両走行情報の少なくとも１つの車両走行情報に対応する光パターンを出射するように路面描画装置４２Ａを制御してもよい。例えば、複数の車両走行情報のうち、光パターンから読み取ることが容易な図形の情報や簡単な文字の情報からなる車両走行情報に対応する光パターンを出射するように路面描画装置４２Ａを制御する。また、各車両走行情報は、図形の情報、文字の情報、または、それらを組み合わせた情報からなる。例えば、車両走行情報の中に光パターンから読み取ることが難しい情報（例えば、文字情報）が含まれる場合、表示制御部４０Ａは、車両走行情報を修正（削除、又は、光パターンから読み取ることが容易な情報（例えば、図形情報）に変換）し、修正した車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させてもよい。
　表示制御部４０Ａは、電子制御ユニット（ＥＣＵ）により構成されており、図示しない電源に電気的に接続されている。電子制御ユニットは、１以上のプロセッサ及び１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成されるアナログ処理回路とを含む。アナログ処理回路は、照明装置４１Ａのランプの駆動を制御するように構成されたランプ駆動回路（例えば、ＬＥＤドライバ等）を備える。また、アナログ処理回路は、路面描画装置４２Ａのレーザ光源の駆動を制御するように構成された第１レーザ光源制御回路と、路面描画装置４２Ａの光偏向装置の駆動を制御するように構成された第１光偏向装置制御回路とを含む。また、アナログ処理回路は、ＨＵＤ４３Ａのレーザ光源の駆動を制御するように構成された第２レーザ光源制御回路と、ＨＵＤ４３Ａの光偏向装置の駆動を制御するように構成された第２光偏向装置制御回路とを含む。プロセッサは、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ及び／又はＴＰＵである。メモリは、ＲＯＭと、ＲＡＭを含む。また、コンピュータシステムは、ＡＳＩＣやＦＰＧＡ等の非ノイマン型コンピュータによって構成されてもよい。
　例えば、表示制御部４０Ａのコンピュータシステムは、車両制御部３から送信された指示信号に基づいて、車両の外部に照射される光パターンを特定した上で、当該特定された光パターンを示す信号を第１レーザ光源制御回路及び第１光偏向装置制御回路に送信する。第１レーザ光源制御回路は、光パターンを示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号を路面描画装置４２Ａのレーザ光源に送信する。一方、第１光偏向装置制御回路は、光パターンを示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号を路面描画装置４２Ａの光偏向装置に送信する。このようにして、表示制御部４０Ａは、路面描画装置４２Ａの駆動を制御することができる。
　また、表示制御部４０Ａのコンピュータシステムは、車両制御部３から送信された指示信号に基づいて、ＨＵＤ４３Ａに表示される画像情報（例えば、文字や図形の情報）を特定した上で、当該特定された画像情報を示す信号を第２レーザ光源制御回路及び第２光偏向装置制御回路に送信する。第２レーザ光源制御回路は、画像情報を示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３Ａのレーザ光源に送信する。一方、第２光偏向装置制御回路は、画像情報を示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３Ａの光偏向装置に送信する。このようにして、表示制御部４０Ａは、ＨＵＤ４３Ａの駆動を制御することができる。
　また、表示制御部４０Ａのコンピュータシステムは、路面描画装置４２Ａが異常であると判断された場合、上記特定された光パターンに基づいて、ＨＵＤ４３Ａに表示される画像情報（例えば、文字や図形の情報）を特定する。そして、表示制御部４０Ａのコンピュータシステムは、特定された画像情報を示す信号を第２レーザ光源制御回路及び第２光偏向装置制御回路に送信する。
　また、表示制御部４０Ａのコンピュータシステムは、ＨＵＤ４３Ａが異常であると判断された場合、上記特定されたＨＵＤ４３Ａに表示される画像情報に基づいて、路面描画装置４２Ａにより車両の外部に照射される光パターンを特定する。そして、表示制御部４０Ａのコンピュータシステムは、特定された光パターンを示す信号を第１レーザ光源制御回路及び第１光偏向装置制御回路に送信する。
　尚、本実施形態では、照明装置４１Ａ、路面描画装置４２Ａ及びＨＵＤ４３Ａに対して共通の表示制御部４０Ａが設けられているが、それぞれに対して別個の表示制御部が設けられてもよい。また、本実施形態では、車両制御部３と表示制御部４０Ａは、別個の構成として設けられているが、車両制御部３と表示制御部４０Ａは一体的に構成されてもよい。この点において、表示制御部４０Ａと車両制御部３は、単一の電子制御ユニットにより構成されていてもよい。この場合、車両用表示システム４Ａは、車両制御部３も含んだ構成となる。
　路面描画装置４２ＡおよびＨＵＤ４３Ａの異常の判断は、例えば、表示制御部４０Ａにて行われる。表示制御部４０Ａは、例えば、路面上に描画されている光パターンの撮像画像に基づいて路面描画装置４２Ａの異常の判断を行う。表示制御部４０Ａは、カメラ６により撮像された光パターンの撮像画像を車両制御部３から取得し、当該撮像画像の光パターンが、路面描画装置４２Ａにより出射された光パターンと一致するか判断する。例えば、撮像画像に光パターンが含まれていない場合、表示制御部４０Ａは、路面描画装置４２Ａのレーザ光源又はレーザ光源への信号経路に異常が発生していると判断する。また、撮像画像に含まれる光パターンの形状が、参照用光パターンの形状と一致しない場合、表示制御部４０Ａは、路面描画装置４２Ａの光偏向装置に異常が発生していると判断する。参照用光パターンは、表示制御部４０Ａのメモリまたは記憶装置１１に予め記憶されており、例えば、各光パターンを路面上に描画して撮像し、該撮像画像から抽出した光パターンである。
　また、表示制御部４０Ａは、例えば、路面描画装置４２Ａからの信号に基づいて路面描画装置４２Ａの異常の判断を行う。路面描画装置４２Ａは、自己診断機能を有しており、異常が発生した場合、表示制御部４０Ａへ異常信号を送信してもよい。また、路面描画装置４２Ａは、表示制御部４０Ａから信号（例えば、光パターンを示す信号）を受信すると表示制御部４０Ａへ受信確認信号を送信する構成を有する場合、表示制御部４０Ａは、路面描画装置４２Ａから受信確認信号を受信しない場合、路面描画装置４２Ａに異常が発生していると判断してもよい。
　また、表示制御部４０Ａは、例えば、車両の乗員からの異常信号に基づいて路面描画装置４２Ａの異常の判断を行う。車両の乗員は、路面上に描画されている光パターンを確認し、光パターンが異常であると判断した場合、ＨＭＩ８の異常スイッチ等を操作する。表示制御部４０Ａは、車両制御部３から、異常スイッチの操作に基づく異常信号を受信した場合に、路面描画装置４２Ａに異常が発生していると判断してもよい。
　表示制御部４０Ａは、同様に、例えば、ＨＵＤ４３Ａからの信号（例えば、異常信号や受信確認信号）に基づいて、車両の乗員からの異常信号に基づいて、または、車両の車内に設置されたカメラ６により撮像されたＨＵＤ４３Ａの表示画面の撮像画像に基づいて、ＨＵＤ４３Ａの異常の判断を行う。
　尚、路面描画装置４２ＡおよびＨＵＤ４３Ａの異常の判断は、表示制御部４０Ａの代わりに車両制御部３が行ってもよい。車両制御部３は、路面描画装置４２Ａ又はＨＵＤ４３Ａに異常が発生したと判断した場合、異常信号を表示制御部４０Ａへ送信する。
　次に、第２実施形態に係る表示制御部４０Ａの表示制御の一例について図１７から図２１を主に参照して説明する。図１７は、第２実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。図１８Ａは、第２実施形態に係る路面描画表示の一例を説明するための図である。図１８Ｂは、第２実施形態に係るＨＵＤ表示の一例を説明するための図である。図１９は、第２実施形態に係る路面描画表示異常時のＨＵＤ表示の一例を説明するための図である。図２０Ａは、第２実施形態に係るＨＵＤ表示の一例を説明するための図である。図２０Ｂは、第２実施形態に係る路面描画表示の一例を説明するための図である。図２１は、第２実施形態に係るＨＵＤ表示異常時の路面描画表示の一例を説明するための図である。
　第２実施形態に係る表示制御部４０Ａは、所定の光パターンを出射している路面描画装置４２Ａまたは所定の車両走行情報を表示しているＨＵＤ４３Ａに異常があると判断した場合、異常と判断した装置により表示すべき情報を、正常である装置に表示させる。
　図１７に示すように、ステップＳ２１において、表示制御部４０Ａは、車両制御部３から取得した周辺環境情報等に基づいて、路面に向けて所定の光パターンを出射するよう路面描画装置４２Ａを制御する。ステップＳ２２において、表示制御部４０Ａは、車両制御部３から取得した走行状態情報等に基づいて、車両走行情報を表示するようＨＵＤ４３Ａを制御する。図１８Ａは、路面描画装置４２Ａにより路面上に描画された光パターンＭ０、図１８Ｂは、ＨＵＤ４３Ａに表示された車両走行情報Ｍ１を示す。光パターンＭ０は、２０ｍの文字情報および左折を示す矢印の図形情報からなり、車両１Ａの乗員に２０ｍ先を左折することを促すナビゲーション用光パターンである。車両走行情報Ｍ１は、現在時速５０キロで走行していることを示す車両の速度情報である。
　次に、ステップＳ２３において、表示制御部４０Ａは、路面描画装置４２Ａに異常が発生しているか否かを判断する。路面描画装置４２Ａが異常である場合には（ステップＳ２３のＹＥＳ）、表示制御部４０Ａは、ステップＳ２４において、ＨＵＤ４３Ａに異常が発生しているか否かを判断する。表示制御部４０Ａは、例えば、光パターンの撮像画像に基づいて、路面描画装置４２Ａからの信号（例えば、異常信号）に基づいて、または、車両の乗員からの異常信号に基づいて、路面描画装置４２Ａの異常の判断を行う。また、表示制御部４０Ａは、例えば、ＨＵＤ４３Ａの表示画面の撮像画像に基づいて、ＨＵＤ４３Ａからの信号（例えば、異常信号）に基づいて、または、車両の乗員からの異常信号に基づいて、ＨＵＤ４３Ａの異常の判断を行う。
　ＨＵＤ４３Ａが正常である場合には（ステップＳ２４のＮＯ）、表示制御部４０Ａは、ステップＳ２５において、路面描画装置４２Ａにより出射している光パターンに対応する情報をＨＵＤ４３Ａに表示させる。また、表示制御部４０Ａは、路面描画装置４２Ａによる光パターンの表示を中止してもよい。例えば、路面描画装置４２ＡおよびＨＵＤ４３Ａが図１８Ａ及び図１８Ｂの表示を行っている場合、表示制御部４０Ａは、図１９に示すように、路面上に描画された光パターンＭ０に対応する情報Ｍ２をＨＵＤ４３Ａに表示させる。また、表示制御部４０Ａは、路面描画装置４２Ａによる光パターンＭ０の表示を中止する。また、表示制御部４０Ａは、光パターンＭ０に対応する情報Ｍ２の他に、路面描画装置４２Ａに異常が発生している旨のメッセージＭ３をＨＵＤ４３Ａに表示してもよい。一方、ステップＳ２４において、ＨＵＤ４３Ａが異常である場合には、表示制御部４０Ａは、ステップＳ２６において、路面描画装置４２ＡおよびＨＵＤ４３Ａによる表示を中止する。尚、図１９において、情報Ｍ２は、光パターンＭ０と同じ文字情報および図形情報を使用しているが、これに限定されない。
　ステップＳ２３において、路面描画装置４２Ａが正常である場合には（ステップＳ２３のＮＯ）、表示制御部４０Ａは、ステップＳ２７において、路面描画装置４２Ａの表示を継続する。次に、ステップＳ２８において、表示制御部４０Ａは、ＨＵＤ４３Ａに異常が発生しているか否かを判断する。ＨＵＤ４３Ａが異常である場合には（ステップＳ２８のＹＥＳ）、表示制御部４０Ａは、ステップＳ２９において、ＨＵＤ４３Ａに表示している車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させる。
　例えば、図２０Ａは、ＨＵＤ４３Ａに表示された車両走行情報Ｍ１および車両走行情報（歩行者情報）Ｍ４、図２０Ｂは、路面描画装置４２Ａにより路面上に描画された光パターンＭ５を示す。車両走行情報Ｍ４は、２０ｍ先の左側から歩行者１０１が進入することを示す歩行者情報である。光パターンＭ５は、矢印の図形により車両１Ａの乗員に直進を促すナビゲーション用光パターンである。ステップＳ２１およびステップＳ２２において、ＨＵＤ４３Ａおよび路面描画装置４２Ａが図２０Ａ及び図２０Ｂの表示を行っている場合、表示制御部４０Ａは、ＨＵＤ４３Ａに異常が発生していると判断すると、図２１に示すように、ＨＵＤ４３Ａに表示されている車両走行情報Ｍ４に対応する光パターンＭ６を出射するよう路面描画装置４２Ａを制御する。光パターンＭ６は、車両走行情報Ｍ４の文字情報（「左側から進入」）を一部含まず、また、車両走行情報Ｍ４とは異なる図形情報を用いている。一方、ステップＳ２８において、ＨＵＤ４３Ａが正常である場合には（ステップＳ２８のＮＯ）、表示制御部４０Ａは、ステップＳ３０において、ＨＵＤ４３Ａの表示を継続する。尚、図２１において、光パターンＭ６は、車両走行情報Ｍ４とは異なる文字情報および図形情報を使用しているが、これに限定されない。
　このように、本実施形態では、表示制御部４０Ａは、路面描画装置４２Ａに異常があると判断された場合、路面描画装置４２Ａにより出射されている光パターンに対応する情報をＨＵＤ４３Ａに表示させる。また、表示制御部４０Ａは、ＨＵＤ４３Ａに異常があると判断された場合、ＨＵＤ４３Ａに表示している車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させる。このように、路面描画装置４２Ａおよび/またはＨＵＤ４３Ａに異常があると判断された場合でも、車両と乗員との間の視覚的コミュニケーションを継続することができる。
　また、ＨＵＤ４３Ａに異常があると判断された場合、表示制御部４０Ａは、ＨＵＤ４３Ａに表示されている複数の車両走行情報Ｍ１，Ｍ４のうち、光パターンから読み取ることが容易な車両走行情報Ｍ４に対応する光パターンＭ６を路面描画装置４２Ａに出射させる。また、表示制御部４０Ａは、車両走行情報Ｍ４の中で、光パターンから読み取ることが容易な情報（例えば、図形情報や簡単な文字情報）のみを含む光パターンＭ６を路面描画装置４２Ａに出射させる。これにより、車両の乗員は、異常前とほぼ同じ情報を正確に把握することができる。また、表示制御部４０Ａは、車両走行情報Ｍ４の中の一部の情報（例えば、図形情報）を光パターンから読み取ることが容易な情報に変換（例えば、異なる図形情報に変換）し、変換した情報を含む光パターンＭ６を路面描画装置４２Ａに出射させる。これにより、車両の乗員は、車両走行情報とほぼ同じ情報をより正確に把握することができる。
　尚、本実施形態では、図１８Ａ及び図１９において、路面描画装置４２Ａが一つの光パターンＭ０を出射し、ＨＵＤ４３Ａがこの光パターンＭ０に対応する情報Ｍ２を表示しているが、これに限定されない。路面描画装置４２Ａが複数の光パターンを出射している場合、表示制御部４０Ａは、すべて又は一部の光パターンに対応する情報をＨＵＤ４３Ａに表示させてもよい。
　また、図２０Ａ及び図２１では、ＨＵＤ４３Ａが表示している車両走行情報Ｍ１および車両走行情報Ｍ４のうち、車両走行情報Ｍ４に対応する光パターンＭ６を路面描画装置４２Ａにより出射しているが、これに限定されない。表示制御部４０Ａは、すべての車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させてもよい。
（第３実施形態）
　次に、本発明の第３実施形態（以下、第３実施形態という。）に係る表示制御部４０Ａの表示制御の一例について図２２を主に参照して説明する。図２２は、第３実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。尚、第３実施形態の説明では、第２実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。
　第３実施形態に係る表示制御部４０Ａは、車両制御部３から送信された指示信号に基づいて路面描画装置４２ＡおよびＨＵＤ４３Ａに所定の光パターンおよび所定の車両走行情報を表示させる前に路面描画装置４２ＡまたはＨＵＤ４３Ａに異常があると判断した場合、異常と判断された装置により表示すべき情報を、正常な装置に表示させる。
　図２２に示すように、表示制御部４０Ａは、車両制御部３から路面描画表示及びＨＵＤ表示の指示信号を受信すると、ステップＳ３１において、路面描画装置に異常が発生しているか否かを判断する。路面描画装置４２Ａが異常である場合には（ステップＳ３１のＹＥＳ）、表示制御部４０Ａは、ステップＳ３２において、ＨＵＤ４３Ａに異常が発生しているか否かを判断する。表示制御部４０Ａは、例えば、路面描画装置４２ＡおよびＨＵＤ４３Ａへ光パターンまたは画像情報を示す信号を送信し、路面描画装置４２ＡまたはＨＵＤ４３Ａから受信確認信号を所定期間内に受信しない場合には、路面描画装置４２ＡまたはＨＵＤ４３Ａに異常が発生していると判断する。また、表示制御部４０Ａは、メモリまたは記憶装置１１に路面描画装置４２ＡおよびＨＵＤ４３Ａの異常情報を記憶しておき、この異常情報に基づき、路面描画装置４２ＡまたはＨＵＤ４３Ａの異常判断を行ってもよい。異常情報は、例えば、路面描画装置４２Ａ、ＨＵＤ４３Ａ又は車両の乗員から異常信号を受信したタイミングや、過去の路面描画表示又はＨＵＤ表示において異常を判断したタイミングで、表示制御部４０Ａによりメモリまたは記憶装置１１に記憶される。
　ＨＵＤ４３Ａが正常である場合には（ステップＳ３２のＮＯ）、表示制御部４０Ａは、ステップＳ３３において、車両制御部３から取得した周辺環境情報等に基づいて特定した光パターンを路面描画装置４２Ａから出射させずに、該光パターンに対応する情報をＨＵＤ４３Ａに表示させる。例えば、表示制御部４０Ａは、路面描画装置４２Ａが異常であると判断した場合には、路面描画装置４２Ａによる図１８Ａの光パターンＭ０の路面描画は行わず、図１９に示すように光パターンＭ０に対応する情報Ｍ２をＨＵＤ４３Ａに表示させる。また、表示制御部４０Ａは、光パターンＭ０に対応する情報Ｍ２の他に、路面描画装置４２Ａに異常が発生している旨のメッセージＭ３をＨＵＤ４３Ａに表示してもよい。一方、ステップＳ３２において、ＨＵＤ４３Ａが異常である場合には（ステップＳ３２のＹＥＳ）、表示制御部４０Ａは、ステップＳ３４において、路面描画装置４２ＡおよびＨＵＤ４３Ａによる表示を行わない。
　ステップＳ３１において、路面描画装置４２Ａが正常である場合には（ステップＳ３１のＮＯ）、表示制御部４０Ａは、ステップＳ３５において、車両制御部３から取得した周辺環境情報等に基づいて、路面に向けて所定の光パターンを出射するよう路面描画装置４２Ａを制御する。例えば、表示制御部４０Ａは、図１８Ａに示すように、路面描画装置４２Ａから光パターンＭ０を出射させる。次に、ステップＳ３６において、表示制御部４０Ａは、ＨＵＤ４３Ａに異常が発生しているか否かを判断する。ＨＵＤ４３Ａが異常である場合には（ステップＳ３６のＹＥＳ）、表示制御部４０Ａは、ステップＳ３７において、車両制御部３から取得した走行状態情報等に基づいて特定した車両走行情報をＨＵＤ４３Ａには表示させずに、該車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させる。例えば、表示制御部４０Ａは、ＨＵＤ４３Ａが異常であると判断した場合には、ＨＵＤ４３Ａによる図２０Ａの車両走行情報Ｍ１および車両走行情報Ｍ４の表示は行わず、車両走行情報Ｍ４に対応する光パターンＭ６を路面描画装置４２Ａにより出射させる。一方、ステップＳ３６において、ＨＵＤ４３Ａが正常である場合には（ステップＳ３６のＮＯ）、表示制御部４０Ａは、ステップＳ３８において、所定の車両走行情報を表示するようにＨＵＤ４３Ａを制御する。例えば、表示制御部４０Ａは、図２０Ａに示すように、ＨＵＤ４３Ａに車両走行情報Ｍ１および車両走行情報Ｍ４を表示させる。
　このように、本実施形態では、表示制御部４０Ａは、路面描画装置４２Ａに異常があると判断された場合、路面描画装置４２Ａにより出射予定の光パターンに対応する情報をＨＵＤ４３Ａに表示させる。また、表示制御部４０Ａは、ＨＵＤ４３Ａに異常があると判断された場合、ＨＵＤ４３Ａに表示予定の車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させる。このように、路面描画装置４２Ａおよび/またはＨＵＤ４３Ａに異常があると判断された場合でも、車両と乗員との間の視覚的コミュニケーションを行うことができる。
　また、ＨＵＤ４３Ａに異常があると判断された場合、表示制御部４０Ａは、ＨＵＤ４３Ａに表示予定の複数の車両走行情報Ｍ１，Ｍ４のうち、光パターンから読み取ることが容易な車両走行情報Ｍ４に対応する光パターンＭ６を路面描画装置４２Ａに出射させる。また、表示制御部４０Ａは、車両走行情報Ｍ４の中で、光パターンから読み取ることが容易な情報（例えば、図形情報や簡単な文字情報）のみを含む光パターンＭ６を路面描画装置４２Ａに出射させる。また、表示制御部４０Ａは、車両走行情報Ｍ４の中の一部の情報（例えば、図形情報）を光パターンから読み取ることが容易な情報に変換（例えば、異なる図形情報に変換）し、変換した情報を含む光パターンＭ６を路面描画装置４２Ａに出射させる。これにより、車両の乗員へ所定の情報を正確に伝えることができる。
　尚、本実施形態では、ステップ３３において、表示制御部４０Ａは複数の光パターンを特定した場合、すべて又は一部の光パターンに対応する情報をＨＵＤ４３Ａに表示させてもよい。
　また、ステップＳ３７において、表示制御部４０Ａは複数の車両走行情報を特定した場合、すべての車両走行情報に対応する光パターンを路面描画装置４２Ａに出射させてもよい。
　上記実施形態では、表示制御部４０Ａは、路面描画装置４２Ａの異常を判断した後に、ＨＵＤ４３Ａの異常を判断しているが、これに限定されない。表示制御部４０Ａは、ＨＵＤ４３Ａの異常を判断した後に、路面描画装置４２Ａの異常を判断してもよい。
　また、上記実施形態では、表示制御部４０Ａは、路面描画装置４２Ａ及びＨＵＤ４３Ａの両方の異常を判断しているが、これに限定されない。表示制御部４０Ａは、路面描画装置４２Ａ及びＨＵＤ４３Ａの何れか一方の異常を判断し、路面描画装置４２Ａ及びＨＵＤ４３Ａの一方が異常と判断した場合には、異常と判断された路面描画装置４２Ａ及びＨＵＤ４３Ａの一方に表示すべき情報を、路面描画装置４２Ａ及びＨＵＤ４３Ａの他方に、表示させてもよい。例えば、図２３または図２４に示すように、表示制御部４０Ａは、路面描画装置４２Ａの異常を判断し、路面描画装置４２Ａを異常と判断した場合、光パターンに対応する情報をＨＵＤ４３Ａに表示させてもよい。図２３のステップＳ４１～４４は、図１７のステップＳ２１、Ｓ２３、Ｓ２５、Ｓ２７に対応し、図２４のステップＳ５１～Ｓ５３は、図２２のステップＳ３１、Ｓ３３、Ｓ３５に対応するため、その詳細な説明は省略する。尚、図２３および図２４は路面描画装置の異常を判断する例を示しているが、同様にＨＵＤ４３Ａのみの異常を判断してもよい。
（第４実施形態）
　以下、本発明の第４実施形態（以下、本実施形態という。）について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
　最初に、図２５及び図２６を参照して、本実施形態に係る車両システム２Ｂについて以下に説明する。図２５は、車両システム２Ｂが搭載された車両１Ｂの正面図である。図２６は、車両システム２Ｂのブロック図である。車両１Ｂは、自動運転モードで走行可能な車両（自動車）である。
　図２６に示すように、車両システム２Ｂは、車両制御部３と、車両用表示システム４Ｂ（以下、単に「表示システム４Ｂ」という。）と、センサ５と、カメラ６と、レーダ７とを備える。さらに、車両システム２Ｂは、ＨＭＩ８と、ＧＰＳ９と、無線通信部１０と、記憶装置１１と、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備える。
　表示システム４Ｂは、左側ヘッドランプ２０Ｌと、右側ヘッドランプ２０Ｒと、左側路面描画装置４５Ｌと、右側路面描画装置４５Ｒとを備える。さらに、表示システム４Ｂは、ＨＵＤ４２Ｂと、表示制御部４３ＢＢとを備える。
　ＨＵＤ４２Ｂは、車両１Ｂの内部に位置する。具体的には、ＨＵＤ４２Ｂは、車両１Ｂの室内の所定箇所に設置されている。例えば、図２７に示すように、ＨＵＤ４２Ｂは、車両１Ｂのダッシュボード内に配置されてもよい。ＨＵＤ４２Ｂは、車両１Ｂと乗員Ｈとの間の視覚的インターフェースとして機能する。ＨＵＤ４２Ｂは、所定の情報（以下、ＨＵＤ情報という。）が車両１Ｂの外部の現実空間（特に、車両１Ｂの前方の周辺環境）と重畳されるように当該ＨＵＤ情報を乗員Ｈに向けて表示するように構成されている。このように、ＨＵＤ４２Ｂは、ＡＲディスプレイとして機能する。ＨＵＤ４２Ｂによって表示されるＨＵＤ情報は、例えば、車両１Ｂの走行に関連した車両走行情報及び／又は車両１Ｂの周辺環境に関連した周辺環境情報（特に、車両１Ｂの外部に存在する対象物に関連した情報）である。
　図２７に示すように、ＨＵＤ４２Ｂは、ＨＵＤ本体部４２０Ｂと、透明スクリーン４２１Ｂとを有する。ＨＵＤ本体部４２０Ｂは、光源部と、駆動ミラーと、光学系と、光源駆動回路と、ミラー駆動回路とを有する。光源部は、例えば、レーザ光源又はＬＥＤ光源である。レーザ光源は、例えば、赤色レーザ光と、緑光レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。駆動ミラーは、例えば、ＭＥＭＳミラー、ＤＭＤ、ガルバノミラー、ポリゴンミラー等である。光学系は、プリズム、レンズ、拡散板、拡大鏡のうち少なくとも一つを含む。光源駆動回路は、光源部を駆動制御するように構成されている。光源駆動回路は、表示制御部４３Ｂから送信された画像データに基づいて、光源部の動作を制御するための制御信号を生成した上で、当該生成された制御信号を光源部に送信するように構成されている。ミラー駆動回路は、駆動ミラーを駆動制御するように構成されている。ミラー駆動回路は、表示制御部４３Ｂから送信された画像データに基づいて、駆動ミラーの動作を制御するための制御信号を生成した上で、当該生成された制御信号を駆動ミラーに送信するように構成されている。
　透明スクリーン４２１Ｂは、フロントウィンドウ６０の一部によって構成されている。透明スクリーン４２１Ｂは、ＨＵＤ情報が表示可能なＨＵＤ表示領域Ｄ１０を有する（図３０参照）。ＨＵＤ本体部４２０Ｂから出射された光（画像）は、透明スクリーン４２１ＢのＨＵＤ表示領域Ｄ１０に照射される。次に、ＨＵＤ表示領域Ｄ１０は、ＨＵＤ本体部４２０Ｂから出射された光を乗員Ｈの視点Ｅに向けて反射する。この結果、乗員Ｈは、ＨＵＤ本体部４２０Ｂから出射された光（画像）を透明スクリーン４２１Ｂの前方の所定の位置において形成された虚像として認識する。このように、ＨＵＤ４２Ｂによって表示されるＨＵＤ情報（画像）が車両１Ｂの前方の現実空間に重畳される結果、乗員Ｈは、当該ＨＵＤ情報が道路上に浮いているように感じることができる。
　尚、透明スクリーン４２１Ｂは、フロントウィンドウ６０から分離した透明なコンバイナーとして構成されてもよい。この場合でも、コンバイナーはＨＵＤ表示領域を有する。さらに、乗員Ｈは、ＨＵＤ本体部４２０Ｂから出射された光（画像）をコンバイナーの前方の所定の位置において形成された虚像として認識する。また、虚像が形成される位置（虚像形成位置）は、ＨＵＤ４２Ｂの光学系の位置（特に、投影光学系の焦点距離）を調整することで可変されてもよい。この点において、表示制御部４３Ｂ（特に、第１電子制御ユニット４７Ｂ）は、車両１Ｂの前方に存在する対象物の位置情報に基づいて、対象物の位置と虚像形成位置が略一致するように、ＨＵＤ４２Ｂを制御することができる。また、ＨＵＤ４２Ｂの描画方式は、ラスタースキャン方向、ＤＬＰ方式又はＬＣＯＳ方式であってもよい。ＤＬＰ方式又はＬＣＯＳ方式が採用される場合、ＨＵＤ４２Ｂの光源部はＬＥＤ光源であってもよい。
　表示制御部４３Ｂは、路面描画装置４５（具体的には、左側路面描画装置４５Ｌと右側路面描画装置４５Ｒ）、ヘッドランプ２０（具体的には、左側ヘッドランプ２０Ｌと右側ヘッドランプ２０Ｒ）及びＨＵＤ４２Ｂの動作を制御するように構成されている。この点において、表示制御部４３Ｂは、路面上の所定の位置に光パターンが照射されるように路面描画装置４５（具体的には、左側路面描画装置４５Ｌと右側路面描画装置４５Ｒ）の動作を制御するように構成されている。さらに、表示制御部４３Ｂは、ＨＵＤ情報がＨＵＤ表示領域Ｄ１０に表示されるようにＨＵＤ４２Ｂの動作を制御するように構成されている。また、表示制御部４３Ｂは、路面描画装置４５及びＨＵＤ４２Ｂを動作させるべきかどうかを決定するように構成されている。つまり、本実施形態では、表示制御部４３Ｂは、車両制御部３からの指示信号に応じて路面描画装置４５及びＨＵＤ４２Ｂの駆動を制御するようには構成されていない。寧ろ、表示制御部４３Ｂは、車両制御部３から送信された車載センサの検出データ（例えば、画像データ等）に基づいて、車両１Ｂの周辺の対象物を特定した上で、路面描画装置４５及びＨＵＤ４２Ｂを動作させるべきかどうかを決定するように構成されている。
　表示制御部４３Ｂは、第１電子制御ユニット４７Ｂと、第２電子制御ユニット４８Ｂとを備える。第１電子制御ユニット４７Ｂは、ＨＵＤ４２Ｂの動作を制御するように構成されている。さらに、ＨＵＤ４２Ｂ及び路面描画装置４５の両方が動作する場合では、第１電子制御ユニット４７Ｂは、ＨＵＤ４２Ｂ及び路面描画装置４５の両方の動作を制御する。第１電子制御ユニット４７Ｂは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ及びＴＰＵのうちの少なくとも一つを含む。メモリは、ＲＯＭと、ＲＡＭを含む。また、コンピュータシステムは、ＡＳＩＣやＦＰＧＡ等の非ノイマン型コンピュータによって構成されてもよい。
　第２電子制御ユニット４８Ｂは、ヘッドランプ２０と路面描画装置４５の動作を制御するように構成されている。特に、ＨＵＤ４２Ｂが動作しない一方で、ヘッドランプ２０と路面描画装置４５が動作する場合では、第２電子制御ユニット４８Ｂは、ヘッドランプ２０と路面描画装置４５の動作を制御するように構成されている。一方、ＨＵＤ４２Ｂと、ヘッドランプ２０と、路面描画装置４５が動作する場合では、第１電子制御ユニット４７ＢがＨＵＤ４２Ｂ及び路面描画装置４５の両方の動作を制御する一方で、第２電子制御ユニット４８Ｂがヘッドランプ２０の動作を制御する。第２電子制御ユニット４８Ｂは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ及びＴＰＵのうちの少なくとも一つを含む。メモリは、ＲＯＭと、ＲＡＭを含む。また、コンピュータシステムは、ＡＳＩＣやＦＰＧＡ等の非ノイマン型コンピュータによって構成されてもよい。
　本実施形態では、表示制御部４３Ｂを構成する第１電子制御ユニット４７Ｂ及び第２電子制御ユニット４８Ｂの一方または両方が、ＨＵＤ４２Ｂ、路面描画装置４５及びヘッドランプ２０のうちの少なくとも一つを動作させるべきかどうかを決定してもよい。例えば、第１電子制御ユニット４７ＢがＨＵＤ４２Ｂを動作させるべきかどうかを決定する一方で、第２電子制御ユニット４８Ｂが路面描画装置４５及びヘッドランプ２０のそれぞれを動作させるべきかどうかを決定してもよい。また、第１電子制御ユニット４７Ｂ（又は第２電子制御ユニット４８Ｂ）がＨＵＤ４２Ｂ、路面描画装置４５及びヘッドランプ２０のそれぞれを動作させるべきかどうかを決定してもよい。
　本実施形態では、第１電子制御ユニット４７Ｂと第２電子制御ユニット４８Ｂは、別個の構成として設けられているが、第１電子制御ユニット４７Ｂと第２電子制御ユニット４８Ｂは一体的に構成されてもよい。この点において、第１電子制御ユニット４７Ｂと第２電子制御ユニット４８Ｂは、単一の電子制御ユニットにより構成されていてもよい。一方、本実施形態では、車両制御部３と表示制御部４３Ｂは、別個の構成として設けられている。
　次に、図２８から図３０を主に参照することで本実施形態の表示システム４Ｂの動作例について以下に説明する。図２８は、表示システム４Ｂの動作例を説明するためのフローチャートである。図２９は、車両１Ｂが車両１Ｂの周辺に存在する歩行者Ｐ１（対象物の一例）に向けて光パターンＬ１０を出射する様子を示す図である。図３０は、ＨＵＤ表示領域Ｄ１０に表示されるＨＵＤ情報の一例を示す図である。特に、図３０では、乗員Ｈの視界におけるＨＵＤ情報Ｍ１１～Ｍ１４と路面上に出射された光パターンＬ１０が示される。
　尚、以降の説明では、第１電子制御ユニット４７ＢがＨＵＤ４２Ｂ、路面描画装置４５及びヘッドランプ２０のそれぞれを動作させるべきかどうかを決定するものとする。
　図２８に示すように、ステップＳ６１において、第１電子制御ユニット４７Ｂは、車両制御部３から外部カメラ６Ａ及び／又はレーダ７によって取得された検出データ（例えば、画像データや３Ｄマッピングデータ等）を受信する。その後、第１電子制御ユニット４７Ｂは、検出データに基づいて、歩行者Ｐ１の存在を特定した場合に（ステップＳ６１でＹＥＳ）、歩行者Ｐ１は車両１Ｂから所定の距離以内に存在するかどうかを判定する（ステップＳ６２）。一方、ステップＳ６１の判定結果がＮＯの場合、本処理が終了する。
　次に、第１電子制御ユニット４７Ｂは、歩行者Ｐ１が車両１Ｂから所定の距離以内に存在すると判定した場合に（ステップＳ６２でＹＥＳ）、ＨＵＤ情報をＨＵＤ４２Ｂに表示することを決定すると共に、歩行者Ｐ１に向けて光パターンＬ１０を出射することを決定する（ステップＳ６３）。さらに、ステップＳ６３において、第１電子制御ユニット４７Ｂは、画像データや３Ｄマッピングデータ等の検出データに基づいて、対象物（本例では、歩行者Ｐ１）に関連した情報（例えば、対象物の属性情報、車両１Ｂに対する対象物の位置情報、及び対象物の将来行動に関連する情報）を生成する。
　次に、第１電子制御ユニット４７Ｂは、対象物に関連した情報に基づいて、ＨＵＤ情報Ｍ１１～Ｍ１４がＨＵＤ４２Ｂ（特に、ＨＵＤ表示領域Ｄ１０）に表示されるようにＨＵＤ４２Ｂの動作を制御する。特に、第１電子制御ユニット４７Ｂは、ＨＵＤ４２Ｂの動作を制御するための制御信号をＨＵＤ４２Ｂに送信する。当該制御信号に基づいて、ＨＵＤ表示領域Ｄ１０上にＨＵＤ情報Ｍ１１～Ｍ１４が表示される。ここで、ＨＵＤ情報Ｍ１１は、対象物の属性情報と車両１Ｂに対する対象物の位置情報を含む。図３０に示すように、ＨＵＤ情報Ｍ１１は、対象物の属性情報として歩行者を示すと共に、対象物の位置情報として２６ｍを示す。また、ＨＵＤ情報Ｍ１２は、対象物の行動予測に関連する情報を含む。図３０に示すように、ＨＵＤ情報Ｍ１２は、歩行者Ｐ１の行動予測情報として歩行者Ｐ１が横断歩道Ｃを渡る予定であることを示す。
　また、ＨＵＤ情報Ｍ１３は、対象物の存在を示す情報を含む。図３０に示すように、ＨＵＤ情報Ｍ１３は、歩行者Ｐ１の存在を示す情報として歩行者マークを示す。尚、ＨＵＤ情報Ｍ１３は、対象物の存在を示す情報として、「歩行者がいます」等のテキスト情報やエクスクラメーションマーク等の図形情報を含んでもよい。ＨＵＤ情報Ｍ１４は、歩行者Ｐ１を囲む枠パターンである。
　一方、ステップＳ６３において、第１電子制御ユニット４７Ｂは、対象物に関連した情報に基づいて、路面描画装置４５が歩行者Ｐ１に向けて路面上に光パターンＬ１０を出射するように路面描画装置４５の動作を制御する。特に、第１電子制御ユニット４７Ｂは、第２電子制御ユニット４８Ｂを介して路面描画装置４５の動作を制御するための制御信号を路面描画装置４５に送信する。当該制御信号に基づいて、路面描画装置４５は、路面上に光パターンＬ１０を出射する。図２９に示すように、光パターンＬ１０は、車両１Ｂから歩行者Ｐ１に向かって延びる直線状の光パターンである。このように、光パターンＬ１０は、車両１Ｂと歩行者Ｐ１を視覚的に関連付けることができる。さらに、車両１Ｂの乗員Ｈは、光パターンＬ１０を視認することで歩行者Ｐ１の存在を明確に把握することができる。光パターンＬ１０の形状は、直線状に限定されるものではなく、三角形状や矢印形状等の任意の形状であってもよい。
　尚、本実施形態では、乗員Ｈが車両１Ｂに存在することを前提としている。このため、車両１Ｂと乗員Ｈとの間の視覚コミュニケーションを実現するためにＨＵＤ４２Ｂが動作しているが、乗員Ｈが車両１Ｂに存在しない場合にはＨＵＤ４２Ｂは動作しなくてもよい。換言すれば、車両１Ｂが乗員Ｈなしに完全自動運転モードで走行中の場合には、歩行者Ｐ１に向けて光パターンＬ１０が出射される一方で、ＨＵＤ４２Ｂには歩行者Ｐ１に関連するＨＵＤ情報は表示されない。かかる場合では、第２電子制御ユニット４８ＢがステップＳ６１～Ｓ６３の処理を実行してもよい。特に、ステップＳ６３において、第２電子制御ユニット４８Ｂが歩行者Ｐ１に向けて光パターンＬ１０を出射することを決定した上で、歩行者Ｐ１に向けて路面上に光パターンＬ１０が出射されるように路面描画装置４５の動作を制御する。このように、ＨＵＤ４２Ｂが動作する場合には、第１電子制御ユニット４７ＢがＨＵＤ４２Ｂと路面描画装置４５の動作を制御する。一方で、ＨＵＤ４２Ｂが動作しない場合には、第２電子制御ユニット４８Ｂが路面描画装置４５の動作を制御する。
　また、ヘッドランプ２０の動作制御について言及すると、ヘッドランプ２０の動作は第２電子制御ユニット４８Ｂによって常に制御されてもよい。つまり、ＨＵＤ４２Ｂが動作しない場合では、第２電子制御ユニット４８Ｂが路面描画装置４５及びヘッドランプ２０の動作を制御してもよい。一方、ＨＵＤ４２Ｂが動作する場合では、第１電子制御ユニット４７ＢがＨＵＤ４２Ｂ及び路面描画装置４５の動作を制御する一方で、第２電子制御ユニット４８Ｂがヘッドランプ２０の動作を制御してもよい。
　本実施形態によれば、車両１Ｂの走行を制御する車両制御部３に代わって、表示制御部４３Ｂ（特に、第１電子制御ユニット４７Ｂ）が路面描画装置４５及びＨＵＤ４２Ｂを動作させるべきかどうかを決定すると共に、路面描画装置４５及びＨＵＤ４２Ｂの動作を制御する。このように、車両制御部３による演算負荷を低減することができると共に、路面描画装置４５及びＨＵＤ４２Ｂの動作を高速化させることが可能となる。
　また、ＨＵＤ４２Ｂが動作していない場合には、第２電子制御ユニット４８Ｂが路面描画装置４５の動作を制御する。一方で、ＨＵＤ４２Ｂが動作している場合には、第１電子制御ユニット４７ＢがＨＵＤ４２Ｂ及び路面描画装置４５の動作を制御する。このように、ＨＵＤ４２Ｂと路面描画装置４５の両方が動作している場合に、ＨＵＤ４２Ｂと路面描画装置４５のうちの少なくとも一方を効率的且つ高速に動作させることが可能となる。特に、ＨＵＤ４２Ｂと路面描画装置４５が互いに協調して動作している場合に（例えば、ＨＵＤ情報の表示位置に応じて光パターンＬ１０の出射位置が決定される場合若しくは光パターンＬ１０の出射位置に応じてＨＵＤ情報の表示位置が決定される場合等）、第１電子制御ユニット４７Ｂは、ＨＵＤ４２Ｂの動作を制御するための制御信号と路面描画装置４５の動作を制御するための制御信号を生成する。このため、ＨＵＤ４２Ｂの動作内容を考慮した上で路面描画装置４５を効率的且つ高速に動作させることが可能となる。または、路面描画装置４５の動作内容を考慮した上でＨＵＤ４２Ｂを効率的且つ高速に動作させることが可能となる。
　尚、本実施形態では、ヘッドランプ２０の動作は第２電子制御ユニット４８Ｂによって常に制御されているが、本実施形態はこれに限定されるものではない。例えば、ＨＵＤ４２Ｂが動作する場合では、第１電子制御ユニット４７Ｂは、ＨＵＤ４２Ｂ、路面描画装置４５及びヘッドランプ２０の全ての動作を制御してもよい。ＨＵＤ４２Ｂ、路面描画装置４５及びヘッドランプ２０の全てが動作している場合に、これらのうちの少なくとも一つを効率的且つ高速に動作させることが可能となる。特に、ＨＵＤ４２Ｂの動作内容を考慮した上で路面描画装置４５及び／又はヘッドランプ２０を効率且つ高速に動作させることが可能となる。または、路面描画装置４５及び／又はヘッドランプ２０の動作内容を考慮した上でＨＵＤ４２Ｂを効率的且つ高速に動作させることが可能となる。
　以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
　本実施形態では、車両の運転モードは、完全自動運転モードと、高度運転支援モードと、運転支援モードと、手動運転モードとを含むものとして説明したが、車両の運転モードは、これら４つのモードに限定されるべきではない。車両の運転モードの区分は、各国における自動運転に係る法令又は規則に沿って適宜変更されてもよい。同様に、本実施形態の説明で記載された「完全自動運転モード」、「高度運転支援モード」、「運転支援モード」のそれぞれの定義はあくまでも一例であって、各国における自動運転に係る法令又は規則に沿って、これらの定義は適宜変更されてもよい。
　本出願は、２０１８年９月５日に出願された日本国特許出願（特願２０１８－１６６０４３号）に開示された内容と、２０１８年９月５日に出願された日本国特許出願（特願２０１８－１６６０４４号）に開示された内容と、２０１８年９月５日に出願された日本国特許出願（特願２０１８－１６６０４５号）に開示された内容を適宜援用する。

Claims (20)

  1. 　車両に設けられた車両用表示システムであって、
    　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
    　前記車両の内部に位置すると共に、所定の情報が前記車両の外部の現実空間と重畳されるように前記所定の情報を前記車両の乗員に向けて表示するように構成された第２表示装置と、
    　前記第１表示装置を制御するように構成された表示制御部と、
    を備え、
    　前記表示制御部は、前記所定の情報が表示可能な表示領域に対する前記乗員の入力操作に応じて、前記光パターンの出射を制御するように構成されている、車両用表示システム。
  2. 　前記表示制御部は、前記乗員の視点の位置と前記入力操作の入力位置に基づいて、前記光パターンの出射位置を制御するように構成されている、請求項１に記載の車両用表示システム。
  3. 　前記表示制御部は、前記表示領域に対する前記入力操作に応じて、前記光パターンの出射を開始するように構成されている、請求項１又は２に記載の車両用表示システム。
  4. 　前記表示制御部は、
    　前記乗員の視点の位置と、前記入力操作の第１入力位置に基づいて、前記路面上における前記光パターンの開始位置を特定し、
    　前記視点の位置と、前記入力操作の第２入力位置に基づいて、前記路面上における前記光パターンの終了位置を特定し、
    　前記開始位置と前記終了位置とに基づいて、前記光パターンを前記路面上に出射する、ように構成されている、請求項３に記載の車両用表示システム。
  5. 　前記表示制御部は、前記表示領域に対する前記入力操作に応じて、前記光パターンの出射位置を変更するように構成されている、請求項１又は２に記載の車両用表示システム。
  6. 　前記表示制御部は、
    　前記乗員の視点の位置と、前記入力操作の第３入力位置に基づいて、前記路面上における第１指定位置を特定し、
    　前記第１指定位置が前記路面上に出射された光パターンと重なる場合に、前記視点の位置と、前記入力操作の第４入力位置に基づいて、前記路面上における第２指定位置を特定し、
    　前記第２指定位置に基づいて、前記光パターンの出射位置を変更する、
    ように構成されている、請求項５に記載の車両用表示システム。
  7. 　前記表示領域は、前記入力操作を受付けるように構成されたタッチパネルを有する、請求項１から６のうちいずれか一項に記載の車両用表示システム。
  8. 　前記車両の内部に位置すると共に、前記乗員を示す画像データを取得するように構成されたトラッキングカメラをさらに備え、
    　前記表示制御部は、
    　前記画像データに基づいて、前記乗員の視点の位置及び前記乗員の手の位置を特定し、
    　前記手の位置に基づいて、前記入力操作の入力位置を特定し、
    　前記視点の位置と前記入力操作の入力位置に基づいて、前記光パターンの出射位置を制御するように構成されている、請求項１から６のうちいずれか一項に記載の車両用表示システム。
  9. 　車両に設けられた車両用表示システムであって、
    　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
    　前記車両の内部に位置すると共に、前記車両の走行に関連した車両走行情報が前記車両の外部の現実空間と重畳されるように前記車両走行情報を前記車両の乗員に向けて表示するように構成された第２表示装置と、
    　前記第１表示装置及び前記第２表示装置を制御するように構成された表示制御部と、
    を備え、
    　前記表示制御部は、
    　前記第１表示装置に異常があると判断された場合に、前記光パターンに対応する情報を前記第２表示装置に表示させる、車両用表示システム。
  10. 　第１表示装置に異常があると判断された場合に、前記表示制御部は、前記第１表示装置が複数の前記光パターンを出射している場合には、前記複数の光パターンにそれぞれ対応する情報を前記第２表示装置に表示させるように構成されている、請求項９に記載の車両用表示システム。
  11. 　前記表示制御部は、前記第１表示装置の異常情報を前記第２表示装置に表示させるように構成されている、請求項９又は１０に記載の車両用表示システム。
  12. 　前記表示制御部は、
    　前記第２表示装置に異常があると判断された場合に、前記車両走行情報に対応する光パターンを前記第１表示装置に出射させる、請求項９～１１のうち何れか一項に記載の車両用表示システム。
  13. 　車両に設けられた車両用表示システムであって、
    　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
    　前記車両の内部に位置すると共に、前記車両の走行に関連した車両走行情報が前記車両の外部の現実空間と重畳されるように前記車両走行情報を前記車両の乗員に向けて表示するように構成された第２表示装置と、
    　前記第１表示装置及び前記第２表示装置を制御するように構成された表示制御部と、
    を備え、
    　前記表示制御部は、
    　前記第２表示装置に異常があると判断された場合に、前記車両走行情報に対応する光パターンを前記第１表示装置に出射させる、車両用表示システム。
  14. 　第２表示装置に異常があると判断された場合に、前記表示制御部は、前記第２表示装置が複数の前記車両走行情報を表示している場合には、前記複数の車両走行情報の少なくとも１つの車両走行情報に対応する光パターンを前記第１表示装置に出射させるように構成されている、請求項１２又は１３に記載の車両用表示システム。
  15. 　請求項１から１４のうちいずれか一項に記載の車両用表示システムを備えた、車両。
  16. 　車両に設けられた車両システムであって、
    　前記車両の走行を制御するように構成された車両制御部と、
    　車両用表示システムと、
    を備え、
    　前記車両用表示システムは、
    　前記車両の内部に位置すると共に、所定の情報が前記車両の外部の現実空間と重畳されるように前記所定の情報を前記車両の乗員に向けて表示するように構成されたヘッドアップディスプレイ（ＨＵＤ）と、
    　前記車両の外部の路面に向けて光パターンを出射するように構成された路面描画装置と、
    　前記路面描画装置及び前記ＨＵＤを動作させるべきかどうかを決定すると共に、前記路面描画装置及び前記ＨＵＤの動作を制御するように構成された表示制御部と、を備えた、車両システム。
  17. 　前記表示制御部は、
    　第１プロセッサと、第１メモリとを備え、前記ＨＵＤの動作を制御するように構成された第１電子制御ユニットと、
    　第２プロセッサと、第２メモリとを備えた第２電子制御ユニットと、
    を有し、
    　前記ＨＵＤが動作していない場合に、前記第２電子制御ユニットが、前記路面描画装置の動作を制御し、
    　前記ＨＵＤが動作している場合に、前記第１電子制御ユニットが、前記ＨＵＤ及び前記路面描画装置の動作を制御する、請求項１６に記載の車両システム。
  18. 　前記車両用表示システムは、
    　前記車両の外部に向けてロービーム及び／又はハイビームを出射するように構成された照明装置をさらに備え、
    　前記ＨＵＤが動作していない場合に、前記第２電子制御ユニットが、前記路面描画装置及び前記照明装置の動作を制御し、
    　前記ＨＵＤが動作している場合に、前記第１電子制御ユニットが、前記ＨＵＤ及び前記路面描画装置の動作を制御する一方、前記第２電子制御ユニットが、前記照明装置の動作を制御する、請求項１７に記載の車両システム。
  19. 　前記車両用表示システムは、
    　前記車両の外部に向けてロービーム及び／又はハイビームを出射するように構成された照明装置をさらに備え、
    　前記ＨＵＤが動作していない場合に、前記第２電子制御ユニットが、前記路面描画装置及び前記照明装置の動作を制御し、
    　前記ＨＵＤが動作している場合に、前記第１電子制御ユニットが、前記ＨＵＤ、前記路面描画装置及び前記照明装置の動作を制御する、請求項１７に記載の車両システム。
  20. 　請求項１６から１９のうちいずれか一項に記載の車両システムを備えた、車両。
PCT/JP2019/034815 2018-09-05 2019-09-04 車両用表示システム、車両システム及び車両 WO2020050324A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020541273A JP7282789B2 (ja) 2018-09-05 2019-09-04 車両用表示システム、車両システム及び車両
EP19858518.4A EP3848245A1 (en) 2018-09-05 2019-09-04 Vehicle display system, vehicle system, and vehicle
CN201980058218.3A CN112689579A (zh) 2018-09-05 2019-09-04 车辆用显示系统、车辆系统以及车辆
US17/274,063 US12005832B2 (en) 2018-09-05 2019-09-04 Vehicle display system, vehicle system, and vehicle

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2018-166045 2018-09-05
JP2018166044 2018-09-05
JP2018166045 2018-09-05
JP2018-166043 2018-09-05
JP2018166043 2018-09-05
JP2018-166044 2018-09-05

Publications (1)

Publication Number Publication Date
WO2020050324A1 true WO2020050324A1 (ja) 2020-03-12

Family

ID=69721874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034815 WO2020050324A1 (ja) 2018-09-05 2019-09-04 車両用表示システム、車両システム及び車両

Country Status (5)

Country Link
US (1) US12005832B2 (ja)
EP (1) EP3848245A1 (ja)
JP (3) JP7282789B2 (ja)
CN (1) CN112689579A (ja)
WO (1) WO2020050324A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770936A (zh) * 2018-09-28 2021-05-07 株式会社小糸制作所 灯具系统
KR102552261B1 (ko) * 2019-04-29 2023-07-05 엘지전자 주식회사 전자 장치 및 전자 장치의 동작 방법
JP2022063933A (ja) * 2020-10-13 2022-04-25 株式会社Subaru 車両の表示装置
JP7468401B2 (ja) 2021-02-22 2024-04-16 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び表示装置
JP2022154810A (ja) * 2021-03-30 2022-10-13 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び車両

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015123855A (ja) * 2013-12-26 2015-07-06 株式会社小糸製作所 車両用灯具
JP2017193306A (ja) * 2016-04-22 2017-10-26 トヨタ自動車株式会社 車両用入力装置
JP2017226233A (ja) * 2016-06-20 2017-12-28 マツダ株式会社 車両用後方視認装置
JP2018166045A (ja) 2017-03-28 2018-10-25 イビデン株式会社 セラミックヒーター及びセラミックヒーターの製造方法
JP2018166043A (ja) 2017-03-28 2018-10-25 株式会社日立ハイテクサイエンス 集束イオンビーム装置
JP2018166044A (ja) 2017-03-28 2018-10-25 イビデン株式会社 セラミックヒーター

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09277887A (ja) 1996-04-16 1997-10-28 Honda Motor Co Ltd 自動追従走行システム
JP2008126954A (ja) 2006-11-24 2008-06-05 Tokai Rika Co Ltd 意思伝達装置
US9605971B2 (en) 2011-06-17 2017-03-28 Robert Bosch Gmbh Method and device for assisting a driver in lane guidance of a vehicle on a roadway
DE102012219572A1 (de) 2012-10-25 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Darstellung eines Hinweises mittels einer Fahrzeuganzeige für mindestens einen Verkehrsteilnehmer
EP2740632A1 (en) 2012-12-07 2014-06-11 Urs Nüssli Lateral rearview mirror system for a vehicle, method for projecting an image to the environment of the vehicle and corresponding application program product
KR20220136517A (ko) * 2013-06-27 2022-10-07 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
AU2015238339B2 (en) 2014-03-25 2018-02-22 Jaguar Land Rover Limited Navigation system
EP3146262A4 (en) 2014-04-29 2018-03-14 Chia Ming Chen Light control systems and methods
JP6746270B2 (ja) 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
CN105974583B (zh) 2015-03-11 2019-06-18 现代摩比斯株式会社 用于车辆的抬头显示器及其控制方法
KR102321095B1 (ko) * 2015-03-26 2021-11-04 현대모비스 주식회사 차량용 헤드업 디스플레이 장치 및 그 제어 방법
CN112092724A (zh) 2015-04-10 2020-12-18 麦克赛尔株式会社 车辆
US11247605B2 (en) 2015-04-10 2022-02-15 Maxell, Ltd. Image projection apparatus configured to project an image on a road surface
CN104833367A (zh) 2015-05-11 2015-08-12 京东方科技集团股份有限公司 车载投影系统
JP5866594B1 (ja) 2015-07-31 2016-02-17 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
KR20170058188A (ko) 2015-11-18 2017-05-26 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN106980456A (zh) * 2016-01-15 2017-07-25 中兴通讯股份有限公司 投影设备的控制方法及投影设备
DE102016001420A1 (de) 2016-02-05 2017-08-24 Audi Ag Einstellvorrichtung für eine einstellbare Beleuchtungsanlage eines Kraftfahrzeugs
US11214269B2 (en) * 2016-05-24 2022-01-04 Sony Corporation In-vehicle information processing device, in-vehicle information processing system, and information processing method
CN106484277A (zh) * 2016-07-29 2017-03-08 深圳市美贝壳科技有限公司 一种快速投射的方法
CN107784864A (zh) 2016-08-26 2018-03-09 奥迪股份公司 车辆辅助驾驶方法及系统
FR3060828B1 (fr) 2016-12-15 2019-08-02 Valeo Vision Systeme de diffusion de messages publicitaires par un vehicule automobile
KR101908309B1 (ko) * 2017-04-12 2018-10-16 엘지전자 주식회사 차량용 램프
US20190179587A1 (en) * 2017-12-07 2019-06-13 Sitronix Technology Corp. Optical imaging device with backup display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015123855A (ja) * 2013-12-26 2015-07-06 株式会社小糸製作所 車両用灯具
JP2017193306A (ja) * 2016-04-22 2017-10-26 トヨタ自動車株式会社 車両用入力装置
JP2017226233A (ja) * 2016-06-20 2017-12-28 マツダ株式会社 車両用後方視認装置
JP2018166045A (ja) 2017-03-28 2018-10-25 イビデン株式会社 セラミックヒーター及びセラミックヒーターの製造方法
JP2018166043A (ja) 2017-03-28 2018-10-25 株式会社日立ハイテクサイエンス 集束イオンビーム装置
JP2018166044A (ja) 2017-03-28 2018-10-25 イビデン株式会社 セラミックヒーター

Also Published As

Publication number Publication date
JP2023093548A (ja) 2023-07-04
US20210256933A1 (en) 2021-08-19
JP7478282B2 (ja) 2024-05-02
CN112689579A (zh) 2021-04-20
US12005832B2 (en) 2024-06-11
JP7470230B2 (ja) 2024-04-17
EP3848245A1 (en) 2021-07-14
JPWO2020050324A1 (ja) 2021-09-02
JP7282789B2 (ja) 2023-05-29
JP2023093547A (ja) 2023-07-04

Similar Documents

Publication Publication Date Title
CN110027468B (zh) 车车间通信系统、车辆系统、车辆用照明系统及车辆
WO2020050324A1 (ja) 車両用表示システム、車両システム及び車両
CN110803100B (zh) 车辆用显示系统以及车辆
JP7309724B2 (ja) 車両用表示システム及び車両
WO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
EP3835105B1 (en) Vehicle display system and vehicle
WO2021065617A1 (ja) 車両用表示システム及び車両
JP7295863B2 (ja) 車両用表示システム及び車両
WO2021015171A1 (ja) ヘッドアップディスプレイ
CN211032356U (zh) 车辆用显示系统及车辆
JP6980553B2 (ja) 車両用照明システム及び車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858518

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541273

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019858518

Country of ref document: EP

Effective date: 20210406