WO2020036108A1 - 車両用表示システム及び車両 - Google Patents

車両用表示システム及び車両 Download PDF

Info

Publication number
WO2020036108A1
WO2020036108A1 PCT/JP2019/031121 JP2019031121W WO2020036108A1 WO 2020036108 A1 WO2020036108 A1 WO 2020036108A1 JP 2019031121 W JP2019031121 W JP 2019031121W WO 2020036108 A1 WO2020036108 A1 WO 2020036108A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
light pattern
image
control unit
road surface
Prior art date
Application number
PCT/JP2019/031121
Other languages
English (en)
French (fr)
Inventor
滝井　直樹
美紗子 神谷
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to US17/268,576 priority Critical patent/US11584298B2/en
Priority to JP2020537428A priority patent/JP7309724B2/ja
Publication of WO2020036108A1 publication Critical patent/WO2020036108A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present disclosure relates to a vehicle display system and a vehicle including the vehicle display system.
  • the light pattern is displayed on the road surface in consideration of the viewpoint of the object.
  • the shape of the light pattern visually recognized by the occupant may be different from the shape of the light pattern visually recognized by the object. For this reason, the occupant may not be able to accurately recognize what light pattern is presented to the object.
  • the object may not notice the light pattern. If the object is present in a region outside the occupant's viewing angle, the occupant may not be able to recognize the presence of the object and may not be able to issue a notification / warning by another method.
  • An object of the present disclosure is to provide a vehicle display system that enables an occupant to accurately recognize visual communication between a vehicle and an object, and a vehicle including the vehicle display system. .
  • Another object of the present disclosure is to provide a vehicle display system capable of presenting the presence of an object to an occupant by a relatively simple method, and a vehicle including the vehicle display system.
  • a display system for a vehicle is a display system for a vehicle provided in a vehicle, A first display device configured to emit a light pattern toward a road surface outside the vehicle; A second display device located inside the vehicle and configured to display an image indicating the light pattern viewed from above.
  • the first display device emits the light pattern toward the road surface, and the second display device displays an image showing the light pattern viewed from the upper surface. Therefore, the occupant can accurately recognize the shape of the light pattern drawn on the road surface.
  • a vehicle display system that enables an occupant to accurately recognize visual communication between a vehicle and an object.
  • the image showing the light pattern viewed from the upper surface may be an image obtained by capturing the light pattern with at least one camera provided in the vehicle.
  • the second display device displays an image of the light pattern captured by at least one camera provided in the vehicle. Therefore, the occupant can recognize the actually displayed shape of the light pattern directed to the object.
  • the image showing the light pattern viewed from the upper surface may be a computer graphics (CG) image showing a virtual object obtained by virtually viewing the light pattern from the upper surface.
  • CG computer graphics
  • the second display device displays a CG image indicating a virtual object in which the light pattern is virtually viewed from above. For this reason, the occupant can easily recognize the shape of the light pattern directed toward the target object from the CG image.
  • the second display device may display a CG image indicating a virtual object when the vehicle is virtually viewed from above.
  • the second display device displays the CG image indicating the virtual object viewed from above the vehicle virtually together with the image indicating the light pattern viewed from above. Therefore, the occupant can grasp the positional relationship between the vehicle and the light pattern.
  • the light pattern includes a light pattern directed to an object outside the vehicle
  • the second display device may display a CG image indicating the virtual object of the target object.
  • the second display device displays the CG image indicating the virtual object as the target object together with the image indicating the light pattern viewed from above. Therefore, the occupant can grasp the positional relationship between the object and the light pattern and the viewpoint direction of the object with respect to the light pattern.
  • a vehicle provided with the above-described vehicle display system may be provided.
  • a display system for a vehicle is a display system for a vehicle provided in a vehicle, A first display device configured to emit a light pattern toward a road surface outside the vehicle; A determination unit configured to determine whether the light pattern has been changed by an object based on an image obtained by imaging the light pattern emitted by the first display device; An output unit configured to output a predetermined message to an occupant of the vehicle in accordance with a determination result of the determination unit.
  • a predetermined message is output to the occupant in accordance with the result of the determination as to whether the light pattern emitted toward the road surface has changed due to the target. For example, when the light pattern changes due to the presence of the target, it is possible to notify the occupant of the presence of the target.
  • a vehicle display system capable of presenting the presence of an object to an occupant by a relatively simple method.
  • the first display device may be configured to emit the light pattern toward a road surface around the vehicle.
  • the light pattern is emitted toward a road surface around the vehicle. For this reason, the occupant can recognize an object existing around the vehicle by a change in the light pattern.
  • the light pattern may be a light pattern surrounding the periphery of the vehicle.
  • the light pattern is emitted around the vehicle. For this reason, the occupant can recognize that the target object exists at the place where the light pattern has changed.
  • the light pattern may be a light pattern emitted to a rear area of the vehicle.
  • the light pattern is emitted to the rear area of the vehicle. For this reason, the occupant can recognize an object existing in the rear area deviating from the viewing angle.
  • the output unit includes a second display device located inside the vehicle and configured to display information on the vehicle, and the predetermined message is displayed on the second display device. Is also good.
  • the predetermined message is displayed on the second display device. Therefore, the occupant can visually recognize the predetermined message.
  • the output unit may include a sound output device that is located inside the vehicle and outputs a predetermined notification sound, and the predetermined message may be output from the sound output device as a notification sound.
  • the predetermined message is output from the sound output device as a notification sound. For this reason, the occupant can recognize the predetermined message by hearing.
  • the second display device may be configured to output the predetermined message as a notification sound.
  • the second display device also outputs a predetermined message as a notification sound. For this reason, the occupant can recognize the predetermined message by hearing.
  • the determination unit may determine whether the light pattern has been changed by the object based on an image obtained by imaging the light pattern emitted by the first display device and information on the vehicle. You may.
  • the determination unit determines whether or not the light pattern has been changed by the target object based on the captured image of the light pattern emitted toward the road surface and the information on the vehicle.
  • a change in a light pattern due to an object and a change in a light pattern due to something other than the object can be distinguished. In this way, it is possible to present the existence of the target object to the occupant in a more accurate manner.
  • the determination unit calculates a rate of change of the light pattern of the captured image with respect to the reference light pattern based on the captured image of the light pattern obtained by capturing before the predetermined time has elapsed, and after the predetermined time has elapsed. Calculating a rate of change of the light pattern of the captured image with respect to the reference light pattern based on the image of the light pattern obtained by capturing the image, and calculating the light pattern of the captured image captured before and after the predetermined time has elapsed; Comparing the ratio of the change with respect to the reference light pattern,
  • the output unit may update and output a predetermined message to an occupant of the vehicle according to a comparison result of the determination unit.
  • the predetermined message is updated and output based on the comparison result of the change ratio of the light pattern of the captured image before and after the lapse of the predetermined time with respect to the reference light pattern.
  • a vehicle provided with the vehicle display system and at least one camera configured to capture an image of the light pattern emitted by the first display device may be provided.
  • a vehicle display system that enables an occupant to accurately recognize visual communication between a vehicle and an object, and a vehicle including the vehicle display system.
  • a vehicle display system capable of presenting the presence of an object to an occupant by a relatively simple method, and a vehicle including the vehicle display system.
  • FIG. 1 is a front view of a vehicle equipped with a vehicle system.
  • FIG. 1 is a block diagram of a vehicle system according to a first embodiment of the present invention.
  • 5 is a flowchart illustrating an example of display control by a display control unit according to the first embodiment. It is a figure for explaining an example of road surface drawing concerning a first embodiment. It is a figure for explaining an example of HUD which displays a picked-up image of the light pattern drawn on the road surface according to the first embodiment. It is a flow chart for explaining an example of display control by the display control part concerning a second embodiment of the present invention. It is a figure for explaining an example of HUD which displays the CG image of the light pattern drawn on the road surface concerning a second embodiment.
  • HUD HUD
  • HUD HUD
  • a second embodiment It is a figure for explaining an example of road surface drawing concerning a third embodiment of the present invention. It is a figure for explaining an example of HUD which displays a picked-up image of the light pattern drawn on the road surface according to the third embodiment. It is a figure for explaining an example of road surface drawing concerning a 4th embodiment of the present invention. It is a figure for explaining an example of HUD which displays the CG image of the light pattern drawn on the road surface concerning a 4th embodiment. It is a block diagram of a vehicle system concerning a fifth embodiment of the present invention.
  • lateral direction is a direction including the “left direction” and the “right direction”.
  • the “vertical direction” is a direction including “upward” and “downward”.
  • the “front-rear direction” is a direction including the “front direction” and the “back direction”.
  • the left-right direction is a direction orthogonal to the up-down direction.
  • the front-back direction is a direction orthogonal to the left-right direction and the up-down direction.
  • FIG. 1 is a front view of a vehicle 1 on which a vehicle system 2 is mounted.
  • FIG. 2 is a block diagram of the vehicle system 2 according to the first embodiment.
  • the vehicle 1 is a vehicle (automobile) that can run in the automatic driving mode.
  • the vehicle system 2 includes a vehicle control unit 3, a vehicle display system 4 (hereinafter, simply referred to as “display system 4”), a sensor 5, a camera 6, and a radar 7. .
  • the vehicle system 2 includes an HMI (Human Machine Interface) 8, a GPS (Global Positioning System) 9, a wireless communication unit 10, and a storage device 11.
  • the vehicle system 2 includes a steering actuator 12, a steering device 13, a brake actuator 14, a brake device 15, an accelerator actuator 16, and an accelerator device 17.
  • the vehicle control unit 3 is configured to control the traveling of the vehicle 1.
  • the vehicle control unit 3 includes, for example, at least one electronic control unit (ECU: Electronic Control Unit).
  • the electronic control unit includes a computer system including one or more processors and one or more memories (eg, SoC (System on a Chip)), and an electronic circuit including active elements such as transistors and passive elements.
  • the processor is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), and / or a TPU (Tensor Processing Unit).
  • the CPU may be configured by a plurality of CPU cores.
  • the GPU may be configured by a plurality of GPU cores.
  • the memory includes a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the vehicle control program may be stored in the ROM.
  • the vehicle control program may include an artificial intelligence (AI) program for automatic driving.
  • AI is a program constructed by supervised or unsupervised machine learning (particularly, deep learning) using a multilayer neural network.
  • the RAM may temporarily store a vehicle control program, vehicle control data, and / or surrounding environment information indicating a surrounding environment of the vehicle.
  • the processor may be configured to load a program specified from various vehicle control programs stored in the ROM on the RAM and execute various processes in cooperation with the RAM.
  • the computer system may be constituted by a non-Neumann computer such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array). Further, the computer system may be configured by a combination of a Neumann computer and a non-Neumann computer.
  • the sensor 5 includes an acceleration sensor, a speed sensor, a gyro sensor, and the like.
  • the sensor 5 is configured to detect a traveling state of the vehicle 1 and output traveling state information to the vehicle control unit 3.
  • the sensor 5 includes a seating sensor that detects whether the driver is sitting in the driver's seat, a face orientation sensor that detects the direction of the driver's face, an external weather sensor that detects an external weather condition, and whether a person is in the vehicle. It may further include a human sensor or the like for detecting.
  • the camera 6 is a camera including an image sensor such as a charge-coupled device (CCD) or a complementary MOS (CMOS).
  • the camera 6 is configured to acquire image data indicating the surrounding environment of the vehicle 1 and transmit the image data to the vehicle control unit 3.
  • the vehicle control unit 3 acquires surrounding environment information based on the transmitted image data.
  • the surrounding environment information may include information on an object (a pedestrian, another vehicle, a sign, or the like) existing outside the vehicle 1.
  • the surrounding environment information may include information on an attribute of an object existing outside the vehicle 1 and information on a distance and a position of the object with respect to the vehicle 1.
  • the camera 6 may be configured as a monocular camera, or may be configured as a stereo camera.
  • the camera 6 is configured to acquire image data indicating a light pattern drawn on a road surface, and then transmit the image data to the vehicle control unit 3.
  • a camera for imaging this light pattern a dedicated camera may be provided, or a camera used for another purpose (for example, a camera for back monitoring, a camera for imaging the surrounding environment of a vehicle, or the like) ) May be used.
  • the camera 6 includes a left camera 6L and a right camera 6R for capturing a light pattern drawn on a road surface.
  • the left camera 6L and the right camera 6R may be referred to as cameras 6L, 6R or simply camera 6. Note that, as shown in FIG.
  • the cameras 6L and 6R are arranged at both front left and right ends on the vehicle body roof, but the camera 6 can capture an optical pattern drawn on a road surface.
  • the number, arrangement location and shape of the cameras 6 are not particularly limited.
  • the cameras 6L and 6R may be arranged at a position lower than the vehicle body roof.
  • the cameras 6 may be arranged at the center in the left-right direction on the front side or the rear side on the vehicle body roof.
  • the number of cameras 6 is four, one camera 6 may be mounted on each of the four corners (left front corner, right front corner, left rear corner and right rear corner) of the vehicle body roof.
  • cameras used for other purposes for example, a camera for back monitoring, a camera for imaging the surrounding environment of the vehicle 1, and the like
  • images used for other purposes for example, a camera for back monitoring, a camera for imaging the surrounding environment of the vehicle 1, and the like
  • image processing for extracting an image of a light pattern from the captured image is performed.
  • the radar 7 is a millimeter-wave radar, a microwave radar, and / or a laser radar (for example, a LiDAR unit).
  • the LiDAR unit is configured to detect a surrounding environment of the vehicle 1.
  • the LiDAR unit is configured to acquire 3D mapping data (point cloud data) indicating the surrounding environment of the vehicle 1 and then transmit the 3D mapping data to the vehicle control unit 3.
  • the vehicle control unit 3 specifies the surrounding environment information based on the transmitted 3D mapping data.
  • the HMI 8 includes an input unit that receives an input operation from a driver, and an output unit that outputs driving information and the like to the driver.
  • the input unit includes a steering wheel, an accelerator pedal, a brake pedal, an operation mode switching switch for switching an operation mode of the vehicle 1, and the like.
  • the input unit and the output unit may include a touch panel capable of accepting an input operation and displaying an image for an occupant.
  • the GPS 9 is configured to acquire the current position information of the vehicle 1 and output the acquired current position information to the vehicle control unit 3.
  • the current position information includes the GPS coordinates (latitude and longitude) of the vehicle 1.
  • the wireless communication unit 10 receives information (for example, travel information and the like) related to another vehicle around the vehicle 1 from the other vehicle and transmits information (for example, travel information and the like) related to the vehicle 1 to the other vehicle.
  • Information for example, travel information and the like
  • the wireless communication unit 10 is configured to receive infrastructure information from infrastructure equipment such as a traffic light and a traffic light, and transmit travel information of the vehicle 1 to the infrastructure equipment (road-vehicle communication).
  • the wireless communication unit 10 receives information about the pedestrian from a portable electronic device (a smartphone, a tablet, a wearable device, or the like) carried by the pedestrian, and transmits own-vehicle traveling information of the vehicle 1 to the portable electronic device.
  • a portable electronic device a smartphone, a tablet, a wearable device, or the like
  • the vehicle 1 may directly communicate with another vehicle, infrastructure equipment, or a portable electronic device in an ad hoc mode, or may communicate with an access point. Further, the vehicle 1 may communicate with another vehicle, infrastructure equipment, or a portable electronic device via a communication network such as the Internet.
  • the wireless communication standard is, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), LPWA, DSRC (registered trademark), or Li-Fi. Further, the vehicle 1 may communicate with another vehicle, infrastructure equipment, or a portable electronic device using the fifth generation mobile communication system (5G).
  • 5G fifth generation mobile communication system
  • the storage device 11 is an external storage device such as a hard disk drive (HDD) or an SSD (Solid State Drive).
  • the storage device 11 may store 2D or 3D map information and / or a vehicle control program.
  • the 3D map information may be configured by point cloud data.
  • the storage device 11 is configured to output map information and a vehicle control program to the vehicle control unit 3 in response to a request from the vehicle control unit 3.
  • the map information and the vehicle control program may be updated via the wireless communication unit 10 and a communication network such as the Internet.
  • the display system 4 includes a display control unit 40, a lighting device 41, a road surface drawing device 42, and a head-up display (HUD) 43.
  • the road surface drawing device 42 is an example of a first display device.
  • the HUD 43 is an example of a second display device.
  • the illumination device 41 is configured to emit light toward the outside of the vehicle 1.
  • the lighting device 41 includes a left headlamp 20L and a right headlamp 20R.
  • the lighting device 41 includes, in addition to the headlamps 20L and 20R, a position lamp provided at the front of the vehicle 1, a rear combination lamp provided at the rear of the vehicle 1, a turn signal lamp provided at the front or side of the vehicle, Various lamps or the like may be provided to notify a pedestrian or a driver of another vehicle of the situation of the own vehicle.
  • the road surface drawing device 42 is configured to emit a light pattern toward a road surface outside the vehicle 1.
  • the road surface drawing device 42 includes two road surface drawing devices (a left road surface drawing device 42L and a right road surface drawing device 42R). As shown in FIG. 1, the left road surface drawing device 42L is mounted on the left head lamp 20L, and the right road surface drawing device 42R is mounted on the right head lamp 20R.
  • the left road surface drawing device 42L and the right road surface drawing device 42R may be referred to as road surface drawing devices 42L and 42R or simply the road surface drawing device 42.
  • the road surface drawing device 42 includes, for example, a laser light source configured to emit laser light, an optical deflecting device configured to deflect laser light emitted from the laser light source, and an optical system member such as a lens.
  • the laser light source is, for example, an RGB laser light source configured to emit a red laser light, a green laser light, and a blue laser light, respectively.
  • the light deflecting device is, for example, a MEMS (Micro Electro Mechanical Systems) mirror, a galvano mirror, a polygon mirror, or the like.
  • the road surface drawing device 42 is configured to draw a light pattern M0 (see FIG. 4A) on a road surface by scanning with a laser beam.
  • the road surface drawing device 42 can draw light patterns of various colors on the road surface.
  • the road surface drawing devices 42L and 42R may draw different light patterns on the road surface, or may draw one light pattern on the road surface by combining the respective light patterns.
  • the road surface drawing device 42 includes the road surface drawing devices 42L and 42R mounted in the head lamps 20L and 20R.
  • the road surface drawing device 42 draws a light pattern on the road surface.
  • the number, arrangement location, and shape of the road surface drawing devices 42 are not particularly limited as long as is possible.
  • the road surface drawing devices 42L and 42R may be arranged near a headlamp.
  • the road surface drawing devices 42L and 42R may be mounted in or near the left rear combination lamp (not shown) and the right rear combination lamp (not shown).
  • the road surface drawing device 42 may be arranged at the front side or the rear side on the vehicle body roof in the center in the left-right direction.
  • the number of the road surface drawing devices 42 is four, one is provided in or near the left head lamp 20L, the right head lamp 20R, the left rear combination lamp (not shown), and the right rear combination lamp (not shown).
  • One road surface drawing device 42 may be mounted.
  • the drawing method of the road surface drawing device 42 may be a DLP (Digital Light Processing) method or an LCOS (Liquid Crystal on silicon) method.
  • a DLP Digital Light Processing
  • LCOS Liquid Crystal on silicon
  • an LED is used instead of a laser as the light source.
  • the HUD 43 is installed at a predetermined location in the vehicle 1.
  • the HUD 43 is installed on the dashboard of the vehicle 1.
  • the location of the HUD 43 is not particularly limited.
  • the HUD 43 functions as a visual interface between the vehicle 1 and an occupant.
  • the HUD 43 is configured to visually present information related to driving of the vehicle 1 (for example, information related to automatic driving) and pedestrian information to the occupant.
  • the HUD 43 is configured to display information obtained by inter-vehicle communication between the vehicle 1 and another vehicle and / or road-to-vehicle communication between the vehicle 1 and infrastructure equipment (such as a traffic light).
  • the HUD 43 is configured to display messages transmitted from other vehicles and / or infrastructure equipment.
  • the occupant of the vehicle 1 can grasp the intention of another vehicle or the like by looking at the message displayed by the HUD 43.
  • the HUD 43 is configured to display information obtained from the sensor 5 and / or the camera 6. By viewing the message displayed by the HUD 43, the occupant of the vehicle 1 can grasp the traveling state of the vehicle 1 and / or pedestrian information and the like.
  • the HUD 43 is configured to visually present to the occupant an image of the light pattern drawn on the road surface by the road surface drawing device 42 as viewed from above. By viewing the image of the light pattern displayed by the HUD 43, the occupant of the vehicle 1 can accurately recognize the shape of the light pattern drawn toward the target (for example, from the viewpoint of the target).
  • the HUD 43 is configured to display an image obtained by capturing a light pattern with at least one camera 6 (cameras 6L and 6R in the present embodiment) provided in the vehicle 1. The occupant of the vehicle 1 can recognize the actually displayed shape of the light pattern directed to the target object by looking at the captured image of the light pattern displayed by the HUD 43.
  • the HUD 43 is configured to display a computer graphics (CG) image showing a virtual object as viewed from above the light pattern drawn by the road surface drawing device 42 virtually.
  • a computer graphics (CG) image showing a virtual object viewed from above the light pattern may be simply referred to as a light pattern CG image.
  • the HUD 43 displays, together with the captured image or CG image of the light pattern, a CG image representing a virtual object as viewed virtually from above the vehicle 1 or a CG image representing a virtual object of an object (pedestrian or other vehicle). May be configured.
  • the occupant of the vehicle 1 can grasp the positional relationship between the vehicle 1 or the object and the light pattern, and the viewpoint direction of the object with respect to the light pattern.
  • the CG image indicating the virtual object and the CG image indicating the virtual object of the target when the vehicle 1 is virtually viewed from above may be simply referred to as the CG image of the vehicle and the CG image of the target.
  • the information displayed by the HUD 43 is visually presented to the occupant of the vehicle 1 so as to be superimposed on the real space in front of the vehicle 1.
  • the HUD 43 functions as an AR (Augmented Reality) display.
  • the HUD 43 includes an image generation unit and a transparent screen on which an image generated by the image generation unit is displayed.
  • the image generation unit includes, for example, a laser light source configured to emit laser light, and a light configured to deflect the laser light emitted from the laser light source.
  • a deflecting device and an optical system member such as a lens are provided.
  • the laser light source is, for example, an RGB laser light source configured to emit a red laser light, a green laser light, and a blue laser light, respectively.
  • the light deflecting device is, for example, a MEMS mirror.
  • the drawing method of the HUD 43 may be a DLP (Digital Light Processing) method or an LCOS (Liquid Crystal on silicon) method. In this case, an LED is used instead of a laser as the light source.
  • the HUD 43 does not have to include a transparent screen.
  • the image generated by the image generation unit may be displayed on the windshield 100 of the vehicle 1.
  • the display control unit 40 is configured to control driving of the lighting device 41.
  • the display control unit 40 controls the lighting device 41 to emit predetermined light based on information related to the vehicle 1 or information related to the surrounding environment of the vehicle 1.
  • the display control unit 40 is configured to control driving of the road surface drawing device 42 and the HUD 43.
  • the display control unit 40 may display a predetermined light pattern toward an object (another vehicle or a pedestrian).
  • the road surface drawing device 42 is controlled.
  • the display control unit 40 controls the HUD 43 based on information related to the vehicle 1 or information related to the surrounding environment of the vehicle 1 so that predetermined information is presented to the occupant.
  • the display control unit 40 is configured by an electronic control unit (ECU), and is electrically connected to a power supply (not shown).
  • the electronic control unit includes a computer system (eg, SoC, etc.) including one or more processors and one or more memories, and an analog processing circuit including active elements such as transistors and passive elements.
  • the analog processing circuit includes a lamp driving circuit (for example, an LED driver or the like) configured to control driving of the lamp of the lighting device 41.
  • the analog processing circuit is configured to control the driving of the laser light source of the road surface drawing device 42 and the first laser light source control circuit configured to control the driving of the light deflecting device of the road surface drawing device 42.
  • a first light deflection device control circuit is configured to control the driving of the laser light source of the road surface drawing device 42 and the first laser light source control circuit configured to control the driving of the light deflecting device of the road surface drawing device 42.
  • the analog processing circuit includes a second laser light source control circuit configured to control the driving of the laser light source of the HUD 43, and a second optical deflector control circuit configured to control the driving of the light deflector of the HUD 43.
  • the processor is, for example, a CPU, an MPU, a GPU, and / or a TPU.
  • the memory includes a ROM and a RAM.
  • the computer system may be configured by a non-Neumann computer such as an ASIC or an FPGA.
  • the computer system of the display control unit 40 specifies a light pattern to be radiated to the outside of the vehicle 1 based on the instruction signal transmitted from the vehicle control unit 3, and then outputs a signal indicating the specified light pattern.
  • the first laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the light pattern, and transmits the generated control signal to the laser light source of the road surface drawing device 42. I do.
  • the first optical deflector control circuit generates a control signal for controlling the driving of the optical deflector based on the signal indicating the light pattern, and then generates the control signal for the road surface drawing device 42. Transmit to the light deflector.
  • the display control unit 40 can control the driving of the road surface drawing device 42.
  • the computer system of the display control unit 40 specifies image information (for example, information of characters and figures) displayed on the HUD 43 based on the instruction signal transmitted from the vehicle control unit 3 and then specifies the specified information.
  • a signal indicating the image information is transmitted to the second laser light source control circuit and the second light deflection device control circuit.
  • the second laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the image information, and transmits the generated control signal to the laser light source of the HUD 43.
  • the second light deflecting device control circuit generates a control signal for controlling the driving of the light deflecting device based on the signal indicating the image information, and outputs the generated control signal to the light deflecting device of the HUD 43.
  • the display control unit 40 can control the driving of the HUD 43.
  • the computer system of the display control unit 40 transmits a signal indicating the specified light pattern to the first laser light source control circuit and the first light deflection device control circuit, and then captures an image from the vehicle control unit 3 by the camera 6.
  • the captured image information of the light pattern obtained is acquired, and a signal indicating the captured image information of the light pattern is transmitted to the second laser light source control circuit and the second light deflection device control circuit.
  • the second laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the captured image information of the light pattern, and then transmits the generated control signal to the laser light source of the HUD 43. Send.
  • the second optical deflecting device control circuit generates a control signal for controlling the driving of the optical deflecting device based on the signal indicating the captured image information of the optical pattern, and then generates the control signal based on the HUD43. To the optical deflecting device.
  • the computer system of the display control unit 40 transmits the signal indicating the specified light pattern to the first laser light source control circuit and the first light deflector control circuit at the same time or after transmitting the signal, and then performs the CG of the light pattern.
  • the image information is acquired from the memory, and a signal indicating the CG image information of the light pattern is transmitted to the second laser light source control circuit and the second light deflection device control circuit.
  • the second laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the CG image information of the light pattern, and then transmits the generated control signal to the laser light source of the HUD 43. Send.
  • the second optical deflecting device control circuit generates a control signal for controlling the driving of the optical deflecting device based on the signal indicating the CG image information of the optical pattern, and then generates the control signal based on the HUD43.
  • the CG image information is stored not in the memory of the display control unit 40 but in the storage device 11, and the display control unit 40 may acquire the CG image information via the vehicle control unit 3.
  • the vehicle 1 can travel in the automatic driving mode and the manual driving mode.
  • the vehicle control unit 3 can selectively execute the automatic driving mode and the manual driving mode.
  • the vehicle control unit 3 controls a steering control signal according to an output of an external sensor (at least one of the camera 6, the radar 7, the GPS 9, the wireless communication unit 10, and the like) for acquiring information on the outside of the vehicle 1.
  • An accelerator control signal and a brake control signal are automatically generated.
  • the vehicle control unit 3 automatically generates a steering control signal, an accelerator control signal, and a brake control signal according to the output of the external sensor, regardless of the output of the sensor 5 that detects the displacement of the operation element that can be operated by the user. .
  • the vehicle control unit 3 controls the steering control signal based on the surrounding environment information ahead of the vehicle 1 acquired by the camera 6, the current position information of the GPS 9, the map information stored in the storage device 11, and the like.
  • An accelerator control signal and a brake control signal are automatically generated.
  • the vehicle 1 is driven without depending on the user.
  • the vehicle control unit 3 In the manual driving mode, the vehicle control unit 3 normally generates a steering control signal, an accelerator control signal, and a brake control signal regardless of the output of the external sensor. That is, in the manual driving mode, the vehicle control unit 3 normally generates a steering control signal based on a user's operation of the steering wheel regardless of the output of the external sensor. Normally, the vehicle control unit 3 generates an accelerator control signal based on the operation of the accelerator pedal by the user, regardless of the output of the external sensor. The vehicle control unit 3 generates a brake control signal based on a user's operation of a brake pedal regardless of an output of an external sensor. In the manual driving mode, the vehicle 1 is normally driven by the user.
  • the vehicle control unit 3 may execute anti-lock brake control for controlling a brake control signal according to, for example, an output of a wheel speed sensor as the sensor 5.
  • the vehicle controller 3 controls at least one of a steering control signal, an accelerator control signal, and a brake control signal in accordance with an output of a steering angle sensor, a wheel speed sensor, or a yaw rate sensor that is the sensor 5.
  • Prevention control Electric ⁇ Stability ⁇ Control
  • traction control and the like may be executed.
  • the vehicle control unit 3 may execute a pre-crash control or a collision avoidance control for generating a steering control signal and a brake control signal according to an output of an external sensor such as the camera 6 in an emergency.
  • the vehicle control unit 3 may generate at least one of the steering control signal, the accelerator control signal, and the brake control signal according to the output of the external sensor.
  • a trigger for generating a steering control signal, an accelerator control signal, and a brake control signal in a normal state is a displacement of an operator such as a steering wheel, an accelerator pedal, and a brake pedal operated by a user.
  • the vehicle control unit 3 normally controls (processes) signals such as a steering control signal, an accelerator control signal, and a brake control signal generated by the displacement of the operating element according to the output of the sensor 5 and the external sensor. Is also good.
  • the so-called assist driving mode in which the driving of the user is assisted according to the output of the sensor 5 or the external sensor is one form of the manual driving mode.
  • the automatic operation mode of the present embodiment corresponds to levels 3 to 5 (excluding emergency situations), and the manual operation mode of the present embodiment
  • the operation mode corresponds to levels 0 to 2.
  • FIG. 3 is a flowchart for explaining an example of display control by the display control unit 40 according to the first embodiment.
  • FIG. 4A is a diagram for explaining an example of the road surface drawing according to the first embodiment.
  • FIG. 4A illustrates an example in which the road surface (including the pedestrian 101, the light pattern M0, and the vehicle 1) is viewed from above.
  • FIG. 4B is a diagram illustrating an example of a HUD that displays a captured image of a light pattern drawn on a road according to the first embodiment.
  • the display control unit 40 causes the road surface drawing device 42 to emit a light pattern toward the road surface, and causes the camera 6 to display an image obtained by imaging the light pattern on the HUD 43.
  • step S1 the display control unit 40 controls the road surface drawing device 42 to emit a predetermined light pattern based on the surrounding environment information and the like acquired from the vehicle control unit 3.
  • step S ⁇ b> 2 the display control unit 40 acquires, from the vehicle control unit 3, image data obtained by imaging the light pattern drawn by the road surface drawing device 42 with the camera 6.
  • step S3 the display control unit 40 controls the HUD 43 to display the captured image of the light pattern.
  • the vehicle 1 draws the light pattern M0 by the road surface drawing device 42.
  • the light pattern M0 is a light pattern indicating a message of “stop” drawn toward the pedestrian 101 approaching from the front left side.
  • the vehicle 1 captures an image of the light pattern M0 by the camera 6, and displays a captured image M2 of the light pattern M0 to the occupant of the vehicle 1 by the HUD 43.
  • the image captured by the camera 6 is displayed on the HUD 43 in a state rotated by 90 degrees in accordance with the direction of the occupant of the vehicle 1.
  • the occupant of the vehicle 1 changes the light pattern in the same direction as the direction in which the object (pedestrian 101) looks. It can be confirmed and the contents of the light pattern can be easily grasped.
  • the image captured by the camera 6 may be displayed on the HUD 43 in the same direction.
  • the pedestrian information M1 is displayed on the HUD 43 in FIG. 4B.
  • the pedestrian information M1 is a CG image including a combination of a left arrow indicating the traveling direction of the pedestrian 101, a mark indicating the pedestrian 101, and characters indicating the distance from the host vehicle 1 to the pedestrian 101.
  • the object for example, pedestrian
  • the occupant of the vehicle 1 can know the distance to the object, the traveling direction of the object, and the attribute of the object (other vehicle or pedestrian). Etc. can be grasped.
  • the configuration of the pedestrian information M1 is not limited to the configuration of FIG. 4B. Further, the pedestrian information M1 may not be displayed on the HUD 43.
  • the pedestrian information M1 is stored in the memory or the storage device 11 of the display control unit 40, and the display control unit 40 is based on information such as the position of an object detected by the camera 6 or the sensor 5 (eg, LiDAR). Then, the object information is displayed on the HUD 43. In addition, you may display own vehicle information mentioned later on HUD43 instead of pedestrian information.
  • the display control unit 40 causes the road surface drawing device 42 to emit the light pattern toward the road surface, and causes the HUD 43 to display an image showing the light pattern viewed from above. Therefore, the occupant of the vehicle 1 can recognize the shape of the light pattern directed toward the target from the viewpoint of the target. Thus, the occupant can accurately recognize the visual communication between the vehicle and the object.
  • the display control unit 40 acquires from the vehicle control unit 3 image data of a light pattern captured by at least one camera 6 as an image indicating a light pattern viewed from above. Therefore, the occupant of the vehicle 1 can recognize the actually displayed shape of the light pattern directed to the object.
  • the display control unit 40 displays the CG image indicating the virtual object of the target together with the captured image of the light pattern. Therefore, the occupant of the vehicle 1 can grasp the attribute of the target, the traveling direction of the target, the distance to the target, and the like.
  • FIG. 5 is a flowchart for explaining an example of display control by the display control unit according to the second embodiment of the present invention.
  • FIG. 6A is a diagram illustrating an example of a HUD that displays a CG image of a light pattern drawn on a road according to the second embodiment.
  • FIG. 6B is a view for explaining another example of the HUD displaying the CG image of the light pattern drawn on the road surface according to the second embodiment.
  • members having the same reference numbers as those already described in the description of the first embodiment will not be described for convenience of description.
  • the display control unit 40 according to the first embodiment causes the HUD 43 to display an image of the light pattern captured by the camera 6.
  • the display control unit 40 according to the second embodiment causes the HUD 43 to display a CG image showing a virtual object, which is a virtual pattern of the light pattern drawn on the road surface viewed from above.
  • the occupant of the vehicle 1 can select one of a captured image and a CG image as an image of the light pattern viewed from the upper surface to be displayed on the HUD 43 via the HMI 8.
  • the input unit of the HMI 8 includes a light pattern image selection switch for selecting one of a captured image and a CG image.
  • step S11 the display control unit 40 controls the road surface drawing device 42 to emit a predetermined light pattern based on the surrounding environment information and the like acquired from the vehicle control unit 3.
  • step S12 the display control unit 40 controls the HUD 43 so as to display a CG image showing a virtual object viewed from above the light pattern drawn by the road surface drawing device 42 virtually.
  • the CG image representing the virtual object as viewed from above the light pattern drawn on the road surface drawing device 42 is stored in the memory or the storage device 11 of the display control unit 40.
  • the display control unit 40 acquires the CG image of the light pattern drawn by the road surface drawing device 42 from the memory or the storage device 11 and causes the HUD 43 to display the CG image.
  • the vehicle 1 draws the light pattern M0 by the road surface drawing device 42.
  • the light pattern M0 is a light pattern indicating a message of “stop” drawn toward the pedestrian 101 approaching from the front left side.
  • the vehicle 1 acquires the CG image M11 of the light pattern M0 from the memory or the storage device 11 of the display control unit 40, and uses the HUD 43 to convert the CG image M11 of the light pattern M0 into the vehicle 1 Displayed to crew members.
  • the direction of the CG image M11 is adjusted and displayed in accordance with the direction of the occupant of the vehicle 1, but is not limited thereto.
  • FIG. 6A the direction of the CG image M11 is adjusted and displayed in accordance with the direction of the occupant of the vehicle 1, but is not limited thereto.
  • pedestrian information M12 is displayed on the HUD 43 in addition to the CG image M11 of the light pattern M0.
  • the pedestrian information M12 includes a CG image showing a virtual object of the pedestrian 101 viewed virtually from above and a CG image of characters at a distance from the host vehicle 1 to the pedestrian 101.
  • the CG image of the pedestrian 101 indicates a state where the pedestrian is facing the light pattern of the CG image M11.
  • the object (pedestrian) information together, the occupant of the vehicle 1 can know the distance to the object, the positional relationship between the object and the light pattern, the attribute of the object (other vehicle or walking). Person), and the direction of the viewpoint of the object with respect to the light pattern can be grasped.
  • the configuration of the pedestrian information M12 is not limited to the configuration of FIG. 6A. Further, the pedestrian information M12 may not be displayed on the HUD 43.
  • the own vehicle information M22 may be displayed together with the CG image M21 of the light pattern M0.
  • the host vehicle information M22 includes a CG image indicating a virtual object when the host vehicle 1 is virtually viewed from above, and a CG image of characters and arrows indicating the distance and direction from the host vehicle 1 to the light pattern M0.
  • the own vehicle information M22 is not limited to the configuration of FIG. 6B.
  • the pedestrian information M12 and the own vehicle information M22 are stored in the memory or the storage device 11 of the display control unit 40, and the display control unit 40 detects an object or light pattern detected by the camera 6 or the sensor 5 (eg, LiDAR).
  • the pedestrian information and the own vehicle information are displayed on the HUD 43 based on the information such as the position of the vehicle.
  • the display control unit 40 causes the road surface drawing device 42 to emit the light pattern toward the road surface, and causes the HUD 43 to display an image showing the light pattern viewed from above. Therefore, the occupant of the vehicle 1 can recognize the shape of the light pattern directed toward the target from the viewpoint of the target. Thus, the occupant can accurately recognize the visual communication between the vehicle and the object.
  • the display control unit 40 acquires, from the memory or the storage device 11, a CG image representing a virtual object viewed virtually from above, as a light pattern viewed from above. For this reason, the occupant of the vehicle 1 can easily recognize the shape of the light pattern toward the target object from the CG image.
  • the display control unit 40 displays the CG image of the vehicle 1 and the virtual object of the object together with the CG image of the light pattern. For this reason, the occupant of the vehicle 1 can grasp the distance to the object or the light pattern.
  • FIG. 7A is a diagram illustrating an example of a road surface drawing according to the third embodiment.
  • FIG. 7A shows an example in which the road surface (including the vehicle 1, the light pattern M10, and the following vehicle 102) is viewed from above.
  • FIG. 7B is a diagram for explaining an example of a HUD that displays a captured image of a light pattern drawn on a road according to the third embodiment.
  • the display control unit 40 converts a captured image or a CG image of a light pattern emitted toward a road surface ahead of the vehicle 1 by a road surface drawing device 42 disposed on the front side of the vehicle 1 into a HUD 43. To be displayed.
  • the display control unit 40 according to the third embodiment causes the HUD 43 to display a captured image of the light pattern emitted toward the road surface behind the vehicle 1.
  • the vehicle 1 draws the light pattern M10 by the road surface drawing device 42.
  • the light pattern M10 is a light pattern indicating the message “during deceleration” drawn toward the following vehicle 102.
  • the vehicle 1 captures an image of the light pattern M10 by the camera 6, and displays an image M32 of the light pattern M10 to the occupant of the vehicle 1 by the HUD 43.
  • a CG image M31 of the own vehicle 1 and a CG image M33 of the following vehicle 102 are displayed on the HUD 43 as own vehicle information and target object information.
  • the CG image M31 of the own vehicle 1 and the CG image M33 of the following vehicle 102 are CG images each showing a virtual object viewed from above. In this way, by displaying the CG images of the own vehicle 1 and the following vehicle 102 together, the occupant of the vehicle 1 can grasp the positional relationship between the own vehicle 1 and the following vehicle 102 and the light pattern.
  • the own vehicle information and the target object information are not limited to the configuration in FIG. 7B.
  • the vehicle information and the object information need not be displayed.
  • the object information and the own vehicle information are stored in the memory or the storage device 11 of the display control unit 40, and the display control unit 40 detects the position of the object or the light pattern detected by the camera 6 or the sensor 5 (eg, LiDAR). Based on such information, the HUD 43 displays target object information and own vehicle information.
  • a captured image of the light pattern captured by the camera 6 is displayed on the HUD 43 as an image indicating the light pattern viewed from above, but the CG image of the light pattern is displayed as in the second embodiment. May be displayed.
  • FIG. 8A is a diagram illustrating an example of a road surface drawing according to the fourth embodiment.
  • FIG. 8A shows an example in which the road surface (including the vehicle 1 and the light pattern M20) is viewed from above.
  • FIG. 8B is a diagram illustrating an example of a HUD that displays a CG image of a light pattern drawn on a road according to the fourth embodiment.
  • the display control unit 40 causes the HUD 43 to display a captured image or a CG image of the light pattern emitted toward the front or rear road surface of the vehicle 1.
  • the display control unit 40 according to the fourth embodiment causes the HUD 43 to display a CG image of the light pattern emitted toward the road near the vehicle 1.
  • the vehicle 1 draws the light pattern M20 by the road surface drawing device 42.
  • the light pattern M20 is drawn toward the periphery of the vehicle 102.
  • the light pattern M20 is a light pattern for notifying a message of a pause to the surroundings.
  • the vehicle 1 acquires the CG image M44 of the light pattern M20 from the memory or the storage device 11 of the display control unit 40, and uses the HUD 43 to convert the CG image M44 of the light pattern M20 to the vehicle. Displayed for the first occupant.
  • FIG. 8A the vehicle 1 draws the light pattern M20 by the road surface drawing device 42.
  • the light pattern M20 is drawn toward the periphery of the vehicle 102.
  • the light pattern M20 is a light pattern for notifying a message of a pause to the surroundings.
  • the vehicle 1 acquires the CG image M44 of the light pattern M20 from the memory or the storage device 11 of the display control unit 40, and uses the HUD 43 to convert the CG image M44 of the light
  • a CG image showing a virtual object of the own vehicle 1 virtually viewed from above is displayed together with a CG image M44 of the light pattern M20.
  • the CG image of the light pattern is displayed on the HUD 43 as an image showing the light pattern viewed from above, but the CG image of the light pattern captured by the plurality of cameras 6 arranged around the vehicle is displayed.
  • the captured image may be displayed together with the CG image of the vehicle 1.
  • FIG. 9 is a block diagram of a vehicle system 502 according to the fifth embodiment.
  • the same members as those already described in the description of the first embodiment will be denoted by the same reference numerals, and description thereof will be omitted for convenience of description.
  • a vehicle system 502 includes a vehicle control unit 3, a vehicle display system 504 (hereinafter, simply referred to as a “display system 504”), a sensor 5, and a camera 6. , Radar 7. Further, the vehicle system 502 includes an HMI 8, a GPS 9, a wireless communication unit 10, and a storage device 11. Further, the vehicle system 502 includes a steering actuator 12, a steering device 13, a brake actuator 14, a brake device 15, an accelerator actuator 16, and an accelerator device 17.
  • the display system 504 of the fifth embodiment includes a display control unit 540, a lighting device 541, a road surface drawing device 542, a head-up display (HUD) 543, and a sound output device 544.
  • Display control unit 540 is an example of a determination unit.
  • the road surface drawing device 542 is an example of a first display device.
  • the HUD 543 is an example of the output unit and the second display device.
  • the sound output device 544 is an example of an output unit.
  • the illumination device 541 is configured to emit light toward the outside of the vehicle.
  • the lighting device 541 includes, for example, a head lamp and a position lamp provided at the front of the vehicle, a rear combination lamp provided at the rear of the vehicle, a turn signal lamp provided at the front or side of the vehicle, and a pedestrian or other vehicle. It is equipped with various lamps that notify the driver of the status of the vehicle.
  • the road surface drawing device 542 is configured to emit a light pattern toward a road surface outside the vehicle.
  • the road surface drawing device 542 includes, for example, a laser light source configured to emit laser light, an optical deflector configured to deflect laser light emitted from the laser light source, and an optical system member such as a lens. Is provided.
  • the road surface drawing device 542 is configured to draw light patterns M30 to M60 (see FIGS. 11A to 11D) on a road surface by scanning with a laser beam.
  • the number, location, and shape of the road surface drawing devices 542 are not particularly limited as long as the road surface drawing device 542 can draw a light pattern on the road surface.
  • the HUD 543 is installed at a predetermined location in the vehicle.
  • the HUD 543 is installed on a dashboard of a vehicle.
  • the location of the HUD 543 is not particularly limited.
  • the HUD 543 functions as a visual interface between the vehicle and the occupant.
  • the HUD 43 is configured to visually present information related to driving of the vehicle (for example, information related to automatic driving) and pedestrian information to the occupant.
  • the HUD 43 is configured to display information obtained by vehicle-to-vehicle communication between a vehicle and another vehicle and / or road-to-vehicle communication between the vehicle and infrastructure equipment (such as a traffic light).
  • the HUD 43 is configured to display information obtained from the sensor 5 and / or the camera 6.
  • the HUD 543 determines that the light pattern has been changed by the target object (pedestrian, other vehicle, etc.) based on an image obtained by imaging the light pattern emitted by the road surface drawing device 542. , And outputs a predetermined message to the occupant of the vehicle. The occupant of the vehicle can confirm the presence of the target by seeing the predetermined message displayed by the HUD 543.
  • the information displayed by the HUD 543 is visually presented to the occupant of the vehicle so as to be superimposed on the real space in front of the vehicle.
  • the HUD 543 functions as an AR display.
  • the HUD 543 includes an image generation unit and a transparent screen on which an image generated by the image generation unit is displayed.
  • the image generation unit may include, for example, a laser light source configured to emit a laser beam, and a light configured to deflect the laser beam emitted from the laser light source.
  • a deflecting device and an optical system member such as a lens are provided.
  • the HUD 543 may display the image generated by the image generation unit on the windshield of the vehicle instead of the transparent screen.
  • the display control unit 540 is configured to control the driving of the lighting device 541 and the driving of the road surface drawing device 542 and the HUD 543, similarly to the display control unit 40 of the first embodiment.
  • the display control unit 540 is configured by an electronic control unit (ECU), and is electrically connected to a power supply (not shown).
  • the electronic control unit includes a computer system (eg, SoC, etc.) including one or more processors and one or more memories, and an analog processing circuit including active elements such as transistors and passive elements.
  • the computer system of the display control unit 540 acquires captured image information of the light pattern captured by the camera 6 from the vehicle control unit 3 and changes the light pattern by the target based on the captured image information of the light pattern. It is determined whether or not it has been done. For example, when the display control unit 540 determines that the shape of the light pattern of the captured image is different from the shape of the reference light pattern, the display control unit 540 determines that the light pattern has changed due to the target object.
  • the computer system of the display control unit 540 specifies the image information (for example, character or graphic information) of a predetermined message displayed on the HUD 543, and then determines A signal indicating the specified image information is transmitted to a laser light source control circuit and an optical deflection device control circuit which are analog processing circuits.
  • the laser light source control circuit generates a control signal for controlling the driving of the laser light source based on the signal indicating the image information, and transmits the generated control signal to the laser light source of the HUD 543.
  • the optical deflecting device control circuit generates a control signal for controlling the driving of the optical deflecting device based on the signal indicating the image information, and transmits the generated control signal to the optical deflecting device of the HUD 543.
  • the computer system of the display control unit 540 may determine whether or not the light pattern has been changed by the target object based on the vehicle information in addition to the captured image information of the light pattern. Further, the computer system of the display control unit 540 calculates and compares the rate of change of the light pattern of the captured image before and after the lapse of the predetermined time with respect to the reference pattern, and based on the comparison result, a predetermined message displayed on the HUD 543. May be updated.
  • FIG. 10 is a flowchart for explaining an example of display control by the display control unit 540 according to the fifth embodiment of the present invention.
  • 11A to 11D are diagrams for explaining an example of the road surface drawing according to the fifth embodiment.
  • 11A to 11D show the light patterns M30, M40, M50, and M60 drawn on the vehicle 1 and the road surface when viewed from above.
  • FIGS. 12A and 12B are diagrams illustrating an example of a message displayed on the HUD according to the fifth embodiment.
  • the display control unit 540 emits light from an object (pedestrian, other vehicle, etc.) based on an image obtained by imaging the light pattern emitted by the road surface drawing device 542 with the camera 6. Determine whether the pattern has changed. Then, display control unit 540 causes HUD 543 to display a predetermined message according to the determination result.
  • step S21 the display control unit 540 controls the road surface drawing device 542 to emit a predetermined light pattern toward the road surface based on the surrounding environment information and the like acquired from the vehicle control unit 3.
  • I do. 11A to 11D show an example of a light pattern emitted toward a road surface around the vehicle 1.
  • FIG. 11A illustrates a light pattern M30 that continuously surrounds the entire vehicle 1.
  • These light patterns surrounding the entire vehicle 1 are used, for example, to notify a message of a stop or a start to the surroundings.
  • the light pattern emitted toward the road surface around the vehicle 1 is not limited to the light pattern surrounding the entire vehicle 1 as shown in FIGS. 11A to 11C.
  • a light pattern M60 drawn on the rear area of the vehicle 1 may be used.
  • the light pattern drawn in the rear area of the vehicle 1 is used, for example, to notify the surroundings of a backward message.
  • the light pattern drawn on the road surface is not limited to these examples.
  • step S22 the display control unit 540 acquires, from the vehicle control unit 3, image data obtained by imaging the light pattern drawn on the road surface with the camera 6.
  • step S23 the display control unit 540 determines whether or not the light pattern has been changed by the target object (pedestrian, other vehicle, or the like) based on the image data obtained by imaging with the camera 6. For example, when the light pattern is emitted toward a road surface around the vehicle, when the pedestrian approaches the vehicle, at least a part of the light pattern is blocked by at least a part of the pedestrian's body. Then, a part of the light pattern emitted on the road surface is irradiated on the body of the pedestrian. As a result, the shape of the light pattern of the captured image obtained by imaging with the camera 6 changes before and after the light pattern is blocked by the pedestrian.
  • the target object pedestrian, other vehicle, or the like
  • the display control unit 540 acquires the reference light pattern from the memory, and compares the shape of the light pattern of the image captured by the camera 6 with the shape of the reference light pattern. If the display control unit 540 determines that the shape of the light pattern of the image captured by the camera 6 is different from the shape of the reference light pattern, the display control unit 540 determines that the light pattern has changed due to the target object. Note that the reference light pattern is stored in the storage device 11 instead of the memory of the display control unit 540, and the display control unit 540 may acquire the reference light pattern via the vehicle control unit 3.
  • the reference light pattern may be, for example, a light pattern of a captured image obtained by irradiating each light pattern onto a test road surface before vehicle shipment and capturing an image. Further, a captured image of the light pattern that is first captured when a new light pattern is emitted may be used as the reference light pattern. Further, each time an image is captured by the camera 6, the image may be stored in the memory, and the light pattern of the captured image obtained immediately before may be used as the reference light pattern.
  • step S24 the display control unit 540 controls the HUD 543 to display a predetermined message. If it is determined in step S23 that the light pattern is not changed by the object (NO in step S23), the display control unit 540 returns to the control in step S22.
  • the message displayed in step S24 includes, for example, as shown in FIG. 12A, a CG image of a character (WARNING! Indicating a warning, and a character indicating the attribute and position of the object as object information (a pedestrian left slanting rear). ) CG image.
  • the message displayed on the HUD 543 is not limited to the configuration of the message 543a in FIG. 12A.
  • the message may be configured as the object information as a message 543b including a CG image indicating the host vehicle and the attributes and positions of the object. Further, the message may indicate only that the target is present in the region irradiated with the light pattern.
  • the message may be displayed on the HUD 543 until a predetermined time has elapsed. Further, the message may be hidden by an occupant's operation using the input unit of the HMI 8 or the like. In addition, the message continues to acquire the image data captured by the camera and determine the change in the light pattern, and display the message until the change in the light pattern due to the object stops (until the object blocking the light pattern moves away, etc.). May be.
  • the display control unit 540 determines whether or not the light pattern has been changed by the object based on the image obtained by capturing the light pattern emitted by the road surface drawing device 542 with the camera 6. Then, display control unit 540 controls HUD 543 such that a predetermined message is displayed to the occupant of the vehicle according to the determination result.
  • display control unit 540 controls HUD 543 such that a predetermined message is displayed to the occupant of the vehicle according to the determination result.
  • the occupant can recognize an object existing around the vehicle by a change in the light pattern. For example, in the case of a light pattern surrounding the periphery of the vehicle as shown in FIGS. 11A to 11C, the occupant can recognize that an object exists at a place where the light pattern changes. Further, as shown in FIG. 11D, in the case of a light pattern emitted to the rear area of the vehicle, it is possible to recognize an object existing in the rear area deviating from the viewing angle.
  • FIG. 13 is a flowchart illustrating an example of display control by the display control unit according to the sixth embodiment.
  • members having the same reference numerals as those already described in the description of the fifth embodiment will not be described for convenience of description.
  • the display control unit 540 compares the light pattern of the captured image obtained by capturing the light pattern emitted by the road surface drawing device 542 with the camera 6 and the reference light pattern, and compares the comparison result. It is determined whether or not the light pattern has been changed by the target object based on.
  • the display control unit 540 according to the sixth embodiment determines that the light pattern of the captured image obtained by capturing with the camera 6 is different from the reference light pattern based on the comparison result.
  • the display control unit 540 determines whether the cause is an object (pedestrian, another vehicle, or the like) or another cause. Then, the display control unit 540 determines whether or not the light pattern has changed depending on the object based on the determination result.
  • the vehicle information includes the traveling information of the vehicle and the surrounding environment information of the vehicle. The other cause is, for example, the shape of the road (unevenness, etc.).
  • the display control unit 540 determines that the light pattern of the captured image obtained by capturing with the camera 6 is different from the reference light pattern and that the vehicle is stopped. The case where it is determined that the light pattern has changed due to is described.
  • step S31 the display control unit 540 controls the road surface drawing device 542 to emit a predetermined light pattern toward the road surface based on the surrounding environment information and the like acquired from the vehicle control unit 3. I do. For example, a light pattern as shown in FIGS. 11A to 11D is drawn on a road surface.
  • step S32 the display control unit 540 acquires, from the vehicle control unit 3, image data obtained by imaging the light pattern drawn on the road surface with the camera 6.
  • step S33 the display control unit 540 determines whether the light pattern has changed based on the image data obtained by imaging with the camera 6. For example, the display control unit 540 acquires the reference light pattern from the memory, and compares the shape of the light pattern of the image captured by the camera 6 with the shape of the reference light pattern. When determining that the shape of the light pattern of the image captured by the camera 6 is different from the shape of the reference light pattern, the display control unit 540 determines that the light pattern has changed.
  • step S34 the display control unit 540 determines whether the vehicle is stopped. For example, the display control unit 540 obtains information about the vehicle from the vehicle control unit 3 and determines whether the vehicle is stopped when the light pattern changes. If the vehicle is stopped when the light pattern changes, the display control unit 540 determines in step S35 that the change in the light pattern is due to the object. Then, in step S36, the display control unit 540 controls the HUD 543 to display a predetermined message as shown in FIGS. 12A and 12B.
  • step S33 If it is determined in step S33 that the light pattern has not changed (NO in step S33), the display control unit 540 returns to the control in step S32. If it is determined in step S34 that the vehicle is not stopped (NO in step S34), the display control unit 540 determines that the change in the light pattern is not due to the target object but is caused by another cause, for example, Is determined to be due to the shape of the road and the like, and the control returns to step S32.
  • the display control unit 540 determines whether the light pattern has been changed by the object based on the image obtained by capturing the light pattern emitted by the road surface drawing device 542 by the camera 6 and the information on the vehicle. judge.
  • the light pattern drawn on the road surface changes depending not only on the object but also on the shape of the road. This makes it possible to more accurately determine whether the change in the light pattern is a change due to the target object.
  • step S34 it is determined whether the change in the light pattern is due to the target object based on whether or not the vehicle is stopped.
  • the present invention is not limited to this. For example, even while the vehicle is traveling, information about the surrounding environment of the vehicle (for example, road information) may be obtained, and it may be determined based on the road information whether the pattern change is due to an object.
  • FIG. 14 is a flowchart illustrating an example of display control by the display control unit according to the seventh embodiment.
  • members having the same reference numerals as those already described in the description of the first and sixth embodiments will not be described for convenience of description.
  • the display control unit 540 causes the HUD 543 to display a predetermined message when it is determined that the light pattern has changed due to an object (pedestrian, other vehicle, or the like).
  • the display control unit 540 according to the seventh embodiment displays a predetermined message on the HUD 543, updates the message based on the moving direction of the object, and displays the updated message on the HUD 543.
  • the display control unit 540 determines the moving direction of the target object based on the rate of change of the light pattern of the captured image with respect to the reference light pattern.
  • step S41 the display control unit 540 controls the road surface drawing device 542 to emit a predetermined light pattern toward the road surface based on the surrounding environment information and the like acquired from the vehicle control unit 3. I do.
  • step S42 the display control unit 540 acquires, from the vehicle control unit 3, image data obtained by capturing the light pattern drawn on the road surface with the camera 6.
  • step S43 the display control unit 540 determines whether or not the light pattern has been changed by the target object based on the image data obtained by imaging with the camera 6.
  • step S44 the display control unit 540 sets the HUD 543 to display, for example, a predetermined message as shown in FIGS. 12A and 12B. Control. If it is determined in step S43 that the light pattern has not changed (NO in step S43), the display control unit 540 returns to the control in step S42. Steps S41 to S44 are the same as steps S21 to S24 of the fifth embodiment except that the following additional processing is performed in step S43, and thus detailed description is omitted.
  • step S43 the display control unit 540 calculates a rate of change of the light pattern of the captured image with respect to the reference light pattern (hereinafter, referred to as a rate of change of the light pattern of the captured image), and performs display control.
  • the information is stored in the memory of the unit 540.
  • the change rate of the light pattern of the captured image may be stored in the storage device 11.
  • step S45 the display control unit 540 acquires, from the vehicle control unit 3, image data obtained by imaging the light pattern drawn on the road surface by the camera 6 after a predetermined time has elapsed.
  • step S46 the display control unit 540 calculates the rate of change of the light pattern of the captured image after the lapse of the predetermined time, and calculates the rate of change of the light pattern of the captured image after the lapse of the predetermined time and the memory of the display control unit 540. Are compared with each other in the ratio of change in the light pattern of the captured image before the lapse of the predetermined time stored in.
  • the display control unit 540 determines that the rate of change of the light pattern of the captured image after the lapse of the predetermined time is greater than the rate of change of the light pattern of the captured image before the lapse of the predetermined time (YES in step S46). It is determined that the object is approaching the vehicle.
  • step S47 the display control unit 540 causes the HUD 543 to update and display a message indicating that the object is approaching the message of the object information displayed on the HUD 543.
  • step S46 When it is determined in step S46 that the rate of change of the light pattern of the captured image after the lapse of the predetermined time is smaller or equal to the rate of change of the light pattern of the captured image before the lapse of the predetermined time (NO in step S46)
  • the display control unit 540 continuously displays the message of the object information displayed on the HUD 543 as it is.
  • step S46 when the display control unit 540 determines that the rate of change of the light pattern of the captured image after the lapse of the predetermined time is smaller than the rate of change of the light pattern of the captured image before the lapse of the predetermined time, A message to the effect that "the object moves away" may be updated and displayed on the HUD 543.
  • the display control unit 540 determines whether or not the light pattern has been changed by the object based on the image obtained by capturing the light pattern emitted by the road surface drawing device 542 with the camera 6. Then, display control unit 540 controls HUD 543 such that a predetermined message is displayed to the occupant of the vehicle according to the determination result.
  • display control unit 540 controls HUD 543 such that a predetermined message is displayed to the occupant of the vehicle according to the determination result.
  • the display control unit 540 calculates and compares the rate of change in the light pattern of the captured image captured before and after the predetermined time has elapsed. Then, display control unit 540 updates the message displayed on HUD 543 based on the comparison result. Thereby, the occupant of the vehicle can check the moving direction of the object.
  • the light pattern similarly to the fifth embodiment, it is determined whether or not the light pattern has been changed by the object based on an image obtained by imaging the light pattern emitted on the road surface with the camera 6.
  • the moving direction of the target object is determined based on the rate of change in the light pattern of the captured image before and after the lapse of the predetermined time.
  • the present invention is not limited to this.
  • the light pattern in front of, behind, or around the vehicle 1 has been described, but is not limited thereto.
  • a captured image or a CG image of the light pattern emitted to the left or right side of the vehicle can be displayed on the HUD.
  • an image indicating a light pattern viewed from above is displayed on the HUD, but the present invention is not limited to this.
  • the vehicle 1 includes a car navigation system (not shown)
  • an image indicating a light pattern viewed from above may be displayed on a screen of the car navigation system.
  • the vehicle display system 4 has a configuration capable of displaying both the captured image of the light pattern and the CG image, and the occupant of the vehicle 1 displays the occupant on the HUD 43 by the HMI 8.
  • the vehicle display system 4 may be configured to be able to display only one of the captured image of the light pattern and the CG image.
  • the vehicle 1 does not include the cameras 6L and 6R dedicated to light pattern imaging, and the vehicle display system 4 may be a system that displays only the CG image of the light pattern on the HUD 43.
  • the predetermined message is displayed on the HUD, but the present invention is not limited to this.
  • the vehicle includes a car navigation system (not shown)
  • an image indicating a predetermined message may be displayed on a screen of the car navigation system.
  • the predetermined message is visually displayed, but the present invention is not limited to this.
  • the predetermined message may be displayed audibly.
  • a predetermined notification sound may be output from a sound output device (for example, a speaker or the like) provided inside the vehicle.
  • the notification sound may be output from a speaker of the HUD or the car navigation system.
  • the display devices 40 and 540 common to the lighting devices 41 and 541, the road surface drawing devices 42 and 542, and the HUDs 43 and 543 are provided.
  • a separate display control unit may be provided.
  • the vehicle control unit 3 and the display control units 40 and 540 are provided as separate components, but the vehicle control unit 3 and the display control units 40 and 540 are integrated. It may be configured in a typical manner.
  • the display control units 40 and 540 and the vehicle control unit 3 may be configured by a single electronic control unit.
  • the vehicle display systems 4 and 504 have a configuration that also includes the vehicle control unit 3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車両に設けられた車両用表示システム（４）は、車両の外部の路面に向けて光パターンを出射するように構成された路面描画装置（４２）と、車両の内部に位置すると共に、上面から視た光パターンを示す画像を表示するように構成されたＨＵＤ（４３）と、を備える。

Description

車両用表示システム及び車両
　本開示は、車両用表示システム及び当該車両用表示システムを備えた車両に関する。
　路面上に図形や文字等の光パターンを照射（描画）することで、車両の情報を、運転者（乗員）自身または歩行者・対向車等の他者（対象物）に対して通知・警告する車両用表示システムが知られている（特許文献１）。路面に表示された光パターンにより歩行者等の対象物に向けて車両の情報を視覚的に提示することで、車両と対象物との間の視覚的コミュニケーションを実現することができる。
日本国特開２０１６－５５６９１号公報
　ところで、対象物に向けて光パターンを表示する場合には、対象物の視点を考慮した上で光パターンが路面上に表示される。
　乗員の視点と対象物の視点とは互いに異なるため、乗員から視認される光パターンの形状は、対象物から視認される光パターンの形状とは異なる場合がある。このため、乗員はどのような光パターンが対象物に対して提示されているのかを正確に認識できない場合がある。
　また、光パターンを表示することにより、対象物に対して車両の存在や車両の所定の動作の通知・警告を行っているが、対象物が光パターンに気付かない場合がある。対象物が乗員の視角から外れた領域に存在する場合には、乗員も対象物の存在を認識できず、別の方法による通知・警告を行うことができない場合がある。
　本開示は、車両と対象物との間の視覚的コミュニケーションを乗員が正確に認識することが可能な車両用表示システム及び当該車両用表示システムを備えた車両を提供することを目的の一つとする。
　また、本開示は、対象物の存在を比較的簡単な手法により乗員に提示することが可能な車両用表示システム及び当該車両用表示システムを備えた車両を提供することを目的の一つとする。
　本開示の一態様に係る車両用表示システムは、車両に設けられた車両用表示システムであって、
　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
　前記車両の内部に位置すると共に、上面から視た前記光パターンを示す画像を表示するように構成された第２表示装置と、を備える。
　上記構成によれば、第１表示装置は、路面に向けて光パターンを出射し、第２表示装置は、上面から視た光パターンを示す画像を表示する。このため、乗員は、路面に描画された光パターンの形状を正確に認識することができることが可能となる。このように、車両と対象物との間の視覚的コミュニケーションを乗員が正確に認識することが可能な車両用表示システムを提供することができる。
　また、前記上面から視た光パターンを示す画像は、前記車両に設けられた少なくとも一つのカメラにより前記光パターンを撮像することにより得られた画像でもよい。
　上記構成によれば、第２表示装置は、車両に設けられた少なくとも一つのカメラによって撮像された光パターンの画像を表示する。このため、乗員は、対象物に向けた光パターンの実際に表示された形状を認識することが可能となる。
　また、前記上面から視た光パターンを示す画像は、前記光パターンを仮想的に上面から視た仮想オブジェクトを示すコンピュータグラフィックス（ＣＧ）画像でもよい。
　上記構成によれば、第２表示装置は、光パターンを仮想的に上面から視た仮想オブジェクトを示すＣＧ画像を表示する。このため、乗員は、対象物に向けた光パターンの形状をＣＧ画像により容易に認識することが可能となる。
　また、前記第２表示装置は、前記車両を仮想的に上面から視た仮想オブジェクトを示すＣＧ画像を表示してもよい。
　上記構成によれば、第２表示装置は、上面から視た光パターンを示す画像と共に、車両を仮想的に上面から視た仮想オブジェクトを示すＣＧ画像を表示する。このため、乗員は、車両と光パターンとの位置関係を把握することが可能となる。
　また、前記光パターンは、前記車両の外部の対象物に向けた光パターンを含み、
　前記第２表示装置は、前記対象物の仮想オブジェクトを示すＣＧ画像を表示してもよい。
　上記構成によれば、第２表示装置は、上面から視た光パターンを示す画像と共に、対象物の仮想オブジェクトを示すＣＧ画像を表示する。このため、乗員は、対象物と光パターンとの位置関係や光パターンに対する対象物の視点方向を把握することが可能となる。
　また、上記車両用表示システムを備えた車両が提供されてよい。
　上記構成によれば、車両と対象物との間の視覚的コミュニケーションを乗員が正確に認識することが可能な車両用表示システムを提供することができる。
　また、本開示の一態様に係る車両用表示システムは、車両に設けられた車両用表示システムであって、
　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
　前記第１表示装置により出射された光パターンを撮像して得られた画像に基づいて、対象物により前記光パターンが変化したかどうかを判定するように構成された判定部と、
　前記判定部の判定結果に応じて、前記車両の乗員に向けて所定のメッセージを出力するように構成された出力部と、を備える。
　上記構成によれば、路面に向けて出射された光パターンが対象物により変化したかどうかの判定結果に応じて、乗員に向けて所定のメッセージを出力する。例えば、対象物の存在により光パターンが変化した場合には、乗員に対して対象物の存在を通知することが可能となる。このように、対象物の存在を比較的簡単な手法により乗員に提示することが可能な車両用表示システムを提供することができる。
　また、前記第１表示装置は、前記光パターンを前記車両の周辺の路面に向けて出射するように構成されてもよい。
　上記構成によれば、光パターンは、車両の周辺の路面に向けて出射される。このため、乗員は、車両の周辺に存在する対象物を光パターンの変化により認識することが可能となる。
　また、前記光パターンは、車両の周辺を囲む光パターンでもよい。
　上記構成によれば、車両の周囲に光パターンが出射される。このため、乗員は、光パターンの変化が生じた箇所に対象物が存在することを認識することが可能となる。
　また、前記光パターンは、車両の後方領域に出射される光パターンでもよい。
　上記構成によれば、車両の後方領域に光パターンが出射される。このため、乗員は、視角から外れた後方領域に存在する対象物を認識することが可能となる。
　また、前記出力部は、前記車両の内部に位置するとともに、前記車両の情報を表示するように構成された第２表示装置を備え、前記所定のメッセージは、前記第２表示装置に表示されてもよい。
　上記構成によれば、所定のメッセージが第２表示装置に表示される。このため、乗員は、所定のメッセージを視覚にて認識することが可能となる。
　また、前記出力部は、前記車両の内部に位置するとともに、所定の報知音を出力する音出力装置を備え、前記所定のメッセージは、前記音出力装置から報知音として出力されてもよい。
　上記構成によれば、所定のメッセージが音出力装置から報知音として出力される。このため、乗員は、所定のメッセージを聴覚で認識することが可能となる。
　また、前記第２表示装置は、前記所定のメッセージを報知音として出力するように構成されてもよい。
　上記構成によれば、第２表示装置は、所定のメッセージを報知音としても出力する。このため、乗員は、所定のメッセージを聴覚で認識することが可能となる。
　また、前記判定部は、前記第１表示装置により出射された光パターンを撮像して得られた画像および前記車両の情報に基づいて、前記対象物により前記光パターンが変化したかどうかを判定してもよい。
　上記構成によれば、判定部は、路面に向けて出射された光パターンの撮像画像と車両の情報とに基づいて、対象物により光パターンが変化したかどうかを判定する。これにより、例えば、対象物による光パターンの変化と対象物以外による光パターンの変化を区別することができる。このように、対象物の存在をより正確な手法により乗員に提示することが可能となる。
　また、前記判定部は、所定時間経過前に撮像して得られた前記光パターンの撮像画像に基づいて当該撮像画像の光パターンの参照用光パターンに対する変化の割合を算出し、所定時間経過後に撮像して得られた前記光パターンの画像に基づいて当該撮像画像の光パターンの前記参照用光パターンに対する変化の割合を算出し、前記所定時間経過前及び後に撮像された前記撮像画像の光パターンの前記参照用光パターンに対する前記変化の割合を比較し、
　前記出力部は、前記判定部の比較結果に応じて、前記車両の乗員に向けて所定のメッセージを更新して出力してもよい。
　上記構成によれば、所定時間経過前及び後に撮像された撮像画像の光パターンの参照用光パターンに対する変化の割合の比較結果に基づいて、所定のメッセージを更新して出力する。これにより、車両の乗員は、対象物の移動方向を確認することができる。
　また、上記車両用表示システムと、前記第１表示装置により出射された光パターンを撮像するように構成された少なくとも１つのカメラと、を備えた、車両が提供されてもよい。
　上記構成によれば、対象物の存在を比較的簡単な手法により乗員に提示することが可能な車両用表示システムを備えた車両を提供することができる。
　本開示によれば、車両と対象物との間の視覚的コミュニケーションを乗員が正確に認識することが可能な車両用表示システム及び当該車両用表示システムを備えた車両を提供することができる。
　また、本開示によれば、対象物の存在を比較的簡単な手法により乗員に提示することが可能な車両用表示システム及び当該車両用表示システムを備えた車両を提供することができる。
車両システムが搭載された車両の正面図である。 本発明の第一実施形態に係る車両システムのブロック図である。 第一実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。 第一実施形態に係る路面描画の一例を説明するための図である。 第一実施形態に係る路面描画された光パターンの撮像画像を表示するＨＵＤの一例を説明するための図である。 本発明の第二実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。 第二実施形態に係る路面描画された光パターンのＣＧ画像を表示するＨＵＤの一例を説明するための図である。 第二実施形態に係る路面描画された光パターンのＣＧ画像を表示するＨＵＤの他の例を説明するための図である。 本発明の第三実施形態に係る路面描画の一例を説明するための図である。 第三実施形態に係る路面描画された光パターンの撮像画像を表示するＨＵＤの一例を説明するための図である。 本発明の第四実施形態に係る路面描画の一例を説明するための図である。 第四実施形態に係る路面描画された光パターンのＣＧ画像を表示するＨＵＤの一例を説明するための図である。 本発明の第五実施形態に係る車両システムのブロック図である。 第五実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。 第五実施形態に係る路面描画の一例を説明するための図である。 第五実施形態に係る路面描画の一例を説明するための図である。 第五実施形態に係る路面描画の一例を説明するための図である。 第五実施形態に係る路面描画の一例を説明するための図である。 第五実施形態に係るＨＵＤに表示されたメッセージの一例を説明するための図である。 第五実施形態に係るＨＵＤに表示されたメッセージの一例を説明するための図である。 本発明の第六実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。 本発明の第七実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。
　以下、本発明の第一実施形態から第七実施形態について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
　本発明の第一実施形態から第七実施形態の説明では、説明の便宜上、「左右方向」、「上下方向」、「前後方向」について適宜言及する。これらの方向は、図１の車両１の乗員から視た相対的な方向である。ここで、「左右方向」は、「左方向」及び「右方向」を含む方向である。「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。左右方向は、上下方向に直交する方向である。前後方向は、左右方向及び上下方向に直交する方向である。
（第一実施形態）
　以下、本発明の第一実施形態（以下、第一実施形態という。）について図面を参照しながら説明する。
　最初に、図１及び図２を参照して、第一実施形態に係る車両システム２について以下に説明する。図１は、車両システム２が搭載された車両１の正面図である。図２は、第一実施形態に係る車両システム２のブロック図である。車両１は、自動運転モードで走行可能な車両（自動車）である。
　図２に示すように、車両システム２は、車両制御部３と、車両用表示システム４（以下、単に「表示システム４」という。）と、センサ５と、カメラ６と、レーダ７とを備える。さらに、車両システム２は、ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）８と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）９と、無線通信部１０と、記憶装置１１とを備える。さらに、車両システム２は、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備える。
　車両制御部３は、車両１の走行を制御するように構成されている。車両制御部３は、例えば、少なくとも一つの電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）及び／又はＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。メモリは、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。ＲＯＭには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能（ＡＩ）プログラムを含んでもよい。ＡＩプログラムは、多層のニューラルネットワークを用いた教師有り又は教師なし機械学習（特に、ディープラーニング）によって構築されたプログラムである。ＲＡＭには、車両制御プログラム、車両制御データ及び／又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。また、コンピュータシステムは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の非ノイマン型コンピュータによって構成されてもよい。さらに、コンピュータシステムは、ノイマン型コンピュータと非ノイマン型コンピュータの組み合わせによって構成されてもよい。
　センサ５は、加速度センサ、速度センサ及びジャイロセンサ等を備える。センサ５は、車両１の走行状態を検出して、走行状態情報を車両制御部３に出力するように構成されている。センサ５は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。
　カメラ６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラ６は、車両１の周辺環境を示す画像データを取得した上で、当該画像データを車両制御部３に送信するように構成されている。車両制御部３は、送信された画像データに基づいて、周辺環境情報を取得する。ここで、周辺環境情報は、車両１の外部に存在する対象物（歩行者、他車両、標識等）に関する情報を含んでもよい。例えば、周辺環境情報は、車両１の外部に存在する対象物の属性に関する情報と、車両１に対する対象物の距離や位置に関する情報とを含んでもよい。カメラ６は、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。
　また、カメラ６は、路面上に描画された光パターンを示す画像データを取得した上で、当該画像データを車両制御部３に送信するように構成されている。この光パターンを撮像するカメラとしては、専用のカメラを設けてもよいし、他の目的で使用されるカメラ（例えば、バックモニタ用カメラ、その他の車両の周辺環境を撮像するためのカメラ、等）を利用してもよい。第一実施形態では、カメラ６は、路面上に描画された光パターンを撮像する左側カメラ６Ｌと右側カメラ６Ｒとを備える。以降の説明では、左側カメラ６Ｌと右側カメラ６Ｒをカメラ６Ｌ，６Ｒまたは単にカメラ６という場合がある。尚、図１に示すように、カメラ６Ｌ，６Ｒは、車体ルーフ上において、前側の左右方向の両端部に配置されているが、カメラ６が路面上に描画された光パターンを撮像することが可能である限りにおいて、カメラ６の数、配置場所及び形状は特に限定されるものではない。例えば、カメラ６Ｌ，６Ｒは、車体ルーフよりも低い位置に配置されてもよい。カメラ６の数が１つである場合、車体ルーフ上の前側または後側における左右方向の真ん中に配置されてもよい。カメラ６の数が４つである場合、車体ルーフの四隅（左前隅、右前隅、左後隅および右後隅）にそれぞれ１つのカメラ６が搭載されてもよい。また、光パターン撮像専用のカメラ６Ｌ，６Ｒを別途設けずに、他の目的で使用されるカメラ（例えば、バックモニタ用カメラ、その他の車両１の周辺環境を撮像するためのカメラ、等）を利用してもよい。この場合、必要に応じて、撮像画像から光パターンの画像を抽出する画像処理等を行う。
　レーダ７は、ミリ波レーダ、マイクロ波レーダ及び／又はレーザーレーダ（例えば、ＬｉＤＡＲユニット）等である。例えば、ＬｉＤＡＲユニットは、車両１の周辺環境を検出するように構成されている。特に、ＬｉＤＡＲユニットは、車両１の周辺環境を示す３Ｄマッピングデータ（点群データ）を取得した上で、当該３Ｄマッピングデータを車両制御部３に送信するように構成されている。車両制御部３は、送信された３Ｄマッピングデータに基づいて、周辺環境情報を特定する。
　ＨＭＩ８は、運転者からの入力操作を受付ける入力部と、走行情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両１の運転モードを切替える運転モード切替スイッチ等を含む。入力部および出力部は、入力操作を受付可能であり乗員に向けて画像を表示可能であるタッチパネルを含んでいてもよい。ＧＰＳ９は、車両１の現在位置情報を取得し、当該取得された現在位置情報を車両制御部３に出力するように構成されている。現在位置情報は、車両１のＧＰＳ座標（緯度及び経度）を含む。
　無線通信部１０は、車両１の周囲にいる他車に関する情報（例えば、走行情報等）を他車から受信すると共に、車両１に関する情報（例えば、走行情報等）を他車に送信するように構成されている（車車間通信）。また、無線通信部１０は、信号機や標識灯等のインフラ設備からインフラ情報を受信すると共に、車両１の走行情報をインフラ設備に送信するように構成されている（路車間通信）。また、無線通信部１０は、歩行者が携帯する携帯型電子機器（スマートフォン、タブレット、ウェアラブルデバイス等）から歩行者に関する情報を受信すると共に、車両１の自車走行情報を携帯型電子機器に送信するように構成されている（歩車間通信）。車両１は、他車両、インフラ設備又は携帯型電子機器とアドホックモードにより直接的に通信してもよいし、アクセスポイントを介して通信してもよい。さらに、車両１は、インターネット等の通信ネットワークを介して他車両、インフラ設備又は携帯型電子機器と通信してもよい。無線通信規格は、例えば、Ｗｉ－Ｆｉ（登録商標），Ｂｌｕｅｔｏｏｔｈ（登録商標），ＺｉｇＢｅｅ（登録商標）、ＬＰＷＡ、ＤＳＲＣ（登録商標）又はＬｉ－Ｆｉである。また、車両１は、他車両、インフラ設備又は携帯型電子機器と第５世代移動通信システム（５Ｇ）を用いて通信してもよい。
　記憶装置１１は、ハードディスクドライブ（ＨＤＤ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の外部記憶装置である。記憶装置１１には、２Ｄ又は３Ｄの地図情報及び／又は車両制御プログラムが記憶されてもよい。例えば、３Ｄの地図情報は、点群データによって構成されてもよい。記憶装置１１は、車両制御部３からの要求に応じて、地図情報や車両制御プログラムを車両制御部３に出力するように構成されている。地図情報や車両制御プログラムは、無線通信部１０とインターネット等の通信ネットワークを介して更新されてもよい。
　第一実施形態の表示システム４は、表示制御部４０と、照明装置４１と、路面描画装置４２と、ヘッドアップディスプレイ（ＨＵＤ）４３と、を備える。路面描画装置４２は、第１表示装置の一例である。ＨＵＤ４３は、第２表示装置の一例である。
　照明装置４１は、車両１の外部に向けて光を出射するように構成されている。照明装置４１は、左側ヘッドランプ２０Ｌと、右側ヘッドランプ２０Ｒとを備える。照明装置４１は、ヘッドランプ２０Ｌ、２０Ｒの他に、車両１の前部に設けられるポジションランプ、車両１の後部に設けられるリアコンビネーションランプ、車両の前部または側部に設けられるターンシグナルランプ、歩行者や他車両のドライバーに自車両の状況を知らせる各種ランプなどを備えてもよい。
　路面描画装置４２は、車両１の外部の路面に向けて光パターンを出射するように構成されている。路面描画装置４２は、二つの路面描画装置（左側路面描画装置４２Ｌおよび右側路面描画装置４２Ｒ）を備える。図１に示すように、左側路面描画装置４２Ｌは、左側ヘッドランプ２０Ｌに搭載され、右側路面描画装置４２Ｒは、右側ヘッドランプ２０Ｒ内に搭載されている。以降の説明では、左側路面描画装置４２Ｌおよび右側路面描画装置４２Ｒを路面描画装置４２Ｌ、４２Ｒまたは単に路面描画装置４２という場合がある。
　路面描画装置４２は、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。レーザ光源は、例えば、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光偏向装置は、例えば、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）ミラー、ガルバノミラー、ポリゴンミラー等である。路面描画装置４２は、レーザ光を走査することで光パターンＭ０（図４Ａ参照）を路面上に描画するように構成されている。レーザ光源がＲＧＢレーザ光源である場合、路面描画装置４２は、様々な色の光パターンを路面上に描画することが可能となる。路面描画装置４２Ｌ、４２Ｒは、それぞれ別の光パターンを路面上に描画してもよいし、それぞれの光パターンを合成することにより１つの光パターンを路面上に描画してもよい。
　尚、第一実施形態では、路面描画装置４２は、ヘッドランプ２０Ｌ、２０Ｒ内に搭載された路面描画装置４２Ｌ、４２Ｒを備えているが、路面描画装置４２が路面上に光パターンを描画することが可能である限りにおいて、路面描画装置４２の数、配置場所及び形状は特に限定されるものではない。例えば、路面描画装置４２Ｌ、４２Ｒは、ヘッドランプの近傍に配置されてもよい。また、路面描画装置４２Ｌ、４２Ｒは、左側リアコンビネーションランプ（図示せず）および右側リアコンビネーションランプ（図示せず）内またはそれらの近傍に搭載されてもよい。路面描画装置４２の数が１つである場合、車体ルーフ上の前側または後側における左右方向の真ん中に配置されてもよい。路面描画装置４２の数が４つである場合、左側ヘッドランプ２０Ｌ、右側ヘッドランプ２０Ｒ、左側リアコンビネーションランプ（図示せず）及び右側リアコンビネーションランプ（図示せず）内またはそれらの近傍にそれぞれ１つの路面描画装置４２が搭載されてもよい。
　路面描画装置４２の描画方式は、ＤＬＰ（Ｄｉｇｉｔａｌ　Ｌｉｇｈｔ　Ｐｒｏｃｅｓｓｉｎｇ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　ｏｎ　Ｓｉｌｉｃｏｎ）方式であってもよい。この場合、光源としてレーザの代わりにＬＥＤが使用される。
　ＨＵＤ４３は、車両１の車内の所定箇所に設置されている。例えば、図４Ｂに示すように、ＨＵＤ４３は、車両１のダッシュボード上に設置されている。尚、ＨＵＤ４３の設置個所については特に限定されない。ＨＵＤ４３は、車両１と乗員との間の視覚的インターフェースとして機能する。特に、ＨＵＤ４３は、車両１の運転に係る情報（例えば、自動運転に関連する情報等）や歩行者情報を乗員に視覚的に提示するように構成されている。例えば、ＨＵＤ４３は、車両１と他車両との間の車車間通信及び／又は車両１とインフラ設備（信号機等）との間の路車間通信によって得られた情報を表示するように構成されている。この点において、ＨＵＤ４３は、他車両及び／又はインフラ設備から送信されたメッセージを表示するように構成されている。車両１の乗員は、ＨＵＤ４３によって表示されたメッセージを見ることで、他車両の意図等を把握することができる。また、例えば、ＨＵＤ４３は、センサ５及び／又はカメラ６から得られた情報を表示するように構成されている。車両１の乗員は、ＨＵＤ４３によって表示されたメッセージを見ることで、車両１の走行状態及び／又は歩行者情報等を把握することができる。
　ＨＵＤ４３は、路面描画装置４２により路面上に描画された光パターンを上面から視た画像を乗員に視覚的に提示するように構成されている。車両１の乗員は、ＨＵＤ４３によって表示された光パターンの画像を見ることで、対象物に向けて描画された光パターンの形状を正確に（例えば対象物の視点から）認識することができる。
　例えば、ＨＵＤ４３は、車両１に設けられた少なくとも一つのカメラ６（本実施形態では、カメラ６Ｌ，６Ｒ）により光パターンを撮像することにより得られた画像を表示するように構成されている。車両１の乗員は、ＨＵＤ４３によって表示された光パターンの撮像画像を見ることで、対象物に向けた光パターンの実際に表示された形状を認識することができる。
　例えば、ＨＵＤ４３は、路面描画装置４２により描画される光パターンを仮想的に上面から視た仮想オブジェクトを示すコンピュータグラフィックス（ＣＧ）画像を表示するように構成されている。以降の説明では、光パターンを仮想的に上面から視た仮想オブジェクトを示すコンピュータグラフィックス（ＣＧ）画像を単に光パターンのＣＧ画像という場合がある。車両１の乗員は、ＨＵＤ４３によって表示された光パターンのＣＧ画像を見ることで、対象物に向けた光パターンの形状をＣＧ画像により容易に認識することが可能となる。
　ＨＵＤ４３は、光パターンの撮像画像またはＣＧ画像と共に、車両１を仮想的に上面から視た仮想オブジェクトを示すＣＧ画像や対象物（歩行者や他車両）の仮想オブジェクトを示すＣＧ画像を表示するように構成されてもよい。車両１の乗員は、車両１又は対象物と光パターンとの位置関係や光パターンに対する対象物の視点方向を把握することができる。以降の説明では、車両１を仮想的に上面から視た仮想オブジェクトを示すＣＧ画像および対象物の仮想オブジェクトを示すＣＧ画像を単に車両のＣＧ画像および対象物のＣＧ画像という場合がある。
　ＨＵＤ４３によって表示された情報は、車両１の前方の現実空間に重畳されるように車両１の乗員に視覚的に提示される。このように、ＨＵＤ４３は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）ディスプレイとして機能する。
　ＨＵＤ４３は、画像生成ユニットと、画像生成ユニットにより生成された画像が表示される透明スクリーンとを備える。ＨＵＤ４３の描画方式がレーザプロジェクタ方式である場合、画像生成ユニットは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。レーザ光源は、例えば、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光偏向装置は、例えば、ＭＥＭＳミラーである。尚、ＨＵＤ４３の描画方式は、ＤＬＰ（Ｄｉｇｉｔａｌ　Ｌｉｇｈｔ　Ｐｒｏｃｅｓｓｉｎｇ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　ｏｎ　Ｓｉｌｉｃｏｎ）方式であってもよい。この場合、光源としてレーザの代わりにＬＥＤが使用される。
　ＨＵＤ４３は、透明スクリーンを備えなくてもよい。この場合、画像生成ユニットにより生成された画像は、車両１のフロントガラス１００上に表示されてもよい。
　表示制御部４０は、照明装置４１の駆動を制御するように構成されている。例えば、表示制御部４０は、車両１に関連した情報又は車両１の周辺環境に関連した情報に基づいて、所定の光を出射するように照明装置４１を制御する。また、表示制御部４０は、路面描画装置４２及びＨＵＤ４３の駆動を制御するように構成されている。例えば、表示制御部４０は、車両１に関連した情報又は車両１の周辺環境に関連した情報に基づいて、対象物（他車両または歩行者）に向けて所定の光パターンが提示されるように路面描画装置４２を制御する。また、表示制御部４０は、車両１に関連した情報又は車両１の周辺環境に関連した情報に基づいて、乗員に向けて所定の情報が提示されるようにＨＵＤ４３を制御する。
　表示制御部４０は、電子制御ユニット（ＥＣＵ）により構成されており、図示しない電源に電気的に接続されている。電子制御ユニットは、１以上のプロセッサ及び１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成されるアナログ処理回路とを含む。アナログ処理回路は、照明装置４１のランプの駆動を制御するように構成されたランプ駆動回路（例えば、ＬＥＤドライバ等）を備える。また、アナログ処理回路は、路面描画装置４２のレーザ光源の駆動を制御するように構成された第１レーザ光源制御回路と、路面描画装置４２の光偏向装置の駆動を制御するように構成された第１光偏向装置制御回路とを含む。また、アナログ処理回路は、ＨＵＤ４３のレーザ光源の駆動を制御するように構成された第２レーザ光源制御回路と、ＨＵＤ４３の光偏向装置の駆動を制御するように構成された第２光偏向装置制御回路とを含む。プロセッサは、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ及び／又はＴＰＵである。メモリは、ＲＯＭと、ＲＡＭを含む。また、コンピュータシステムは、ＡＳＩＣやＦＰＧＡ等の非ノイマン型コンピュータによって構成されてもよい。
　例えば、表示制御部４０のコンピュータシステムは、車両制御部３から送信された指示信号に基づいて、車両１の外部に照射される光パターンを特定した上で、当該特定された光パターンを示す信号を第１レーザ光源制御回路及び第１光偏向装置制御回路に送信する。第１レーザ光源制御回路は、光パターンを示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号を路面描画装置４２のレーザ光源に送信する。一方、第１光偏向装置制御回路は、光パターンを示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号を路面描画装置４２の光偏向装置に送信する。このようにして、表示制御部４０は、路面描画装置４２の駆動を制御することができる。
　また、表示制御部４０のコンピュータシステムは、車両制御部３から送信された指示信号に基づいて、ＨＵＤ４３に表示される画像情報（例えば、文字や図形の情報）を特定した上で、当該特定された画像情報を示す信号を第２レーザ光源制御回路及び第２光偏向装置制御回路に送信する。第２レーザ光源制御回路は、画像情報を示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３のレーザ光源に送信する。一方、第２光偏向装置制御回路は、画像情報を示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３の光偏向装置に送信する。このようにして、表示制御部４０は、ＨＵＤ４３の駆動を制御することができる。
　また、表示制御部４０のコンピュータシステムは、上記の特定された光パターンを示す信号を第１レーザ光源制御回路及び第１光偏向装置制御回路に送信した後、車両制御部３からカメラ６により撮像された光パターンの撮像画像情報を取得し、当該光パターンの撮像画像情報を示す信号を第２レーザ光源制御回路及び第２光偏向装置制御回路に送信する。第２レーザ光源制御回路は、光パターンの撮像画像情報を示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３のレーザ光源に送信する。一方、第２光偏向装置制御回路は、光パターンの撮像画像情報を示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３の光偏向装置に送信する。
　また、表示制御部４０のコンピュータシステムは、上記の特定された光パターンを示す信号を第１レーザ光源制御回路及び第１光偏向装置制御回路に送信すると同時に又は送信した後、当該光パターンのＣＧ画像情報をメモリから取得し、光パターンのＣＧ画像情報を示す信号を第２レーザ光源制御回路及び第２光偏向装置制御回路に送信する。第２レーザ光源制御回路は、光パターンのＣＧ画像情報を示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３のレーザ光源に送信する。一方、第２光偏向装置制御回路は、光パターンのＣＧ画像情報を示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ４３の光偏向装置に送信する。尚、ＣＧ画像情報は、表示制御部４０のメモリではなく、記憶装置１１に記憶されており、表示制御部４０は当該ＣＧ画像情報を車両制御部３経由で取得してもよい。
　車両１は、自動運転モードと手動運転モードで走行可能である。車両制御部３は、自動運転モードと手動運転モードとを選択的に実行可能である。
　自動運転モードにおいて、車両制御部３は、車両１の外部の情報を取得する外部センサ（カメラ６、レーダ７、ＧＰＳ９、無線通信部１０、等の少なくとも一つ）の出力に応じてステアリング制御信号、アクセル制御信号及びブレーキ制御信号を自動的に生成する。車両制御部３は、ユーザが操作可能な操作子の変位を検出するセンサ５の出力と無関係に、外部センサの出力に応じてステアリング制御信号、アクセル制御信号及びブレーキ制御信号を自動的に生成する。
　例えば自動運転モードにおいて車両制御部３は、カメラ６が取得した車両１の前方の周辺環境情報や、ＧＰＳ９の現在位置情報と記憶装置１１に記憶された地図情報等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を自動的に生成する。自動運転モードにおいて、車両１はユーザによらずに運転される。
　手動運転モードにおいて、車両制御部３は通常時に、外部センサの出力と無関係にステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。すなわち、手動運転モードにおいて、車両制御部３は通常時に、外部センサの出力と無関係に、ユーザのステアリングホイールの操作に基づいてステアリング制御信号を生成する。車両制御部３は通常時に、外部センサの出力と無関係に、ユーザのアクセルペダルの操作に基づいてアクセル制御信号を生成する。車両制御部３は、外部センサの出力と無関係に、ユーザのブレーキペダルの操作に基づいてブレーキ制御信号を生成する。手動運転モードにおいて、車両１は通常時はユーザにより運転される。
　尚、手動運転モードにおいて車両制御部３は、例えばセンサ５である車輪速センサの出力に応じてブレーキ制御信号を制御するアンチロックブレーキ制御を実行してもよい。また、手動運転モードにおいて車両制御部３は、センサ５である操舵角センサ、車輪速センサやヨーレートセンサの出力に応じてステアリング制御信号やアクセル制御信号、ブレーキ制御信号の少なくとも一つを制御する横滑り防止制御（Ｅｌｅｃｔｒｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、トラクション制御などを実行してもよい。
　あるいは手動運転モードにおいて車両制御部３は緊急時に、カメラ６などの外部センサの出力に応じてステアリング制御信号とブレーキ制御信号を生成するプリクラッシュ制御や衝突回避制御を実行してもよい。このように手動運転モードにおいて車両制御部３は緊急時には、外部センサの出力に応じてステアリング制御信号、アクセル制御信号及びブレーキ制御信号の少なくとも一つを生成してもよい。
　手動運転モードにおいて、通常時にステアリング制御信号、アクセル制御信号及びブレーキ制御信号が生成されるトリガーは、ユーザの操作するステアリングホイール、アクセルペダル、ブレーキペダルといった操作子の変位である。手動運転モードにおいて車両制御部３は通常時に、操作子の変位により生成されたステアリング制御信号、アクセル制御信号及びブレーキ制御信号といった信号をセンサ５や外部センサの出力に応じて制御（加工）してもよい。本実施形態において、ユーザの運転をセンサ５や外部センサの出力に応じてアシストするいわゆるアシスト運転モードは、手動運転モードの一形態である。
　２０１８年現在で知られている自動運転モードのレベル０～５の定義に従えば、本実施形態の自動運転モードはレベル３～５（緊急時等を除く）に該当し、本実施形態の手動運転モードはレベル０～２に該当する。
　次に、第一実施形態に係る表示制御部４０の表示制御の一例について図３から図４Ｂを主に参照して説明する。図３は、第一実施形態に係る表示制御部４０による表示制御の一例を説明するためのフローチャートである。図４Ａは、第一実施形態に係る路面描画の一例を説明するための図である。図４Ａは、路面（歩行者１０１、光パターンＭ０、車両１を含む）を上方から視た一例を示している。図４Ｂは、第一実施形態に係る路面描画された光パターンの撮像画像を表示するＨＵＤの一例を説明するための図である。
　第一実施形態に係る表示制御部４０は、路面描画装置４２に路面に向けて光パターンを出射させ、カメラ６により該光パターンを撮像することにより得られた画像をＨＵＤ４３に表示させる。
　図３に示すように、ステップＳ１において、表示制御部４０は、車両制御部３から取得した周辺環境情報等に基づいて、所定の光パターンを出射するよう路面描画装置４２を制御する。次に、ステップＳ２において、表示制御部４０は、車両制御部３から、路面描画装置４２により描画された光パターンをカメラ６により撮像して得られた画像データを取得する。ステップＳ３において、表示制御部４０は、光パターンの撮像画像を表示するようにＨＵＤ４３を制御する。
　例えば、図４Ａに示すように、車両１は、路面描画装置４２により光パターンＭ０を描画している。光パターンＭ０は、前方左側から近づいてくる歩行者１０１に向けて描画された「とまれ」のメッセージを示す光パターンである。本実施形態では、図４Ｂに示すように、車両１は、カメラ６により光パターンＭ０を撮像し、ＨＵＤ４３により光パターンＭ０の撮像画像Ｍ２を車両１の乗員に向けて表示する。尚、図４Ｂでは、車両１の乗員の方向に合わせて、カメラ６の撮像画像を９０度回転させた状態でＨＵＤ４３に表示させている。このように車両１の乗員の方向に合わせてカメラ６の撮像画像データを所定の角度だけ回転させることにより、車両１の乗員が対象物（歩行者１０１）が見る方向と同じ方向で光パターンを確認でき、光パターンの内容を容易に把握することができる。尚、カメラ６の撮像画像をそのままの方向でＨＵＤ４３に表示させてもよい。
　また、図４Ｂでは、光パターンＭ０の撮像画像Ｍ２の他に、歩行者情報Ｍ１をＨＵＤ４３に表示させている。歩行者情報Ｍ１は、歩行者１０１の進行方向を示す左向き矢印、歩行者１０１を示すマーク、自車両１から歩行者１０１までの距離を示す文字の組み合わせからなるＣＧ画像である。このように、対象物（例えば、歩行者）情報も一緒に表示することにより、車両１の乗員は、対象物までの距離、対象物の進行方向、対象物の属性（他車両または歩行者）等を把握することができる。尚、歩行者情報Ｍ１の構成は図４Ｂの構成に限定されない。また、歩行者情報Ｍ１はＨＵＤ４３に表示させなくてもよい。歩行者情報Ｍ１は、表示制御部４０のメモリまたは記憶装置１１に記憶されており、表示制御部４０は、カメラ６やセンサ５（ＬｉＤＡＲ等）で検出した対象物の位置等の情報に基づいて、対象物情報をＨＵＤ４３に表示させる。尚、歩行者情報の代わりに後述する自車両情報をＨＵＤ４３に表示させてもよい。
　このように、表示制御部４０は、路面描画装置４２に路面に向けて光パターンを出射させ、上面から視た光パターンを示す画像をＨＵＤ４３に表示させる。このため、車両１の乗員は、対象物に向けた光パターンの形状を対象物の視点から認識することができる。このように、車両と対象物との間の視覚的コミュニケーションを乗員が正確に認識することができる。
　また、表示制御部４０は、上面から視た光パターンを示す画像として、少なくとも一つのカメラ６により撮像された光パターンの画像データを車両制御部３から取得する。このため、車両１の乗員は、対象物に向けた光パターンの実際に表示された形状を認識することができる。
　また、表示制御部４０は、光パターンの撮像画像と共に、対象物の仮想オブジェクトを示すＣＧ画像を表示する。このため、車両１の乗員は、対象物の属性、対象物の進行方向、対象物までの距離等を把握することが可能となる。
（第二実施形態）
　次に、本発明の第二実施形態（以下、第二実施形態という。）に係る表示制御部４０の表示制御の一例について図５から図６Ｂを主に参照して説明する。図５は、本発明の第二実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。図６Ａは、第二実施形態に係る路面描画された光パターンのＣＧ画像を表示するＨＵＤの一例を説明するための図である。図６Ｂは、第二実施形態に係る路面描画された光パターンのＣＧ画像を表示するＨＵＤの他の例を説明するための図である。尚、第二実施形態の説明では、第一実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。
　第一実施形態に係る表示制御部４０は、カメラ６により撮像された光パターンの画像をＨＵＤ４３に表示させる。これに対して、第二実施形態に係る表示制御部４０は、路面上に描画された光パターンを仮想的に上面から視た仮想オブジェクトを示すＣＧ画像をＨＵＤ４３に表示させる。尚、車両１の乗員は、ＨＭＩ８を介して、ＨＵＤ４３に表示させる上面から視た光パターンの画像として撮像画像およびＣＧ画像のいずれか一方を選択することができる。例えば、ＨＭＩ８の入力部は、撮像画像およびＣＧ画像のいずれか一方を選択する光パターン画像選択スイッチを含む。
　図５に示すように、ステップＳ１１において、表示制御部４０は、車両制御部３から取得した周辺環境情報等に基づいて、所定の光パターンを出射するよう路面描画装置４２を制御する。次に、ステップＳ１２において、表示制御部４０は、路面描画装置４２により描画されている光パターンを仮想的に上面から視た仮想オブジェクトを示すＣＧ画像を表示するようにＨＵＤ４３を制御する。路面描画装置４２に描画される光パターンを仮想的に上面から視た仮想オブジェクトを示すＣＧ画像は、表示制御部４０のメモリまたは記憶装置１１に記憶されている。表示制御部４０は、路面描画装置４２により描画させた光パターンのＣＧ画像をメモリまたは記憶装置１１から取得し、ＨＵＤ４３に表示させる。
　例えば、図４Ａに示すように、車両１は、路面描画装置４２により光パターンＭ０を描画している。光パターンＭ０は、前方左側から近づいてくる歩行者１０１に向けて描画された「とまれ」のメッセージを示す光パターンである。本実施形態では、図６Ａに示すように、車両１は、光パターンＭ０のＣＧ画像Ｍ１１を表示制御部４０のメモリまたは記憶装置１１から取得し、ＨＵＤ４３により光パターンＭ０のＣＧ画像Ｍ１１を車両１の乗員に向けて表示する。尚、図６Ａでは、車両１の乗員の方向に合わせて、ＣＧ画像Ｍ１１の向きを調整して表示しているが、これに限定されない。また、図６Ａでは、光パターンＭ０のＣＧ画像Ｍ１１の他に、歩行者情報Ｍ１２をＨＵＤ４３に表示させている。歩行者情報Ｍ１２は、歩行者１０１を仮想的に上面から見た仮想オブジェクトを示すＣＧ画像と自車両１から歩行者１０１までの距離の文字のＣＧ画像からなる。歩行者１０１のＣＧ画像は、歩行者がＣＧ画像Ｍ１１の光パターンの方へ向いている状態を示している。このように、対象物（歩行者）情報も一緒に表示することにより、車両１の乗員は、対象物までの距離、対象物と光パターンとの位置関係、対象物の属性（他車両または歩行者）、光パターンに対する対象物の視点方向等を把握することができる。尚、歩行者情報Ｍ１２の構成は図６Ａの構成に限定されない。また、歩行者情報Ｍ１２はＨＵＤ４３に表示させなくてもよい。例えば、図６Ｂに示すように、光パターンＭ０のＣＧ画像Ｍ２１と共に、自車両情報Ｍ２２を表示してもよい。自車両情報Ｍ２２は、自車両１を仮想的に上面から見た仮想オブジェクトを示すＣＧ画像と、自車両１から光パターンＭ０までの距離および方向を示す文字及び矢印のＣＧ画像からなる。尚、自車両情報Ｍ２２は図６Ｂの構成に限定されない。歩行者情報Ｍ１２や自車両情報Ｍ２２は、表示制御部４０のメモリまたは記憶装置１１に記憶されており、表示制御部４０は、カメラ６やセンサ５（ＬｉＤＡＲ等）で検出した対象物や光パターンの位置等の情報に基づいて、歩行者情報や自車両情報をＨＵＤ４３に表示させる。
　このように、表示制御部４０は、路面描画装置４２に路面に向けて光パターンを出射させ、上面から視た光パターンを示す画像をＨＵＤ４３に表示させる。このため、車両１の乗員は、対象物に向けた光パターンの形状を対象物の視点から認識することができる。このように、車両と対象物との間の視覚的コミュニケーションを乗員が正確に認識することができる。
　また、表示制御部４０は、上面から視た光パターンを示す画像として、光パターンを仮想的に上面から視た仮想オブジェクトを示すＣＧ画像をメモリまたは記憶装置１１から取得する。このため、車両１の乗員は、対象物に向けた光パターンの形状をＣＧ画像により容易に認識することができる。
　また、表示制御部４０は、光パターンのＣＧ画像と共に、車両１や対象物の仮想オブジェクトを示すＣＧ画像を表示する。このため、車両１の乗員は、対象物または光パターンまでの距離等を把握することが可能となる。
（第三実施形態）
　次に、本発明の第三実施形態（以下、第三実施形態という。）に係る表示制御部４０の表示制御の一例について図７Ａおよび図７Ｂを主に参照して説明する。図７Ａは、第三実施形態に係る路面描画の一例を説明するための図である。図７Ａは、路面（車両１、光パターンＭ１０、後続の車両１０２を含む）を上方から視た一例を示している。図７Ｂは、第三実施形態に係る路面描画された光パターンの撮像画像を表示するＨＵＤの一例を説明するための図である。尚、第三実施形態の説明では、第一、第二実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、表示制御部４０の表示制御フローは、第一実施形態と同じであるため、その説明は省略する。
　第一、第二実施形態に係る表示制御部４０は、車両１の前側に配置された路面描画装置４２により車両１の前方の路面に向けて出射された光パターンの撮像画像またはＣＧ画像をＨＵＤ４３に表示させる。これに対して、第三実施形態に係る表示制御部４０は、車両１の後方の路面に向けて出射された光パターンの撮像画像をＨＵＤ４３に表示させる。
　例えば、図７Ａに示すように、車両１は、路面描画装置４２により光パターンＭ１０を描画している。光パターンＭ１０は、後続の車両１０２に向けて描画された「減速中」のメッセージを示す光パターンである。本実施形態では、図７Ｂに示すように、車両１は、カメラ６により光パターンＭ１０を撮像し、ＨＵＤ４３により光パターンＭ１０の撮像画像Ｍ３２を車両１の乗員に向けて表示する。尚、光パターンＭ１０の撮像画像Ｍ３２の他に、自車両情報および対象物情報として自車両１のＣＧ画像Ｍ３１および後続車１０２のＣＧ画像Ｍ３３をＨＵＤ４３に表示させている。自車両１のＣＧ画像Ｍ３１および後続車１０２のＣＧ画像Ｍ３３は、それぞれ上面から視た仮想オブジェクトを示すＣＧ画像である。このように、自車両１や後続車１０２のＣＧ画像も一緒に表示することにより、車両１の乗員は、自車両１や後続車１０２と光パターンとの位置関係等を把握することができる。尚、自車両情報および対象物情報は図７Ｂの構成に限定されない。また、自車両情報および対象物情報は表示させなくてもよい。対象物情報や自車両情報は、表示制御部４０のメモリまたは記憶装置１１に記憶されており、表示制御部４０は、カメラ６やセンサ５（ＬｉＤＡＲ等）で検出した対象物や光パターンの位置等の情報に基づいて、対象物情報や自車両情報をＨＵＤ４３に表示させる。
　尚、第三実施形態では、上面から視た光パターンを示す画像として、カメラ６により撮像した光パターンの撮像画像をＨＵＤ４３に表示しているが、第二実施形態のように光パターンのＣＧ画像を表示させてもよい。
（第四実施形態）
　次に、本発明の第四実施形態（以下、第四実施形態という。）に係る表示制御部４０の表示制御の一例について図８Ａおよび図８Ｂを主に参照して説明する。図８Ａは、第四実施形態に係る路面描画の一例を説明するための図である。図８Ａは、路面（車両１、光パターンＭ２０を含む）を上方から視た一例を示している。図８Ｂは、第四実施形態に係る路面描画された光パターンのＣＧ画像を表示するＨＵＤの一例を説明するための図である。尚、第四実施形態の説明では、第一から第三実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、表示制御部４０の表示制御フローは、第二実施形態と同じであるため、その説明は省略する。
　第一から三実施形態に係る表示制御部４０は、車両１の前方または後方の路面に向けて出射された光パターンの撮像画像またはＣＧ画像をＨＵＤ４３に表示させる。これに対して、第四実施形態に係る表示制御部４０は、車両１近傍付近の路面に向けて出射された光パターンのＣＧ画像をＨＵＤ４３に表示させる。
　例えば、図８Ａに示すように、車両１は、路面描画装置４２により光パターンＭ２０を描画している。光パターンＭ２０は、車両１０２の周囲に向けて描画されている。例えば、光パターンＭ２０は、一時停止のメッセージを周囲に知らせるための光パターンである。第四実施形態では、車両１は、図８Ｂに示すように、光パターンＭ２０のＣＧ画像Ｍ４４を表示制御部４０のメモリまたは記憶装置１１から取得し、ＨＵＤ４３により光パターンＭ２０のＣＧ画像Ｍ４４を車両１の乗員に向けて表示する。図８Ｂでは、光パターンＭ２０のＣＧ画像Ｍ４４と共に自車両１を仮想的に上面から見た仮想オブジェクトを示すＣＧ画像を表示している。このように、自車両情報も一緒に表示することにより、車両１の乗員は、自車両と光パターンとの位置関係等を把握することができる。
　尚、第四実施形態では、上面から視た光パターンを示す画像として、光パターンのＣＧ画像をＨＵＤ４３に表示しているが、車両の周囲に配置された複数のカメラ６により撮像した光パターンの撮像画像を、自車両１のＣＧ画像と共に表示させてもよい。
（第五実施形態）
　次に、本発明の第五実施形態（以下、第五実施形態という。）に係る車両システム５０２の一例について図９を参照して説明する。図９は、第五実施形態に係る車両システム５０２のブロック図である。尚、第五実施形態の説明では、第一実施形態の説明において既に説明された部材と同一の部材については同一の参照番号を付し、説明の便宜上、その説明は省略する。
　図９に示すように、第五実施形態に係る車両システム５０２は、車両制御部３と、車両用表示システム５０４（以下、単に「表示システム５０４」という。）と、センサ５と、カメラ６と、レーダ７とを備える。さらに、車両システム５０２は、ＨＭＩ８と、ＧＰＳ９と、無線通信部１０と、記憶装置１１とを備える。さらに、車両システム５０２は、ステアリングアクチュエータ１２と、ステアリング装置１３と、ブレーキアクチュエータ１４と、ブレーキ装置１５と、アクセルアクチュエータ１６と、アクセル装置１７とを備える。
　第五実施形態の表示システム５０４は、表示制御部５４０と、照明装置５４１と、路面描画装置５４２と、ヘッドアップディスプレイ（ＨＵＤ）５４３と、音出力装置５４４と、を備える。表示制御部５４０は、判定部の一例である。路面描画装置５４２は、第１表示装置の一例である。ＨＵＤ５４３は、出力部および第２表示装置の一例である。音出力装置５４４は、出力部の一例である。
　照明装置５４１は、車両の外部に向けて光を出射するように構成されている。照明装置５４１は、例えば、車両の前部に設けられるヘッドランプやポジションランプ、車両の後部に設けられるリアコンビネーションランプ、車両の前部または側部に設けられるターンシグナルランプ、歩行者や他車両のドライバーに自車両の状況を知らせる各種ランプなどを備える。
　路面描画装置５４２は、車両の外部の路面に向けて光パターンを出射するように構成されている。路面描画装置５４２は、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。路面描画装置５４２は、レーザ光を走査することで光パターンＭ３０からＭ６０（図１１Ａから１１Ｄ参照）を路面上に描画するように構成されている。
　路面描画装置５４２は、路面上に光パターンを描画することが可能である限りにおいて、路面描画装置５４２の数、配置場所及び形状は特に限定されるものではない。
　ＨＵＤ５４３は、車両の車内の所定箇所に設置されている。例えば、図１２Ａに示すように、ＨＵＤ５４３は、車両のダッシュボード上に設置されている。尚、ＨＵＤ５４３の設置個所については特に限定されない。ＨＵＤ５４３は、車両と乗員との間の視覚的インターフェースとして機能する。特に、ＨＵＤ４３は、車両の運転に係る情報（例えば、自動運転に関連する情報等）や歩行者情報を乗員に視覚的に提示するように構成されている。例えば、ＨＵＤ４３は、車両と他車両との間の車車間通信及び／又は車両とインフラ設備（信号機等）との間の路車間通信によって得られた情報を表示するように構成されている。例えば、ＨＵＤ４３は、センサ５及び／又はカメラ６から得られた情報を表示するように構成されている。
　また、ＨＵＤ５４３は、路面描画装置５４２により出射された光パターンを撮像して得られた画像に基づいて対象物（歩行者、他車両、等）により光パターンが変化したと判断された場合には、車両の乗員に向けて所定のメッセージを出力するように構成されている。車両の乗員は、ＨＵＤ５４３によって表示された所定のメッセージを見ることで、対象物の存在を確認することができる。
　ＨＵＤ５４３によって表示された情報は、車両の前方の現実空間に重畳されるように車両の乗員に視覚的に提示される。このように、ＨＵＤ５４３は、ＡＲディスプレイとして機能する。
　ＨＵＤ５４３は、画像生成ユニットと、画像生成ユニットにより生成された画像が表示される透明スクリーンとを備える。ＨＵＤ５４３の描画方式がレーザプロジェクタ方式である場合、画像生成ユニットは、例えば、レーザ光を出射するように構成されたレーザ光源と、レーザ光源から出射されたレーザ光を偏向するように構成された光偏向装置と、レンズ等の光学系部材とを備える。
　ＨＵＤ５４３は、透明スクリーンの代わりに、画像生成ユニットにより生成された画像を車両のフロントガラス上に表示してもよい。
　表示制御部５４０は、第一実施形態の表示制御部４０と同様に、照明装置５４１の駆動や、路面描画装置５４２及びＨＵＤ５４３の駆動を制御するように構成されている。表示制御部５４０は、電子制御ユニット（ＥＣＵ）により構成されており、図示しない電源に電気的に接続されている。電子制御ユニットは、１以上のプロセッサ及び１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成されるアナログ処理回路とを含む。
　例えば、表示制御部５４０のコンピュータシステムは、車両制御部３からカメラ６により撮像された光パターンの撮像画像情報を取得し、当該光パターンの撮像画像情報に基づいて、対象物により光パターンが変化したかどうかを判定する。例えば、表示制御部５４０は、撮像画像の光パターンの形状が参照用光パターンの形状と異なると判断した場合は、対象物により光パターンが変化したと判定する。対象物により光パターンが変化したと判定した場合は、表示制御部５４０のコンピュータシステムは、ＨＵＤ５４３に表示される所定のメッセージの画像情報（例えば、文字や図形の情報）を特定した上で、当該特定された画像情報を示す信号をアナログ処理回路であるレーザ光源制御回路及び光偏向装置制御回路に送信する。レーザ光源制御回路は、画像情報を示す信号に基づいて、レーザ光源の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ５４３のレーザ光源に送信する。一方、光偏向装置制御回路は、画像情報を示す信号に基づいて、光偏向装置の駆動を制御するための制御信号を生成した上で、当該生成された制御信号をＨＵＤ５４３の光偏向装置に送信する。また、表示制御部５４０のコンピュータシステムは、光パターンの撮像画像情報に加えて車両の情報に基づいて、対象物により光パターンが変化したかどうかを判定してもよい。また、表示制御部５４０のコンピュータシステムは、所定時間経過前及び後の撮像画像の光パターンの参考用パターンに対する変化の割合を算出および比較し、比較結果に基づいてＨＵＤ５４３に表示される所定のメッセージを更新してもよい。
　次に、第五実施形態に係る表示制御部５４０の表示制御の一例について図１０から図１２Ｂを主に参照して説明する。図１０は、本発明の第五実施形態に係る表示制御部５４０による表示制御の一例を説明するためのフローチャートである。図１１Ａから図１１Ｄは、第五実施形態に係る路面描画の一例を説明するための図である。図１１Ａ－図１１Ｄは、上方から視た場合の車両１及び路面上に描画される光パターンＭ３０，Ｍ４０，Ｍ５０，Ｍ６０を示している。図１２Ａおよび図１２Ｂは、第五実施形態に係るＨＵＤに表示されたメッセージの一例を説明するための図である。
　第五実施形態に係る表示制御部５４０は、路面描画装置５４２により出射された光パターンをカメラ６により撮像して得られた画像に基づいて、対象物（歩行者、他車両、等）により光パターンが変化したかどうかを判定する。そして、表示制御部５４０は、判定結果に応じて、ＨＵＤ５４３に所定のメッセージを表示させる。
　図１０に示すように、ステップＳ２１において、表示制御部５４０は、車両制御部３から取得した周辺環境情報等に基づいて、路面に向けて所定の光パターンを出射するよう路面描画装置５４２を制御する。図１１Ａ－図１１Ｄは、車両１の周辺の路面に向けて出射される光パターンの一例を示している。例えば、図１１Ａは、車両１の全体を連続的に囲む光パターンＭ３０を示している。車両１の全体を囲む光パターンとしては、図１１Ｂに示すような車両１の全体を非連続的に囲む光パターンＭ４０や、図１１Ｃに示すような車両１の全体を囲む楕円形の光パターンＭ５０でもよい。これらの車両１の全体を囲む光パターンは、例えば、一時停止や発進のメッセージを周囲に知らせるために使用される。車両１の周辺の路面に向けて出射される光パターンは、図１１Ａから図１１Ｃに示されるような車両１の全体を囲む光パターンに限定されない。例えば、図１１Ｄに示されるように、車両１の後方領域に描画される光パターンＭ６０でもよい。この車両１の後方領域に描画される光パターンは、例えば、後進のメッセージを周囲に知らせるために使用される。尚、路面上に描画される光パターンは、これらの例に限定されない。
　次に、ステップＳ２２において、表示制御部５４０は、車両制御部３から、路面上に描画された光パターンをカメラ６により撮像して得られた画像データを取得する。
　次に、ステップＳ２３において、表示制御部５４０は、カメラ６により撮像して得られた画像データに基づいて、対象物（歩行者、他車両、等）により光パターンが変化したかを判定する。例えば、光パターンが車両の周辺の路面に向けて出射されている場合、歩行者が車両に接近すると、光パターンの少なくとも一部は歩行者の身体の少なくとも一部により遮られる。そして、路面上に出射されていた光パターンは、その一部が歩行者の身体上に照射される。その結果、カメラ６で撮像して得られた撮像画像の光パターンの形状は、光パターンが歩行者により遮られる前後で変化する。表示制御部５４０は、参照用光パターンをメモリから取得し、カメラ６で撮像した撮像画像の光パターンの形状と参照用光パターンの形状を比較する。そして、表示制御部５４０は、カメラ６で撮像した撮像画像の光パターンの形状が参照用光パターンの形状と異なると判断した場合は、対象物により光パターンが変化したと判定する。尚、参照用光パターンは、表示制御部５４０のメモリではなく、記憶装置１１に記憶され、表示制御部５４０は車両制御部３を介して参照用光パターンを取得してもよい。
　参照用光パターンとしては、例えば、車両出荷前に、各光パターンを試験用の路面上に照射し、撮像することにより得られた撮像画像の光パターンでもよい。また、新しい光パターンを出射した際に最初に撮像した光パターンの撮像画像を参照用光パターンとしてもよい。また、カメラ６で撮像するたびにメモリに記憶し、直前に得られた撮像画像の光パターンを参照用光パターンとしてもよい。
　ステップＳ２３において、対象物により光パターンが変化したと判定した場合（ステップＳ２３のＹＥＳ）には、ステップＳ２４において、表示制御部５４０は、所定のメッセージを表示するようＨＵＤ５４３を制御する。ステップＳ２３において、対象物により光パターンが変化していないと判定した場合（ステップＳ２３のＮＯ）には、表示制御部５４０は、ステップＳ２２の制御に戻る。
　ステップＳ２４において表示されるメッセージは、例えば、図１２Ａに示すように、警告を示す文字（ＷＡＲＮＩＮＧ！）のＣＧ画像と共に、対象物情報として対象物の属性及び位置を示す文字（歩行者左斜後方）のＣＧ画像からなる。尚、ＨＵＤ５４３に表示されるメッセージは、図１２Ａのメッセージ５４３ａの構成に限定されない。例えば、メッセージは、図１２Ｂに示すように、対象物情報として、自車両と、対象物の属性及び位置とを示すＣＧ画像からなるメッセージ５４３ｂとして構成されてもよい。また、メッセージは、光パターンを照射した領域に対象物が存在することのみを示すものであってもよい。
　メッセージは、所定の時間経過するまでＨＵＤ５４３に表示させてもよい。また、メッセージは、ＨＭＩ８の入力部等による乗員の操作により非表示とされてもよい。また、メッセージは、カメラにより撮像された画像データの取得および光パターンの変化判定を継続し、対象物による光パターンの変化がなくなるまで（光パターンを遮っていた対象物が遠ざかるまで、等）表示させてもよい。
　このように、表示制御部５４０は、路面描画装置５４２により出射された光パターンをカメラ６により撮像して得られた画像に基づいて、対象物により光パターンが変化したかどうかを判定する。そして、表示制御部５４０は、判定結果に応じて、車両の乗員に向けて所定のメッセージを表示するようにＨＵＤ５４３を制御する。これにより、例えば、対象物の存在により光パターンが変化した場合には、乗員に対して対象物の存在を通知することが可能となる。
　また、光パターンが車両の周辺の路面に向けて出射される場合、乗員は、車両の周辺に存在する対象物を光パターンの変化により認識することが可能となる。例えば、図１１Ａ－図１１Ｃに示すように車両の周辺を囲む光パターンの場合には、乗員は、光パターンの変化が生じた箇所に対象物が存在することを認識することが可能となる。また、図１１Ｄに示すように、車両の後方領域に出射される光パターンの場合には、視角から外れた後方領域に存在する対象物を認識することが可能となる。
（第六実施形態）
　次に、本発明の第六実施形態（以下、第六実施形態という。）に係る表示制御部５４０の表示制御の一例について図１３を主に参照して説明する。図１３は、第六実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。尚、第六実施形態の説明では、第五実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。
　第五実施形態に係る表示制御部５４０は、路面描画装置５４２により出射された光パターンをカメラ６で撮像して得られた撮像画像の光パターンと、参照用光パターンの比較を行い、比較結果に基づいて、対象物により光パターンが変化したかどうかを判定する。これに対して、第六実施形態に係る表示制御部５４０は、比較結果に基づいて、カメラ６で撮像して得られた撮像画像の光パターンが参照用光パターンとは異なると判断した場合は、車両の情報に基づいて、その原因が、対象物（歩行者、他車両等）であるか、又は、その他の原因であるかを判断する。そして、表示制御部５４０は、判断結果に基づいて、対象物により光パターンが変化したかどうかを判定する。車両の情報とは、車両の走行情報および車両の周辺環境情報を含む。また、その他の原因とは、例えば、道路の形状（凸凹、等）である。
　本実施形態では、表示制御部５４０は、カメラ６で撮像して得られた撮像画像の光パターンが参照用光パターンとは異なり、且つ、車両が停止中であると判断した場合に、対象物により光パターンが変化したと判定する場合について説明する。
　図１３に示すように、ステップＳ３１において、表示制御部５４０は、車両制御部３から取得した周辺環境情報等に基づいて、路面に向けて所定の光パターンを出射するよう路面描画装置５４２を制御する。例えば、図１１Ａ－図１１Ｄに示すような光パターンが路面上に描画される。
　次に、ステップＳ３２において、表示制御部５４０は、車両制御部３から、路面上に描画された光パターンをカメラ６により撮像して得られた画像データを取得する。
　次に、ステップＳ３３において、表示制御部５４０は、カメラ６により撮像して得られた画像データに基づいて、光パターンが変化したかを判定する。例えば、表示制御部５４０は、参照用光パターンをメモリから取得し、カメラ６で撮像した撮像画像の光パターンの形状と参照用光パターンの形状を比較する。そして、表示制御部５４０は、カメラ６で撮像した撮像画像の光パターンの形状が参照用光パターンの形状と異なると判断した場合は、光パターンが変化したと判定する。
　ステップＳ３３において、光パターンが変化したと判定した場合（ステップＳ３３のＹＥＳ）には、ステップＳ３４において、表示制御部５４０は、車両は停止中であるか否かを判断する。例えば、表示制御部５４０は、車両制御部３から車両の情報を入手し、光パターンが変化した時に、車両が停止中であったかを判断する。表示制御部５４０は、光パターンが変化した時に車両が停止中であった場合には、ステップＳ３５において、光パターンの変化は対象物によるものと判定する。そして、ステップＳ３６において、表示制御部５４０は、図１２Ａや図１２Ｂに示すような所定のメッセージを表示するようＨＵＤ５４３を制御する。
　ステップＳ３３において、光パターンが変化していないと判定した場合（ステップＳ３３のＮＯ）には、表示制御部５４０は、ステップＳ３２の制御に戻る。また、ステップＳ３４において、車両が停止中でないと判断した場合には（ステップＳ３４のＮＯ）には、表示制御部５４０は、光パターンの変化は、対象物によるものではなく、その他の原因、例えば、道路の形状等によるものであると判断し、ステップＳ３２の制御に戻る。
　このように、表示制御部５４０は、路面描画装置５４２により出射された光パターンをカメラ６により撮像して得られた画像および車両の情報に基づいて、対象物により光パターンが変化したかどうかを判定する。路面上に描画された光パターンは、対象物だけではなく、道路の形状等によっても変化する。これにより、光パターンの変化が対象物による変化であるかをより正確に判定することができる。
　尚、本実施形態では、ステップＳ３４では、車両が停止中であるか否かにより、光パターンの変化が対象物によるものであるかを判断したが、これに限定されない。例えば、走行中であっても、車両の周辺環境情報（例えば道路情報）を入手して、道路情報に基づいて、パターン変化は対象物によるものであるかを判断してもよい。
（第七実施形態）
　次に、本発明の第七実施形態（以下、第七実施形態という。）に係る表示制御部５４０の表示制御の一例について図１４を主に参照して説明する。図１４は、第七実施形態に係る表示制御部による表示制御の一例を説明するためのフローチャートである。尚、第七実施形態の説明では、第一および第六実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。
　第一および第六実施形態に係る表示制御部５４０は、対象物（歩行者、他車両、等）により光パターンが変化したと判定した場合に、所定のメッセージをＨＵＤ５４３に表示させる。これに対して、第七実施形態に係る表示制御部５４０は、所定のメッセージをＨＵＤ５４３に表示させた後、対象物の移動方向に基づいてメッセージを更新し、更新したメッセージをＨＵＤ５４３に表示させる。
　本実施形態では、表示制御部５４０は、撮像画像の光パターンの参照用光パターンに対する変化の割合に基づいて、対象物の移動方向を判断する場合について説明する。
　図１４に示すように、ステップＳ４１において、表示制御部５４０は、車両制御部３から取得した周辺環境情報等に基づいて、路面に向けて所定の光パターンを出射するよう路面描画装置５４２を制御する。次に、ステップＳ４２において、表示制御部５４０は、車両制御部３から、路面上に描画された光パターンをカメラ６により撮像して得られた画像データを取得する。次に、ステップＳ４３において、表示制御部５４０は、カメラ６により撮像して得られた画像データに基づいて、対象物により光パターンが変化したかを判定する。
　ステップＳ４３において、光パターンが変化したと判定した場合（ステップＳ４３のＹＥＳ）、ステップＳ４４において、表示制御部５４０は、例えば、図１２Ａおよび図１２Ｂに示すような所定のメッセージを表示するようＨＵＤ５４３を制御する。ステップＳ４３において、光パターンが変化していないと判定した場合（ステップＳ４３のＮＯ）には、表示制御部５４０は、ステップＳ４２の制御に戻る。ステップＳ４１からＳ４４は、ステップＳ４３において下記の追加の処理を行う以外は、第五実施形態のステップＳ２１からＳ２４と同じであるため、詳細な説明は省略する。
　本実施形態では、ステップＳ４３において、表示制御部５４０は、撮像画像の光パターンの参照用光パターンに対する変化の割合（以下、撮像画像の光パターンの変化の割合という。）を算出し、表示制御部５４０のメモリに記憶する。尚、撮像画像の光パターンの変化の割合は、記憶装置１１に記憶されてもよい。
　次に、ステップＳ４５において、表示制御部５４０は、車両制御部３から、所定時間経過後に路面上に描画された光パターンをカメラ６により撮像して得られた画像データを取得する。
　ステップＳ４６において、表示制御部５４０は、所定時間経過後の撮像画像の光パターンの変化の割合を算出し、所定時間経過後の撮像画像の光パターンの変化の割合と、表示制御部５４０のメモリに記憶された所定時間経過前の撮像画像の光パターンの変化の割合を比較する。表示制御部５４０は、所定時間経過前の撮像画像の光パターンの変化の割合よりも所定時間経過後の撮像画像の光パターンの変化の割合の方が大きいと判断した場合（ステップＳ４６のＹＥＳ）、対象物が車両に接近していると判断する。そして、ステップＳ４７において、表示制御部５４０は、ＨＵＤ５４３に表示している対象物情報のメッセージを対象物が接近中である旨のメッセージをＨＵＤ５４３に更新・表示させる。
　ステップＳ４６において、所定時間経過前の撮像画像の光パターンの変化の割合よりも所定時間経過後の撮像画像の光パターンの変化の割合の方が小さい又は等しいと判断した場合（ステップＳ４６のＮＯ）、表示制御部５４０は、ＨＵＤ５４３に表示している対象物情報のメッセージをそのまま継続して表示させる。尚、ステップＳ４６において、表示制御部５４０は、所定時間経過前の撮像画像の光パターンの変化の割合に対して所定時間経過後の撮像画像の光パターンの変化の割合が小さいと判断した場合、「対象物が離れていく」旨のメッセージをＨＵＤ５４３に更新・表示させてもよい。
　このように、表示制御部５４０は、路面描画装置５４２により出射された光パターンをカメラ６により撮像して得られた画像に基づいて、対象物により光パターンが変化したかどうかを判定する。そして、表示制御部５４０は、判定結果に応じて、車両の乗員に向けて所定のメッセージを表示するようにＨＵＤ５４３を制御する。これにより、例えば、対象物の存在により光パターンが変化した場合には、乗員に対して対象物の存在を通知することが可能となる。
　また、表示制御部５４０は、所定時間経過前及び後に撮像された撮像画像の光パターンの変化の割合を算出し、比較する。そして、表示制御部５４０は、比較結果に基づいて、ＨＵＤ５４３に表示されたメッセージを更新する。これにより、車両の乗員は、対象物の移動方向を確認することができる。
　尚、本実施形態では、第五実施形態と同様に、路面上に出射された光パターンをカメラ６により撮像して得られた画像に基づいて、対象物により光パターンが変化したかどうかを判定したが、これに限られない。例えば、第六実施形態と同様に、路面上に出射された光パターンをカメラ６により撮像して得られた画像および車両の情報に基づいて、対象物により光パターンが変化したかどうかを判定してもよい。
　また、本実施形態では、所定時間経過前及び後の撮像画像の光パターンの変化の割合に基づいて対象物の移動方向を判断したが、これに限定されない。
　以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
　尚、上記第一実施形態から第四実施形態では、車両１の前方、後方または車両を囲む光パターンについて述べたが、これに限定されない。例えば、車両の左又は右側に出射された光パターンの該光パターンの撮像画像やＣＧ画像をＨＵＤに表示することも可能である。
　また、上記第一実施形態から第四実施形態では、上面から視た光パターンを示す画像をＨＵＤに表示させているが、これに限定されない。例えば、車両１は、カーナビゲーションシステム（図示せず）を備えている場合には、カーナビゲーションシステムの画面上に上面から視た光パターンを示す画像を表示してもよい。
　また、上記第一実施形態から第四実施形態では、車両用表示システム４は、光パターンの撮像画像およびＣＧ画像の両方を表示可能な構成を有し、ＨＭＩ８により車両１の乗員がＨＵＤ４３に表示させる光パターンの画像として、光パターンの撮像画像またはＣＧ画像のいずれか一方を選択する場合について述べたが、これに限定されない。車両用表示システム４は、光パターンの撮像画像およびＣＧ画像の何れか一方のみを表示可能な構成としてもよい。例えば、車両１は光パターン撮像専用のカメラ６Ｌ，６Ｒを備えず、車両用表示システム４は光パターンのＣＧ画像のみをＨＵＤ４３に表示するシステムとしてもよい。
　また、上記第五実施形態から第七実施形態では、所定のメッセージをＨＵＤに表示しているが、これに限定されない。例えば、車両は、カーナビゲーションシステム（図示せず）を備えている場合には、カーナビゲーションシステムの画面上に所定のメッセージを示す画像を表示してもよい。
　また、上記第五実施形態から第七実施形態では、所定のメッセージを、視覚的に表示しているが、これに限定されない。所定のメッセージを、聴覚的に表示してもよい。例えば、車両の内部に設けられた音出力装置（例えば、スピーカ、等）から所定の報知音を出力してもよい。ＨＵＤまたはカーナビゲーションシステムのスピーカから報知音として出力してもよい。
　また、上記第一実施形態から第七実施形態では、照明装置４１，５４１、路面描画装置４２，５４２及びＨＵＤ４３，５４３に対して共通の表示制御部４０，５４０が設けられているが、それぞれに対して別個の表示制御部が設けられてもよい。また、上記第一実施形態から第七実施形態では、車両制御部３と表示制御部４０，５４０は、別個の構成として設けられているが、車両制御部３と表示制御部４０，５４０は一体的に構成されてもよい。この点において、表示制御部４０，５４０と車両制御部３は、単一の電子制御ユニットにより構成されていてもよい。この場合、車両用表示システム４，５０４は、車両制御部３も含んだ構成となる。
　本出願は、２０１８年８月１５日出願の日本特許出願２０１８－１５２９５８号および２０１８年８月１５日出願の日本特許出願２０１８－１５２９５９号に基づくものであり、その内容はここに参照として取り込まれる。

Claims (16)

  1. 　車両に設けられた車両用表示システムであって、
    　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
    　前記車両の内部に位置すると共に、上面から視た前記光パターンを示す画像を表示するように構成された第２表示装置と、を備えた車両用表示システム。
  2. 　前記上面から視た光パターンを示す画像は、前記車両に設けられた少なくとも一つのカメラにより前記光パターンを撮像することにより得られた画像である、請求項１に記載の車両用表示システム。
  3. 　前記上面から視た光パターンを示す画像は、前記光パターンを仮想的に上面から視た仮想オブジェクトを示すコンピュータグラフィックス（ＣＧ）画像である、請求項１に記載の車両用表示システム。
  4. 　前記第２表示装置は、前記車両を仮想的に上面から視た仮想オブジェクトを示すＣＧ画像を表示する、請求項１～３の何れか一項に記載の車両用表示システム。
  5. 　前記光パターンは、前記車両の外部の対象物に向けた光パターンを含み、
    　前記第２表示装置は、前記対象物の仮想オブジェクトを示すＣＧ画像を表示する、請求項１～３の何れか一項に記載の車両用表示システム。
  6. 　請求項１～５の何れか一項に記載された車両用表示システムを備えた、車両。
  7. 　車両に設けられた車両用表示システムであって、
    　前記車両の外部の路面に向けて光パターンを出射するように構成された第１表示装置と、
    　前記第１表示装置により出射された光パターンを撮像して得られた画像に基づいて、対象物により前記光パターンが変化したかどうかを判定するように構成された判定部と、
    　前記判定部の判定結果に応じて、前記車両の乗員に向けて所定のメッセージを出力するように構成された出力部と、を備えた車両用表示システム。
  8. 　前記第１表示装置は、前記光パターンを前記車両の周辺の路面に向けて出射するように構成された、請求項７に記載の車両用表示システム。
  9. 　前記光パターンは、車両の周辺を囲む光パターンである、請求項８に記載の車両用表示システム。
  10. 　前記光パターンは、車両の後方領域に出射される光パターンである、請求項７または８に記載の車両用表示システム。
  11. 　前記出力部は、前記車両の内部に位置するとともに、前記車両の情報を表示するように構成された第２表示装置を備え、
    　前記所定のメッセージは、前記第２表示装置に表示される、請求項７～１０の何れか一項に記載の車両用表示システム。
  12. 　前記出力部は、前記車両の内部に位置するとともに、所定の報知音を出力する音出力装置を備え、
    　前記所定のメッセージは、前記音出力装置から報知音として出力される、請求項７～１０の何れか一項に記載の車両用表示システム。
  13. 　前記第２表示装置は、前記所定のメッセージを報知音として出力するように構成される、請求項１１に記載の車両用表示システム。
  14. 　前記判定部は、前記第１表示装置により出射された光パターンを撮像して得られた画像および前記車両の情報に基づいて、前記対象物により前記光パターンが変化したかどうかを判定する、請求項７に記載の車両用表示システム。
  15. 　前記判定部は、所定時間経過前に撮像して得られた前記光パターンの撮像画像に基づいて当該撮像画像の光パターンの参照用光パターンに対する変化の割合を算出し、所定時間経過後に撮像して得られた前記光パターンの画像に基づいて当該撮像画像の光パターンの前記参照用光パターンに対する変化の割合を算出し、前記所定時間経過前及び後に撮像された前記撮像画像の光パターンの前記参照用光パターンに対する前記変化の割合を比較し、
    　前記出力部は、前記判定部の比較結果に応じて、前記車両の乗員に向けて所定のメッセージを更新して出力する、請求項７に記載の車両用表示システム。
  16. 　請求項７～１５の何れか一項に記載された車両用表示システムと、
    　前記第１表示装置により出射された光パターンを撮像するように構成された少なくとも１つのカメラと、を備えた、車両。
PCT/JP2019/031121 2018-08-15 2019-08-07 車両用表示システム及び車両 WO2020036108A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/268,576 US11584298B2 (en) 2018-08-15 2019-08-07 Vehicle display system and vehicle
JP2020537428A JP7309724B2 (ja) 2018-08-15 2019-08-07 車両用表示システム及び車両

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-152958 2018-08-15
JP2018152958 2018-08-15
JP2018-152959 2018-08-15
JP2018152959 2018-08-15

Publications (1)

Publication Number Publication Date
WO2020036108A1 true WO2020036108A1 (ja) 2020-02-20

Family

ID=69525538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031121 WO2020036108A1 (ja) 2018-08-15 2019-08-07 車両用表示システム及び車両

Country Status (4)

Country Link
US (1) US11584298B2 (ja)
JP (1) JP7309724B2 (ja)
CN (1) CN110834583B (ja)
WO (1) WO2020036108A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002813A1 (ja) * 2021-07-19 2023-01-26 株式会社小糸製作所 車両の制御装置
WO2023171700A1 (ja) * 2022-03-09 2023-09-14 株式会社小糸製作所 路面描画装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7273839B2 (ja) * 2018-09-28 2023-05-15 株式会社小糸製作所 灯具システム
JPWO2021166814A1 (ja) * 2020-02-17 2021-08-26
JP7487714B2 (ja) * 2021-08-31 2024-05-21 トヨタ自動車株式会社 表示制御装置、表示システム、表示方法及び表示プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003231450A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 移動体用安全装置
JP2005297863A (ja) * 2004-04-14 2005-10-27 Bunpei Sono 自動車の安全システム
JP2006244143A (ja) * 2005-03-03 2006-09-14 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2011105084A (ja) * 2009-11-16 2011-06-02 Fujitsu Ten Ltd 車載照明装置、画像処理装置及び画像表示システム
JP2017159698A (ja) * 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用照明装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2816264B1 (fr) * 2000-11-09 2003-02-21 Thomas Bleiner Dispositif de signalisation visuelle adaptable a un vehicule
EP2351668A4 (en) * 2008-09-12 2013-03-13 Toshiba Kk IMAGE RADIATION SYSTEM AND IMAGE RADIATION PROCESS
DE102012206691A1 (de) * 2012-04-24 2013-10-24 Zumtobel Lighting Gmbh Straßen- und Wegbeleuchtungssystem
EP2740632A1 (en) * 2012-12-07 2014-06-11 Urs Nüssli Lateral rearview mirror system for a vehicle, method for projecting an image to the environment of the vehicle and corresponding application program product
JP6746270B2 (ja) 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
JP6277999B2 (ja) * 2015-05-21 2018-02-14 株式会社デンソー 運転アシスト制御装置及び運転アシスト制御方法
JP6500814B2 (ja) * 2016-03-07 2019-04-17 トヨタ自動車株式会社 車両用照明装置
JP6313355B2 (ja) 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량
JP6593803B2 (ja) * 2017-03-10 2019-10-23 株式会社Ｓｕｂａｒｕ 画像表示装置
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
CN211032356U (zh) * 2018-08-15 2020-07-17 株式会社小糸制作所 车辆用显示系统及车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003231450A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 移動体用安全装置
JP2005297863A (ja) * 2004-04-14 2005-10-27 Bunpei Sono 自動車の安全システム
JP2006244143A (ja) * 2005-03-03 2006-09-14 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2011105084A (ja) * 2009-11-16 2011-06-02 Fujitsu Ten Ltd 車載照明装置、画像処理装置及び画像表示システム
JP2017159698A (ja) * 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用照明装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002813A1 (ja) * 2021-07-19 2023-01-26 株式会社小糸製作所 車両の制御装置
WO2023171700A1 (ja) * 2022-03-09 2023-09-14 株式会社小糸製作所 路面描画装置

Also Published As

Publication number Publication date
JP7309724B2 (ja) 2023-07-18
US11584298B2 (en) 2023-02-21
CN110834583B (zh) 2023-05-12
JPWO2020036108A1 (ja) 2021-09-02
US20210162927A1 (en) 2021-06-03
CN110834583A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
US10602331B2 (en) Inter-vehicle communication system, vehicle system, vehicle illumination system and vehicle
JP7309724B2 (ja) 車両用表示システム及び車両
CN110803019B (zh) 车辆用显示系统及车辆
WO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
JP7470230B2 (ja) 車両用表示システム、車両システム及び車両
US11597316B2 (en) Vehicle display system and vehicle
JP7295863B2 (ja) 車両用表示システム及び車両
WO2021015171A1 (ja) ヘッドアップディスプレイ
CN211032356U (zh) 车辆用显示系统及车辆
JP6980553B2 (ja) 車両用照明システム及び車両
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP2023141162A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850172

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537428

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850172

Country of ref document: EP

Kind code of ref document: A1