WO2020049881A1 - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
WO2020049881A1
WO2020049881A1 PCT/JP2019/028351 JP2019028351W WO2020049881A1 WO 2020049881 A1 WO2020049881 A1 WO 2020049881A1 JP 2019028351 W JP2019028351 W JP 2019028351W WO 2020049881 A1 WO2020049881 A1 WO 2020049881A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
display device
head
video
Prior art date
Application number
PCT/JP2019/028351
Other languages
English (en)
French (fr)
Inventor
望 下田
滝澤　和之
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2020541050A priority Critical patent/JP7053857B2/ja
Publication of WO2020049881A1 publication Critical patent/WO2020049881A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Definitions

  • the present invention relates to a head-up display device, and more particularly to a technology effective when applied to a head-up display device using AR (Augmented Reality).
  • Patent Document 1 discloses a management system including a network camera that captures an image of a projection area of an image projection apparatus such as a liquid crystal projector, and a computer that detects an abnormality of the image projection apparatus based on information on the projection area acquired by the network camera. Is shown.
  • a vehicle represented by an automobile may be equipped with a head-up display (hereinafter, sometimes referred to as "HUD").
  • HUD head-up display
  • the HUD projects and displays various information such as running information such as vehicle speed and engine speed and navigation information on a windshield (windshield) or the like.
  • running information such as vehicle speed and engine speed and navigation information
  • windshield windshield
  • the driver can obtain necessary information without moving his line of sight to an instrument panel built into the dashboard, so-called instrument panel. For this reason, it is possible to contribute to safe driving.
  • abnormal display such as an increase in display luminance, a failure to update display information, and a large amount of unnecessary information display may occur.
  • the driver's attention may be directed to the display of the HUD instead of a real sign or obstacle, or the driver may have poor visibility, which may hinder safe driving.
  • AR-HUD AR-HUD
  • the present invention has been made in view of such circumstances, and one of its objects is to provide a head-up display device capable of preventing or suppressing abnormal display that hinders driving. is there.
  • a typical head-up display device projects a projected image onto a display area of a windshield to allow a driver of a vehicle to visually recognize a scene on which the projected image is superimposed. It has a device, a monitoring camera, and a video diagnostic unit.
  • the video data generation unit generates display video data that determines the display content of the projection video.
  • the video display device displays a display video based on the display video data.
  • the surveillance camera takes an image of the display image before the scenery is superimposed.
  • the image diagnostic unit diagnoses whether there is an abnormality in the projected image based on the image captured by the monitoring camera.
  • FIG. 1 is a schematic diagram illustrating a configuration example of a vehicle equipped with a head-up display device according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example around a video display unit in FIG. 1.
  • FIG. 2 is a block diagram illustrating a configuration example of a main part of the head-up display device according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating a configuration example of a portion related to acquisition of vehicle information in FIG.
  • FIG. 4 is a schematic diagram illustrating an example of processing contents of a video diagnostic unit in FIG. 3.
  • FIG. 4 is a flowchart illustrating an example of processing contents of a video diagnostic unit in FIG. 3.
  • FIG. 4 is a flowchart illustrating an example of an initial operation in the head-up display device in FIG. 3.
  • FIG. 8 is a flowchart illustrating an example of a normal operation of the HUD device in FIG. 7.
  • FIG. 4 is a diagram illustrating an example of display contents on a windshield by an error processing unit in FIG. 3 when an abnormality occurs. It is a figure which shows an example of the installation location of the monitoring camera different from FIG. It is a figure which shows an example of the installation location of the monitoring camera different from FIG.
  • FIG. 7 is a block diagram showing a configuration example of a main part of a head-up display device according to a second embodiment of the present invention.
  • FIG. 13 is a schematic diagram illustrating an example of processing contents of a video diagnostic unit in FIG. 12.
  • FIG. 13 is a flowchart illustrating an example of processing contents of a video diagnostic unit in FIG. 12.
  • FIG. 13 is a diagram illustrating different examples of various installation locations of the monitoring camera in FIG. 12.
  • FIG. 16 is a diagram illustrating an example of an installation location of a monitoring camera for a video display unit different from that in FIG. 15.
  • (A) And (b) is a figure which shows an example of the abnormal display screen examined as a premise of this invention. It is a figure showing other examples of the abnormal display screen examined as a premise of the present invention.
  • FIG. 1 is a schematic diagram showing a configuration example of a vehicle equipped with a head-up display device according to Embodiment 1 of the present invention.
  • the head-up display (HUD) device 1 of FIG. The vehicle 2 is typically a car, but is not necessarily limited thereto, and may be a railway car or the like in some cases.
  • the HUD device 1 acquires vehicle information 4 from various sensors installed in each part of the vehicle 2. The various sensors detect, for example, various events that have occurred in the vehicle 2 and periodically detect values of various parameters related to the driving situation.
  • the vehicle information 4 includes, for example, speed information and gear information of the vehicle 2, steering wheel angle information, lamp lighting information, external light information, distance information, infrared information, engine ON / OFF information, camera image information inside and outside the vehicle, acceleration. Gyro information, GPS (Global Positioning System) information, navigation information, vehicle-to-vehicle communication information, road-to-vehicle communication information, and the like are included.
  • the HUD device 1 projects a projection image on the display area 5 of the windshield 3 using the image display unit 12 based on such vehicle information 4. As a result, the HUD device 1 allows the driver of the vehicle 2 to visually recognize the scene on which the projected image is superimposed.
  • FIG. 2 is a schematic diagram showing a configuration example around the video display unit in FIG.
  • the image display unit 12 shown in FIG. 2 includes an image display device 35, a reflecting mirror 36, and a concave mirror (magnifying mirror) 37.
  • the video display device 35 is, for example, a projector or an LCD (Liquid Crystal Display), and displays a display video based on display video data specified by the control unit.
  • the reflecting mirror 36 and the concave mirror 37 are, for example, free-form mirrors or mirrors having an optical axis asymmetric shape.
  • the reflecting mirror 36 reflects the display image displayed on the image display device 35 on the surface.
  • the concave mirror 37 reflects and enlarges the display image reflected by the reflecting mirror 36 on the surface, and projects the display image onto the display area 5 through the opening 7.
  • the driver 6 visually recognizes the projected image projected on the display area 5 as a virtual image ahead of the transparent windshield 3 so as to be superimposed on the scenery outside the vehicle (roads, buildings, people, etc.).
  • the projection image includes various things such as a road sign, the current speed of the own vehicle, and various information (AR information) added to an object on a landscape.
  • AR information various information added to an object on a landscape.
  • FIG. 2 for example, by adjusting the angle of the concave mirror 37, the position of the display area 5 on the windshield 3 can be adjusted, and the position of the virtual image visually recognized by the driver 6 is adjusted in the vertical direction. It is possible.
  • the area of the display area 5 can be enlarged, and more information can be projected on the display area 5. This makes it possible to realize an AR function in which various types of information are added to and displayed on an object on a landscape.
  • FIGS. 17A and 17B are diagrams showing an example of an abnormal display screen examined as a premise of the present invention.
  • FIG. 18 is a diagram showing another example of the abnormal display screen examined as a premise of the present invention.
  • an abnormality has occurred in the guidance display displayed in the display area 5 based on the navigation information. Specifically, as shown in the upper part of FIG. 17A, the display of the left turn guidance and the distance to the left turn point P1 remain even though the vehicle 76 has passed the left turn point P1 of the intersection. It is in a state. This state may occur, for example, when the video display device 35 or the navigation system freezes.
  • an abnormality has occurred in which the entire or most of the display area 5 is painted out. This state may occur, for example, when the video display device 35 breaks down.
  • an abnormality has occurred such that a large number of unnecessary and unrelated projection targets are displayed in the entire display area 5. This state can occur, for example, when there is an abnormality in the display video data itself based on the navigation system.
  • the driver may be distracted by the abnormal display portion instead of the existing sign, obstacle, or the like, which may hinder safe driving.
  • poor visibility of the driver also occurs, which may further hinder safe driving.
  • This problem of poor visibility becomes more prominent in a HUD device (referred to as an AR-HUD device) using an AR that requires a wide display area 5. Therefore, it is beneficial to use the method of the embodiment described later.
  • FIG. 3 is a block diagram showing a configuration example of a main part of the head-up display device according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram showing a configuration example of a portion related to acquisition of vehicle information in FIG.
  • the head-up display (HUD) device 1 illustrated in FIG. 3 includes a control unit (ECU: Electronic Control Unit) 10a, a speaker 11, an image display unit 12, and a mirror driving unit 13.
  • the image display unit 12 includes an image display device 35 and a concave mirror 37 as shown in FIG.
  • the control unit 10a mainly controls display of a projected image (virtual image) in the HUD device 1 and controls audio output.
  • the control unit 10a includes, for example, a wiring board, and is mounted on the wiring board.
  • the system includes a failure determination unit 21, a unit failure determination unit 22, an error processing unit 23, and the like.
  • the vehicle information acquisition unit 15 is, for example, a CAN (Controller Area Network) interface or a LIN (Local Interconnect Network) interface, and acquires the vehicle information 4 based on a communication protocol such as CAN or LIN.
  • the vehicle information 4 is generated by an information acquisition device such as various sensors connected to the vehicle information acquisition unit 15, as shown in FIG. FIG. 4 shows an example of various information acquisition devices.
  • the vehicle speed sensor 41 detects the speed of the vehicle 2 in FIG. 1 and generates speed information as a detection result.
  • the shift position sensor 42 detects a current gear and generates gear information as a detection result.
  • the steering wheel steering angle sensor 43 detects a current steering wheel steering angle and generates steering wheel steering angle information as a detection result.
  • the headlight sensor 44 detects ON / OFF of the headlight, and generates lamp lighting information as a detection result.
  • the illuminance sensor 45 and the chromaticity sensor 46 detect external light and generate external light information as a detection result.
  • the distance measuring sensor 47 detects a distance between the vehicle 2 and an external object, and generates distance information as a detection result.
  • the infrared sensor 48 detects the presence or absence of an object at a short distance to the vehicle 2 and the distance, and generates infrared information as a detection result.
  • the engine start sensor 49 detects ON / OFF of the engine, and generates ON / OFF information as a detection result.
  • the acceleration sensor 50 and the gyro sensor 51 detect the acceleration and the angular velocity of the vehicle 2, respectively, and generate acceleration gyro information indicating the attitude and behavior of the vehicle 2 as a detection result.
  • the temperature sensor 52 detects the temperature inside and outside the vehicle, and generates temperature information as a detection result.
  • the road-vehicle communication wireless transceiver 53 generates road-vehicle communication information by road-vehicle communication between the vehicle 2 and a road, a sign, a signal, or the like.
  • the inter-vehicle communication wireless transceiver 54 generates inter-vehicle communication information by inter-vehicle communication between the vehicle 2 and other vehicles in the vicinity.
  • the in-vehicle camera 55 and the out-of-vehicle camera 56 generate in-vehicle camera image information and out-of-vehicle camera image information by photographing the inside and outside of the vehicle, respectively.
  • the in-vehicle camera 55 is, for example, a DMS (Driver Monitoring System) camera that captures the attitude of the driver 6, the position of the eyes, and the movement of the driver 6 in FIG. In this case, by analyzing the captured image, the fatigue state of the driver 6, the position of the line of sight, and the like can be grasped.
  • DMS Driver Monitoring System
  • the external camera 56 captures, for example, a situation around the vehicle 2 such as in front and behind. In this case, by analyzing the captured video, the presence or absence of obstacles such as other vehicles and people in the vicinity, the building and terrain, the road surface conditions such as rain and snow, freezing, unevenness, etc., and road signs etc. It becomes possible to grasp.
  • the external camera 56 includes, for example, a drive recorder that records a running state in a video.
  • the GPS receiver 57 generates GPS information obtained by receiving a GPS signal.
  • a VICS (Vehicle Information and Communication System) (registered trademark) receiver 58 generates VICS information obtained by receiving a VICS signal.
  • the GPS receiver 57 and the VICS receiver 58 may be provided as a part of the navigation system. Note that the various information acquisition devices in FIG. 4 can be appropriately deleted, another type of device can be added, or replaced with another type of device.
  • a CPU (Central Processing Unit) 16 receives such vehicle information 4 via the vehicle information acquisition unit 15 and, based on the vehicle information 4 and the like, audio data or video data for the speaker 11.
  • the display image data or the like directed to the display device 35 is generated.
  • the CPU 16 includes an audio data generation unit 27, a video data generation unit 28, a distortion correction unit 29, a light source adjustment unit 30, a mirror adjustment unit 31, and a video diagnosis unit 25a. These units are implemented by a program stored in the nonvolatile memory 17 or the volatile memory 18.
  • the audio data generation unit 27 generates audio data based on the vehicle information 4 and the like as needed.
  • the voice data is generated, for example, when voice guidance of the navigation system is performed or when a warning is issued to the driver 6 by the AR function.
  • the audio driver 19 drives the speaker 11 based on the audio data, and causes the speaker 11 to output audio.
  • the video data generator 28 generates display video data that determines the display content of the projection video projected on the display area 5 in FIG. 2 or the like based on the vehicle information 4 and the like.
  • the distortion correction unit 29 generates corrected display video data by adding distortion correction to the display video data from the video data generation unit 28. Specifically, as shown in FIG. 2, when the display image of the image display device 35 is projected on the display area 5, the distortion correction unit 29 corrects the distortion of the display image caused by the curvature of the windshield 3. .
  • the display driver 20 drives each display element in the video display device 35 based on the corrected display video data from the distortion correction unit 29. Thereby, the video display device 35 displays a display video based on the corrected display video data.
  • the light source adjustment unit 30 adjusts the light emission amount of the video display device 35.
  • the mirror adjusting unit 31 changes the angle of the concave mirror 37 in the video display unit 12 via the mirror driving unit 13 when the position of the display area 5 in the windshield 3 needs to be adjusted.
  • the vehicle information 4 includes an image captured by the monitoring camera.
  • the surveillance camera corresponds to the outside camera 56 (in some cases, the inside camera 55) shown in FIG. 4 and captures a scene in which the projected image in the display area 5 is superimposed.
  • the image diagnostic unit 25a diagnoses whether or not the projection image in the display area 5 is abnormal based on the image captured by the monitoring camera, as described in detail later.
  • the self-failure determination unit 21 determines whether there is an abnormality in the hardware or the like in the HUD device 1, that is, whether or not there is a device abnormality. When the self-failure determination unit 21 determines that the device abnormality of the HUD device 1 has occurred, it generates an abnormality occurrence signal and outputs the signal to the error processing unit 23.
  • the unit failure determination unit 22 determines whether a failure has occurred in a unit mounted on the vehicle 2 other than the HUD device 1. When determining that an abnormality has occurred in another unit, the unit failure determination unit 22 generates an abnormality occurrence signal and outputs the signal to the error processing unit 23.
  • the error processing unit 23 receives the abnormality occurrence signal output from the self-failure determination unit 21 or the unit failure determination unit 22, or displays the projection image (displayed when the image diagnosis unit 25a determines that there is an abnormality).
  • the display content of the projected image is changed so that the virtual image does not hinder driving.
  • the non-volatile memory 17 mainly stores in advance programs executed by the CPU 16 and setting parameters used in processing of each unit in the CPU 16 in advance.
  • the volatile memory 18 mainly stores the acquired vehicle information 4 and data used in processing of each unit in the CPU 16 as appropriate. For example, captured video data based on a video captured by the monitoring camera, and display video data generated by the video data generation unit 28 and the distortion correction unit 29 are stored in the volatile memory 18.
  • the self-failure determination unit 21 and the unit failure determination unit 22 detect a failure of the HUD device or a sign of the failure.
  • the video diagnostic unit 25a detects an abnormality from an actual captured image obtained by the monitoring camera.
  • the self-failure determination unit 21 and the unit failure determination unit 22 it is possible to take precautionary measures before an abnormality actually occurs in the display area 5, but all failures that cause an abnormality in the display area 5 are detected. Since it is not always possible, detection omission may occur.
  • the image diagnosis unit 25a is used together, it is possible to prevent this detection omission.
  • the image diagnosis unit 25a can be applied alone, of course, and does not necessarily need to be used together with the self-failure determination unit 21 and the unit failure determination unit 22.
  • the vehicle information acquisition unit 15, the CPU 16, the nonvolatile memory 17, the volatile memory 18, the audio driver 19, and the display driver 20 in the control unit (ECU) 10a in FIG. It may be implemented in a computer or an FPGA (Field Programmable Gate Array).
  • the self-failure determination unit 21, the unit failure determination unit 22, and the error processing unit 23 are failure determination targets including the CPU 16, and from the viewpoint of performing error processing even when the CPU 16 fails, for example, the external , Or a processor provided separately.
  • some or all of the self-failure determination unit 21, the unit failure determination unit 22, and the error processing unit 23 may be implemented in the CPU 16 in some cases.
  • FIG. 5 is a schematic diagram illustrating an example of the processing content of the video diagnostic unit in FIG.
  • the surveillance camera 56a shown in FIG. 5 is one of the exterior cameras 56 shown in FIG.
  • the monitoring camera 56a is installed, for example, near the eye point of the headrest, and captures an image of the display area 5 of the windshield from the driver's 6 line of sight.
  • a captured video (captured video data) 60 in which the projection video is superimposed on the landscape is obtained.
  • the surveillance camera is installed on the headrest, but is not limited to this, and may be installed on, for example, glasses (goggles) worn by the driver 6.
  • the video diagnostic unit 25a performs a distinction process E0 for distinguishing the landscape and the projection target (virtual image) 64 in the captured video 60.
  • the discrimination process E0 is performed, for example, by detecting a frame difference at each time with respect to the captured video 60. More specifically, normally, the projection object (virtual image) 64 has a long time in which it does not change, while the scenery changes every moment. Utilizing the difference in the change speed, the video diagnostic unit 25a changes the data of the area that changes in a short time to blank data for the captured video (captured video data) 60, for example. Only the processed captured video (captured video data) 61 in which only the remaining video data remains is generated.
  • the video diagnostic unit 25a performs, as a first diagnostic process D1, a projection target 64 in the processed captured video 61 (and thus the captured video 60) and a projection target in the output scheduled video 62 represented by the display video data.
  • the presence or absence of an abnormality in the projection image is diagnosed by verifying the identity of the projection image.
  • the video diagnostic unit 25a determines, for example, whether the size, shape, and location of the projection target 63 are equal to the size, shape, and location of the projection target 64. At this time, for example, if the difference between the size, shape, and location of the projection target 63 and the size, shape, and location of the projection target 64 is within several percent, both are determined to be equivalent.
  • the projection target 63 in the output scheduled video (display video data) 62 is one small left-turn guidance graphic, whereas the projection target 63 in the processed captured video 61 (the captured video 60).
  • the object 64 is two large left turn guide figures.
  • the video diagnostic unit 25a determines that the projection target 63 and the projection target 64 are not equivalent, and diagnoses that there is an abnormality.
  • the output scheduled video (display video data) 62 is generated by the video data generator 28 (or the distortion corrector 29) in FIG.
  • the abnormalities shown in the processed captured image 61 include two large left-turned display figures such as the projection target 64 in the output scheduled image 62 itself due to the abnormality of the output scheduled image (display image data) 62. It can also happen in some cases. Therefore, the video diagnostic unit 25a detects, as the second diagnostic process D2, the ratio of the projection target 64 in the processed captured video 61 (the captured video 60), and determines whether the ratio exceeds a predetermined threshold. Is determined, the presence or absence of an abnormality in the projected image is diagnosed. In a situation such as the processed captured image 61, the ratio of the projection target 64 exceeds the threshold value, so that it is diagnosed that there is an abnormality.
  • the video diagnostic unit 25a detects the proportion of the filled area in the captured video 60, and determines whether the proportion exceeds a predetermined threshold to determine whether the projected video is abnormal. Diagnose the presence or absence of The filled area is, for example, an area having a level of luminance that blocks scenery.
  • the video diagnosis unit 25a adds, for example, in FIG. 5, the projection target object 64 in FIG. 5 in addition to the situation shown in FIG. Even in the case of being painted out, it can be diagnosed that there is an abnormality.
  • the second diagnosis process D2 is performed by detecting the ratio of the area surrounded by the contour of the projection target 64 regardless of the internal state of the projection target 64.
  • the third diagnostic process D3 is performed by detecting the ratio of the region having a luminance level that blocks scenery regardless of the presence or absence of the projection target.
  • FIG. 6 is a flowchart showing an example of the processing content of the video diagnostic unit in FIG.
  • the video diagnostic unit 25a first obtains a video captured by the monitoring camera (video image data) and a video to be output to the video display device 35 (display video data) (step S200). Subsequently, as described in the distinction process E0 in FIG. 5, the image diagnosis unit 25a distinguishes between the landscape and the projection target in the captured image (Step S201). Next, as described in the first diagnosis processing D1 of FIG. 5, the video diagnostic unit 25a determines whether the projection target in the captured video is equal to the projection target in the output-scheduled video (Step S1). S202).
  • step S207 the error processing unit 23 changes the display content of the projected image so that the projected image (virtual image) does not hinder driving. Specifically, the error processing unit 23 performs, for example, control to substantially eliminate the projected image.
  • the image diagnosis unit 25a proceeds to step S203.
  • step S203 the video diagnostic unit 25a detects the ratio of the projection target in the captured video as described in the second diagnostic process D2 of FIG. 5, and in step S204, the ratio and a predetermined threshold value are set. Compare. When the ratio of the projection target object exceeds the threshold (“No” in step S204), the image diagnosis unit 25a outputs an abnormality occurrence signal to step S207, and when the ratio does not exceed the threshold (“Yes” in step S204). ""), The process proceeds to step S205.
  • step S205 the video diagnostic unit 25a detects the ratio of the filled area in the captured video as described in the third diagnostic process D3 in FIG. 5, and in step S206, compares the ratio with a predetermined threshold. Compare. When the ratio of the filled area exceeds the threshold (when “No” in step S206), the image diagnosis unit 25a outputs an abnormality occurrence signal to step S207, and when the ratio does not exceed the threshold (“Yes” in step S206). Time), the video diagnosis processing ends.
  • an abnormality such as that shown in FIG. 17A caused by the freeze of the video display device 35 can be detected by the process of the step S202 (first diagnosis process D1). Further, an abnormality as shown in FIG. 17B can be detected by the process of step S206 (third diagnostic process D3). Further, an abnormality as shown in FIG. 18 can be detected by the process of step S204 (second diagnostic process D2).
  • the OR operation of each diagnostic result is performed using three types of diagnostic processing. However, any one or two or more of the three types of diagnostic processing may be used, and an AND operation of each diagnostic result may be appropriately performed. It is also possible to do.
  • FIG. 7 is a flowchart showing an example of an initial operation in the head-up display device of FIG.
  • the HUD device 1 acquires the vehicle information 4 using the vehicle information acquisition unit 15 (step S01).
  • the CPU 16 calculates a suitable brightness level based on the external light information acquired by the illuminance sensor 45, the chromaticity sensor 46, and the like in the vehicle information 4 (step S03), and the calculated brightness level is obtained.
  • the light emission amount of the video display device 35 is set using the light source adjusting unit 30 (step S04).
  • the brightness level is set high when the outside light is bright, and set low when the outside light is dark.
  • the video data generator 28 generates display video data that determines the display content of the projection video (Step S05).
  • This display content is, for example, a predetermined initial image.
  • the distortion correction unit 29 performs distortion correction on the display video data from the video data generation unit 28 (Step S06), and the display driver 20 performs the video display device based on the corrected display video data.
  • the 35 display elements are driven (step S07). Accordingly, the video display device 35 displays a display video based on the corrected display video data, and the display video is projected onto the display area 5 of the windshield 3 via the mirror in the video display unit 12.
  • the video diagnostic unit 25a executes a video diagnostic process as shown in FIG. 6 (Step S101).
  • the error processing unit 23 performs a predetermined error process (step S103).
  • the error processing may include, in addition to the processing for changing the display content of the projection video, a processing for prohibiting the normal operation of the HUD device 1 due to a start-up failure.
  • step S102 if a failure occurrence signal is not output in step S102 ("No"), the starting and starting of each unit including a series of initial operations in the HUD device 1 are completed, and the HUD-ON signal is output.
  • the CPU 16 determines whether or not this HUD-ON signal has been received (step S08). If the CPU 16 has not received the HUD-ON signal, the CPU 16 waits for the HUD-ON signal for a certain period of time until receiving the HUD-ON signal (step S09). On the other hand, when receiving the HUD-ON signal, the CPU 16 starts a normal operation of the HUD device 1 described later (step S10), and ends a series of initial operations.
  • FIG. 8 is a flowchart showing an example of the normal operation of the HUD device in FIG.
  • the basic processing flow is almost the same as the initial operation shown in FIG.
  • the HUD device 1 acquires the vehicle information 4 using the vehicle information acquisition unit 15 (Step S21).
  • the CPU 16 determines whether or not to execute the process of Step S23 described later (Step S22).
  • the process of step S22 is performed every time a preset time elapses, and it is determined that the process of step S23 is performed when the set time has elapsed from the previous process.
  • step S23 If the set time has elapsed from the previous processing (“Yes” in step S22), the CPU 16 executes a failure occurrence status confirmation and display content change processing (step S23). In the process of confirming the failure occurrence status and changing the display contents, the failure occurrence status of the HUD device 1 is confirmed using the self-failure determination unit 21 and the unit failure determination unit 22, and the HUD device 1 displays using the error processing unit 23. This is the process of changing the contents. On the other hand, when the set time has not elapsed from the previous processing (“No” in step S22), the CPU 16 determines the vehicle information 4 based on the external light information acquired by the illuminance sensor 45, the chromaticity sensor 46, and the like. Then, a brightness level adjustment process is performed (step S24).
  • the video data generation unit 28 determines the update content of the projection video based on the latest vehicle information 4 acquired in the process of step S21, and generates display video data corresponding to the update content (step S25).
  • the update content There are various ways to determine the update content according to the content of the vehicle information 4 or a combination thereof. For example, when the speed information changes, the method of changing the numerical value of the speed display that is always displayed, displaying / erasing the guidance arrow figure based on the navigation information, changing the shape and display position of the arrow, etc. And the like.
  • the HUD device 1 performs an adjustment / correction process for maintaining visibility, appropriateness of display contents, and the like in accordance with the traveling state of the vehicle 2.
  • the mirror adjustment unit 31 changes the angle of the concave mirror 37 via the mirror driving unit 13 and moves the display area 5 up and down. Is performed (step S26).
  • the HUD device 1 determines whether or not the video diagnosis is necessary (Step S121). For example, when performing video diagnosis periodically, it is determined that video diagnosis is necessary when a predetermined time or more has elapsed since the previous video diagnosis. If the video diagnosis is required in step S121 ("Yes"), the video diagnosis unit 25a executes the video diagnosis process as shown in FIG. 6 (step S122). At this time, when the image diagnostic unit 25a outputs an abnormality occurrence signal, the error processing unit 23 performs a process of changing the display content of the projection image so as not to hinder driving. This changed display content is maintained, for example, immediately before the next video diagnosis, and is released immediately before the next video diagnosis.
  • step S27 the CPU 16 determines whether or not a HUD-OFF signal has been received. In other words, if the power is turned off due to the stop of the vehicle 2 or the like during the series of normal operations described above, a HUD-OFF signal is output to the HUD device 1. The CPU 16 determines the presence or absence of the output. If the CPU 16 has not received the HUD-OFF signal, the process returns to step S21. If the CPU 16 has received the HUD-OFF signal, the normal operation ends.
  • FIG. 9 is a diagram illustrating an example of display contents on a windshield by the error processing unit in FIG. 3 when an abnormality occurs.
  • FIG. 9 schematically shows the display contents of the display area 5 that the driver 6 of the vehicle 2 in FIG. 2 visually recognizes from the driver's seat via the windshield 3.
  • the error processing unit 23 executes, for example, a process of shutting down the HUD device 1 itself.
  • the HUD device 1 is shut down, nothing is displayed in the display area 5 as shown in FIG. Thereby, the driver's 6 view can be secured, and safe driving can be maintained.
  • a unit that operates in cooperation with the HUD device 1, specifically, an ECU or the like included in an automatic driving system that supports automatic driving of the vehicle 2 cuts off power supplied to the HUD device 1. It is done by doing.
  • the error processing unit 23 outputs a control signal to an ECU or the like included in the unit described above.
  • the ECU Upon receiving the control signal from the error processing unit 23, the ECU performs a process of cutting off the power supplied to the HUD device 1.
  • the error processing unit 23 itself may perform a process of cutting off the power supplied to the HUD device 1.
  • the error processing unit 23 performs a shutdown process and outputs a flag indicating that the shutdown process has been performed.
  • the flag is stored, for example, in the nonvolatile memory 17 in FIG. If the flag is set when the HUD device 1 is activated, the CPU 16 performs a self-diagnosis and confirms that there are no abnormalities in various parameters, and then executes an initial operation.
  • the power supplied to the HUD device 1 is cut off, but the power supplied to the video display device 35 may be cut off instead.
  • the error processing unit 23 controls the light source adjustment unit 30 via the CPU 16 to adjust the light emission amount of the video display device 35. Processing may be performed. Specifically, when the video display device 35 is an LCD, the error processing unit 23 turns off the backlight which is a light source included in the LCD. As a result, the HUD device 1 performs an operation of displaying a projection image (virtual image), but can display nothing in the display area 5.
  • the advantage in this case is that the display of the virtual image in the display area 5 can be easily restored after the backlight is turned off.
  • the process of FIG. 8 (the process of step S23) is periodically executed. Therefore, when the faulty state is resolved, the error processing unit 23 controls the backlight to be turned on again, thereby returning to the normal state.
  • the video diagnosis processing that is, confirmation of whether or not restoration is possible
  • the video diagnosis processing is performed. Can be performed. Then, when there is no abnormality in the video diagnosis processing, it is possible to return to the normal state as it is.
  • FIG. 10 and FIG. 11 are diagrams illustrating an example of an installation location of a monitoring camera different from FIG.
  • the surveillance camera 56b shown in FIG. 10 is one of the exterior cameras 56 in FIG. 4, and is, for example, a drive recorder installed on the ceiling in the vehicle.
  • a drive recorder installed on the ceiling in the vehicle.
  • the HUD device 1 can capture a projection image with the surveillance camera 56 b by temporarily changing the angle of the concave mirror 37 using the mirror adjustment unit 31 in FIG. 3.
  • the display area 5 is moved to the position. This makes it possible to execute the image diagnosis processing as shown in FIG.
  • moving the display area 5 affects the visibility of the driver 6. For this reason, the image diagnosis processing is executed, for example, during the initial operation as shown in FIG. 7 or during a temporary stop, and thereafter, the display area 5 is returned to the original position by using the mirror adjustment unit 31. A return process is performed.
  • the surveillance camera 55a shown in FIG. 11 is one of the in-vehicle cameras 55 in FIG. 4, and is, for example, a DMS camera installed so as to capture the face of the driver 6.
  • a DMS camera installed so as to capture the face of the driver 6.
  • the surveillance camera 55a As shown in the captured video data (captured video) 65a, the presence or absence of abnormality in the projected video can be diagnosed from the HUD light that strikes the face. Specifically, by the processing in step S205 in FIG. 6, it is possible to detect an abnormality such that the entire display image on the image display device 35 is painted out. Further, by using the high-resolution surveillance camera 55a, the surveillance camera 55a can take an image of the inside of the pupil of the driver 6 as shown in the captured video data (captured video) 65b. In this case, it is possible to execute the image diagnosis processing of FIG. 6 on the image in the pupil.
  • Embodiment 1 Main effects of Embodiment 1 >> As described above, by using the head-up display device of the first embodiment, it is possible to detect an abnormality in the projected image projected on the display area 5, and based on this, an abnormal display that hinders driving is prevented or suppressed. It becomes possible to do. Further, in particular, in an AR-HUD device requiring a wide display area 5, it is possible to prevent or suppress abnormal display that causes poor visibility of the driver. Thereby, it is possible to contribute to safe driving.
  • FIG. 12 is a block diagram showing a configuration example of a main part of a head-up display device according to a second embodiment of the present invention.
  • the head-up display (HUD) device 1 shown in FIG. 12 includes a monitoring camera 70 in the HUD device 1 unlike the configuration example of FIG.
  • the monitoring camera 70 captures an image displayed by the image display device 35 before the scenery is superimposed.
  • the image diagnostic unit 25b in the CPU 16 of the control unit 10b diagnoses whether or not the projection image is abnormal based on the image captured by the monitoring camera 70.
  • Other configurations are the same as the configuration example of FIG.
  • FIG. 13 is a schematic diagram illustrating an example of the processing content of the video diagnostic unit in FIG.
  • the surveillance camera 70 is installed so as to directly capture a display image displayed on the image display device 35.
  • the captured video (captured video data) 71 by the monitoring camera 70 does not include the landscape and includes only the projection target 64.
  • the image diagnostic unit 25b performs the same first, second, and third diagnostic processing D1 to D3 as in the case of FIG. 5 on the imaged image (imaged image data) 71 including only the projection target object 64.
  • the video diagnostic unit 25b determines, as the first diagnostic process D1, the identity between the projection target 64 in the captured video 71 and the projection target 63 in the output scheduled video 62 represented by the display video data. Verify. In addition, the video diagnostic unit 25b detects the ratio of the projection target 64 in the captured video 71 as the second diagnostic process D2, and detects the percentage of the solid area in the captured video 71 as the third diagnostic process D3. I do. The image diagnostic unit 25b diagnoses whether there is an abnormality in the projected image based on the verification result and the detection result. In the example of FIG. 13, both the diagnosis results of the first and second diagnosis processes D1 and D2 are abnormal. Further, when the projection target object 64 is painted out, the diagnosis result of the third diagnosis processing D3 is also abnormal.
  • FIG. 14 is a flowchart showing an example of the processing content of the video diagnostic unit in FIG.
  • the flow shown in FIG. 14 is the same as the flow in FIG. 6 except that the process in step S201 is deleted from the flow in FIG. That is, the processes in steps S300 and S301 to S306 shown in FIG. 14 are the same as the processes in steps S200 and S202 to S207 in FIG. 6, respectively.
  • the processing in step S201 is unnecessary.
  • FIG. 15 is a diagram showing different examples of various installation locations of the monitoring camera in FIG.
  • FIG. 16 is a diagram illustrating an example of an installation location of a monitoring camera with respect to a video display unit different from FIG.
  • FIG. 15 shows a video display unit 12a similar to that of FIG.
  • FIG. 16 shows an image display unit 12b in which the reflecting mirror 36 is not provided unlike the image display unit 12a of FIG.
  • the surveillance camera 70a is installed so as to directly capture the image displayed on the image display device 35, as in the case of FIG.
  • the monitoring camera 70b is installed so as to capture an image of the surface of the reflecting mirror 36.
  • the surveillance camera 70d is installed so as to capture an image of the display area 5 of the windshield 3 from a substantially normal direction of the windshield 3. By taking an image from such an angle, the surveillance camera 70d can take an image displayed by the image display device 35 (specifically, a display image reflected by the reflector 37) before the scenery is superimposed.
  • the surveillance camera 70c is installed so as to capture an image displayed on the image display device 35 from the back surface of the concave mirror 37 through the concave mirror 37.
  • the concave mirror 37 is, for example, a cold mirror that reflects visible light and transmits infrared light.
  • the surveillance camera 70c is a camera that can capture infrared light, and captures an image transmitted through a cold mirror.
  • the monitoring camera 70c captures the display video reflected by the reflecting mirror 36 through the concave mirror 37, and captures the display video of the video display device 35 through the concave mirror 37 in FIG. .
  • the video diagnostic unit 25b When performing the first diagnostic process D1 (identity verification) illustrated in FIG. 13, the video diagnostic unit 25b performs the reverse process of the captured video according to the installation location of the monitoring camera. For example, the direction of the captured image is reversed between the captured image of the monitoring camera 70a and the captured image of the monitoring camera 70b via the reflecting mirror 36. That is, when the number of reflections is even and odd, the direction of the captured image may be reversed. Therefore, the video diagnostic unit 25b performs a reverse process of the captured video as necessary in order to verify the identity of the projection target in the same direction.
  • the surveillance camera 70a needs to be installed so as not to enter the optical path of the video display device 35. For this reason, a sufficient installation location may not be able to be secured.
  • the degree of freedom associated with the installation is high.
  • the surveillance camera 70c has a high degree of freedom associated with the installation, and can be installed in the video display unit or installed close to the video display unit. Therefore, high space efficiency can be obtained.
  • a cold mirror or the like is required.
  • the surveillance camera 70d has a particularly high degree of freedom associated with its installation, and is applicable irrespective of the configuration of the video display unit. However, the space efficiency needs to be slightly reduced because it needs to be installed at a position distant from the video display unit. Note that when the monitoring camera 70d is used, the distortion of the captured image may be greater than when the other monitoring cameras 70a to 70c are used, but there is no particular problem by performing the distortion correction on the captured image. .
  • the surveillance camera 70 in FIG. 12 can be installed at any of the locations shown in FIGS. 15 and 16. However, considering the degree of freedom associated with the installation and application independent of the structure of the optical system, the surveillance camera 70 is particularly suitable. The installation location of 70c or the surveillance camera 70d is useful.
  • the invention made by the inventor has been specifically described based on the embodiment, the invention is not limited to the embodiment and can be variously modified without departing from the gist of the invention.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described above.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added to the configuration of another embodiment. .

Abstract

運転を妨げるような異常な表示を防止または抑止することが可能なヘッドアップディスプレイ装置を提供する。そこで、ヘッドアップディスプレイ装置１は、ウィンドシールドの表示領域へ投影映像を投影することで、投影映像が重畳された風景を車両の運転者に視認させるものであり、映像データ生成部２８と、映像表示装置３５と、監視カメラ７０と、映像診断部２５ｂとを有する。映像データ生成部２８は、投影映像の表示内容を定める表示映像データを生成する。映像表示装置３５は、表示映像データに基づいて表示映像を表示する。監視カメラ７０は、表示映像を風景が重畳される前に撮像する。映像診断部２５ｂは、監視カメラ７０で撮像された撮像映像に基づいて投影映像の異常の有無を診断する。

Description

ヘッドアップディスプレイ装置
　本発明は、ヘッドアップディスプレイ装置に関し、特に、ＡＲ（Augmented Reality：拡張現実）を利用したヘッドアップディスプレイ装置に適用して有効な技術に関する。
　特許文献１には、液晶プロジェクタ等の画像投射装置の投射領域を撮影するネットワークカメラと、ネットワークカメラで取得した投射領域の情報に基づいて、画像投射装置の異常を検出するコンピュータとを有する管理システムが示される。
特開２０１５－１１４５３２号公報
　例えば、自動車を代表とする車両には、ヘッドアップディスプレイ（Head Up Display、以下では「ＨＵＤ」と記載する場合がある）が搭載される場合がある。ＨＵＤは、車速やエンジン回転数などの走行情報やナビゲーション情報などの各種情報をウィンドシールド（フロントガラス）などに投射して表示する。ＨＵＤを用いると、運転者は、ダッシュボードに組み込まれる計器盤、いわゆるインパネなどに視線を移動することなく必要な情報を得ることができる。このため、安全運転に寄与することが可能になる。
　一方、ＨＵＤでは、例えば、表示輝度の増加、表示情報の更新不可、不要な情報の大量表示などといった異常な表示が生じ得る。この場合、運転者の注意が実在する標識や障害物等ではなくＨＵＤの表示に注がれたり、運転者の視界不良が生じることなどによって、安全運転が阻害される恐れがある。また、ＨＵＤでは、近年、実在する風景上の対象物に各種情報を付加して表示するようなＡＲの利用が望まれる。ＡＲを利用したＨＵＤ（ＡＲ－ＨＵＤ）では、広い表示領域が必要とされるため、特に運転者の視界不良を招くような異常な表示を防止または抑止することが重要となる。
　本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、運転を妨げるような異常な表示を防止または抑止することが可能なヘッドアップディスプレイ装置を提供することにある。
　本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
　代表的なヘッドアップディスプレイ装置は、ウィンドシールドの表示領域へ投影映像を投影することで、投影映像が重畳された風景を車両の運転者に視認させるものであり、映像データ生成部と、映像表示装置と、監視カメラと、映像診断部とを有する。映像データ生成部は、投影映像の表示内容を定める表示映像データを生成する。映像表示装置は、表示映像データに基づいて表示映像を表示する。監視カメラは、表示映像を風景が重畳される前に撮像する。映像診断部は、監視カメラで撮像された撮像映像に基づいて投影映像の異常の有無を診断する。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、ヘッドアップディスプレイ装置において、運転を妨げるような異常な表示を防止または抑止することが可能になる。
本発明の実施の形態１によるヘッドアップディスプレイ装置を搭載した車両の構成例を示す概略図である。 図１における映像表示ユニット周りの構成例を示す概略図である。 本発明の実施の形態１によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。 図３において、車両情報の取得に関わる箇所の構成例を示すブロック図である。 図３における映像診断部の処理内容の一例を説明する模式図である。 図３における映像診断部の処理内容の一例を示すフロー図である。 図３のヘッドアップディスプレイ装置における初期動作の一例を示すフロー図である。 図７におけるＨＵＤ装置の通常動作の一例を示すフロー図である。 異常発生時における図３のエラー処理部によるウィンドシールドへの表示内容の一例を示す図である。 図５とは異なる監視カメラの設置箇所の一例を示す図である。 図５とは異なる監視カメラの設置箇所の一例を示す図である。 本発明の実施の形態２によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。 図１２における映像診断部の処理内容の一例を説明する模式図である。 図１２における映像診断部の処理内容の一例を示すフロー図である。 図１２における監視カメラの各種設置箇所のそれぞれ異なる一例を示す図である。 図１５とは異なる映像表示ユニットに対する監視カメラの設置箇所の一例を示す図である。 （ａ）および（ｂ）は、本発明の前提として検討した異常表示画面の一例を示す図である。 本発明の前提として検討した異常表示画面の他の一例を示す図である。
　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　（実施の形態１）
　《ＨＵＤ装置の概要》
　図１は、本発明の実施の形態１によるヘッドアップディスプレイ装置を搭載した車両の構成例を示す概略図である。図１のヘッドアップディスプレイ（ＨＵＤ）装置１は、車両２に搭載される。車両２は、代表的には、自動車であるが、必ずしもこれに限定されず、場合によっては鉄道車両等であってもよい。ＨＵＤ装置１は、車両２の各部に設置された各種センサなどから車両情報４を取得する。各種センサは、例えば、車両２で生じた各種イベントを検知したり、走行状況に係る各種パラメータの値を定期的に検知したりする。
　車両情報４には、例えば、車両２の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンＯＮ／ＯＦＦ情報、車内外のカメラ映像情報、加速度ジャイロ情報、ＧＰＳ（Global Positioning System）情報、ナビゲーション情報、車車間通信情報、および路車間通信情報などが含まれる。ＨＵＤ装置１は、このような車両情報４に基づいて、映像表示ユニット１２を用いてウィンドシールド３の表示領域５へ投影映像を投影する。これによって、ＨＵＤ装置１は、投影映像が重畳された風景を車両２の運転者に視認させる。
　図２は、図１における映像表示ユニット周りの構成例を示す概略図である。図２に示す映像表示ユニット１２は、映像表示装置３５と、反射鏡３６と、凹面鏡（拡大鏡）３７とを有する。映像表示装置３５は、例えば、プロジェクタやＬＣＤ（Liquid Crystal Display）などであり、制御部から指示された表示映像データに基づいて表示映像を表示する。反射鏡３６や凹面鏡３７は、例えば、自由曲面ミラーや光軸非対称の形状を有するミラーである。反射鏡３６は、映像表示装置３５で表示された表示映像を表面で反射する。凹面鏡３７は、反射鏡３６で反射された表示映像を表面で反射および拡大し、開口部７を介して表示領域５へ投影する。
　これにより、運転者６は、表示領域５に投射された投影映像を、透明のウィンドシールド３の先の虚像として、車外の風景（道路や建物、人など）に重畳される形で視認する。投影映像（虚像）の中には、例えば、道路標識や、自車の現速度や、風景上の対象物に付加される各種情報（ＡＲ情報）など、様々なものが含まれる。なお、図２では、例えば、凹面鏡３７の角度を調整することで、ウィンドシールド３上の表示領域５の位置を調整可能となっており、運転者６が視認する虚像の位置を上下方向に調整可能となっている。また、例えば、凹面鏡３７をより大面積化することなどにより、表示領域５の面積を拡大でき、より多くの情報を表示領域５へ投影することが可能になる。これにより、風景上の対象物に各種情報を付加して表示するようなＡＲ機能が実現できる。
　《前提となる問題点》
　図１７（ａ）および図１７（ｂ）は、本発明の前提として検討した異常表示画面の一例を示す図である。図１８は、本発明の前提として検討した異常表示画面の他の一例を示す図である。図１７（ａ）では、ナビゲーション情報に基づき表示領域５に表示される案内表示に異常が生じている。具体的には、図１７（ａ）の上方に示されるように、車両７６が交差点の左折ポイントＰ１を過ぎたにもかかわらず、左折案内の表示や左折ポイントＰ１までの距離が残存している状態となっている。この状態は、例えば、映像表示装置３５やナビゲーションシステムがフリーズした場合などで生じ得る。
　図１７（ｂ）では、表示領域５の全体、あるいは大部分が塗りつぶされたような異常が生じている。この状態は、例えば、映像表示装置３５が故障した場合などで生じ得る。図１８では、表示領域５の全体に、不必要かつ無関係な多数の投影対象物が表示されるような異常が生じている。この状態は、例えば、ナビゲーションシステムに基づく表示映像データ自体に異常が有る場合などで生じ得る。
　このような異常な表示が生じた場合、運転者は、実在する標識や障害物等ではなく異常な表示部分に気をとられてしまうため、安全運転が阻害される恐れがある。特に、図１７（ｂ）や図１８に示されるような状態では、運転者の視界不良も生じるため、安全運転がより阻害される恐れがある。この視界不良の問題は、広い表示領域５が必要とされるＡＲを利用したＨＵＤ装置（ＡＲ－ＨＵＤ装置と呼ぶ）において、より顕著となる。そこで、後述する実施の形態の方式を用いることが有益となる。
　《ＨＵＤ装置の構成》
　図３は、本発明の実施の形態１によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。図４は、図３において、車両情報の取得に関わる箇所の構成例を示すブロック図である。図３に示すヘッドアップディスプレイ（ＨＵＤ）装置１は、制御部（ＥＣＵ：Electronic Control Unit）１０ａと、スピーカ１１と、映像表示ユニット１２と、ミラー駆動部１３とを備える。映像表示ユニット１２は、図２に示したように、映像表示装置３５や凹面鏡３７を含む。
　制御部１０ａは、主に、ＨＵＤ装置１における投影映像（虚像）の表示の制御や、音声出力の制御などを行う。制御部１０ａは、例えば、配線基板などによって構成され、配線基板上に実装される車両情報取得部１５、ＣＰＵ１６、不揮発性メモリ１７、揮発性メモリ１８、音声用ドライバ１９、表示用ドライバ２０、自己障害判定部２１、ユニット障害判定部２２およびエラー処理部２３などを備える。車両情報取得部１５は、例えば、ＣＡＮ（Controller Area Network）インタフェースやＬＩＮ（Local Interconnect Network）インタフェースなどであり、ＣＡＮやＬＩＮなどの通信プロトコルに基づいて車両情報４を取得する。
　車両情報４は、図４に示されるように、車両情報取得部１５に接続される各種センサなどの情報取得デバイスによって生成される。図４には、各種情報取得デバイスの一例が示される。例えば、車速センサ４１は、図１の車両２の速度を検出し、検出結果となる速度情報を生成する。シフトポジションセンサ４２は、現在のギアを検出し、検出結果となるギア情報を生成する。ハンドル操舵角センサ４３は、現在のハンドル操舵角を検出し、検出結果となるハンドル操舵角情報を生成する。
　ヘッドライトセンサ４４は、ヘッドライトのＯＮ／ＯＦＦを検出し、検出結果となるランプ点灯情報を生成する。照度センサ４５および色度センサ４６は、外光を検出し、検出結果となる外光情報を生成する。測距センサ４７は、車両２と外部の物体との間の距離を検出し、検出結果となる距離情報を生成する。赤外線センサ４８は、車両２の近距離における物体の有無や距離などを検出し、検出結果となる赤外線情報を生成する。エンジン始動センサ４９は、エンジンのＯＮ／ＯＦＦを検出し、検出結果となるＯＮ／ＯＦＦ情報を生成する。
　加速度センサ５０およびジャイロセンサ５１は、車両２の加速度および角速度をそれぞれ検出し、検出結果として、車両２の姿勢や挙動を表す加速度ジャイロ情報を生成する。温度センサ５２は、車内外の温度を検出し、検出結果となる温度情報を生成する。路車間通信用無線送受信機５３は、車両２と、道路、標識、信号等との間の路車間通信によって路車間通信情報を生成する。車車間通信用無線送受信機５４は、車両２と周辺の他の車両との間の車車間通信によって車車間通信情報を生成する。
　車内用カメラ５５および車外用カメラ５６は、それぞれ、車内および車外を撮影することで車内のカメラ映像情報および車外のカメラ映像情報を生成する。具体的には、車内用カメラ５５は、例えば、図２の運転者６の姿勢や、眼の位置、動きなどを撮影するＤＭＳ（Driver Monitoring System）用のカメラなどである。この場合、撮像された映像を解析することで、運転者６の疲労状況や視線の位置などが把握できる。
　一方、車外用カメラ５６は、例えば、車両２の前方や後方などの周囲の状況を撮影する。この場合、撮像された映像を解析することで、周辺に存在する他の車両や人などの障害物の有無、建物や地形、雨や積雪、凍結、凹凸などといった路面状況、および道路標識などを把握することが可能になる。また、車外用カメラ５６には、例えば、走行中の状況を映像で記録するドライブレコーダなども含まれる。
　ＧＰＳ受信機５７は、ＧＰＳ信号を受信することで得られるＧＰＳ情報を生成する。ＶＩＣＳ（Vehicle Information and Communication System、登録商標）受信機５８は、ＶＩＣＳ信号を受信することで得られるＶＩＣＳ情報を生成する。ＧＰＳ受信機５７やＶＩＣＳ受信機５８は、ナビゲーションシステムの一部として設けられてもよい。なお、図４の各種情報取得デバイスに関しては、適宜、削除することや、他の種類のデバイスを追加することや、他の種類のデバイスに置き換えることが可能である。
　図３において、ＣＰＵ（Central Processing Unit）１６は、このような車両情報４を車両情報取得部１５を介して受信し、当該車両情報４などに基づいて、スピーカ１１に向けた音声データや、映像表示装置３５に向けた表示映像データなどを生成する。具体的には、ＣＰＵ１６は、音声データ生成部２７と、映像データ生成部２８と、歪み補正部２９と、光源調整部３０と、ミラー調整部３１と、映像診断部２５ａとを備える。これらの各部は、不揮発性メモリ１７または揮発性メモリ１８に格納されるプログラムによって実装される。
　音声データ生成部２７は、必要に応じて、車両情報４などに基づく音声データを生成する。音声データは、例えば、ナビゲーションシステムの音声案内を行う場合や、ＡＲ機能によって運転者６に警告を発行する場合などで生成される。音声用ドライバ１９は、当該音声データに基づいてスピーカ１１を駆動し、スピーカ１１に音声を出力させる。
　映像データ生成部２８は、車両情報４などに基づいて、図２等の表示領域５に投影される投影映像の表示内容を定める表示映像データを生成する。歪み補正部２９は、映像データ生成部２８からの表示映像データに対して歪み補正を加えた補正後の表示映像データを生成する。具体的には、歪み補正部２９は、図２に示したように、映像表示装置３５の表示映像を表示領域５に投影した場合に、ウィンドシールド３の曲率によって生じる表示映像の歪みを補正する。
　表示用ドライバ２０は、歪み補正部２９からの補正後の表示映像データに基づいて映像表示装置３５内の各表示素子を駆動する。これによって、映像表示装置３５は、補正後の表示映像データに基づく表示映像を表示する。光源調整部３０は、映像表示装置３５の発光量を調整する。ミラー調整部３１は、ウィンドシールド３における表示領域５の位置を調整する必要がある場合に、ミラー駆動部１３を介して映像表示ユニット１２内の凹面鏡３７の角度を変更する。
　ここで、車両情報４には、監視カメラで撮像された撮像映像が含まれる。監視カメラは、図４に示した車外用カメラ５６（場合によっては車内用カメラ５５）に該当し、表示領域５における投影映像が重畳された風景を撮像する。映像診断部２５ａは、詳細は後述するが、当該監視カメラで撮像された撮像映像に基づいて、表示領域５における投影映像の異常の有無を診断する。
　自己障害判定部２１は、ＨＵＤ装置１におけるハードウェアなどの異常、すなわち装置異常の有無を判定する。自己障害判定部２１は、ＨＵＤ装置１の装置異常が発生していると判定した場合、異常発生信号を生成してエラー処理部２３へ出力する。ユニット障害判定部２２は、ＨＵＤ装置１以外の車両２に搭載されるユニットに障害が発生しているか否かを判定する。ユニット障害判定部２２は、他のユニットに異常が発生していると判定すると、異常発生信号を生成してエラー処理部２３へ出力する。
　エラー処理部２３は、自己障害判定部２１またはユニット障害判定部２２から出力される異常発生信号を受けた場合や、映像診断部２５ａによって異常有りと診断された場合に表示されている投影映像（虚像）が運転の妨げとならないように投影映像の表示内容を変更する。不揮発性メモリ１７は、主に、ＣＰＵ１６で実行するプログラムや、ＣＰＵ１６内の各部の処理で使用する設定パラメータなどを予め記憶する。揮発性メモリ１８は、主に、取得した車両情報４や、ＣＰＵ１６内の各部の処理で使用されるデータなどを適宜保持する。例えば、監視カメラの撮像映像に基づく撮像映像データや、映像データ生成部２８や歪み補正部２９によって生成される表示映像データは、揮発性メモリ１８に保持される。
　このように、自己障害判定部２１やユニット障害判定部２２は、ＨＵＤ装置の障害または障害の予兆を検知する。一方、映像診断部２５ａは、監視カメラによる実際の撮像画像から異常を検知する。自己障害判定部２１やユニット障害判定部２２を用いると、実際に表示領域５に異常が発生する前に予防措置を講じることが可能であるが、表示領域５の異常を招く全ての障害を検知できるとは限らないため、検知漏れが生じ得る。映像診断部２５ａを併用すると、この検知漏れを防止することが可能になる。ただし、映像診断部２５ａは、勿論、単独で適用することが可能であり、必ずしも、自己障害判定部２１やユニット障害判定部２２と併用する必要はない。
　なお、図３の制御部（ＥＣＵ）１０ａ内の車両情報取得部１５、ＣＰＵ１６、不揮発性メモリ１７、揮発性メモリ１８、音声用ドライバ１９および表示用ドライバ２０の一部または全ては、適宜、マイクロコンピュータやＦＰＧＡ（Field Programmable Gate Array）などに実装されてもよい。また、自己障害判定部２１、ユニット障害判定部２２およびエラー処理部２３は、この例では、ＣＰＵ１６も含めて障害判定対象とし、ＣＰＵ１６の障害時にもエラー処理を行う観点から、例えば、ＣＰＵ１６の外部に設けたＦＰＧＡや、別途設けたプロセッサ等に実装される。ただし、自己障害判定部２１、ユニット障害判定部２２およびエラー処理部２３の一部または全ては、場合によってはＣＰＵ１６内に実装されてもよい。
　《映像診断部の詳細》
　図５は、図３における映像診断部の処理内容の一例を説明する模式図である。図５に示す監視カメラ５６ａは、図４に示した車外用カメラ５６の一つである。当該監視カメラ５６ａは、例えば、ヘッドレストのアイポイント付近に設置され、ウィンドシールドの表示領域５を運転者６の目線方向から撮像する。これによって、風景に投影映像が重畳された撮像映像（撮像映像データ）６０が得られる。ここでは、監視カメラは、ヘッドレストに設置されるが、これに限らず、例えば、運転者６が装着したメガネ（ゴーグル）などに設置されてもよい。
　ここで、映像診断部２５ａは、まず、撮像映像６０内で風景と投影対象物（虚像）６４とを区別する区別処理Ｅ０を行う。区別処理Ｅ０は、例えば、撮像映像６０に対して各時刻のフレーム差分を検出することで行われる。具体的に説明すると、通常、投影対象物（虚像）６４は、変化しない時間が長いのに対して、風景は、刻一刻と変化する。この変化速度の違いを利用し、映像診断部２５ａは、撮像映像（撮像映像データ）６０に対し、例えば、短時間で変化する領域のデータを空白データに変更することなどで、投影対象物６４のみが残存した加工済み撮像映像（撮像映像データ）６１を生成する。
　続いて、映像診断部２５ａは、第１の診断処理Ｄ１として、加工済み撮像映像６１（ひいては撮像映像６０）内の投影対象物６４と、表示映像データが表す出力予定映像６２内の投影対象物６３との同一性を検証することで投影映像の異常の有無を診断する。具体的には、映像診断部２５ａは、例えば、投影対象物６３のサイズ、形状および配置箇所と、投影対象物６４のサイズ、形状および配置箇所とが同等か否かを判定する。この際に、例えば、投影対象物６３のサイズ、形状および配置箇所と、投影対象物６４のサイズ、形状および配置箇所との違いが、それぞれ数％以内あれば、両者は同等と判定される。
　図５の例では、出力予定映像（表示映像データ）６２内の投影対象物６３は１個の小さい左折案内図形であるのに対して、加工済み撮像映像６１（撮像映像６０）内の投影対象物６４は２個の大きい左折案内図形である。この場合、映像診断部２５ａは、投影対象物６３と投影対象物６４は同等でないと判定し、異常有りと診断する。なお、出力予定映像（表示映像データ）６２は、図３の映像データ生成部２８（または歪み補正部２９）によって生成される。
　一方、加工済み撮像映像６１に示されるような異常は、出力予定映像（表示映像データ）６２の異常によって、出力予定映像６２自体に投影対象物６４のような２個の大きい左折表示図形が含まれているような場合にも生じ得る。そこで、映像診断部２５ａは、第２の診断処理Ｄ２として、加工済み撮像映像６１（撮像映像６０）に占める投影対象物６４の割合を検出し、その割合が予め定めた閾値を超えるか否かを判定することで投影映像の異常の有無を診断する。加工済み撮像映像６１のような状況では、投影対象物６４の割合は閾値を超えるため、異常有りと診断される。
　また、例えば、加工済み撮像映像６１および出力予定映像６２が共に投影対象物を含まないような状況で、図１７（ｂ）に示したように、表示領域５全体が塗りつぶされるような異常が生じる可能性がある。そこで、映像診断部２５ａは、第３の診断処理Ｄ３として、撮像映像６０に占める塗りつぶし領域の割合を検出し、その割合が予め定めた閾値を超えるか否かを判定することで投影映像の異常の有無を診断する。塗りつぶし領域とは、例えば、風景を遮断するレベルの輝度を有する領域である。
　第３の診断処理Ｄ３を用いると、映像診断部２５ａは、塗りつぶし領域の割合が閾値を超える図１７（ｂ）に示したような状況に加えて、例えば、図５において、投影対象物６４が塗りつぶされているような場合も、異常有りと診断することができる。ここで、区別処理Ｅ０では、例えば、撮像映像６０内の投影対象物６４を、内部の塗りつぶし状態を含めて抽出し難い場合がある。そこで、第２の診断処理Ｄ２は、投影対象物６４の内部状態に関わらず、投影対象物６４の輪郭で囲まれる領域の割合を検出することで行われる。一方、第３の診断処理Ｄ３は、投影対象物の有無に関わらず、風景を遮断するレベルの輝度を有する領域の割合を検出することで行われる。
　図６は、図３における映像診断部の処理内容の一例を示すフロー図である。図６において、映像診断部２５ａは、まず、監視カメラによる撮像映像（撮像映像データ）と映像表示装置３５への出力予定映像（表示映像データ）とを取得する（ステップＳ２００）。続いて、映像診断部２５ａは、図５の区別処理Ｅ０で述べたように、撮像映像内で風景と投影対象物とを区別する（ステップＳ２０１）。次いで、映像診断部２５ａは、図５の第１の診断処理Ｄ１で述べたように、撮像映像内の投影対象物と出力予定映像内の投影対象物とが同等か否かを判定する（ステップＳ２０２）。
　両者の投影対象物が同等でない場合（ステップＳ２０２の“Ｎｏ”時）、映像診断部２５ａは、エラー処理部２３へ異常発生信号を出力する（ステップＳ２０７）。これを受けて、エラー処理部２３は、投影映像（虚像）が運転の妨げとならないように投影映像の表示内容を変更する。具体的には、エラー処理部２３は、例えば、投影映像を実質的に消すような制御を行う。一方、両者の投影対象物が同等である場合（ステップＳ２０２の“Ｙｅｓ”時）、映像診断部２５ａは、ステップＳ２０３へ移行する。
　ステップＳ２０３において、映像診断部２５ａは、図５の第２の診断処理Ｄ２で述べたように、撮像映像に占める投影対象物の割合を検出し、ステップＳ２０４において、その割合と予め定めた閾値とを比較する。映像診断部２５ａは、投影対象物の割合が閾値を超える場合（ステップＳ２０４の“Ｎｏ”時）、ステップＳ２０７に移行して異常発生信号を出力し、閾値を超えない場合（ステップＳ２０４の“Ｙｅｓ”時）、ステップＳ２０５へ移行する。
　ステップＳ２０５において、映像診断部２５ａは、図５の第３の診断処理Ｄ３で述べたように、撮像映像に占める塗りつぶし領域の割合を検出し、ステップＳ２０６において、その割合と予め定めた閾値とを比較する。映像診断部２５ａは、塗りつぶし領域の割合が閾値を超える場合（ステップＳ２０６の“Ｎｏ”時）、ステップＳ２０７に移行して異常発生信号を出力し、閾値を超えない場合（ステップＳ２０６の“Ｙｅｓ”時）、映像診断処理を終了する。
　このような映像診断処理を用いると、例えば、映像表示装置３５のフリーズによって生じた図１７（ａ）のような異常を、ステップＳ２０２の処理（第１の診断処理Ｄ１）によって検出できる。また、図１７（ｂ）のような異常を、ステップＳ２０６の処理（第３の診断処理Ｄ３）によって検出できる。さらに、図１８のような異常を、ステップＳ２０４の処理（第２の診断処理Ｄ２）によって検出できる。なお、ここでは、３種類の診断処理を用い、各診断結果のオア演算を行ったが、３種類の診断処理のいずれか１つ又は２以上を用いることや、適宜、各診断結果のアンド演算を行うことも可能である。
　《ＨＵＤ装置の動作》
　図７は、図３のヘッドアップディスプレイ装置における初期動作の一例を示すフロー図である。停止中の車両２においてイグニッションスイッチがＯＮされることでＨＵＤ装置１の電源がＯＮされると（ステップＳ０１）、ＨＵＤ装置１は、車両情報取得部１５を用いて車両情報４を取得する（ステップＳ０２）。続いて、ＣＰＵ１６は、車両情報４のうち、照度センサ４５や色度センサ４６などにより取得した外光情報に基づいて好適な明るさレベルを算出し（ステップＳ０３）、算出した明るさレベルとなるように映像表示装置３５の発光量を光源調整部３０を用いて設定する（ステップＳ０４）。明るさレベルは、外光が明るい場合には高く設定され、暗い場合には低く設定される。
　次いで、映像データ生成部２８は、投影映像の表示内容を定める表示映像データを生成する（ステップＳ０５）。この表示内容は、例えば、予め定めた初期映像などである。続いて、歪み補正部２９は、映像データ生成部２８からの表示映像データに対して歪み補正を行い（ステップＳ０６）、表示用ドライバ２０は、当該補正後の表示映像データに基づいて映像表示装置３５の表示素子を駆動する（ステップＳ０７）。これにより、映像表示装置３５は、補正後の表示映像データに基づく表示映像を表示し、当該表示映像は、映像表示ユニット１２内の鏡を介してウィンドシールド３の表示領域５へ投影される。
　その後、映像診断部２５ａは、図６に示したような映像診断処理を実行する（ステップＳ１０１）。その結果、異常発生信号が出力された場合（ステップＳ１０２の“Ｙｅｓ”時）、エラー処理部２３は、所定のエラー処理を行う（ステップＳ１０３）。このエラー処理の中には、投影映像の表示内容を変更する処理の他に、起動時障害であるためＨＵＤ装置１の通常動作を禁止するような処理が含まれてもよい。
　一方、ステップＳ１０２で障害発生信号が出力されない場合（“Ｎｏ”時）、ＨＵＤ装置１における一連の初期動作を含む各部の起動・始動が完了し、ＨＵＤ－ＯＮ信号が出力される。ＣＰＵ１６は、このＨＵＤ－ＯＮ信号を受けたか否かを判定する（ステップＳ０８）。ＣＰＵ１６は、ＨＵＤ－ＯＮ信号を受けていなければ、ＨＵＤ－ＯＮ信号を受けるまで、ＨＵＤ－ＯＮ信号を一定時間待ち受ける（ステップＳ０９）。一方、ＣＰＵ１６は、ＨＵＤ－ＯＮ信号を受けた場合、後述するＨＵＤ装置１の通常動作を開始し（ステップＳ１０）、一連の初期動作を終了する。
　図８は、図３におけるＨＵＤ装置の通常動作の一例を示すフロー図である。通常動作においても、基本的な処理の流れは上述の図７に示した初期動作と概ね同様である。まず、ＨＵＤ装置１は、車両情報取得部１５を用いて車両情報４を取得する（ステップＳ２１）。続いて、ＣＰＵ１６は、後述するステップＳ２３の処理を実行するか否かを判定する（ステップＳ２２）。このステップＳ２２の処理は、予め設定された時間を経過する毎に行われるものであり、前回の処理から設定時間を経過している場合にステップＳ２３の処理を実行すると判定される。
　ＣＰＵ１６は、前回の処理から設定時間を経過している場合（ステップＳ２２の“Ｙｅｓ”時）、障害発生状況の確認および表示内容変更処理を実行する（ステップＳ２３）。障害発生状況の確認および表示内容変更処理は、自己障害判定部２１およびユニット障害判定部２２を用いてＨＵＤ装置１の障害発生状況を確認し、エラー処理部２３を用いてＨＵＤ装置１が表示する内容を変更する処理である。一方、ＣＰＵ１６は、前回の処理から設定時間を経過していない場合（ステップＳ２２の“Ｎｏ”時）、車両情報４のうち、照度センサ４５や色度センサ４６などにより取得した外光情報に基づいて明るさレベル調整処理を行う（ステップＳ２４）。
　次いで、映像データ生成部２８は、ステップＳ２１の処理で取得した最新の車両情報４に基づいて、投影映像の更新内容を定め、当該更新内容に対応する表示映像データを生成する（ステップＳ２５）。更新内容の定め方は、車両情報４の内容やそれらの組み合わせなどに応じて様々なものがあり得る。例えば、速度情報が変化したことにより、常時表示されている速度表示の数値を変更する方法や、ナビゲーション情報に基づいて案内の矢印図形を表示／消去したり、矢印の形状や表示位置などを変更する方法などが挙げられる。
　続いて、ＨＵＤ装置１は、車両２の走行状況に応じて視認性や表示内容の適切性などを維持するための調整・補正処理を行う。この際に、表示領域５自体の位置を調整する必要がある場合、ミラー調整部３１は、ミラー駆動部１３を介して凹面鏡３７の角度を変更し、表示領域５を上下に移動させるミラー調整処理を行う（ステップＳ２６）。
　その後、ＨＵＤ装置１は、映像診断が必要か否かを判定する（ステップＳ１２１）。例えば、定期的に映像診断を行う場合、前回の映像診断から所定の時間以上が経過した場合に、映像診断が必要と判定される。ステップＳ１２１で映像診断が必要な場合（“Ｙｅｓ”時）、映像診断部２５ａは、図６に示したような映像診断処理を実行する（ステップＳ１２２）。この際に、映像診断部２５ａによって異常発生信号が出力された場合、エラー処理部２３は、投影映像の表示内容を、運転の妨げとならないように変更する処理を行う。この変更された表示内容は、例えば、次回の映像診断の直前まで維持され、次回の映像診断の直前に解除される。
　一方、ステップＳ１２１で映像診断が不要な場合（“Ｎｏ”時）、ＣＰＵ１６は、ＨＵＤ－ＯＦＦ信号を受けたか否かを判定する（ステップＳ２７）。すなわち、上述した一連の通常動作を実行している際に、車両２の停止などに伴って電源ＯＦＦなどがなされると、ＨＵＤ装置１に対してＨＵＤ－ＯＦＦ信号が出力される。ＣＰＵ１６は、その出力有無を判定する。ＣＰＵ１６は、ＨＵＤ－ＯＦＦ信号を受けていなければ、ステップＳ２１の処理に戻り、ＨＵＤ－ＯＦＦ信号を受けた場合は、通常動作を終了する。
　《エラー処理部による表示例》
　図９は、異常発生時における図３のエラー処理部によるウィンドシールドへの表示内容の一例を示す図である。図９は、図２の車両２の運転者６が運転席からウィンドシールド３を介して視認している表示領域５の表示内容を模式的に示したものである。エラー処理部２３は、自己障害判定部２１、ユニット障害判定部２２または映像診断部２５ａからの異常発生信号を受け取ると、例えば、ＨＵＤ装置１自体をシャットダウンする処理を実行する。ＨＵＤ装置１がシャットダウンすることにより、図９に示すように、表示領域５には、何も表示されない。これにより、運転者６の視野を確保することができ、安全運転を維持することができる。
　ＨＵＤ装置１のシャットダウンは、例えばＨＵＤ装置１と連携して動作するユニット、具体的には、車両２の自動運転を支援する自動運転システムが有するＥＣＵなどがＨＵＤ装置１に供給される電力を遮断することで行われる。その場合、エラー処理部２３は、制御信号を上述したユニットが有するＥＣＵなどに出力する。ＥＣＵは、エラー処理部２３からの制御信号を受け取ると、ＨＵＤ装置１に供給される電力を遮断する処理を行う。
　あるいは、エラー処理部２３自身がＨＵＤ装置１に供給される電力を遮断する処理を行うようにしてもよい。この場合、エラー処理部２３は、シャットダウン処理を行うと共に、シャットダウン処理を行ったことを示すフラグを出力する。当該フラグは、例えば図３の不揮発性メモリ１７などに格納される。そして、ＨＵＤ装置１の起動の際にフラグが立っていた場合には、ＣＰＵ１６は、自己診断を実施して各種パラメータに異常がないことを確認した後、初期動作を実行する。なお、ここでは、ＨＵＤ装置１に供給される電力を遮断したが、その代わりに、映像表示装置３５に供給される電力を遮断してもよい。
　また、表示領域５に虚像を表示させないようにする他の方式として、例えば、エラー処理部２３は、ＣＰＵ１６を介して光源調整部３０を制御することで、映像表示装置３５の発光量を調整する処理を行ってもよい。具体的には、映像表示装置３５がＬＣＤの場合、エラー処理部２３は、該ＬＣＤが備える光源であるバックライトをオフする。これにより、ＨＵＤ装置１は、投影映像（虚像）を表示する動作を行っているが、表示領域５には何も表示されていない状態にすることができる。
　この場合の利点は、該バックライトをオフした後、表示領域５への虚像の表示を容易に復帰させることができる点である。例えば、自己障害判定部２１が障害有りと判定した場合（例えば、ＣＰＵ１６の温度が閾値を超えた場合など）でも、図８の処理（ステップＳ２３の処理）は定期的に実行される。このため、障害有りの状態が解消されると、エラー処理部２３が再びバックライトをオンに制御することで、正常状態に復帰することができる。また、例えば、バックライトをオフにしている状態でも、図８の映像診断処理（ステップＳ１２２）の直前でバックライトをオンに制御することで、当該映像診断処理（すなわち、復帰の可否確認）を実行することができる。そして、映像診断処理で異常無しの場合、そのまま正常状態に復帰することができる。
　《監視カメラの設置箇所（変形例）》
　図１０および図１１は、図５とは異なる監視カメラの設置箇所の一例を示す図である。図１０に示す監視カメラ５６ｂは、図４の車外用カメラ５６の一つであり、例えば、車内の天井に設置されるドライブレコーダである。監視カメラ５６ｂとして、このようなドライブレコーダを利用することで、監視カメラ５６ｂを別途搭載する必要がないためコストの低減などが図れる。ただし、ドライブレコーダの設置箇所・撮像範囲では、投影映像を撮像できない可能性がある。
　このような場合、ＨＵＤ装置１は、図１０に示されるように、図３のミラー調整部３１を用いて凹面鏡３７の角度を一時的に変更することで、監視カメラ５６ｂで投影映像を撮像できる位置に表示領域５を移動させる。これによって、図６に示したような映像診断処理を実行することが可能になる。一方、表示領域５を移動させると、運転者６の視認に影響が生じる。このため、映像診断処理は、例えば、図７に示したような初期動作時や、または、一時停車中などで実行され、その後に、ミラー調整部３１を用いて表示領域５を元の位置に戻す処理が行われる。
　図１１に示す監視カメラ５５ａは、図４の車内用カメラ５５の一つであり、例えば、運転者６の顔を撮像するように設置されるＤＭＳ用のカメラである。監視カメラ５５ａとして、このようなＤＭＳ用のカメラを利用することで、監視カメラ５５ａを別途搭載する必要がないためコストの低減などが図れる。また、図１０の場合のような表示領域５の調整処理も不要となる。
　監視カメラ５５ａを用いると、撮像映像データ（撮像映像）６５ａに示されるように、顔に当たるＨＵＤ光から、投影映像の異常の有無を診断できる。具体的には、図６のステップＳ２０５の処理によって、映像表示装置３５の表示映像全体が塗りつぶされているような異常を検出できる。さらに、高解像度な監視カメラ５５ａを用いることで、監視カメラ５５ａは、撮像映像データ（撮像映像）６５ｂに示されるように、運転者６の瞳の中を撮像することができる。この場合、この瞳の中の映像を対象に、図６の画像診断処理を実行することが可能である。
　《実施の形態１の主要な効果》
　以上、実施の形態１のヘッドアップディスプレイ装置を用いることで、表示領域５に投影される投影映像の異常を検出可能になるため、それに基づいて、運転を妨げるような異常な表示を防止または抑止することが可能になる。また、特に、広い表示領域５が必要とされるＡＲ－ＨＵＤ装置において、運転者の視界不良を招くような異常な表示を防止または抑止することが可能になる。これにより、安全運転に寄与することが可能になる。
　（実施の形態２）
　《ＨＵＤ装置の構成》
　図１２は、本発明の実施の形態２によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。図１２に示すヘッドアップディスプレイ（ＨＵＤ）装置１は、図３の構成例と異なり、ＨＵＤ装置１内に監視カメラ７０を備える。当該監視カメラ７０は、映像表示装置３５による表示映像を風景が重畳される前に撮像する。これに伴い、制御部１０ｂにおけるＣＰＵ１６内の映像診断部２５ｂは、当該監視カメラ７０で撮像された撮像映像に基づいて投影映像の異常の有無を診断する。その他の構成に関しては、図３の構成例と同様である。
　《映像診断部の詳細》
　図１３は、図１２における映像診断部の処理内容の一例を説明する模式図である。図１３の例では、監視カメラ７０は、映像表示装置３５で表示された表示映像を直接撮像するように設置される。その結果、当該監視カメラ７０による撮像映像（撮像映像データ）７１は、図５の撮像映像（撮像映像データ）６０と異なり、風景を含まず、投影対象物６４のみを含む。映像診断部２５ｂは、当該投影対象物６４のみを含む撮像映像（撮像映像データ）７１を対象に、図５の場合と同様の第１、第２および第３の診断処理Ｄ１～Ｄ３を行う。
　具体的には、映像診断部２５ｂは、第１の診断処理Ｄ１として、撮像映像７１内の投影対象物６４と、表示映像データが表す出力予定映像６２内の投影対象物６３との同一性を検証する。また、映像診断部２５ｂは、第２の診断処理Ｄ２として、撮像映像７１に占める投影対象物６４の割合を検出し、第３の診断処理Ｄ３として、撮像映像７１に占める塗りつぶし領域の割合を検出する。映像診断部２５ｂは、これらの検証結果、検出結果に基づいて投影映像の異常の有無を診断する。図１３の例では、第１および第２の診断処理Ｄ１，Ｄ２の診断結果は共に異常有りとなる。また、投影対象物６４が塗りつぶされている場合には、第３の診断処理Ｄ３の診断結果も異常有りとなる。
　図１４は、図１２における映像診断部の処理内容の一例を示すフロー図である。図１４に示すフローは、図６のフローと比較して、ステップＳ２０１の処理が削除されていることを除いて図６のフローと同様である。すなわち、図１４に示すステップＳ３００，Ｓ３０１～Ｓ３０６の処理は、それぞれ、図６のステップＳ２００，Ｓ２０２～Ｓ２０７の処理と同様である。前述したように、撮像映像７１は風景を含まないため、ステップＳ２０１の処理は不要である。
　《監視カメラの設置箇所》
　図１５は、図１２における監視カメラの各種設置箇所のそれぞれ異なる一例を示す図である。図１６は、図１５とは異なる映像表示ユニットに対する監視カメラの設置箇所の一例を示す図である。図１５には、図２と同様の映像表示ユニット１２ａが示される。図１６には、図１５の映像表示ユニット１２ａと異なり、反射鏡３６が設けられない映像表示ユニット１２ｂが示される。
　図１５において、監視カメラ７０ａは、図１３の場合と同様に、映像表示装置３５の表示映像を直接撮像するように設置される。監視カメラ７０ｂは、反射鏡３６の表面を撮像するように設置される。監視カメラ７０ｄは、ウィンドシールド３の表示領域５をウィンドシールド３の略法線方向から撮像するように設置される。監視カメラ７０ｄは、このような角度から撮像を行うことで、映像表示装置３５による表示映像（詳細には、反射鏡３７で反射された表示映像）を風景が重畳される前に撮像できる。
　監視カメラ７０ｃは、凹面鏡３７の裏面から凹面鏡３７越しに映像表示装置３５の表示映像を撮像するように設置される。この場合、凹面鏡３７は、例えば、可視光を反射し、赤外線を透過するコールドミラーである。監視カメラ７０ｃは、赤外線を撮像できるカメラであり、コールドミラーで透過された映像を撮像する。監視カメラ７０ｃは、図１５の場合には、凹面鏡３７越しに反射鏡３６で反射された表示映像を撮像し、図１６の場合には、凹面鏡３７越しに映像表示装置３５の表示映像を撮像する。
　映像診断部２５ｂは、図１３に示した第１の診断処理Ｄ１（同一性検証）を行う場合、監視カメラの設置箇所に応じて、撮像映像の反転処理を行う。例えば、監視カメラ７０ａの撮像映像と、反射鏡３６を介した監視カメラ７０ｂの撮像映像とでは、撮像映像の向きが逆転する。すなわち、反射回数が偶数回目と奇数回目とでは撮像映像の向きが逆になり得る。そこで、映像診断部２５ｂは、同じ向きで投影対象物の同一性検証を行えるようにするため、必要に応じて撮像映像の反転処理を行う。
　ここで、監視カメラの各設置箇所を比較する。監視カメラ７０ａは、映像表示装置３５の光路に入り込まないように設置される必要がある。このため、十分な設置箇所が確保できない場合がある。監視カメラ７０ｂに関しては、設置に伴う自由度が高い。ただし、図１６のように反射鏡３６が設けられない映像表示ユニット１２ｂに対しては適用困難となる。監視カメラ７０ｃに関しては、設置に伴う自由度が高く、また、映像表示ユニット内の設置または映像表示ユニットと近接した設置が可能である。このため、高いスペース効率が得られる。ただし、コールドミラーなどが必要とされる。
　監視カメラ７０ｄに関しては、設置に伴う自由度が特に高く、また、映像表示ユニットの構成に依らず適用可能である。ただし、映像表示ユニットから離れた位置に設置する必要があるため、スペース効率が若干低下する。なお、監視カメラ７０ｄを用いる場合、他の監視カメラ７０ａ～７０ｃを用いる場合と比較して、撮像映像の歪みが大きくなり得るが、撮像映像に対して歪み補正を行うことで特に問題は生じない。図１２の監視カメラ７０は、図１５および図１６に示した箇所のいずれにも設置可能であるが、設置に伴う自由度や光学系の構造に依らない適用などを考慮すると、特に、監視カメラ７０ｃまたは監視カメラ７０ｄの設置箇所が有益となる。
　《実施の形態２の主要な効果》
　以上、実施の形態２のヘッドアップディスプレイ装置を用いることでも、実施の形態１で述べた各種効果と同様の効果が得られる。また、実施の形態１の場合と異なり、撮像映像内で風景と投影対象物とを区別する必要がなく、予め投影対象物のみを含んでいる撮像映像を対象として映像診断を行える。実際上、映像診断部は、風景と投影対象物とを十分に区別し難い場合があり、結果として、診断精度が低下する恐れがある。実施の形態２の方式を用いると、この区別が不要となるため、実施の形態１の方式と比較して診断精度の向上が図れる。さらに、監視カメラ７０の設置に伴う選択肢も、実施の形態１の場合と比較して多くなる。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１　ＨＵＤ装置
　２，７６　車両
　３　ウィンドシールド
　４　車両情報
　５　表示領域
　６　運転者
　７　開口部
　１０ａ，１０ｂ　制御部（ＥＣＵ）
　１１　スピーカ
　１２，１２ａ，１２ｂ　映像表示ユニット
　１３　ミラー駆動部
　１５　車両情報取得部
　１６　ＣＰＵ
　１７　不揮発性メモリ
　１８　揮発性メモリ
　１９　音声用ドライバ
　２０　表示用ドライバ
　２１　自己障害判定部
　２２　ユニット障害判定部
　２３　エラー処理部
　２５ａ，２５ｂ　映像診断部
　２７　音声データ生成部
　２８　映像データ生成部
　２９　歪み補正部
　３０　光源調整部
　３１　ミラー調整部
　３５　映像表示装置
　３６　反射鏡
　３７　凹面鏡
　４１　車速センサ
　４２　シフトポジションセンサ
　４３　ハンドル操舵角センサ
　４４　ヘッドライトセンサ
　４５　照度センサ
　４６　色度センサ
　４７　測距センサ
　４８　赤外線センサ
　４９　エンジン始動センサ
　５０　加速度センサ
　５１　ジャイロセンサ
　５２　温度センサ
　５３　路車間通信用無線送受信機
　５４　車車間通信用無線送受信機
　５５　車内用カメラ
　５５ａ，５６ａ，５６ｂ，７０，７０ａ～７０ｄ　監視カメラ
　５６　車外用カメラ
　５７　ＧＰＳ受信機
　５８　ＶＩＣＳ受信機
　６０，６５ａ，６５ｂ，７１　撮像映像（撮像映像データ）
　６１　加工済み撮像映像
　６２　出力予定映像（表示映像データ）
　６３，６４　投影対象物
　Ｄ１～Ｄ３　診断処理
　Ｅ０　区別処理

Claims (15)

  1. 　ウィンドシールドの表示領域へ投影映像を投影することで、前記投影映像が重畳された風景を車両の運転者に視認させるヘッドアップディスプレイ装置であって、
    　前記投影映像の表示内容を定める表示映像データを生成する映像データ生成部と、
    　前記表示映像データに基づいて表示映像を表示する映像表示装置と、
    　前記表示映像を前記風景が重畳される前に撮像する監視カメラと、
    　前記監視カメラで撮像された撮像映像に基づいて前記投影映像の異常の有無を診断する映像診断部と、
    を有するヘッドアップディスプレイ装置。
  2. 　請求項１記載のヘッドアップディスプレイ装置において、
    　前記映像診断部は、前記撮像映像内の投影対象物と、前記表示映像データが表す出力予定映像内の投影対象物との同一性を検証することで前記投影映像の異常の有無を診断する、
    ヘッドアップディスプレイ装置。
  3. 　請求項１または２記載のヘッドアップディスプレイ装置において、
    　前記映像診断部は、前記撮像映像に占める投影対象物の割合を検出することで前記投影映像の異常の有無を診断する、
    ヘッドアップディスプレイ装置。
  4. 　請求項１または２記載のヘッドアップディスプレイ装置において、
    　前記映像診断部は、前記撮像映像に占める塗りつぶし領域の割合を検出することで前記投影映像の異常の有無を診断する、
    ヘッドアップディスプレイ装置。
  5. 　請求項１記載のヘッドアップディスプレイ装置において、
    　前記監視カメラは、前記ウィンドシールドの前記表示領域を前記ウィンドシールドの略法線方向から撮像するように設置される、
    ヘッドアップディスプレイ装置。
  6. 　請求項１記載のヘッドアップディスプレイ装置において、
    　さらに、コールドミラーであり、前記映像表示装置で表示された前記表示映像を表面で反射して前記表示領域へ投影する凹面鏡を有し、
    　前記監視カメラは、前記凹面鏡の裏面から前記凹面鏡越しに前記表示映像を撮像するように設置される、
    ヘッドアップディスプレイ装置。
  7. 　請求項１記載のヘッドアップディスプレイ装置において、
    　前記映像表示装置で表示された前記表示映像を直接撮像するように設置される、
    ヘッドアップディスプレイ装置。
  8. 　請求項１記載のヘッドアップディスプレイ装置において、
    　さらに、前記映像表示装置で表示された前記表示映像を表面で反射する反射鏡を有し、
    　前記監視カメラは、前記反射鏡の表面を撮像するように設置される、
    ヘッドアップディスプレイ装置。
  9. 　請求項１記載のヘッドアップディスプレイ装置において、
    　さらに、前記映像診断部によって異常有りと診断された場合に前記投影映像の表示内容を変更するエラー処理部を有する、
    ヘッドアップディスプレイ装置。
  10. 　ウィンドシールドの表示領域へ投影映像を投影することで、前記投影映像が重畳された風景を車両の運転者に視認させるヘッドアップディスプレイ装置であって、
    　前記投影映像の表示内容を定める表示映像データを生成する映像データ生成部と、
    　前記表示映像データに基づいて表示映像を表示する映像表示装置と、
    　前記投影映像が重畳された前記風景を撮像する監視カメラと、
    　前記監視カメラで撮像された撮像映像に基づいて前記投影映像の異常の有無を診断する映像診断部と、
    を有するヘッドアップディスプレイ装置。
  11. 　請求項１０記載のヘッドアップディスプレイ装置において、
    　前記映像診断部は、前記撮像映像内で前記風景と投影対象物とを区別し、前記撮像映像内の投影対象物と、前記表示映像データが表す出力予定映像内の投影対象物との同一性を検証することで前記投影映像の異常の有無を診断する、
    ヘッドアップディスプレイ装置。
  12. 　請求項１０または１１記載のヘッドアップディスプレイ装置において、
    　前記映像診断部は、前記撮像映像内で前記風景と投影対象物とを区別し、前記撮像映像に占める投影対象物の割合を検出することで前記投影映像の異常の有無を診断する、
    ヘッドアップディスプレイ装置。
  13. 　請求項１０または１１記載のヘッドアップディスプレイ装置において、
    　前記映像診断部は、前記撮像映像に占める塗りつぶし領域の割合を検出することで前記投影映像の異常の有無を診断する、
    ヘッドアップディスプレイ装置。
  14. 　請求項１０記載のヘッドアップディスプレイ装置において、
    　前記監視カメラは、前記ウィンドシールドの前記表示領域を前記運転者の目線方向から撮像するように設置される、
    ヘッドアップディスプレイ装置。
  15. 　請求項１０記載のヘッドアップディスプレイ装置において、
    　さらに、前記映像診断部によって異常有りと診断された場合に前記投影映像の表示内容を変更するエラー処理部を有する、
    ヘッドアップディスプレイ装置。
PCT/JP2019/028351 2018-09-07 2019-07-18 ヘッドアップディスプレイ装置 WO2020049881A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020541050A JP7053857B2 (ja) 2018-09-07 2019-07-18 ヘッドアップディスプレイ装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018168124 2018-09-07
JP2018-168124 2018-09-07

Publications (1)

Publication Number Publication Date
WO2020049881A1 true WO2020049881A1 (ja) 2020-03-12

Family

ID=69722898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028351 WO2020049881A1 (ja) 2018-09-07 2019-07-18 ヘッドアップディスプレイ装置

Country Status (2)

Country Link
JP (1) JP7053857B2 (ja)
WO (1) WO2020049881A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019686A (zh) * 2021-11-23 2022-02-08 芜湖汽车前瞻技术研究院有限公司 抬头显示器的虚像显示方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209457A (ja) * 2010-03-29 2011-10-20 Denso Corp ヘッドアップディスプレイ装置の製造方法および同製造方法に用いるのに適した虚像調整装置
JP2015022013A (ja) * 2013-07-16 2015-02-02 株式会社デンソー 検査装置
WO2016143412A1 (ja) * 2015-03-12 2016-09-15 富士フイルム株式会社 投写型表示装置及び運転支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209457A (ja) * 2010-03-29 2011-10-20 Denso Corp ヘッドアップディスプレイ装置の製造方法および同製造方法に用いるのに適した虚像調整装置
JP2015022013A (ja) * 2013-07-16 2015-02-02 株式会社デンソー 検査装置
WO2016143412A1 (ja) * 2015-03-12 2016-09-15 富士フイルム株式会社 投写型表示装置及び運転支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019686A (zh) * 2021-11-23 2022-02-08 芜湖汽车前瞻技术研究院有限公司 抬头显示器的虚像显示方法、装置、设备和介质

Also Published As

Publication number Publication date
JPWO2020049881A1 (ja) 2021-08-12
JP7053857B2 (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
JP6953539B2 (ja) ヘッドアップディスプレイ装置
JP6629889B2 (ja) ヘッドアップディスプレイ装置
JP4984974B2 (ja) 運転支援システム及び車載装置
US20140132852A1 (en) Display Device Having A Liquid Crystal Display And Method For Protecting A Liquid Crystal Display
JP6655732B2 (ja) ヘッドアップディスプレイシステム
US11507196B2 (en) Method and device for controlling display content on an output means of a vehicle
JP2018118580A (ja) 車両用表示装置
JP2019113809A (ja) ヘッドアップディスプレイ装置
US11367417B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP7053857B2 (ja) ヘッドアップディスプレイ装置
JP7182411B2 (ja) ヘッドアップディスプレイ装置
JP7099837B2 (ja) 車両用表示投影装置
US20220146840A1 (en) Display control device, and display control method
JP6658483B2 (ja) 車両用表示制御装置及び車両用表示システム
WO2021131529A1 (ja) ヘッドアップディスプレイ装置
US11345364B2 (en) Attention calling device and attention calling method
CN111477025B (zh) 信号灯盲区辅助系统及其控制单元和控制方法
JP6828736B2 (ja) 車両用表示装置
WO2020049873A1 (ja) ヘッドアップディスプレイ装置
WO2024042762A1 (ja) ヘッドアップディスプレイ装置および映像データの処理方法
JP2024029820A (ja) ヘッドアップディスプレイ装置および映像データの処理方法
JP7116670B2 (ja) 走行制御装置、制御方法およびプログラム
WO2023243213A1 (ja) ヘッドアップディスプレイ装置
KR20160109912A (ko) 헤드업 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856779

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541050

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856779

Country of ref document: EP

Kind code of ref document: A1