WO2018051734A1 - 投写型表示装置及びその制御方法 - Google Patents

投写型表示装置及びその制御方法 Download PDF

Info

Publication number
WO2018051734A1
WO2018051734A1 PCT/JP2017/029805 JP2017029805W WO2018051734A1 WO 2018051734 A1 WO2018051734 A1 WO 2018051734A1 JP 2017029805 W JP2017029805 W JP 2017029805W WO 2018051734 A1 WO2018051734 A1 WO 2018051734A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
light
display device
projection display
Prior art date
Application number
PCT/JP2017/029805
Other languages
English (en)
French (fr)
Inventor
広大 藤田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780056810.0A priority Critical patent/CN109789779B/zh
Priority to JP2018539592A priority patent/JP6464326B2/ja
Publication of WO2018051734A1 publication Critical patent/WO2018051734A1/ja
Priority to US16/283,846 priority patent/US10795155B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114—Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/149—Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a projection display device and a control method thereof.
  • Patent Document 1 and Patent Document 2 A system that performs driving support using this HUD is described in Patent Document 1 and Patent Document 2.
  • the HUDs described in Patent Document 1 and Patent Document 2 display an image simulating an operation panel provided on a steering wheel of an automobile, so that the driver of the automobile does not look at the operation panel, and the operation panel is displayed based on the image of the HUD. It is possible to grasp the button arrangement of.
  • Patent Document 3 describes an automobile that displays the shape of an operation switch for operating an air conditioner, an audio, a car navigation system, and the like and the function of the operation switch on a center console.
  • Patent Document 4 describes an automobile that displays an arrangement of multi-switches for performing operations such as audio on an instrument panel.
  • Patent Documents 1-4 are technologies for displaying images for supporting the operation of devices such as audio or air conditioners that are not directly related to driving, dangerous events or the like are likely to occur in automatic driving or remote driving. In some cases, the occupant does not know what kind of operation the event can be avoided, and there is a possibility that a delay will occur before the necessary operation related to driving is performed.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a projection display device capable of intuitively notifying a passenger of necessary operations during automatic driving or remote driving, and a control method thereof.
  • the projection display device of the present invention is a projection display device mounted on a vehicle, and the vehicle has a first mode in which driving is performed based on a command generated internally or a command received wirelessly from the outside.
  • a light modulation unit that spatially modulates the light emitted from the light source based on input image data, and projects the spatially modulated light onto the projection surface of the vehicle to form the image data.
  • a projection optical system for displaying a virtual image or a real image based thereon, an image data control unit for controlling image data input to the light modulation unit, and driving mounted on the vehicle in a state where the first mode is set.
  • a situation determination unit that determines whether or not at least one operation of a plurality of operation devices to be used is necessary.
  • the image data control unit is configured to operate the operation device by the situation determination unit. Is determined to be necessary, an image corresponding to each of the plurality of operation devices is displayed in a positional relationship corresponding to the arrangement of the plurality of operation devices, and an operation is required. First image data for emphasizing and displaying the image corresponding to the operation device is input to the light modulator.
  • the projection display device control method of the present invention includes a light modulation unit that spatially modulates light emitted from a light source based on input image data, and projects the spatially modulated light onto a projection surface of a vehicle. And a projection optical system for displaying a virtual image or a real image based on the image data, and a control method for a projection display device mounted on a vehicle, wherein the vehicle is a command generated internally or externally
  • the first mode in which the operation is performed based on the command received wirelessly can be set, and the image data control step for controlling the image data input to the light modulation unit and the first mode are set
  • a situation determination step for determining whether or not at least one operation of a plurality of operation devices used for driving mounted on the vehicle is necessary, and in the image data control step, When the situation determination step determines that the operation device needs to be operated, an image corresponding to each of the plurality of operation devices is displayed at a position corresponding to the arrangement of the plurality of operation devices.
  • a projection display device and a control method thereof that can intuitively notify a passenger of necessary operations during automatic driving or remote driving.
  • FIG. 1 is a schematic diagram showing an indoor configuration of an automobile 10 on which a HUD 100 that is an embodiment of a projection display device of the present invention is mounted. It is a schematic diagram which shows the internal hardware constitutions of the control unit 4 of HUD100 shown in FIG. It is a functional block diagram of the system control part 60 shown in FIG. It is a flowchart for demonstrating operation
  • FIG. 1 is a schematic diagram showing an indoor configuration of an automobile 10 in which a HUD 100 which is an embodiment of a projection display device of the present invention is mounted.
  • a part of the front windshield 1 of the automobile 10 is a region that is processed to reflect image light, which will be described later, and this region constitutes the projection plane 2.
  • the HUD 100 is mounted on the automobile 10 and makes it possible for a driver of the automobile 10 to visually recognize a virtual image or a real image by image light projected onto the projection plane 2 that is a partial area of the front windshield 1 of the automobile 10. is there.
  • the HUD 100 can be used by being mounted on a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • the HUD 100 is built in the dashboard 3 of the automobile 10.
  • the dashboard 3 is a member that incorporates interior parts including instruments for notifying information necessary for traveling such as a speedometer, a tachometer, a fuel meter, a water temperature meter, or a distance meter of the automobile 10.
  • the HUD 100 includes a control unit 4 that includes a light source and a light modulation element that spatially modulates light emitted from the light source based on image data, and image light that is spatially modulated by the light modulation element of the control unit 4.
  • a diffusing member 5, a reflecting mirror 6, and a concave mirror 7 constituting a projection optical system for projecting onto the projection surface 2.
  • the diffusion member 5 is a member that diffuses the image light spatially modulated by the light modulation element of the control unit 4 to form a surface light source.
  • a micro mirror array having a fine structure on the surface a diffusing mirror, an MLA (Microlens-Array) diffuser, a reflective holographic diffuser, or the like is used.
  • the reflection mirror 6 reflects the image light diffused by the diffusion member 5.
  • the concave mirror 7 magnifies and reflects the image light reflected by the reflecting mirror 6 and projects it onto the projection plane 2.
  • the projection surface 2 of the front windshield 1 is processed so that the image light projected from the concave mirror 7 is reflected toward the driver's eyes.
  • the HUD 100 may be arranged, for example, near the ceiling of the automobile 10 and project image light onto a sun visor type combiner installed near the ceiling of the automobile 10. In this configuration, the combiner forms the projection surface.
  • An automobile driver can visually recognize information such as icons or characters for assisting driving by a virtual image based on image light projected on the projection plane 2 and reflected on the projection plane 2. Further, the projection surface 2 has a function of transmitting light from the outside (outside) of the front windshield 1. For this reason, the driver
  • the automobile 10 is driven based on a command generated internally by a vehicle control unit (not shown) that performs overall control of the vehicle or a command received wirelessly from the outside by the vehicle control unit (direction indicator, steering, accelerator, and brake). And the second mode (manual operation mode) in which a person operates manually can be set.
  • the automobile 10 includes an accelerator pedal 11 for accelerating, a brake pedal 12 for decelerating, a shift lever 14 for shifting, a parking brake lever 15 for applying a parking brake, and a wiper operation lever (not shown).
  • a hazard button 13 for turning on the hazard lamp and a general operation device mounted on the vehicle such as the steering wheel 8 are provided.
  • a horn button 16 and an operation mode switching button 9 for sounding a horn are provided on the handle 8 of the automobile 10.
  • the operation mode switching button 9 is a mode switching instruction device for instructing the vehicle 10 to switch between the first mode and the second mode.
  • the accelerator pedal 11, the brake pedal 12, the shift lever 14, the parking brake lever 15, the wiper operation lever, the horn button 16, the hazard button 13, the handle 8, and the operation mode switching button 9 are used for driving mounted on the automobile 10. Configure the operating device.
  • FIG. 2 is a schematic diagram showing an internal hardware configuration of the control unit 4 of the HUD 100 shown in FIG.
  • the control unit 4 includes a light source unit 40, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, and a system control unit 60 that controls the entire HUD 100.
  • the system control unit 60 includes a processor, a ROM (Read Only Memory) storing a program executed by the processor, and a RAM (Random Access Memory) functioning as a work memory of the processor.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the light source unit 40 includes a light source controller 40A, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the R light source 41r, the G light source 41g, and the B light source 41b constitute a light source of the HUD 100.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the dichroic prism 43 transmits the red light collimated by the collimator lens 42 r and emits the red light to the light modulation element 44.
  • the dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the HUD 100 is not limited to three examples of the R light source 41r, the G light source 41g, and the B light source 41b, and may be configured by one light source, two light sources, or four or more light sources.
  • the light source control unit 40A controls each of the R light source 41r, the G light source 41g, and the B light source 41b, and performs control to emit light from the R light source 41r, the G light source 41g, and the B light source 41b.
  • the light modulation element 44 spatially modulates the light emitted from the R light source 41r, the G light source 41g, and the B light source 41b and emitted from the dichroic prism 43 based on image data input by the system control unit 60.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • MEMS Micro Electro Mechanical Systems
  • a liquid crystal display element for example, LCOS (Liquid crystal on silicon), DMD (Digital Micromirror Device), MEMS (Micro Electro Mechanical Systems) element, or a liquid crystal display element can be used.
  • the drive unit 45 drives the light modulation element 44 based on the image data input from the system control unit 60, and the image light (red image light, blue image light, and green image) spatially modulated based on the image data. Light) is emitted from the light modulation element 44 to the diffusion member 5.
  • the light modulation element 44 and the drive unit 45 constitute a light modulation unit of the HUD 100.
  • the projection optical system including the diffusing member 5, the reflecting mirror 6, and the concave mirror 7 shown in FIG. 1 has an image based on the image light projected on the projection surface 2 as a virtual image at a position in front of the front windshield 1.
  • the optical design is made so as to be visible to the driver.
  • the optical design of the projection optical system may be made so that an image based on the image light is visible to the driver as a real image on the front windshield 1.
  • the system control unit 60 controls the light source control unit 40A and the drive unit 45 to emit image light based on the image data from the control unit 4 to the diffusing member 5.
  • FIG. 3 is a functional block diagram of the system control unit 60 shown in FIG.
  • the system control unit 60 includes a status information acquisition unit 61, a status determination unit 62, and an image data control unit 63.
  • the situation information acquisition unit 61, the situation determination unit 62, and the image data control unit 63 are configured by the processor of the system control unit 60 executing a program stored in the ROM. This program includes a control program.
  • the situation determination unit 62 is based on the situation information acquired by the situation information acquisition unit 61 in a state where the automobile 10 is set to the first mode. It is determined whether or not at least one operation is required. Examples of determination by the situation determination unit 62 are listed below, but are not limited thereto.
  • the situation determination unit 62 analyzes information measured by the above-described sensor mounted on the automobile 10. If the distance between the automobile 10 and the obstacle is equal to or less than a threshold as a result of this analysis, the brake pedal 12 And it is determined that the operation of the handle 8 is necessary.
  • the situation determination unit 62 analyzes the information measured by the sensor, and if the result of this analysis is that an obstacle such as a person or a vehicle crosses far away from the automobile 10, the horn button 16 It is determined that the operation is necessary.
  • the situation determination unit 62 determines that the operation of the parking brake lever 15 (release of the parking brake) is necessary.
  • the situation determination unit 62 determines that the operation of the shift lever 14 (change to the drive position) is necessary.
  • the situation determination unit 62 analyzes the captured image data acquired from the imaging unit mounted on the front part of the automobile 10 and, as a result of this analysis, determines that the automobile 10 is at the end of the traffic jam. Determines that the operation of the hazard button 13 is necessary.
  • the situation determination unit 62 analyzes the captured image data acquired from the imaging unit mounted on the front portion of the automobile 10, and, as a result of this analysis, determines that it is snowing or raining, It is determined that the wiper operation lever needs to be operated.
  • the driving mode switching button 9 It is determined that the operation is necessary.
  • the situation determination unit 62 analyzes the information acquired by the situation information acquisition unit 61 and determines whether or not a specific operation device needs to be operated.
  • the vehicle control unit that performs overall control of the vehicle 10 may perform this analysis.
  • information on the operation device is input to the system control unit 60 of the HUD 100.
  • the situation information acquisition part 61 acquires the information of the operating device input from a motor vehicle control part, and the situation determination part 62 confirms that it is a situation where operation of a specific operating device is required based on this information. judge.
  • the image data control unit 63 controls image data input to the drive unit 45.
  • the image data control unit 63 displays an image corresponding to each of the plurality of operation devices mounted on the automobile 10.
  • First image data for displaying an image corresponding to the specific operation device among the images displayed in a positional relationship corresponding to the arrangement of the operation device is generated, and a drive unit 45 is generated. To enter.
  • the first image data includes an accelerator pedal 11, a brake pedal 12, a shift lever 14, a parking brake lever 15, a wiper operation lever, a horn button 16, a hazard button 13, a handle 8, and an operation mode switching button.
  • Images corresponding to each of 9 are displayed in a positional relationship corresponding to each arrangement, and an image corresponding to an operation device that requires an operation among these images is emphasized by changing a color or blinking. This is the data to be displayed.
  • the image data control unit 63 displays the travel speed of the automobile 10 and the route guidance information to the destination when the situation determination unit 62 does not determine that the operation of the specific operation device is necessary.
  • the second image data is input to the drive unit 45.
  • FIG. 4 is a flowchart for explaining the operation of the HUD 100 shown in FIG. The process shown in FIG. 4 is repeatedly executed while the power of the HUD 100 is turned on and the automobile 10 is set to the first mode.
  • status information is acquired by the status information acquisition unit 61 (step S1). Then, based on the situation information acquired by the situation information acquisition unit 61, it is determined whether or not the operation of the operating device used for driving mounted on the automobile 10 is necessary (step S2).
  • step S2 When it is determined that the operation device needs to be operated (step S2: YES), the image data control unit 63 generates first image data and inputs the first image data to the drive unit 45 (step S3). .
  • the drive unit 45 drives the light modulation element 44 based on the first image data input from the image data control unit 63, thereby projecting image light based on the first image data on the projection plane 2 (step). S4).
  • the operation support image 70 and the driving support image 79 are projected on the projection surface 2 and are observed by the driver.
  • the operation support image 70 corresponds to the image 71 corresponding to the handle 8, the image 72 corresponding to the operation mode switching button 9, the image 73 corresponding to the shift lever 14, and the hazard button 13.
  • Each of the images 71 to 78 is an image simulating a corresponding operation device, a contour image showing only the outline of the corresponding operation device with a color, a real image of the corresponding operation device, or a corresponding operation device CG (Computer). (Graphics).
  • CG Computer
  • Graphics In the operation support image 70, background portions other than the images 71 to 78 are transparent.
  • the arrangement positions of the images 71 to 78 in the operation support image 70 correspond to the arrangement positions of the respective operation devices in a state where the front is viewed from the driver's seat in the automobile 10. That is, the outer frame of the operation support image 70 represents the field of view when looking forward from the driver's seat, and images 71 to 78 corresponding to each operation device have the same relationship as the arrangement of each operation device in this field of view. Has been placed. Thus, the driver can intuitively grasp the operation device that needs to be operated by viewing the operation support image 70.
  • FIG. 5 shows a display example when it is determined that the operation mode switching button 9 needs to be operated, and an image 72 corresponding to the operation mode switching button 9 is highlighted by blinking display.
  • the first image data includes data for displaying a driving assistance image 79 for performing route guidance to the destination. Therefore, the driver can visually recognize the driving assistance image 79 together with the operation assistance image 70. Note that the first image data may not include data for displaying the driving assistance image 79.
  • FIG. 6 is a diagram showing another display example of the operation support image 70 when it is determined that the operation of the operation mode switching button 9 is necessary.
  • an image 71 corresponding to the handle 8 an image 76 corresponding to the brake pedal 12, an image 77 corresponding to the accelerator pedal 11, and an image corresponding to the driving mode switching button 9. 72 is highlighted by changing the outline to a thick line compared to other images.
  • the first image data further includes data for displaying an image 80 indicating the procedure for switching from the first mode to the second mode in text. Therefore, the driver can further visually recognize the image 80 that indicates the procedure for switching from the first mode to the second mode.
  • step S2 NO
  • the image data control unit 63 inputs the second image data to the drive unit 45.
  • the driving unit 45 drives the light modulation element 44 based on the second image data input from the image data control unit 63 to project image light based on the second image data on the projection plane 2.
  • Step S6 As a result, only the driving support image 79 illustrated in FIGS. 5 and 6 is projected on the projection surface 2.
  • step S4 and step S5 the process returns to step S1.
  • the method for emphasizing an arbitrary image in the operation support image 70 is not limited to the method described above.
  • a method of emphasizing by changing the display color of any image from other images, or a method of emphasizing by dynamically changing the size of any image (repeating reduction and enlargement), etc. May be.
  • the HUD 100 when it is determined that the operation of the operating device is necessary in the state where the automobile 10 is set to the first mode, as illustrated in FIG. 5 or FIG.
  • the operation support image 70 can be presented to the driver. Therefore, the driver can intuitively understand the operation required in the current situation and the position of the operation device to be operated by checking the highlighted image in the operation support image 70. . Therefore, the driver can instantly take an appropriate action according to the situation even during automatic driving or remote driving. Particularly in situations where danger is imminent, the necessary operations can be grasped instantaneously, so that danger can be avoided early and safety can be improved.
  • the system control unit 60 of the HUD 100 projects the driver's line of sight when projecting image light based on the first image data onto the projection surface 2 (when it is determined that the operation device needs to be operated). It is preferable to perform control for guiding the light to the projection plane 2. For example, there are the following two methods for guiding the driver's line of sight, but the present invention is not limited to this.
  • the image data control unit 63 applies the first image data input to the drive unit 45 to the spatially modulated light based on each pixel data constituting the background portion excluding the image corresponding to the operation device, and the operation device.
  • the light spatially modulated based on the pixel data constituting the corresponding image is at least image data that reaches the projection plane 2.
  • FIG. 7 is a diagram showing a modification of the operation support image 70 based on the first image data.
  • the images 71 to 77 are the first color or transparent, and the background portion 81 other than the images 71 to 77 is a second color different from the first color. Yes.
  • the operation support image 70 can be made conspicuous, and the driver's line of sight is guided to the operation support image 70. can do.
  • the system control unit 60 guides the line of sight by turning on ambient lighting provided on the ceiling surface or wall surface of the vehicle 10.
  • FIG. 8 is a view showing a modification of the automobile 10 on which the HUD 100 shown in FIG. 1 is mounted.
  • ambient lighting 82 made up of LEDs or the like is installed in the pillar near the driver's seat in the car 10. Lighting of the ambient lighting 82 is controlled by the vehicle control unit of the vehicle 10. The configuration other than the ambient illumination 82 is the same as that shown in FIG.
  • the system control unit 60 of the HUD 100 outputs a signal instructing to turn on the ambient light 82 to the vehicle control unit when the situation determination unit 62 determines that the operation device needs to be operated. Upon receiving this signal, the vehicle controller turns on the ambient lighting 82.
  • the ambient illumination 82 is turned on when the operation device needs to be operated during automatic operation or remote operation. Therefore, even when the driver's line of sight in the driver's seat is not in front, the line of sight can be guided to the projection plane 2. According to this configuration, it is possible to obtain a higher line-of-sight guidance effect than the method of coloring the background color of the operation support image 70.
  • the ambient lighting 82 is arranged on the pillar near the driver's seat, but the arrangement of the ambient lighting 82 is not limited to this as long as the driver's line of sight can be guided forward. For example, you may arrange
  • first gaze guidance method and the second gaze guidance method may be implemented in combination.
  • the operation support image 70 is displayed. Control may be performed to cause the light emitting element fixed to the operation device corresponding to the image to be highlighted in FIG.
  • the system control unit 60 turns on the light emitting element fixed to the operation mode switching button 9.
  • the driver can be informed of the position of the operating device that needs to be operated by lighting the light emitting element. For this reason, the position of the operating device that needs to be operated can be more reliably transmitted to the driver, and erroneous operation can be prevented.
  • the accelerator pedal 11, the brake pedal 12, the shift lever 14, the parking brake lever 15, the wiper operation lever, the horn button 16, the hazard button 13, the handle 8, and the operation mode switching button 9 are used for driving.
  • the operating device is mounted on the automobile 10.
  • the operation device as a target for the situation determination unit 62 to determine whether or not the operation is necessary may be two or more of these operation devices.
  • the accelerator pedal 11, the brake pedal 12, and the handle necessary for avoiding danger 8 and the operation mode switching button 9 are preferably targets for determining whether or not an operation is necessary.
  • a projection display device mounted on a vehicle wherein the vehicle can set a first mode in which driving is performed based on a command generated internally or a command received wirelessly from the outside.
  • a light modulation unit that spatially modulates the light emitted from the input image data, and projects the spatially modulated light onto the projection surface of the vehicle to display a virtual or real image based on the image data
  • a situation determination unit that determines whether or not at least one of the operations is necessary, and the image data control unit is in a situation where the operation device needs to be operated by the situation determination unit. If determined, the image corresponding to each of the plurality of operation devices is displayed in a positional relationship corresponding to the arrangement of the plurality of operation devices, and the operation device corresponding to the operation device requiring operation is displayed.
  • a projection display device that inputs first image data for emphasizing and displaying an image to the light modulator.
  • the projection display device according to any one of (1) to (3), wherein the vehicle is further capable of setting a second mode in which a person manually operates,
  • the operation device includes a mode switching instruction device for instructing switching between the first mode and the second mode, and the image data control unit is configured such that the situation requires operation of the mode switching instruction device.
  • a projection display device that inputs the first image data for emphasizing and displaying the image corresponding to the mode switching instruction device to the light modulation unit.
  • a light modulation unit that spatially modulates light emitted from a light source based on input image data, and a virtual image based on the image data by projecting the spatially modulated light onto a projection surface of a vehicle.
  • the first mode can be set, the image data control step for controlling the image data input to the light modulation unit, and the operation mounted on the vehicle in the state where the first mode is set.
  • a situation determination step for determining whether or not at least one operation of a plurality of operating devices to be used is necessary.
  • the situation determination step includes: When it is determined that the operation device needs to be operated, an image corresponding to each of the plurality of operation devices is displayed in a positional relationship corresponding to the arrangement of the plurality of operation devices, and A control method for a projection display device, wherein first image data for emphasizing and displaying the image corresponding to the operation device that requires operation is input to the light modulator.
  • the first image data input to the light modulation unit includes a background portion excluding the image. Spatial modulation based on each pixel data constituting the background portion of the light spatially modulated based on the pixel data and the light spatially modulated based on the pixel data constituting the image.
  • the method for controlling a projection display device according to any one of (6) to (8), wherein the vehicle is further capable of setting a second mode in which a person manually operates.
  • the plurality of operation devices include a mode switching instruction device for instructing switching between the first mode and the second mode.
  • the situation is determined by the operation of the mode switching instruction device.
  • a control method for a projection display device wherein the first image data for emphasizing and displaying the image corresponding to the mode switching instruction device is input to the light modulation unit when necessary.
  • the present invention is particularly convenient and effective when installed in an automobile.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

自動運転又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供する。 ＨＵＤ１００は、光変調部に入力する画像データを制御する画像データ制御部６３と、自動運転モードが設定されている状態で、乗り物に搭載された運転に用いる操作装置の操作が必要な状況か否かを判定する状況判定部６２とを備える。画像データ制御部６３は、操作装置の操作が必要な状況であると判定された場合には、複数の操作装置の各々に対応する画像を複数の操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な操作装置に対応する画像を強調して表示するための第一の画像データを駆動部４５に入力し、第一の画像データに基づく操作支援画像７０を表示させる。

Description

投写型表示装置及びその制御方法
　本発明は、投写型表示装置及びその制御方法に関する。
　自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ－ｕｐ　Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
　このＨＵＤを利用して運転支援を行うシステムが、特許文献１及び特許文献２に記載されている。特許文献１及び特許文献２に記載のＨＵＤは、自動車のハンドルに設けられた操作パネルを模した画像を表示することで、自動車の運転者が操作パネルを見ることなく、ＨＵＤの画像によって操作パネルのボタン配置を把握することを可能にしている。
　特許文献３には、エアコン、オーディオ、及び、カーナビ等を操作するための操作スイッチの形状とこの操作スイッチの機能をセンタコンソールに表示させる自動車が記載されている。
　特許文献４には、オーディオ等の操作を行うためのマルチスイッチの配置をインストルメントパネルに表示させる自動車が記載されている。
特開２００９－１８４４０６号公報 特開２００６－３１５５６２号公報 特開平１０－２１４５４３号公報 特開２０００－００６６８７号公報
　近年、乗り物の自動運転又はリモート運転が実用化されようとしている。自動運転又はリモート運転といっても、運転者の意思で運転者がシステムに介入することが必要になる。例えば、緊急時等は、自動運転中又はリモート運転中であっても運転者を含む乗員に操作が委ねられる状況が考えられる。しかし、自動運転中又はリモート運転中は、基本的には自動で運転が行われているため、乗員はどういった操作が必要なのか瞬時には把握しにくい。
　特許文献１－４は、運転とは直接関係のないオーディオ又はエアコンなどの機器の操作を支援するための画像を表示する技術であるため、自動運転又はリモート運転に危険な事象等が発生しそうな場合に、乗員が、どういった操作をすることで事象を回避できるのか分からず、運転に関する必要な操作を行うまでに遅延が発生してしまう可能性がある。
　本発明は、上記事情に鑑みてなされたものであり、自動運転中又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供することを目的とする。
　本発明の投写型表示装置は、乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を上記乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定部と、を備え、　上記画像データ制御部は、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力するものである。
　本発明の投写型表示装置の制御方法は、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、上記光変調部に入力する画像データを制御する画像データ制御ステップと、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、上記画像データ制御ステップでは、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力するものである。
　本発明によれば、自動運転又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。 図１に示すＨＵＤ１００の制御ユニット４の内部ハードウェア構成を示す模式図である。 図２に示すシステム制御部６０の機能ブロック図である。 図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。 ＨＵＤ１００によって表示される画像の一例を示す図である。 ＨＵＤ１００によって表示される画像の別の例を示す図である。 ＨＵＤ１００によって表示される画像の更に別の例を示す図である。 図１に示すＨＵＤ１００が搭載される自動車１０の変形例を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。
　自動車１０のフロントウインドシールド１の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面２を構成している。
　ＨＵＤ１００は、自動車１０に搭載され、自動車１０のフロントウインドシールド１の一部の領域である投写面２に投写される画像光により、自動車１０の運転者によって虚像又は実像を視認可能にするものである。
　ＨＵＤ１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
　図１の例では、ＨＵＤ１００は、自動車１０のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１０のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
　ＨＵＤ１００は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット４と、制御ユニット４の光変調素子により空間変調された画像光をフロントウインドシールド１の投写面２に投写する投写光学系を構成する拡散部材５、反射ミラー６、及び、凹面鏡７と、を備える。
　拡散部材５は、制御ユニット４の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材５は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、ＭＬＡ（Ｍｉｃｒｏｌｅｎｓ－Ａｒｒａｙ）ディフューザー、又は、反射ホログラフィクディフューザー等が用いられる。
　反射ミラー６は、拡散部材５で拡散された画像光を反射する。
　凹面鏡７は、反射ミラー６で反射された画像光を拡大して反射し、投写面２に投写する。フロントウインドシールド１の投写面２は、凹面鏡７から投写された画像光が運転者の目の方向に反射するような加工がなされている。
　なお、ＨＵＤ１００は、例えば自動車１０の天井付近に配置され、自動車１０の天井付近に設置されたサンバイザタイプのコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。
　自動車の運転者は、投写面２に投写され、投写面２で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面２は、フロントウインドシールド１の外部（外界）からの光を透過する機能を持つ。このため、運転者は、凹面鏡７から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。
　自動車１０は、全体を統括制御する図示省略の自動車制御部が内部で生成した指令又はこの自動車制御部が外部から無線で受信した指令に基づいて運転（方向指示器、ステアリング、アクセル、及び、ブレーキ等の操作）が行われる第一モード（自動運転モード又はリモート運転モードともいう）と、人が手動で運転を行う第二モード（手動運転モード）とを設定可能である。
　自動車１０は、加速を行うためのアクセルペダル１１、減速を行うためのブレーキペダル１２、シフトチェンジを行うためのシフトレバー１４、パーキングブレーキをかけるためのパーキングブレーキレバー１５、ワイパー操作レバー（図示省略）、ハザードランプを点灯させるためのハザードボタン１３、及び、ハンドル８等の自動車に搭載される一般的な操作装置を有している。
　また、自動車１０のハンドル８には、クラクションを鳴らすためのクラクションボタン１６と運転モード切替ボタン９が設けられている。運転モード切替ボタン９は、第一モードと第二モードのモード切り替えを自動車１０に対して指示するためのモード切替指示装置である。
　アクセルペダル１１、ブレーキペダル１２、シフトレバー１４、パーキングブレーキレバー１５、ワイパー操作レバー、クラクションボタン１６、ハザードボタン１３、ハンドル８、及び、運転モード切替ボタン９は、自動車１０に搭載された運転に用いる操作装置を構成する。
　図２は、図１に示すＨＵＤ１００の制御ユニット４の内部ハードウェア構成を示す模式図である。
　制御ユニット４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、ＨＵＤ１００全体を統括制御するシステム制御部６０と、を備える。
　システム制御部６０は、プロセッサと、このプロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、このプロセッサのワークメモリとして機能するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、を含む。
　光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１００の光源を構成する。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１００の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つの光源、２つの光源、又は、４つ以上の光源によって構成されていてもよい。
　光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。
　光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６０により入力される画像データに基づいて空間変調する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部６０から入力される画像データに基づいて光変調素子４４を駆動し、画像データに基づいて空間変調された画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から拡散部材５に出射させる。光変調素子４４と駆動部４５はＨＵＤ１００の光変調部を構成する。
　図１に示した拡散部材５、反射ミラー６、及び、凹面鏡７から構成される投写光学系は、投写面２に投写された画像光に基づく画像が、フロントウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド１において実像として運転者に視認可能となるように投写光学系の光学設計がなされていてもよい。
　システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を制御ユニット４から拡散部材５に出射させる。
　図３は、図２に示すシステム制御部６０の機能ブロック図である。
　システム制御部６０は、状況情報取得部６１と、状況判定部６２と、画像データ制御部６３と、を備える。状況情報取得部６１、状況判定部６２、及び、画像データ制御部６３は、システム制御部６０のプロセッサがＲＯＭに記憶されるプログラムを実行することによって構成される。このプログラムは制御プログラムを含む。
　状況情報取得部６１は、自動車１０のシステム全体を統括制御する図示省略の自動車制御部から、上記の各操作装置の操作状態に関する情報、自動車１０に搭載された図示省略のセンサ（超音波レーダ、ミリ波レーダ、レーザレーダ、又は、ステレオカメラ等）によって検出される情報、このセンサの故障の有無を示す情報、又は、自動車１０の車体に搭載された図示省略の撮像部により撮像して得られた自動車１０の前方又は後方の撮像画像データ等の状況情報を取得する。
　状況判定部６２は、自動車１０が第一モードに設定されている状態で、状況情報取得部６１で取得された状況情報に基づいて、自動車１０に搭載された運転に用いる上記の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する。以下に、状況判定部６２による判定の例を列挙するがこれらに限定されるものではない。
（１）状況判定部６２は、自動車１０に搭載された上記センサによって測定される情報を解析し、この解析の結果、自動車１０と障害物との距離が閾値以下の場合には、ブレーキペダル１２及びハンドル８の操作が必要な状況と判定する。
（２）状況判定部６２は、上記センサによって測定される情報を解析し、この解析の結果、自動車１０の前方の遠方に人又は車両等の障害物が横切っている場合には、クラクションボタン１６の操作が必要な状況であると判定する。
（３）状況判定部６２は、パーキングブレーキがかかっている場合には、パーキングブレーキレバー１５の操作（パーキングブレーキの解除）が必要な状況であると判定する。
（４）状況判定部６２は、シフトレバー１４がニュートラルポジションにある場合には、シフトレバー１４の操作（ドライブポジションへの変更）が必要な状況であると判定する。
（５）状況判定部６２は、自動車１０の前部に搭載された撮像部から取得された撮像画像データを解析し、この解析の結果、自動車１０が渋滞の最後尾にいると判断した場合には、ハザードボタン１３の操作が必要な状況であると判定する。
（６）状況判定部６２は、自動車１０の前部に搭載された撮像部から取得された撮像画像データを解析し、この解析の結果、雪又は雨が降っていると判断した場合には、ワイパー操作レバーの操作が必要な状況であると判定する。
（７）状況判定部６２は、第一モードでの運転に必要な上記センサの故障を検知し、第一モードから第二モードへの切り替えが必要と判断した場合には、運転モード切替ボタン９の操作が必要な状況であると判定する。
（８）状況判定部６２は、上記のように、第一モードから第二モードへの切り替えが必要な場合には、第二モードでの運転に最低限必要なハンドル８、アクセルペダル１１、ブレーキペダル１２、及び、運転モード切替ボタン９の操作が必要な状況であると判定する。
　なお、以上の例では、状況判定部６２が、状況情報取得部６１によって取得された情報を解析して特定の操作装置の操作の要否を判定している。しかし、自動車１０を統括制御する自動車制御部がこの解析を行ってもよい。この場合は、自動車制御部が、この解析の結果、特定の操作装置の操作が必要と判断した場合に、その操作装置の情報をＨＵＤ１００のシステム制御部６０に入力する。そして、状況情報取得部６１は、自動車制御部から入力される操作装置の情報を取得し、状況判定部６２は、この情報に基づいて、特定の操作装置の操作が必要な状況であることを判定する。
　画像データ制御部６３は、駆動部４５に入力する画像データを制御する。画像データ制御部６３は、状況判定部６２によって特定の操作装置の操作が必要な状況と判定された場合には、自動車１０に搭載される複数の操作装置の各々に対応する画像をこの複数の操作装置の配置と対応した位置関係で表示し、かつ、これら画像のうちの上記の特定の操作装置に対応する画像を強調して表示するための第一の画像データを生成し、駆動部４５に入力する。
　第一の画像データは、具体的には、アクセルペダル１１、ブレーキペダル１２、シフトレバー１４、パーキングブレーキレバー１５、ワイパー操作レバー、クラクションボタン１６、ハザードボタン１３、ハンドル８、及び、運転モード切替ボタン９の各々に対応する画像を、各々の配置と対応した位置関係で表示し、かつ、これらの画像のうちの操作が必要な操作装置に対応する画像を、色を変える又は点滅させる等によって強調して表示するためのデータである。
　画像データ制御部６３は、状況判定部６２によって特定の操作装置の操作が必要な状況と判定されていない場合には、自動車１０の走行速度及び目的地までの経路案内情報等を表示するための第二の画像データを駆動部４５に入力する。
　図４は、図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。なお、図４に示す処理は、ＨＵＤ１００の電源がオンされ、自動車１０が第一モードに設定されている間、繰り返し実行される。
　まず、状況情報取得部６１によって状況情報が取得される（ステップＳ１）。そして、状況情報取得部６１で取得された状況情報に基づいて、自動車１０に搭載された運転に用いる操作装置の操作が必要な状況か否かが判定される（ステップＳ２）。
　操作装置の操作が必要な状況であると判定された場合（ステップＳ２：ＹＥＳ）には、画像データ制御部６３は、第一の画像データを生成して駆動部４５に入力する（ステップＳ３）。
　駆動部４５は、画像データ制御部６３から入力された第一の画像データに基づいて光変調素子４４を駆動することで、第一の画像データに基づく画像光を投写面２に投写させる（ステップＳ４）。これにより、図５に示すように、投写面２には操作支援画像７０と運転支援画像７９が投写され、これらが運転者から観察される。
　図５に示すように、操作支援画像７０には、ハンドル８に対応する画像７１と、運転モード切替ボタン９に対応する画像７２と、シフトレバー１４に対応する画像７３と、ハザードボタン１３に対応する画像７４と、パーキングブレーキレバー１５に対応する画像７５と、ブレーキペダル１２に対応する画像７６と、アクセルペダル１１に対応する画像７７と、クラクションボタン１６に対応する画像７８と、が含まれている。
　画像７１～７８の各々は、対応する操作装置を模した画像、対応する操作装置を輪郭のみを色付きで示した輪郭像、対応する操作装置の実写像、又は、対応する操作装置をＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で表した画像等である。なお、操作支援画像７０において、画像７１～７８以外の背景部分は透明となっている。
　操作支援画像７０における画像７１～７８の配置位置は、自動車１０内の運転席から前方を見た状態での各操作装置の配置位置と対応している。つまり、操作支援画像７０の外枠が運転席から前方を見たときの視界を表しており、この視界内における各操作装置の配置と同じ関係で、各操作装置に対応する画像７１～７８が配置されている。これにより、運転者は、操作支援画像７０を見ることで、操作が必要な操作装置を直感的に把握することが可能となる。
　図５は、運転モード切替ボタン９の操作が必要な状況であると判定された場合の表示例を示しており、運転モード切替ボタン９に対応する画像７２が点滅表示によって強調表示されている。
　図５の例では、第一の画像データには、目的地への経路案内等を行うための運転支援画像７９を表示するためのデータが含まれている。したがって、運転者は、操作支援画像７０と併せて運転支援画像７９を視認可能である。なお、第一の画像データには、運転支援画像７９を表示するためのデータは含まれていなくてもよい。
　図６は、運転モード切替ボタン９の操作が必要な状況であると判定された場合の操作支援画像７０の別の表示例を示す図である。
　図６の例では、操作支援画像７０において、ハンドル８に対応する画像７１と、ブレーキペダル１２に対応する画像７６と、アクセルペダル１１に対応する画像７７と、運転モード切替ボタン９に対応する画像７２とが、他の画像と比べて輪郭が太線に変更されることで強調表示されている。
　この例では、第一の画像データには、第一モードから第二モードへの切替の手順をテキストで示す画像８０を表示するためのデータが更に含まれる。したがって、運転者には、第一モードから第二モードへの切替の手順をテキストで示す画像８０が更に視認される。
　操作装置の操作が必要な状況ではないと判定された場合（ステップＳ２：ＮＯ）には、画像データ制御部６３は、第二の画像データを駆動部４５に入力する。そして、駆動部４５は、画像データ制御部６３から入力された第二の画像データに基づいて光変調素子４４を駆動することで、第二の画像データに基づく画像光を投写面２に投写させる（ステップＳ６）。これにより、投写面２には、図５及び図６に例示した、運転支援画像７９のみが投写される。ステップＳ４及びステップＳ５の後はステップＳ１に処理が戻る。
　なお、操作支援画像７０において任意の画像を強調する方法としては、上述した方法には限定されない。例えば、任意の画像の表示色を他の画像とは変えることで強調を行う方法、又は、任意の画像の大きさを動的に変化（縮小拡大を繰り返す）させて強調を行う方法等を採用してもよい。表示色を変えることで強調を行う場合には、任意の画像の表示色を、赤色又は黄色等の警告を行う際に利用される色以外の色とすることが好ましい。
　以上のようにＨＵＤ１００によれば、自動車１０が第一モードに設定されている状態で、操作装置の操作が必要な状況であると判定された場合には、図５又は図６に示すような操作支援画像７０を運転者に提示することができる。このため、運転者は、この操作支援画像７０における強調表示された画像を確認することで、現在の状況において必要な操作とその操作対象となる操作装置の位置を直感的に理解することができる。したがって、運転者は、自動運転中又はリモート運転中であっても、状況に応じた適切な行動を瞬時にとることが可能となる。特に危険が迫っているような状況では、必要な操作を瞬時に把握できることで、危険を早期に回避することが可能となり、安全性を高めることができる。
　なお、第一モードで自動車１０の運転が行われている場合には、運転席に座る人である運転者が前方を注視していない可能性がある。このため、ＨＵＤ１００のシステム制御部６０は、第一の画像データに基づく画像光を投写面２に投写する場合（操作装置の操作が必要な状況と判定された場合）には、運転者の視線を投写面２に誘導する制御を行うことが好ましい。運転者の視線を誘導する方法としては例えば以下の２つがあるがこれに限定されるものではない。
（第一の視線誘導方法）
　画像データ制御部６３は、駆動部４５に入力する第一の画像データを、操作装置に対応する画像を除いた背景部分を構成する各画素データに基づいて空間変調された光と、操作装置に対応する画像を構成する各画素データに基づいて空間変調された光とのうち、背景部分を構成する各画素データに基づいて空間変調された光が少なくとも投写面２に到達する画像データとする。
　図７は、第一の画像データに基づく操作支援画像７０の変形例を示す図である。
　図７に示す操作支援画像７０は、画像７１～７７が第一の色又は透明となっており、画像７１～７７以外の背景部分８１が第一の色とは異なる第二の色となっている。このように、画像７１～７７の背景部分８１が色付きとなる第一の画像データを生成することで、操作支援画像７０を目立たせることができ、運転者の視線をこの操作支援画像７０に誘導することができる。
　この方法によれば、特別なデバイスを用いることなく低コストで視線誘導の制御を実現することができる。
（第二の視線誘導方法）
　システム制御部６０が、自動車１０の車内の天井面又は壁面等に設けられるアンビエント照明を点灯させて視線誘導を行う。
　図８は、図１に示すＨＵＤ１００が搭載される自動車１０の変形例を示す図である。
　図８に示すように、自動車１０の車内の運転席付近のピラーには、ＬＥＤ等からなるアンビエント照明８２が設置されている。このアンビエント照明８２は、自動車１０の自動車制御部によって点灯が制御される。アンビエント照明８２以外の構成は図１と同様である。
　ＨＵＤ１００のシステム制御部６０は、状況判定部６２によって操作装置の操作が必要な状況であると判定した場合に、このアンビエント照明８２を点灯させることを指示する信号を自動車制御部に出力する。自動車制御部は、この信号を受けると、アンビエント照明８２を点灯させる。
　以上の構成によれば、自動運転中又はリモート運転中に操作装置の操作が必要な状況になるとアンビエント照明８２が点灯する。このため、運転席にいる運転者の視線が前方にない場合でも、投写面２にその視線を誘導することができる。この構成によれば、操作支援画像７０の背景色を色付きにする方法と比べて高い視線誘導効果を得ることができる。
　図８の例では、アンビエント照明８２が運転席付近のピラーに配置されるものとしたが、アンビエント照明８２の配置は、運転者の視線を前方に誘導することができればよく、これに限定されない。例えば、自動車１のインストルメントパネル又はダッシュボード等に配置されていてもよい。
　なお、第一の視線誘導方法と第二の視線誘導方法が組み合わせされて実施されてもよい。
　また、操作支援画像７０に含まれる各画像に対応する操作装置にＬＥＤ等の発光素子が固定される構成とし、システム制御部６０が、操作支援画像７０を表示させる場合に、この操作支援画像７０において強調表示される画像に対応する操作装置に固定された発光素子を発光させる制御を行ってもよい。
　例えば、図５に示す操作支援画像７０が表示される場合には、システム制御部６０が、運転モード切替ボタン９に固定された発光素子を点灯させる。この構成によれば、操作が必要な操作装置の位置を、発光素子の点灯によっても運転者に知らせることができる。このため、操作が必要な操作装置の位置をより確実に運転者に伝えることができ、誤操作を防ぐことができる。
　以上の実施形態では、アクセルペダル１１、ブレーキペダル１２、シフトレバー１４、パーキングブレーキレバー１５、ワイパー操作レバー、クラクションボタン１６、ハザードボタン１３、ハンドル８、及び、運転モード切替ボタン９が、運転に用いる操作装置として自動車１０に搭載されるものとした。
　状況判定部６２が操作の要否を判定する対象となる操作装置は、これらの操作装置のうちの２つ以上であればよく、危険回避のために必要なアクセルペダル１１、ブレーキペダル１２、ハンドル８、及び、運転モード切替ボタン９が操作の要否を判定する対象となっていることが好ましい。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）　乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を上記乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定部と、を備え、　上記画像データ制御部は、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力する投写型表示装置。
（２）　（１）記載の投写型表示装置であって、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合に、上記乗り物の運転席にいる人の視線を上記投写面に誘導する制御を行う投写型表示装置。
（３）　（２）記載の投写型表示装置であって、上記画像データ制御部は、上記光変調部に入力する上記第一の画像データを、上記画像を除いた背景部分を構成する各画素データに基づいて空間変調された上記光と、上記画像を構成する各画素データに基づいて空間変調された上記光とのうち、上記背景部分を構成する各画素データに基づいて空間変調された上記光が少なくとも上記投写面に到達する画像データとすることで、上記人の視線を上記投写面に誘導する制御を行う投写型表示装置。
（４）　（１）～（３）のいずれか１つに記載の投写型表示装置であって、上記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、上記複数の上記操作装置は、上記第一モードと上記第二モードの切り替えを指示するためのモード切替指示装置を含み、上記画像データ制御部は、上記状況が上記モード切替指示装置の操作が必要な状況である場合に、上記モード切替指示装置に対応する上記画像を強調して表示するための上記第一の画像データを上記光変調部に入力する投写型表示装置。
（５）　（１）～（４）のいずれか１つに記載の投写型表示装置であって、上記複数の上記操作装置の各々には発光素子が固定されており、
　上記第一モードが設定されている状態では、上記強調された画像に対応する上記操作装置に固定された上記発光素子が点灯される投写型表示装置。
（６）　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、上記光変調部に入力する画像データを制御する画像データ制御ステップと、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、上記画像データ制御ステップでは、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力する投写型表示装置の制御方法。
（７）　（６）記載の投写型表示装置の制御方法であって、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合に、上記乗り物の運転席にいる人の視線を上記投写面に誘導する制御を行う投写型表示装置の制御方法。
（８）　（７）記載の投写型表示装置の制御方法であって、上記画像データ制御ステップでは、上記光変調部に入力する上記第一の画像データを、上記画像を除いた背景部分を構成する各画素データに基づいて空間変調された上記光と、上記画像を構成する各画素データに基づいて空間変調された上記光とのうち、上記背景部分を構成する各画素データに基づいて空間変調された上記光が少なくとも上記投写面に到達する画像データとすることで、上記人の視線を上記投写面に誘導する投写型表示装置の制御方法。
（９）　（６）～（８）のいずれか１つに記載の投写型表示装置の制御方法であって、上記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、上記複数の上記操作装置は、上記第一モードと上記第二モードの切り替えを指示するためのモード切替指示装置を含み、上記画像データ制御ステップでは、上記状況が上記モード切替指示装置の操作が必要な状況である場合に、上記モード切替指示装置に対応する上記画像を強調して表示するための上記第一の画像データを上記光変調部に入力する投写型表示装置の制御方法。
　本発明は、特に自動車に搭載して利便性が高く、有効である。
１００　ＨＵＤ
１　フロントウインドシールド
２　投写面
３　ダッシュボード
４　制御ユニット
５　拡散部材
６　反射ミラー
７　凹面鏡
８　ハンドル
９　運転モード切替ボタン
１０　自動車
１１　アクセルペダル
１２　ブレーキペダル
１３　ハザードボタン
１４　シフトレバー
１５　パーキングブレーキレバー
１６　クラクションボタン
４０　光源ユニット
４０Ａ　光源制御部
４１ｒ　Ｒ光源
４１ｇ　Ｇ光源
４１ｂ　Ｂ光源
４２ｒ、４２ｇ、４２ｂ　コリメータレンズ
４３　ダイクロイックプリズム
４４　光変調素子
４５　駆動部
６０　システム制御部
６１　状況情報取得部
６２　状況判定部
６３　画像データ制御部
７０　操作支援画像
７１　ハンドルに対応する画像
７２　運転モード切替ボタンに対応する画像
７３　シフトレバーに対応する画像
７４　ハザードボタンに対応する画像
７５　パーキングブレーキレバーに対応する画像
７６　ブレーキペダルに対応する画像
７７　アクセルペダルに対応する画像
７８　クラクションボタンに対応する画像
７９　運転支援画像
８０　運転モードの切替手順を示す画像
８１　背景部分
８２　アンビエント照明

Claims (9)

  1. 　乗り物に搭載される投写型表示装置であって、
    　前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、
    　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、
    　前記空間変調された前記光を前記乗り物の投写面に投写して前記画像データに基づく虚像又は実像を表示させる投写光学系と、
    　前記光変調部に入力する画像データを制御する画像データ制御部と、
    　前記第一モードが設定されている状態で、前記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定部と、を備え、
    　前記画像データ制御部は、前記状況判定部によって前記操作装置の操作が必要な状況であると判定された場合には、前記複数の前記操作装置の各々に対応する画像を前記複数の前記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な前記操作装置に対応する前記画像を強調して表示するための第一の画像データを前記光変調部に入力する投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記状況判定部によって前記操作装置の操作が必要な状況であると判定された場合に、前記乗り物の運転席にいる人の視線を前記投写面に誘導する制御を行う投写型表示装置。
  3. 　請求項２記載の投写型表示装置であって、
    　前記画像データ制御部は、前記光変調部に入力する前記第一の画像データを、前記画像を除いた背景部分を構成する各画素データに基づいて空間変調された前記光と、前記画像を構成する各画素データに基づいて空間変調された前記光とのうち、前記背景部分を構成する各画素データに基づいて空間変調された前記光が少なくとも前記投写面に到達する画像データとすることで、前記人の視線を前記投写面に誘導する制御を行う投写型表示装置。
  4. 　請求項１～３のいずれか１項記載の投写型表示装置であって、
    　前記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、
    　前記複数の前記操作装置は、前記第一モードと前記第二モードの切り替えを指示するためのモード切替指示装置を含み、
    　前記画像データ制御部は、前記状況が前記モード切替指示装置の操作が必要な状況である場合に、前記モード切替指示装置に対応する前記画像を強調して表示するための前記第一の画像データを前記光変調部に入力する投写型表示装置。
  5. 　請求項１～４のいずれか１項記載の投写型表示装置であって、
    　前記複数の前記操作装置の各々には発光素子が固定されており、
    　前記第一モードが設定されている状態では、前記強調された画像に対応する前記操作装置に固定された前記発光素子が点灯される投写型表示装置。
  6. 　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物の投写面に投写して前記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、
    　前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、
    　前記光変調部に入力する画像データを制御する画像データ制御ステップと、
    　前記第一モードが設定されている状態で、前記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、
    　前記画像データ制御ステップでは、前記状況判定ステップによって前記操作装置の操作が必要な状況であると判定された場合には、前記複数の前記操作装置の各々に対応する画像を前記複数の前記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な前記操作装置に対応する前記画像を強調して表示するための第一の画像データを前記光変調部に入力する投写型表示装置の制御方法。
  7. 　請求項６記載の投写型表示装置の制御方法であって、
    　前記状況判定ステップによって前記操作装置の操作が必要な状況であると判定された場合に、前記乗り物の運転席にいる人の視線を前記投写面に誘導する制御を行う投写型表示装置の制御方法。
  8. 　請求項７記載の投写型表示装置の制御方法であって、
    　前記画像データ制御ステップでは、前記光変調部に入力する前記第一の画像データを、前記画像を除いた背景部分を構成する各画素データに基づいて空間変調された前記光と、前記画像を構成する各画素データに基づいて空間変調された前記光とのうち、前記背景部分を構成する各画素データに基づいて空間変調された前記光が少なくとも前記投写面に到達する画像データとすることで、前記人の視線を前記投写面に誘導する投写型表示装置の制御方法。
  9. 　請求項６～８のいずれか１項記載の投写型表示装置の制御方法であって、
    　前記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、
    　前記複数の前記操作装置は、前記第一モードと前記第二モードの切り替えを指示するためのモード切替指示装置を含み、
    　前記画像データ制御ステップでは、前記状況が前記モード切替指示装置の操作が必要な状況である場合に、前記モード切替指示装置に対応する前記画像を強調して表示するための前記第一の画像データを前記光変調部に入力する投写型表示装置の制御方法。
PCT/JP2017/029805 2016-09-16 2017-08-21 投写型表示装置及びその制御方法 WO2018051734A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780056810.0A CN109789779B (zh) 2016-09-16 2017-08-21 投影型显示装置及其控制方法
JP2018539592A JP6464326B2 (ja) 2016-09-16 2017-08-21 投写型表示装置及びその制御方法
US16/283,846 US10795155B2 (en) 2016-09-16 2019-02-25 Projection display device and control method for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-181515 2016-09-16
JP2016181515 2016-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/283,846 Continuation US10795155B2 (en) 2016-09-16 2019-02-25 Projection display device and control method for the same

Publications (1)

Publication Number Publication Date
WO2018051734A1 true WO2018051734A1 (ja) 2018-03-22

Family

ID=61619090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029805 WO2018051734A1 (ja) 2016-09-16 2017-08-21 投写型表示装置及びその制御方法

Country Status (4)

Country Link
US (1) US10795155B2 (ja)
JP (1) JP6464326B2 (ja)
CN (1) CN109789779B (ja)
WO (1) WO2018051734A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021041805A (ja) * 2019-09-10 2021-03-18 株式会社デンソー 自動運転操作表示装置
US11787289B2 (en) 2019-11-08 2023-10-17 Toyota Jidosha Kabushiki Kaisha Vehicle input device, vehicle input method, and non-transitory storage medium stored with vehicle input program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
CN112026496B (zh) * 2019-06-04 2022-02-22 上海擎感智能科技有限公司 车窗显示方法、前端、后端、介质及设备
JP6806223B1 (ja) * 2019-12-06 2021-01-06 トヨタ自動車株式会社 表示制御装置、車両、表示の制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2016143412A1 (ja) * 2015-03-12 2016-09-15 富士フイルム株式会社 投写型表示装置及び運転支援方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596319A (en) * 1994-10-31 1997-01-21 Spry; Willie L. Vehicle remote control system
JP3638071B2 (ja) 1997-01-31 2005-04-13 矢崎総業株式会社 システムスイッチ
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP2006315562A (ja) 2005-05-13 2006-11-24 Matsushita Electric Ind Co Ltd 車載用入力装置
DE112006002892B4 (de) * 2005-10-21 2022-01-27 Deere & Company Systeme und Verfahren zum Umschalten zwischen autonomer und manueller Bedienung eines Fahrzeugs
DE102006025386B4 (de) * 2006-05-31 2011-01-27 Continental Automotive Gmbh Fahrzeugcockpit mit Head-Up-Display
JP2009184406A (ja) 2008-02-04 2009-08-20 Toyota Motor Corp 車両用ヘッドアップディスプレイ装置
US20110187518A1 (en) * 2010-02-02 2011-08-04 Ford Global Technologies, Llc Steering wheel human/machine interface system and method
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102011075884A1 (de) * 2011-05-16 2012-11-22 Robert Bosch Gmbh HUD mit holographischen optischen Elementen
US9349300B2 (en) * 2011-10-31 2016-05-24 Lifelong Driver Llc Senior driver training
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
CN102745084A (zh) * 2012-07-04 2012-10-24 浙江工业大学 多信息显示的车用抬头显示装置
CN104487308B9 (zh) * 2012-07-24 2017-07-07 丰田自动车株式会社 驾驶辅助装置
MX343132B (es) * 2013-01-11 2016-10-26 Nissan Motor Dispositivo de control de deslpliegue para vehiculo y metodo de control de despliegue para vehiculo.
DE202013100347U1 (de) * 2013-01-24 2013-03-05 Ford Global Technologies, Llc Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge
US9827907B2 (en) * 2013-07-05 2017-11-28 Clarion Co., Ltd. Drive assist device
US9244650B2 (en) * 2014-01-15 2016-01-26 Microsoft Technology Licensing, Llc Post-drive summary with tutorial
US9720418B2 (en) * 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
US10397444B2 (en) * 2015-01-19 2019-08-27 Mitsubishi Electric Corporation Image display apparatus and display correction method
US10269260B2 (en) * 2015-08-07 2019-04-23 Honda Motor Co., Ltd. System and method for coaching a driver

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2016143412A1 (ja) * 2015-03-12 2016-09-15 富士フイルム株式会社 投写型表示装置及び運転支援方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021041805A (ja) * 2019-09-10 2021-03-18 株式会社デンソー 自動運転操作表示装置
WO2021049374A1 (ja) * 2019-09-10 2021-03-18 株式会社デンソー 自動運転操作表示装置
JP7140078B2 (ja) 2019-09-10 2022-09-21 株式会社デンソー 自動運転操作表示装置
US11787289B2 (en) 2019-11-08 2023-10-17 Toyota Jidosha Kabushiki Kaisha Vehicle input device, vehicle input method, and non-transitory storage medium stored with vehicle input program

Also Published As

Publication number Publication date
JPWO2018051734A1 (ja) 2019-04-04
US20190187467A1 (en) 2019-06-20
CN109789779B (zh) 2022-03-04
US10795155B2 (en) 2020-10-06
JP6464326B2 (ja) 2019-02-06
CN109789779A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
JP6464326B2 (ja) 投写型表示装置及びその制御方法
US11492017B2 (en) Information presentation device and information presentation method
CN109789782B (zh) 投影型显示装置、投影显示方法、及存储介质
JP6175588B2 (ja) 投写型表示装置及び運転支援方法
US10630946B2 (en) Projection type display device, display control method of projection type display device, and program
US10746988B2 (en) Projection display device, projection control method, and non-transitory computer readable medium storing projection control program
WO2016103937A1 (ja) 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
US20180172990A1 (en) Projection type display device and projection control method
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
US20200055397A1 (en) User interface and method for the input and output of information in a vehicle
JP6515250B2 (ja) 投写型表示装置、表示制御方法、及び表示制御プログラム
JP6867913B2 (ja) 車載システム及びヘッドアップディスプレイ装置
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP2023176232A (ja) 表示装置
JP2018034546A (ja) 車両用表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018539592

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850640

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850640

Country of ref document: EP

Kind code of ref document: A1