WO2018056058A1 - 投写型表示装置、投写表示方法、及び、投写表示プログラム - Google Patents

投写型表示装置、投写表示方法、及び、投写表示プログラム Download PDF

Info

Publication number
WO2018056058A1
WO2018056058A1 PCT/JP2017/032183 JP2017032183W WO2018056058A1 WO 2018056058 A1 WO2018056058 A1 WO 2018056058A1 JP 2017032183 W JP2017032183 W JP 2017032183W WO 2018056058 A1 WO2018056058 A1 WO 2018056058A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
light
input
image
projection display
Prior art date
Application number
PCT/JP2017/032183
Other languages
English (en)
French (fr)
Inventor
米山　一也
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018540954A priority Critical patent/JP6462194B2/ja
Priority to CN201780059179.XA priority patent/CN109789782B/zh
Publication of WO2018056058A1 publication Critical patent/WO2018056058A1/ja
Priority to US16/357,339 priority patent/US10629106B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a projection display device, a projection display method, and a projection display program.
  • a windshield of a vehicle such as an automobile, a train, a ship, a construction machine, a heavy machine, an aircraft, or a farming machine, or a combiner placed in front of the windshield is used as a screen, and light is projected onto the image.
  • a HUD Head-up Display
  • an image based on light projected from the HUD can be visually recognized by the driver as a real image on the screen or as a virtual image in front of the screen.
  • Patent Documents 1-3 describe a HUD that displays a virtual image by projecting image light onto a windshield or combiner of an automobile.
  • the HUD described in Patent Document 3 has a state in which the background color of the virtual image is transparent and the background of the virtual image so that the range in which the image light is projected is recognized for the purpose of adjusting the display position of the virtual image.
  • the color is switched to the colored state.
  • Patent Document 4 describes a display device for an automobile that performs display by combining a virtual image and a real image.
  • JP 2012-77202 A Japanese Unexamined Patent Publication No. 2016-55574 JP 2010-208631 A JP 2008-102449 A
  • Patent Document 1 makes the driver recognize the danger by the degree of blur of the virtual image. For this reason, it is difficult for the driver to communicate the intention of the warning. Further, detailed information cannot be presented to the driver.
  • Patent Document 4 does not display using a windshield or a combiner. For this reason, even if a warning or the like is displayed here, the driver may not notice.
  • Patent Documents 1-4 considers the display in the case of automatic operation or remote operation.
  • the present invention has been made in view of the above circumstances, and can provide a projection display device, a projection display method, and a projection display capable of increasing the degree of recognition of information to be transmitted to the driver during automatic driving or remote driving.
  • the purpose is to provide a program.
  • the projection display device of the present invention is a projection display device mounted on a vehicle, and the vehicle has a first mode in which driving is performed based on a command generated internally or a command received wirelessly from the outside.
  • the light modulation unit that spatially modulates the light emitted from the light source based on the input image data, and the spatially modulated light to the windshield of the vehicle or the combiner mounted on the vehicle
  • a projection optical system for projecting and an image data control unit for controlling image data input to the light modulation unit, wherein the image data control unit is configured to output image data input to the light modulation unit in the first mode. Is switched between the first image data and the second image data, and the first image data excludes the pixel data group corresponding to the first display information and the first display information.
  • the light spatially modulated based on the pixel data group corresponding to the background portion Is not reached the windshield or the combiner, and the light spatially modulated based on the pixel data group corresponding to the first display information reaches the windshield or the combiner, and the second image data Is composed of a pixel data group corresponding to the second display information and a pixel data group corresponding to the background portion excluding the second display information, and the second image data is input to the light modulator.
  • the modulated the light in which spatially modulated the light reaches at least the windshield or the combiner based on the pixel data group corresponding to the background portion.
  • the projection display method of the present invention is mounted on a light modulation section that spatially modulates light emitted from a light source based on input image data, and the spatially modulated light is mounted on a vehicle windshield or the vehicle.
  • a projection optical system for projecting onto a combiner wherein the vehicle is equipped with a first mode in which operation is performed based on a command generated internally or a command received wirelessly from the outside.
  • an image data control step for controlling image data input to the light modulation unit wherein the image data control step converts the image data input to the light modulation unit to first image data in the first mode.
  • the second image data are switched, and the first image data includes a pixel data group corresponding to the first display information and a background excluding the first display information.
  • the light spatially modulated based on the pixel data group corresponding to the background portion is the pixel data group corresponding to the portion.
  • the light that has not reached the windshield or the combiner and is spatially modulated based on the pixel data group corresponding to the first display information reaches the windshield or the combiner
  • the second image data is A pixel data group corresponding to the second display information and a pixel data group corresponding to the background portion excluding the second display information
  • the second image data is input to the light modulator.
  • the light spatially modulated based on the pixel data group corresponding to the background portion and the spatial modulation based on the pixel data group corresponding to the second display information is to reach at least the windshield or the combiner.
  • a projection display program is mounted on a light modulation unit that spatially modulates light emitted from a light source based on input image data, and the spatially modulated light is mounted on a windshield of a vehicle or the vehicle.
  • a projection display system for projecting onto a combiner, wherein the vehicle is equipped with a first mode in which operation is performed based on a command generated internally or a command received wirelessly from the outside.
  • the image data control step is input to the light modulation unit in the first mode.
  • the image data is controlled to be switched between the first image data and the second image data, and the first image data is the first display information.
  • the background portion is configured by a corresponding pixel data group and a pixel data group corresponding to the background portion excluding the first display information.
  • the light that has been spatially modulated based on the pixel data group corresponding to the above does not reach the windshield or the combiner, and the light that has been spatially modulated based on the pixel data group corresponding to the first display information is Reaching the windshield or the combiner, the second image data is composed of a pixel data group corresponding to the second display information and a pixel data group corresponding to the background portion excluding the second display information.
  • the light spatially modulated based on the pixel data group corresponding to the background portion is at least transmitted to the windshield or the combiner.
  • a projection display device capable of increasing the degree of recognition of information to be transmitted to the driver during automatic driving or remote driving.
  • FIG. 1 is a schematic diagram showing an indoor configuration of an automobile 10 on which a HUD 100 that is an embodiment of a projection display device of the present invention is mounted. It is a schematic diagram which shows the internal hardware constitutions of the control unit 4 of HUD100 shown in FIG. It is a functional block diagram of the system control part 60 shown in FIG. It is a flowchart for demonstrating operation
  • FIG. 10 is a diagram illustrating an example of an image based on first image data for displaying third display information. It is a figure which shows the functional block of the system control part 60 of HUD100 of a modification.
  • FIG. 1 is a schematic diagram showing an indoor configuration of an automobile 10 in which a HUD 100 which is an embodiment of a projection display device of the present invention is mounted.
  • FIG. 2 is a schematic diagram showing an internal hardware configuration of the control unit 4 of the HUD 100 shown in FIG.
  • a part of the front windshield 1 of the automobile 10 is a region that is processed to reflect image light, which will be described later, and this region constitutes the projection plane 2.
  • the HUD 100 is mounted on the automobile 10 and makes it possible for a driver of the automobile 10 to visually recognize a virtual image or a real image by image light projected onto the projection plane 2 that is a partial area of the front windshield 1 of the automobile 10. is there.
  • the HUD 100 can be used by being mounted on a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • the HUD 100 is built in the dashboard 3 of the automobile 10.
  • the dashboard 3 is a member that incorporates interior parts including instruments for notifying information necessary for traveling such as a speedometer, a tachometer, a fuel meter, a water temperature meter, or a distance meter of the automobile 10.
  • the HUD 100 includes a control unit 4 that includes a light source and a light modulation element that spatially modulates light emitted from the light source based on image data, and image light that is spatially modulated by the light modulation element of the control unit 4.
  • the projection lens 46 is built in the control unit 4.
  • the diffusion member 6 is a member that diffuses the image light spatially modulated by the light modulation element of the control unit 4 to form a surface light source.
  • a micro mirror array having a fine structure on the surface a diffusing mirror, an MLA (Microlens-Array) diffuser, a reflective holographic diffuser, or the like is used.
  • MLA Mericrolens-Array
  • the projection lens 46 is an optical system for forming an image on the diffusion member 6 based on the image light spatially modulated by the light modulation element 44.
  • the projection lens 46 has a variable focal length, and the size of the intermediate image formed on the diffusing member 6 can be changed by changing the focal length.
  • the size of the intermediate image formed on the diffusing member 6 when the projection lens 46 has a small focal length is larger than the size of the intermediate image formed on the diffusing member 6 when the projection lens 46 has a large focal length.
  • the projection lens 46 functions as a variable magnification lens.
  • the reflection mirror 7 reflects the image light (corresponding to the above intermediate image) diffused by the diffusing member 6.
  • the reflection mirror 7 may be composed of a plurality of mirrors. Further, the reflection mirror 7 may be omitted, and the intermediate image may be directly incident on the concave mirror 8.
  • the concave mirror 8 magnifies and reflects the image light reflected by the reflecting mirror 7 and projects it onto the projection plane 2.
  • the projection surface 2 of the front windshield 1 is processed so that the image light projected from the concave mirror 8 is reflected toward the driver's eyes.
  • the concave mirror 8 may be composed of a plurality of sheets.
  • the HUD 100 may be arranged, for example, near the ceiling of the automobile 10 and project image light onto a combiner installed near the ceiling of the automobile 10. In this configuration, the combiner forms the projection surface.
  • An automobile driver can visually recognize information such as icons or characters for assisting driving by a virtual image based on image light projected on the projection plane 2 and reflected on the projection plane 2. Further, the projection surface 2 has a function of transmitting light from the outside (outside) of the front windshield 1. For this reason, the driver
  • the automobile 10 is driven based on a command generated internally by a vehicle control unit (not shown) that performs overall control of the vehicle or a command received wirelessly from the outside by the vehicle control unit (direction indicator, steering, accelerator, and brake). And the second mode (manual operation mode) in which a person operates manually can be set.
  • the automobile 10 is provided with a mode switching button (not shown), and the first mode and the second mode can be switched by operating the mode switching button.
  • the first mode and the second mode may be switched in a software manner without depending on the operation of the mode switching button.
  • control unit 4 includes a light source unit 40, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, a projection lens 46, and a lens drive unit 47 that drives the projection lens 46. And a system control unit 60 that performs overall control of the entire HUD 100.
  • the system control unit 60 includes a processor, a ROM (Read Only Memory) storing a program executed by the processor, and a RAM (Random Access Memory) functioning as a work memory of the processor.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the light source unit 40 includes a light source controller 40A, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the R light source 41r, the G light source 41g, and the B light source 41b constitute a light source of the HUD 100.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the dichroic prism 43 transmits the red light collimated by the collimator lens 42 r and emits the red light to the light modulation element 44.
  • the dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the HUD 100 is not limited to three examples of the R light source 41r, the G light source 41g, and the B light source 41b, and may be configured by one light source, two light sources, or four or more light sources.
  • the light source control unit 40A controls each of the R light source 41r, the G light source 41g, and the B light source 41b, and performs control to emit light from the R light source 41r, the G light source 41g, and the B light source 41b.
  • the light modulation element 44 spatially modulates the light emitted from the R light source 41r, the G light source 41g, and the B light source 41b and emitted from the dichroic prism 43 based on image data input by the system control unit 60.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • a liquid crystal display element for example, LCOS (Liquid crystal on silicon), DMD (Digital Micromirror Device), or a liquid crystal display element can be used.
  • the drive unit 45 drives the light modulation element 44 based on the image data input from the system control unit 60, and the image light (red image light, blue image light, and green image) spatially modulated based on the image data. Light) is emitted from the light modulation element 44 to the projection lens 46.
  • the light modulation element 44 and the drive unit 45 constitute a light modulation unit of the HUD 100.
  • the lens driving unit 47 changes a focal length of the projection lens 46 by moving a part of the projection lens 46 in the optical axis direction according to a command from the system control unit 60.
  • the projection optical system composed of the projection lens 46, the diffusing member 6, the reflection mirror 7, and the concave mirror 8 shown in FIG. 1 has an image based on the image light projected on the projection surface 2 in front of the front windshield 1.
  • the optical design is made so as to be visible to the driver as a virtual image at the position.
  • the optical design of the projection optical system may be made so that an image based on the image light is visible to the driver as a real image on the front windshield 1.
  • the system control unit 60 controls the light source control unit 40A and the drive unit 45 to emit image light based on the image data from the control unit 4 to the projection lens 46.
  • FIG. 3 is a functional block diagram of the system control unit 60 shown in FIG.
  • the system control unit 60 includes a status information acquisition unit 61, a warning determination unit 62, an image data control unit 63, a scaling control unit 64, and an operation detection unit 65.
  • the status information acquisition unit 61, the warning determination unit 62, the image data control unit 63, the scaling control unit 64, and the operation detection unit 65 are configured by the processor of the system control unit 60 executing a program stored in the ROM. Is done.
  • This program includes a projection display program.
  • the situation information acquisition unit 61 receives information indicating an abnormality of an instrument mounted on the vehicle 10 from a vehicle control unit (not shown) that performs overall control of the entire system of the vehicle 10, a sensor (not illustrated) mounted on the vehicle 10. Information detected by a sound wave radar, a millimeter wave radar, a laser radar, or a stereo camera), information indicating the presence or absence of a failure of the sensor, or an image pickup unit (not shown) mounted on the body of the automobile 10 Status information such as captured image data of the front or rear of the automobile 10 obtained in this way is acquired.
  • the warning determination unit 62 is a person who gets into the vehicle 10 (a driver or a driver seat sitting in the driver's seat) based on the information acquired by the situation information acquisition unit 61 in a state where the vehicle 10 is set to the first mode. It is determined whether or not a warning is required for a passenger who sits in a seat other than the above.
  • warning determination unit 62 determines that a warning is necessary are listed below, but are not limited thereto.
  • the warning determination unit 62 analyzes information measured by the sensor, and when the result of this analysis is that an obstacle such as a person or a vehicle crosses in front of the automobile 10, a warning is required. Is determined.
  • the warning determination unit 62 analyzes information measured by the sensor mounted on the automobile 10, and if the result of this analysis is that the distance between the automobile 10 and the obstacle is equal to or less than a threshold value, a warning is required. Judged to be in a bad state.
  • the warning determination unit 62 determines that a warning is necessary when a failure of the sensor necessary for the operation in the first mode is detected.
  • the warning determination unit 62 determines that a warning is necessary when there is an abnormality in the vehicle instrumentation.
  • the warning determination unit 62 analyzes the information acquired by the situation information acquisition unit 61 and determines whether or not a warning is necessary.
  • the vehicle control unit that performs overall control of the vehicle 10 may perform this analysis.
  • warning information indicating that a warning is necessary is input to the system control unit 60 of the HUD 100. Then, the situation information acquisition unit 61 acquires this warning information input from the vehicle control unit, and the warning determination unit 62 recognizes that a warning is necessary based on this warning information.
  • the image data control unit 63 controls image data input to the drive unit 45.
  • the image data control unit 63 switches the image data input to the drive unit 45 between the first image data and the second image data when the automobile 10 is set to the first mode.
  • the first image data is data for displaying the first display information.
  • the first display information is information necessary for driving support, such as information for performing route guidance to the destination or speed information of the automobile 10, and information such as text.
  • the first image data includes a pixel data group corresponding to the first display information and a pixel data group corresponding to the background portion excluding the first display information.
  • the image light spatially modulated based on the pixel data group corresponding to the background portion does not reach the projection plane 2, and corresponds to the first display information.
  • the image light spatially modulated based on the pixel data group to reach the projection plane 2.
  • the virtual image or the real image that is visually recognized when the first image data is input to the drive unit 45 is displayed with at least the outline portion colored with respect to the first display information, and the background portion is transparent. It becomes.
  • the second image data is data for displaying the second display information.
  • the second display information includes warning information determined in advance according to the content of the warning determined to be necessary by the warning determination unit 62.
  • the second image data includes a pixel data group corresponding to the second display information and a pixel data group corresponding to the background portion excluding the second display information.
  • the image light spatially modulated based on the pixel data group corresponding to the background portion reaches the projection plane 2 and corresponds to the second display information.
  • the image light spatially modulated based on the pixel data group reaches or does not reach the projection plane 2.
  • a virtual image or a real image that is visually recognized when the second image data is input to the driving unit 45 is displayed with at least a color for the background portion, and is colored or transparent for the second display information.
  • the image data control unit 63 When the vehicle 10 is set to the first mode, the image data control unit 63 outputs image data to be input to the drive unit 45 when the warning determination unit 62 determines that the warning is unnecessary. When the warning determination unit 62 determines that a warning is necessary, the image data input to the drive unit 45 is the second image data.
  • the zooming control unit 64 controls the focal length of the projection lens 46 to the first value via the lens driving unit 47 in a state where the first image data is input to the driving unit 45, so that the intermediate image Control the size to the initial value.
  • the zooming control unit 64 sets the focal length of the projection lens 46 to a second value smaller than the first value via the lens driving unit 47. Control the intermediate image size to be larger than the initial value.
  • the operation detection unit 65 detects that a predetermined operation is performed on the automobile 10 in a state where the automobile 10 is set to the first mode.
  • the predetermined operation is an operation determined according to the content of the warning determined to be necessary by the warning determination unit 62.
  • a brake operation is associated with a warning (a warning requesting attention to an obstacle) required when an obstacle such as a person or a vehicle crosses in front of the automobile 10.
  • a handle grip operation and a brake operation are associated with a warning (a warning for avoiding a collision with an obstacle) necessary when the distance between the automobile 10 and the obstacle is equal to or less than a threshold value.
  • a warning prompting switching from the first mode to the second mode is associated with an operation of a mode switching button (not shown).
  • the operation detection unit 65 acquires information indicating operation states of the brake, the steering wheel, and the mode switching button from the vehicle control unit, and a predetermined operation is performed based on this information. Detect that.
  • the operation detection unit 65 detects that a predetermined operation has been performed, the operation detection unit 65 outputs a detection signal of the operation to the image data control unit 63.
  • FIG. 4 is a flowchart for explaining the operation of the HUD 100 shown in FIG. The process shown in FIG. 4 is repeatedly executed while the power of the HUD 100 is turned on and the automobile 10 is set to the first mode.
  • FIG. 5 is a diagram showing an example of an image based on the first image data observed through the front windshield 1.
  • FIG. 6 is a diagram showing an example of an image based on the second image data observed through the front windshield 1.
  • FIG. 7 is a diagram showing another example of an image based on the second image data observed through the front windshield 1.
  • FIG. 5 shows a road R on which the automobile 10 is traveling.
  • 6 and 7 show a road R on which the automobile 10 is traveling and a person H who is present in front of the automobile 10.
  • the image data control unit 63 starts input of the first image data to the driving unit 45 (step S1).
  • the drive unit 45 drives the light modulation element 44 based on the first image data input from the image data control unit 63, thereby projecting image light based on the first image data on the projection plane 2 (step). S2). Thereby, as shown in FIG. 5, the driving assistance image 81 is observed through the projection plane 2.
  • the driving support image 81 shown in FIG. 5 includes information for performing route guidance (an arrow, a distance to an intersection, and an estimated arrival time) and speed information of the automobile 10 as first display information. Yes. And the background part other than the 1st display information of the driving assistance image 81 is transparent. Thereby, a driver
  • the warning determination unit 62 determines whether or not a warning is required for the driver or passenger of the automobile 10 (step S3). If it is determined that a warning is not required (step S3: NO), the process returns to step S1, and the above-described process is repeated.
  • step S3 If it is determined that a warning is necessary (step S3: YES), the image data control unit 63 switches the image data input to the drive unit 45 from the first image data to the second image data. Further, the zooming control unit 64 changes the focal length of the projection lens 46 from the first value to the second value to enlarge the size of the intermediate image (step S4).
  • the drive unit 45 drives the light modulation element 44 based on the second image data input from the image data control unit 63, thereby projecting image light based on the second image data on the projection plane 2 (step). S5).
  • the warning image 82 is observed through the projection plane 2.
  • a warning image 83 is observed through the projection plane 2.
  • the warning image 82 shown in FIG. 6 includes, as the second display information, text with a content such as “Danger ahead!
  • the text portion is filled with a predetermined color
  • the background portion other than the text is filled with a color different from the text portion and becomes opaque.
  • the background portion of the warning image 82 is preferably red or yellow to make the entire warning image 82 stand out.
  • the text portion of the warning image 82 is preferably a complementary color (for example, green) of the background portion so that the text is highly visible.
  • the warning image 83 shown in FIG. 7 includes, as the second display information, text having a content such as “Danger ahead!
  • the text portion is transparent, and the background portion other than the text is filled with a predetermined color and becomes opaque.
  • the background portion of the warning image 83 is preferably red or yellow to make the entire warning image 83 stand out.
  • the warning image is observed in a larger size than the driving assistance image.
  • step S5 when the operation detection unit 65 detects that an operation for avoiding danger corresponding to the warning image illustrated in FIG. 6 or FIG. 7 is performed (step S6: YES), the scaling control unit 64 The focal length of the projection lens 46 is returned to the first value (step S7). Thereafter, the process returns to step S ⁇ b> 1, and the image data control unit 63 inputs the first image data to the drive unit 45. As a result, the image observed through the projection surface 2 is switched from the state shown in FIG. 6 or 7 to the state shown in FIG.
  • the background is colored from an image in which the background is transparent when it is determined that a warning is necessary.
  • the display switches to the image.
  • the HUD 100 when it is determined that the warning is necessary in the state where the automobile 10 is set in the first mode, compared to the case where the warning is determined to be unnecessary. A large image is displayed. Thus, since the driver or a passenger can detect the change of the image instantaneously by changing the image size from the small one to the large one, the recognition degree of the warning can be improved. Therefore, even during automatic driving or remote driving, a warning can be effectively given to the driver or a passenger, and safe driving can be supported.
  • the display is switched to the image based on the first image data.
  • the image based on the first image data has a transparent background portion and a small display size. For this reason, the driver can continue the driving operation for avoiding the danger in a state where the front view is sufficiently secured, and can smoothly avoid the danger.
  • the image data control unit 63 inputs the second image data to the drive unit 45, and when the operation detection unit 65 detects the above-described predetermined operation, the image data control unit 63 proceeds to the drive unit 45.
  • the input of the image data may be stopped, and the process of step S1 may be resumed after a predetermined time has elapsed. According to this configuration, the driver's front view can be further improved, and the driving operation for avoiding danger can be performed more smoothly.
  • the step is performed when the warning determination unit 62 determines that the warning is unnecessary. It is preferable that the process of S1 is resumed. According to this configuration, the driver's front view can be sufficiently ensured while warning is required. For this reason, the driving operation for avoiding danger can be performed more smoothly.
  • the image data control unit 63 inputs the second image data to the drive unit 45, and when the operation detection unit 65 detects the predetermined operation, the image data control unit 63 causes the drive unit 45 to
  • the first image data to be input may be changed to data for displaying the third display information.
  • the third display information is information indicating specific instruction contents for avoiding danger.
  • FIG. 8 is a diagram showing an example of an image based on the first image data for displaying the third display information.
  • the driving support image 84 shown in FIG. 8 includes an icon and text for instructing an operation of turning the steering wheel to the left to avoid an obstacle ahead and applying a brake.
  • These icons and text are colored or only the outline is colored, and the other background parts are transparent.
  • the image data control unit 63 is configured to input only the first image data to the drive unit 45 when the automobile 10 is set to the second mode (manual operation mode). According to this configuration, an image with a transparent background is always displayed during manual operation. For this reason, a forward view can be ensured and safe driving can be supported.
  • the first display information displayed based on the first image data includes information for performing route guidance to the destination or the speed of the automobile 10.
  • information for performing route guidance to the destination or the speed of the automobile 10. In addition to information such as information necessary for driving support such as information or text, the same information as the second display information described above is also included.
  • the zooming control unit 64 and the lens driving unit 47 are not essential.
  • the focal length of the projection lens 46 is fixed.
  • the operation in this case is obtained by deleting step S7 in FIG.
  • MEMS Micro Electro Mechanical Systems
  • FIG. 9 is a diagram illustrating functional blocks of the system control unit 60 of the modified HUD 100.
  • the same components as those in FIG. 9 are identical to FIG. 9 in FIG. 9, the same components as those in FIG. 9 in FIG. 9, the same components as those in FIG. 9 in FIG. 9, the same components as those in FIG. 9
  • the driver's seat of the automobile 10 on which the HUD 100 of this modification is mounted is an electric reclining seat, and the inclination angle of the backrest can be changed electrically.
  • the automobile 10 equipped with the HUD 100 of this modification includes a reclining control unit 101 that controls the inclination angle of the backrest of the driver's seat.
  • the projection optical system of the HUD 100 of this modification is optically designed so that an image based on the image light projected on the projection plane 2 can be visually recognized by the driver as a virtual image at a position in front of the front windshield 1. ing.
  • the system control unit 60 shown in FIG. 9 has the same configuration as that of FIG. 3 except that a transmission unit 67 is added.
  • an eye box that is assumed to contain both eyes of a person sitting in the driver's seat is set. If the eyes of the driver are in the eye box, a virtual image based on image light is set. It is designed to be visible.
  • the ROM of the system control unit 60 shown in FIG. 9 stores the range of the angle of the backrest of the driver's seat of the automobile 10 that can maintain the state where both eyes of the driver are in the eye box.
  • the transmission unit 67 When the transmission unit 67 detects that the automobile 10 is set to the first mode, the transmission unit 67 generates a control signal for limiting the inclination angle of the driver's backrest within the above-described range of angles stored in the ROM. This control signal is transmitted to the reclining control unit 101 of the automobile 10.
  • the reclining control unit 101 of the automobile 10 restricts the inclination angle of the backrest of the driver's seat to the specified range based on the control signal received from the system control unit 60.
  • the system control unit 60 of the modified HUD 100 determines the position of both eyes of the driver sitting in the driver's seat based on the image light projected on the projection plane 2.
  • a control signal for limiting the inclination angle of the backrest of the driver's seat is generated and transmitted to the reclining control unit 101 of the automobile 10 so that the virtual image is within a visible range.
  • a projection display device mounted on a vehicle wherein the vehicle is equipped with a first mode in which driving is performed based on a command generated internally or a command received wirelessly from the outside.
  • a light modulation unit that spatially modulates the light emitted from the input image data, and a projection optical system that projects the spatially modulated light onto a windshield of a vehicle or a combiner mounted on the vehicle;
  • An image data control unit that controls image data input to the light modulation unit, and the image data control unit converts the image data input to the light modulation unit to first image data in the first mode.
  • the second image data, and the first image data corresponds to the pixel data group corresponding to the first display information and the background portion excluding the first display information.
  • the light spatially modulated based on the pixel data group corresponding to the background portion is the windshield or the pixel data group.
  • the light that has not reached the combiner and is spatially modulated based on the pixel data group corresponding to the first display information reaches the windshield or the combiner, and the second image data is displayed on the second display A pixel data group corresponding to the information and a pixel data group corresponding to the background portion excluding the second display information, and when the second image data is input to the light modulation unit,
  • the light spatially modulated based on the pixel data group corresponding to the background portion, and the light spatially modulated based on the pixel data group corresponding to the second display information Among them, a projection display device spatially modulated the light reaches at least the windshield or the combiner based on the pixel data group corresponding to the background portion.
  • the projection optical system includes a variable power lens that can change a size of an image based on light spatially modulated by the light modulation unit, and Controlling the double lens, the image in a state where the second image data is input to the light modulation unit, and the state in which the first image data is input to the light modulation unit
  • a projection display device further comprising a zooming control unit that makes the image larger than an image.
  • (4) The projection display device according to any one of (1) to (3), wherein a warning determination unit that determines whether or not a warning is required for a person who rides the vehicle.
  • the image data control unit is further configured to input the first image data to the light modulation unit in the first mode when the warning determination unit determines that the warning is unnecessary.
  • a projection display device that inputs the second image data to the light modulation unit in a state where a warning is determined by the unit;
  • the projection display device further including an operation detection unit that detects that a predetermined operation has been performed on the vehicle in the first mode, and the image data control The image data to be input to the light modulation unit when the predetermined operation is detected by the operation detection unit in a state where the second image data is input to the light modulation unit.
  • a projection display device for switching to the first image data.
  • the projection display device further including an operation detection unit that detects that a predetermined operation has been performed on the vehicle in the first mode, and the image data control unit When the predetermined operation is detected by the operation detection unit while the second image data is input to the light modulation unit, the image data is input to the light modulation unit.
  • Projection-type display device that stops operation.
  • the vehicle includes a reclining control unit that controls an inclination angle of a backrest of a driver's seat. Generates a control signal for limiting the tilt angle of the backrest of the vehicle driver's seat within a range in which a virtual image based on the light projected by the projection optical system is visible by the driver sitting in the driver's seat during mode And a transmission unit for transmitting to the reclining control unit, wherein the reclining control unit limits the tilt angle based on the control signal.
  • the vehicle is equipped with a first mode in which driving is performed based on a command generated internally or a command received wirelessly from outside,
  • An image data control step for controlling image data input to the modulation unit, wherein the image data control step is configured to convert the image data input to the light modulation unit into the first image data and the second image in the first mode;
  • the first image data is a pixel data group corresponding to the first display information and an image corresponding to the background portion excluding the first display information.
  • the light spatially modulated based on the pixel data group corresponding to the background portion is the windshield or the combiner.
  • the light that has been spatially modulated based on the pixel data group corresponding to the first display information reaches the windshield or the combiner, and the second image data is the second display information.
  • a pixel data group corresponding to a background portion excluding the second display information and in a state where the second image data is input to the light modulation unit, the background
  • a projection display method spatially modulated the light reaches at least the windshield or the combiner based on the pixel data group corresponding to the background portion.
  • the projection display method according to any one of (9) to (11), further including a warning determination step of determining whether or not a warning is required for a person riding on the vehicle.
  • the image data control step includes inputting the first image data to the light modulation unit when the warning determination step determines that the warning is unnecessary in the first mode, and the warning determination step.
  • the projection display method according to any one of (1) to (15), wherein the vehicle includes a reclining control unit that controls an inclination angle of a backrest of a driver's seat, and the first mode Sometimes, a control signal is generated to limit the inclination angle of the backrest of the driver's seat of the vehicle within a range in which a virtual image based on the light projected by the projection optical system is visible by the driver sitting in the driver's seat.
  • the projection display method further includes a transmission step of transmitting to the reclining control unit, wherein the reclining control unit limits the tilt angle based on the control signal.
  • Switching between the first image data and the second image data, and the first image data is a pixel data group corresponding to the first display information
  • a pixel data group corresponding to the background portion excluding the first display information and in a state where the first image data is input to the light modulation unit, the pixel data group corresponding to the background portion.
  • the light that has been spatially modulated on the basis of the image data does not reach the windshield or the combiner, and the light that has been spatially modulated on the basis of the pixel data group corresponding to the first display information is incident on the windshield or the combiner.
  • the second image data is composed of a pixel data group corresponding to the second display information and a pixel data group corresponding to the background portion excluding the second display information, and the second image data
  • the light spatially modulated based on the pixel data group corresponding to the background portion and the second display information.
  • a projection display program spatially modulated the light reaches at least the windshield or the combiner based on the pixel data group corresponding to the background portion.
  • the present invention can be applied to a vehicle such as an automobile to support safe driving of the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

自動運転中又はリモート運転中において運転者に伝えるべき情報の認知度を上げることのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供する。乗り物に搭載される投写型表示装置であって、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、空間変調された光を乗り物の投写面に投写する投写光学系と、光変調部に入力する画像データを制御する画像データ制御部６３と、を備え、画像データ制御部６３は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モード時には、通常表示のための画像光を投写面２に投写するか、警告表示のための画像光を投写面２に投写するかを切り替える制御を行う。

Description

投写型表示装置、投写表示方法、及び、投写表示プログラム
　本発明は、投写型表示装置、投写表示方法、及び、投写表示プログラムに関する。
　自動車、電車、船舶、建機、重機、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ－ｕｐ　Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
　このＨＵＤを利用して運転支援を行うシステムが特許文献１－３に記載されている。特許文献１－３には、自動車のウインドシールド又はコンバイナに画像光を投写して虚像を表示させるＨＵＤが記載されている。
　特許文献３に記載のＨＵＤは、虚像の表示位置を調整することを目的として、画像光の投写されている範囲が認識されるように、虚像の背景色を透明にした状態と、虚像の背景色を有色にした状態とが切り替えている。
　また、特許文献４には、虚像と実像を組み合わせて表示を行う自動車用の表示装置が記載されている。
特開２０１２－７７２０２号公報 特開２０１６－５５６７４号公報 特開２０１０－２０８６３１号公報 特開２００８－１０２４４９号公報
　近年、乗り物の自動運転又はリモート運転が実用化されようとしている。自動運転又はリモート運転が行われているときは、運転者が前方を注視しておらず、漫然と眺めている状況になり得る。一方で、危険又は車両の異常等があった場合には、これらを運転者に確実に伝える必要がある。自動運転中又はリモート運転中であっても、運転者の視線は前方を向いている可能性が高い。このため、運転者の視線と重なりやすいウインドシールド又はコンバイナに画像光を投写して、危険又は車両の異常等の表示を行うことが有効となる。
　特許文献１に記載のＨＵＤは、虚像のぼけ具合によって運転者に危険を認知させている。このため、運転者には警告の意図が伝わりにくい。また、詳細な情報を運転者に提示することができない。
　特許文献２に記載のＨＵＤは、緊急時には不透明板が画像光の通過経路に挿入され、この不透明板に実像を表示させて運転者に危険を伝える。このため、この不透明板とこれを動かす機構が必要になり、高コストとなる。
　特許文献３に記載のＨＵＤは、危険等をどのようにして運転者に効果的に知らせるかについて考慮されていない。
　特許文献４に記載の表示装置は、ウインドシールド又はコンバイナを用いて表示を行うものではない。このため、ここに警告等を表示しても、運転者は気付かない可能性がある。
　また、特許文献１－４のいずれも、自動運転又はリモート運転の場合の表示については考慮していない。
　本発明は、上記事情に鑑みてなされたものであり、自動運転中又はリモート運転中において運転者に伝えるべき情報の認知度を上げることのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供することを目的とする。
　本発明の投写型表示装置は、乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物のウインドシールド又は上記乗り物に搭載されたコンバイナに投写する投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、を備え、上記画像データ制御部は、上記第一モード時には、上記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、上記第一の画像データは、第一の表示情報に対応する画素データ群と、上記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第一の画像データが上記光変調部に入力された状態では、上記背景部分に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに未到達となり、上記第一の表示情報に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに到達し、上記第二の画像データは、第二の表示情報に対応する画素データ群と、上記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第二の画像データが上記光変調部に入力された状態では、その背景部分に対応する画素データ群に基づいて空間変調された上記光と、上記第二の表示情報に対応する画素データ群に基づいて空間変調された上記光とのうち、その背景部分に対応する画素データ群に基づいて空間変調された上記光が少なくとも上記ウインドシールド又は上記コンバイナに到達するものである。
　本発明の投写表示方法は、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物のウインドシールド又は上記乗り物に搭載されたコンバイナに投写する投写光学系と、を用いた投写表示方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、上記光変調部に入力する画像データを制御する画像データ制御ステップを備え、上記画像データ制御ステップは、上記第一モード時には、上記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、上記第一の画像データは、第一の表示情報に対応する画素データ群と、上記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第一の画像データが上記光変調部に入力された状態では、上記背景部分に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに未到達となり、上記第一の表示情報に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに到達し、上記第二の画像データは、第二の表示情報に対応する画素データ群と、上記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第二の画像データが上記光変調部に入力された状態では、その背景部分に対応する画素データ群に基づいて空間変調された上記光と、上記第二の表示情報に対応する画素データ群に基づいて空間変調された上記光とのうち、その背景部分に対応する画素データ群に基づいて空間変調された上記光が少なくとも上記ウインドシールド又は上記コンバイナに到達するものである。
　本発明の投写表示プログラムは、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物のウインドシールド又は上記乗り物に搭載されたコンバイナに投写する投写光学系と、を用いた投写表示プログラムであって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、上記光変調部に入力する画像データを制御する画像データ制御ステップをコンピュータに実行させるためのプログラムであり、上記画像データ制御ステップは、上記第一モード時には、上記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、上記第一の画像データは、第一の表示情報に対応する画素データ群と、上記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第一の画像データが上記光変調部に入力された状態では、上記背景部分に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに未到達となり、上記第一の表示情報に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに到達し、上記第二の画像データは、第二の表示情報に対応する画素データ群と、上記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第二の画像データが上記光変調部に入力された状態では、その背景部分に対応する画素データ群に基づいて空間変調された上記光と、上記第二の表示情報に対応する画素データ群に基づいて空間変調された上記光とのうち、その背景部分に対応する画素データ群に基づいて空間変調された上記光が少なくとも上記ウインドシールド又は上記コンバイナに到達するものである。
　本発明によれば、自動運転中又はリモート運転中において運転者に伝えるべき情報の認知度を上げることのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。 図１に示すＨＵＤ１００の制御ユニット４の内部ハードウェア構成を示す模式図である。 図２に示すシステム制御部６０の機能ブロック図である。 図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。 フロントウインドシールド１を通して観察される第一の画像データに基づく画像の一例を示す図である。 フロントウインドシールド１を通して観察される第二の画像データに基づく画像の一例を示す図である。 フロントウインドシールド１を通して観察される第二の画像データに基づく画像の別の例を示す図である。 、第三の表示情報を表示するための第一の画像データに基づく画像の一例を示す図である。 変形例のＨＵＤ１００のシステム制御部６０の機能ブロックを示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。図２は、図１に示すＨＵＤ１００の制御ユニット４の内部ハードウェア構成を示す模式図である。
　自動車１０のフロントウインドシールド１の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面２を構成している。
　ＨＵＤ１００は、自動車１０に搭載され、自動車１０のフロントウインドシールド１の一部の領域である投写面２に投写される画像光により、自動車１０の運転者によって虚像又は実像を視認可能にするものである。
　ＨＵＤ１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
　図１の例では、ＨＵＤ１００は、自動車１０のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１０のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
　ＨＵＤ１００は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット４と、制御ユニット４の光変調素子により空間変調された画像光をフロントウインドシールド１の投写面２に投写する投写光学系を構成する投写レンズ４６、拡散部材６、反射ミラー７、及び、凹面鏡８と、を備える。投写レンズ４６は制御ユニット４に内蔵されている。
　拡散部材６は、制御ユニット４の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材６は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、ＭＬＡ（Ｍｉｃｒｏｌｅｎｓ－Ａｒｒａｙ）ディフューザー、又は、反射ホログラフィクディフューザー等が用いられる。この拡散部材６によって、ここに投写される画像光に基づき生成された中間像が反射ミラー７に入射される。
　投写レンズ４６は、光変調素子４４によって空間変調された画像光に基づく画像を拡散部材６に結像させるための光学系である。投写レンズ４６は、焦点距離が可変となっており、焦点距離が変わることで、拡散部材６に形成される中間像のサイズを変更することができる。投写レンズ４６の焦点距離が小さい状態で拡散部材６に形成される中間像のサイズは、投写レンズ４６の焦点距離が大きい状態で拡散部材６に形成される中間像のサイズよりも大きくなる。投写レンズ４６は変倍レンズとして機能する。
　反射ミラー７は、拡散部材６で拡散された画像光（上記の中間像に相当）を反射する。反射ミラー７は、複数のミラーで構成されることもある。また、反射ミラー７を省略し、中間像が凹面鏡８に直接入射される構成としてもよい。
　凹面鏡８は、反射ミラー７で反射された画像光を拡大して反射し、投写面２に投写する。フロントウインドシールド１の投写面２は、凹面鏡８から投写された画像光が運転者の目の方向に反射するような加工がなされている。凹面鏡８は複数枚で構成されていてもよい。
　なお、ＨＵＤ１００は、例えば自動車１０の天井付近に配置され、自動車１０の天井付近に設置されたコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。
　自動車の運転者は、投写面２に投写され、投写面２で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面２は、フロントウインドシールド１の外部（外界）からの光を透過する機能を持つ。このため、運転者は、凹面鏡８から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。
　自動車１０は、全体を統括制御する図示省略の自動車制御部が内部で生成した指令又はこの自動車制御部が外部から無線で受信した指令に基づいて運転（方向指示器、ステアリング、アクセル、及び、ブレーキ等の操作）が行われる第一モード（自動運転モード又はリモート運転モードともいう）と、人が手動で運転を行う第二モード（手動運転モード）とを設定可能である。自動車１０には図示省略のモード切替ボタンが設けられており、このモード切替ボタンを操作することで、第一モードと第二モードを切り替えることができる。第一モードと第二モードは、モード切替ボタンの操作によらず、ソフト的に切り替えが行われてもよい。
　図２に示すように、制御ユニット４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写レンズ４６と、投写レンズ４６を駆動するレンズ駆動部４７と、ＨＵＤ１００全体を統括制御するシステム制御部６０と、を備える。
　システム制御部６０は、プロセッサと、このプロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、このプロセッサのワークメモリとして機能するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、を含む。
　光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１００の光源を構成する。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１００の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つの光源、２つの光源、又は、４つ以上の光源によって構成されていてもよい。
　光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。
　光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６０により入力される画像データに基づいて空間変調する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、又は、液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部６０から入力される画像データに基づいて光変調素子４４を駆動し、画像データに基づいて空間変調された画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から投写レンズ４６に出射させる。光変調素子４４と駆動部４５はＨＵＤ１００の光変調部を構成する。
　レンズ駆動部４７は、システム制御部６０からの指令により、投写レンズ４６内の一部を光軸方向に移動させて、投写レンズ４６の焦点距離を変更する。
　図１に示した投写レンズ４６、拡散部材６、反射ミラー７、及び、凹面鏡８から構成される投写光学系は、投写面２に投写された画像光に基づく画像が、フロントウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド１において実像として運転者に視認可能となるように投写光学系の光学設計がなされていてもよい。
　システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を制御ユニット４から投写レンズ４６に出射させる。
　図３は、図２に示すシステム制御部６０の機能ブロック図である。
　システム制御部６０は、状況情報取得部６１と、警告判定部６２と、画像データ制御部６３と、変倍制御部６４と、操作検出部６５と、を備える。
　状況情報取得部６１、警告判定部６２、画像データ制御部６３、変倍制御部６４、及び、操作検出部６５は、システム制御部６０のプロセッサがＲＯＭに記憶されるプログラムを実行することによって構成される。このプログラムは投写表示プログラムを含む。
　状況情報取得部６１は、自動車１０のシステム全体を統括制御する図示省略の自動車制御部から、自動車１０に搭載された計器類の異常を示す情報、自動車１０に搭載された図示省略のセンサ（超音波レーダ、ミリ波レーダ、レーザレーダ、又は、ステレオカメラ等）によって検出される情報、このセンサの故障の有無を示す情報、又は、自動車１０の車体に搭載された図示省略の撮像部により撮像して得られた自動車１０の前方又は後方の撮像画像データ等の状況情報を取得する。
　警告判定部６２は、自動車１０が第一モードに設定されている状態で、状況情報取得部６１で取得された情報に基づいて、自動車１０に乗車する人（運転席に座る運転者又は運転席以外の席に座る同乗者）に対して警告が必要な状態か否かを判定する。
　警告判定部６２が警告を必要と判定する場合について以下に列挙するが、これに限定されるものではない。
（１）警告判定部６２は、上記センサによって測定される情報を解析し、この解析の結果、自動車１０の前方に人又は車両等の障害物が横切っている場合には、警告が必要な状態と判定する。
（２）警告判定部６２は、自動車１０に搭載された上記センサによって測定される情報を解析し、この解析の結果、自動車１０と障害物との距離が閾値以下の場合には、警告が必要な状態と判定する。
（３）警告判定部６２は、第一モードでの運転に必要な上記センサの故障を検知した場合には、警告が必要な状態と判定する。
（４）警告判定部６２は、自動車の計器類に異常がある場合には、警告が必要な状態と判定する。
　なお、以上の例では、警告判定部６２が、状況情報取得部６１によって取得された情報を解析して警告が必要な状態か否かを判定している。しかし、自動車１０を統括制御する自動車制御部がこの解析を行ってもよい。
　この場合は、自動車制御部が、この解析の結果、警告が必要な状態と判断した場合に、警告が必要な状態であることを示す要警告情報をＨＵＤ１００のシステム制御部６０に入力する。そして、状況情報取得部６１は、自動車制御部から入力されるこの要警告情報を取得し、警告判定部６２は、この要警告情報に基づいて、警告が必要な状態であることを認識する。
　画像データ制御部６３は、駆動部４５に入力する画像データを制御する。画像データ制御部６３は、自動車１０が第一モードに設定されている状態では、駆動部４５に入力する画像データを、第一の画像データと第二の画像データとで切り替える。
　第一の画像データは、第一の表示情報を表示するためのデータである。第一の表示情報は、目的地への経路案内を行うための情報又は自動車１０の速度情報等の運転支援に必要なアイコン又はテキスト等の情報である。
　第一の画像データは、第一の表示情報に対応する画素データ群と、第一の表示情報を除いた背景部分に対応する画素データ群とによって構成される。この第一の画像データが駆動部４５に入力された状態では、背景部分に対応する画素データ群に基づいて空間変調された画像光は投写面２に未到達となり、第一の表示情報に対応する画素データ群に基づいて空間変調された画像光は投写面２に到達する。
　つまり、第一の画像データが駆動部４５に入力された状態で視認される虚像又は実像は、第一の表示情報については少なくともその輪郭部分が色付で表示され、背景部分については透明な状態となる。
　第二の画像データは、第二の表示情報を表示するためのデータである。第二の表示情報は、警告判定部６２によって必要と判定された警告の内容に応じて予め決められている警告情報を含む。
　第二の画像データは、第二の表示情報に対応する画素データ群と、第二の表示情報を除いた背景部分に対応する画素データ群とによって構成される。この第二の画像データが駆動部４５に入力された状態では、背景部分に対応する画素データ群に基づいて空間変調された画像光は投写面２に到達し、第二の表示情報に対応する画素データ群に基づいて空間変調された画像光は投写面２に到達又は未到達となる。
　つまり、第二の画像データが駆動部４５に入力された状態で視認される虚像又は実像は、背景部分については少なくとも色付で表示され、第二の表示情報については色付き又は透明な状態となる。
　画像データ制御部６３は、自動車１０が第一モードに設定されている状態では、警告判定部６２によって警告が不要な状態であると判定された場合には駆動部４５に入力する画像データを第一の画像データとし、警告判定部６２によって警告が必要な状態であると判定された場合には駆動部４５に入力する画像データを第二の画像データとする。
　変倍制御部６４は、第一の画像データが駆動部４５に入力されている状態では、レンズ駆動部４７を介して投写レンズ４６の焦点距離を第一の値に制御して、中間像のサイズを初期値に制御する。変倍制御部６４は、第二の画像データが駆動部４５に入力されている状態では、レンズ駆動部４７を介して投写レンズ４６の焦点距離を第一の値よりも小さな第二の値に制御して、中間像のサイズを初期値よりも大きくする。
　操作検出部６５は、自動車１０が第一モードに設定されている状態において、自動車１０に対する予め決められた操作が行われたことを検出する。
　この予め決められた操作とは、警告判定部６２によって必要と判定された警告の内容に対応して決められている操作である。
　例えば、自動車１０の前方に人又は車両等の障害物が横切っている場合に必要な警告（障害物への注意を求める警告）には、ブレーキ操作が対応付けられている。
　例えば、自動車１０と障害物との距離が閾値以下の場合に必要な警告（障害物との衝突回避を求める警告）には、ハンドル把持操作とブレーキ操作が対応付けられている。
　例えば、第一モードから第二モードへの切り替えを促す警告には、図示省略のモード切替ボタンの操作が対応付けられている。
　操作検出部６５は、第一モード時には、ブレーキ、ハンドル、及び、モード切替ボタンの各々の操作状態を示す情報を自動車制御部から取得し、この情報に基づいて、予め決められた操作がなされたことを検出する。操作検出部６５は、予め決められた操作がなされたことを検出すると、その操作の検出信号を画像データ制御部６３に出力する。
　図４は、図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。なお、図４に示す処理は、ＨＵＤ１００の電源がオンされ、自動車１０が第一モードに設定されている間、繰り返し実行される。
　図５は、フロントウインドシールド１を通して観察される第一の画像データに基づく画像の一例を示す図である。図６は、フロントウインドシールド１を通して観察される第二の画像データに基づく画像の一例を示す図である。図７は、フロントウインドシールド１を通して観察される第二の画像データに基づく画像の別の例を示す図である。
　図５には、自動車１０の走行している道路Ｒが示されている。図６及び図７には、自動車１０の走行している道路Ｒと、自動車１０の前方に存在する人Ｈが示されている。
　自動車１０が第一モードに設定されると、画像データ制御部６３は、第一の画像データの駆動部４５への入力を開始する（ステップＳ１）。
　駆動部４５は、画像データ制御部６３から入力された第一の画像データに基づいて光変調素子４４を駆動することで、第一の画像データに基づく画像光を投写面２に投写させる（ステップＳ２）。これにより、図５に示すように、投写面２を通して運転支援画像８１が観察される。
　図５に示した運転支援画像８１には、第一の表示情報として、経路案内を行うための情報（矢印、交差点までの距離、及び、到着予定時刻）と自動車１０の速度情報が含まれている。そして、運転支援画像８１の第一の表示情報以外の背景部分は透明となっている。これにより、運転者の視界は十分に確保される。
　この状態で、自動車１０の運転者又は同乗者に対して警告が必要な状態か否かが警告判定部６２によって判定される（ステップＳ３）。警告が不要な状態と判定された場合（ステップＳ３：ＮＯ）には、ステップＳ１に処理が戻り、上述した処理が繰り返される。
　警告が必要な状態と判定された場合（ステップＳ３：ＹＥＳ）には、画像データ制御部６３は、駆動部４５に入力する画像データを第一の画像データから第二の画像データに切り替える。また、変倍制御部６４は、投写レンズ４６の焦点距離を第一の値から第二の値に変更して中間像のサイズを拡大する（ステップＳ４）。
　駆動部４５は、画像データ制御部６３から入力された第二の画像データに基づいて光変調素子４４を駆動することで、第二の画像データに基づく画像光を投写面２に投写させる（ステップＳ５）。これにより、図６に示すように、投写面２を通して警告画像８２が観察される。又は、図７に示すように、投写面２を通して警告画像８３が観察される。
　図６に示した警告画像８２には、第二の表示情報として、前方に注意することを知らせる“Ｄａｎｇｅｒ　ａｈｅａｄ！　前方注意！”といった内容のテキストが含まれている。警告画像８２において、テキストの部分は所定の色で塗りつぶされており、テキスト以外の背景部分はテキストの部分とは異なる色で塗りつぶされて不透明となっている。
　警告画像８２の背景部分は、警告画像８２全体を目立たせるために赤色又は黄色等にするのが好ましい。警告画像８２のテキスト部分は、テキストの視認性が高くなるように背景部分の色の補色（例えば緑色）等にすることが好ましい。
　図７に示した警告画像８３には、第二の表示情報として、前方に注意することを知らせる“Ｄａｎｇｅｒ　ａｈｅａｄ！　前方注意！”といった内容のテキストが含まれている。警告画像８３において、テキストの部分は透明となっており、このテキスト以外の背景部分は、所定の色で塗りつぶされて不透明となっている。警告画像８３の背景部分は、警告画像８３全体を目立たせるために赤色又は黄色等にするのが好ましい。図５と図６及び図７を比較して分かるように、警告画像は運転支援画像よりも大きなサイズで観察される。
　ステップＳ５の後、図６又は図７に例示する警告画像に対応した危険回避のための操作が行われたことを操作検出部６５が検出すると（ステップＳ６：ＹＥＳ）、変倍制御部６４が投写レンズ４６の焦点距離を第一の値に戻す（ステップＳ７）。その後、ステップＳ１に処理が戻り、画像データ制御部６３が駆動部４５に第一の画像データを入力する。これにより、投写面２を通して観察される画像は、図６又は図７に示す状態から図５に示す状態へと切り替わる。
　以上のようにＨＵＤ１００によれば、自動車１０が第一モードに設定されている状態では、警告が必要な状態であると判定された場合に、背景が透明となる画像から背景が色付となる画像に表示が切り替わる。このように、背景が透明な状態から色付きの状態に変化することで、運転者又は同乗者は、画像の変化を瞬時に察知することができるため、警告の認知度を向上させることができる。したがって、自動運転中又はリモート運転中であっても、運転者又は同乗者に対して警告を効果的に行うことができ、安全な運転を支援することができる。
　また、ＨＵＤ１００によれば、自動車１０が第一モードに設定されている状態で、警告が必要な状態であると判定された場合には、警告が不要な状態と判定されている場合と比べて大きな画像が表示される。このように、画像のサイズが小さいものから大きいものに変化することで、運転者又は同乗者は、画像の変化を瞬時に察知することができるため、警告の認知度を向上させることができる。したがって、自動運転中又はリモート運転中であっても、運転者又は同乗者に対して警告を効果的に行うことができ、安全な運転を支援することができる。
　また、ＨＵＤ１００によれば、第二の画像データに基づく画像が表示されている状態で、運転者によって特定の操作が行われた場合には、第一の画像データに基づく画像へと表示が切り替わる。第一の画像データに基づく画像は、背景部分が透明となっており、また、表示サイズも小さくなっている。このため、運転者は前方視界が十分に確保された状態で危険回避ための運転操作を継続することができ、危険回避を円滑に行うことができる。
　なお、画像データ制御部６３は、第二の画像データを駆動部４５に入力している状態で、操作検出部６５によって上記の予め決められた操作が検出された場合には、駆動部４５への画像データの入力を停止し、所定時間経過後に、ステップＳ１の処理を再開する構成としてもよい。この構成によれば、運転者の前方視界を更に良好なものとすることができ、危険回避のための運転操作をより円滑に行うことができる。
　また、画像データ制御部６３は、上記のように、駆動部４５への画像データの入力を停止する場合には、警告判定部６２によって警告が不要な状態であると判定された時点で、ステップＳ１の処理を再開する構成とするのが好ましい。この構成によれば、警告が必要な間は運転者の前方視界を十分に確保することができる。このため、危険回避のための運転操作をより円滑に行うことができる。
　また、画像データ制御部６３は、第二の画像データを駆動部４５に入力している状態で、操作検出部６５によって上記の予め決められた操作が検出された場合には、駆動部４５に入力する第一の画像データを、第三の表示情報を表示するためのデータに変更してもよい。第三の表示情報は、危険回避のための具体的な指示内容を示す情報である。
　図８は、第三の表示情報を表示するための第一の画像データに基づく画像の一例を示す図である。
　図８に示す運転支援画像８４には、前方の障害物を避けるためにハンドルを左に切り、かつ、ブレーキをかける動作を指示するアイコンとテキストが含まれる。これらアイコンとテキストは色付き又は輪郭のみ色付で表示され、その他の背景部分は透明となっている。
　図８に示す運転支援画像８４が表示されることで、運転者に危険回避のための行動を的確に指示することができ、危険回避を円滑に行うことが可能となる。
　また、画像データ制御部６３は、自動車１０が第二モード（手動運転モード）に設定されている場合には、駆動部４５に第一の画像データのみを入力する構成とするのが好ましい。この構成によれば、手動運転中は、背景部分が透明の画像が常時表示されることになる。このため、前方視界を確保して安全な運転を支援することができる。
　なお、自動車１０が第二モードに設定されている場合、第一の画像データに基づいて表示される第一の表示情報には、目的地への経路案内を行うための情報又は自動車１０の速度情報等の運転支援に必要なアイコン又はテキスト等の情報以外に、上述した第二の表示情報と同じ情報も含まれる。
　ＨＵＤ１００において変倍制御部６４及びレンズ駆動部４７は必須ではない。この場合には投写レンズ４６の焦点距離は固定となる。この場合の動作は、図４においてステップＳ７を削除したものとなる。また、この場合には、光変調素子４４としてＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子を用い、レーザプロジェクタ方式によって空間変調を行う構成を採用することもできる。
　次に、図１に示すＨＵＤ１００の変形例を説明する。
　図９は、変形例のＨＵＤ１００のシステム制御部６０の機能ブロックを示す図である。図９において図３と同じ構成には同一符号を付して説明を省略する。
　この変形例のＨＵＤ１００を搭載する自動車１０の運転席は、電動リクライニングシートとなっており、背もたれの傾斜角度を電動で変更することが可能になっている。また、この変形例のＨＵＤ１００を搭載する自動車１０は、運転席の背もたれの傾斜角度を制御するリクライニング制御部１０１を備える。また、この変形例のＨＵＤ１００の投写光学系は、投写面２に投写された画像光に基づく画像が、フロントウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。
　図９に示すシステム制御部６０は、送信部６７が追加された点を除いては図３と同じ構成である。
　この変形例のＨＵＤ１００では、運転席に座った人の両眼が入ると想定されるアイボックスが設定されており、このアイボックスに運転者の両眼が入っていれば、画像光に基づく虚像を視認できるように設計されている。
　図９に示すシステム制御部６０のＲＯＭには、アイボックス内に運転者の両眼が入った状態を維持することのできる自動車１０の運転席の背もたれの角度の範囲が記憶されている。
　送信部６７は、自動車１０が第一モードに設定されたことを検出すると、ＲＯＭに記憶されている上記の角度の範囲で運転席の背もたれの傾斜角度を制限するための制御信号を生成し、この制御信号を自動車１０のリクライニング制御部１０１に送信する。
　自動車１０のリクライニング制御部１０１は、システム制御部６０から受信した制御信号に基づいて、運転席の背もたれの傾斜角度を指定された上記の範囲に制限する。
　このように、変形例のＨＵＤ１００のシステム制御部６０は、第一モードが設定された場合には、運転席に座る運転者の両眼の位置が、投写面２に投写された画像光に基づく虚像を視認可能な範囲に収まるように、運転席の背もたれの傾斜角度を制限する制御信号を生成して自動車１０のリクライニング制御部１０１に送信する。
　これにより、第一モードに設定されている間は、運転席の背もたれの傾斜角度が上記の角度の範囲内でしか変更できなくなる。このため、運転者は、ＨＵＤ１００によって表示される虚像を見失うことがない。したがって、自動運転中又はリモート運転中であっても、警告を運転者に確実に認知させることができ、安全な運転を支援することが可能となる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）　乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物のウインドシールド又は上記乗り物に搭載されたコンバイナに投写する投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、を備え、上記画像データ制御部は、上記第一モード時には、上記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、上記第一の画像データは、第一の表示情報に対応する画素データ群と、上記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第一の画像データが上記光変調部に入力された状態では、上記背景部分に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに未到達となり、上記第一の表示情報に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに到達し、上記第二の画像データは、第二の表示情報に対応する画素データ群と、上記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第二の画像データが上記光変調部に入力された状態では、その背景部分に対応する画素データ群に基づいて空間変調された上記光と、上記第二の表示情報に対応する画素データ群に基づいて空間変調された上記光とのうち、その背景部分に対応する画素データ群に基づいて空間変調された上記光が少なくとも上記ウインドシールド又は上記コンバイナに到達する投写型表示装置。
（２）　（１）記載の投写型表示装置であって、上記投写光学系は、上記光変調部によって空間変調された光に基づく画像の大きさを変更可能な変倍レンズを含み、上記変倍レンズを制御して、上記第二の画像データが上記光変調部に入力されている状態での上記画像を、上記第一の画像データが上記光変調部に入力されている状態での上記画像よりも大きくする変倍制御部を更に備える投写型表示装置。
（３）　（１）又は（２）記載の投写型表示装置であって、上記乗り物は、人が手動で運転を行う第二モードを更に搭載しており、上記画像データ制御部は、上記第二モード時には、上記光変調部に入力する画像データを上記第一の画像データのみとする制御を行う投写型表示装置。
（４）　（１）～（３）のいずれか１つに記載の投写型表示装置であって、上記乗り物に乗車する人に対して警告が必要な状態か否かを判定する警告判定部を更に備え、上記画像データ制御部は、上記第一モード時において、上記警告判定部により警告が不要と判定されている状態では上記第一の画像データを上記光変調部に入力し、上記警告判定部により警告が必要と判定されている状態では、上記第二の画像データを上記光変調部に入力する投写型表示装置。
（５）　（４）記載の投写型表示装置であって、上記第一モード時において、上記乗り物に対する予め決められた操作が行われたことを検出する操作検出部を更に備え、上記画像データ制御部は、上記第二の画像データが上記光変調部に入力されている状態で、上記操作検出部によって上記予め決められた操作が検出された場合には、上記光変調部に入力する画像データを上記第一の画像データに切り替える投写型表示装置。
（６）　（４）記載の投写型表示装置であって、上記第一モード時において上記乗り物に対する予め決められた操作が行われたことを検出する操作検出部を更に備え、上記画像データ制御部は、上記第二の画像データが上記光変調部に入力されている状態で、上記操作検出部によって上記予め決められた操作が検出された場合には、上記光変調部への画像データの入力を停止する投写型表示装置。
（７）　（６）記載の投写型表示装置であって、上記画像データ制御部は、上記第二の画像データが上記光変調部に入力されている状態で、上記操作検出部によって上記予め決められた操作が検出された場合には、上記警告判定部によって警告が不要と判定されるまでの間、上記光変調部への画像データの入力を停止する投写型表示装置。
（８）　（１）～（７）のいずれか１つに記載の投写型表示装置であって、上記乗り物は、運転席の背もたれの傾斜角度を制御するリクライニング制御部を有し、上記第一モード時に、上記投写光学系によって投写された光に基づく虚像が上記運転席に座る運転者によって視認可能となる範囲内で上記乗り物の運転席の背もたれの傾斜角度を制限するための制御信号を生成して上記リクライニング制御部に送信する送信部を更に備え、上記リクライニング制御部は、上記制御信号に基づいて上記傾斜角度を制限する投写型表示装置。
（９）　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物のウインドシールド又は上記乗り物に搭載されたコンバイナに投写する投写光学系と、を用いた投写表示方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、上記光変調部に入力する画像データを制御する画像データ制御ステップを備え、上記画像データ制御ステップは、上記第一モード時には、上記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、上記第一の画像データは、第一の表示情報に対応する画素データ群と、上記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第一の画像データが上記光変調部に入力された状態では、上記背景部分に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに未到達となり、上記第一の表示情報に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに到達し、上記第二の画像データは、第二の表示情報に対応する画素データ群と、上記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第二の画像データが上記光変調部に入力された状態では、その背景部分に対応する画素データ群に基づいて空間変調された上記光と、上記第二の表示情報に対応する画素データ群に基づいて空間変調された上記光とのうち、その背景部分に対応する画素データ群に基づいて空間変調された上記光が少なくとも上記ウインドシールド又は上記コンバイナに到達する投写表示方法。
（１０）　（９）記載の投写表示方法であって、記投写光学系は、上記光変調部によって空間変調された光に基づく画像の大きさを変更可能な変倍レンズを含み、上記変倍レンズを制御して、上記第二の画像データが上記光変調部に入力されている状態での上記画像を、上記第一の画像データが上記光変調部に入力されている状態での上記画像よりも大きくする変倍制御ステップを更に備える投写表示方法。
（１１）　（９）又は（１０）記載の投写表示方法であって、上記乗り物は、人が手動で運転を行う第二モードを更に搭載しており、上記画像データ制御ステップは、上記第二モード時には、上記光変調部に入力する画像データを上記第一の画像データのみとする制御を行う投写表示方法。
（１２）　（９）～（１１）のいずれか１つに記載の投写表示方法であって、上記乗り物に乗車する人に対して警告が必要な状態か否かを判定する警告判定ステップを更に備え、上記画像データ制御ステップは、上記第一モード時において、上記警告判定ステップにより警告が不要と判定されている状態では上記第一の画像データを上記光変調部に入力し、上記警告判定ステップにより警告が必要と判定されている状態では、上記第二の画像データを上記光変調部に入力する投写表示方法。
（１３）　（１２）記載の投写表示方法であって、上記第一モード時において、上記乗り物に対する予め決められた操作が行われたことを検出する操作検出ステップを更に備え、上記画像データ制御ステップは、上記第二の画像データが上記光変調部に入力されている状態で、上記操作検出ステップによって上記予め決められた操作が検出された場合には、上記光変調部に入力する画像データを上記第一の画像データに切り替える投写表示方法。
（１４）　（１２）記載の投写表示方法であって、上記第一モード時において上記乗り物に対する予め決められた操作が行われたことを検出する操作検出ステップを更に備え、上記画像データ制御ステップは、上記第二の画像データが上記光変調部に入力されている状態で、上記操作検出ステップによって上記予め決められた操作が検出された場合には、上記光変調部への画像データの入力を停止する投写表示方法。
（１５）　（１４）記載の投写表示方法であって、上記画像データ制御ステップは、上記第二の画像データが上記光変調部に入力されている状態で、上記操作検出ステップによって上記予め決められた操作が検出された場合には、上記警告判定ステップによって警告が不要と判定されるまでの間、上記光変調部への画像データの入力を停止する投写表示方法。
（１６）　（１）～（１５）のいずれか１つに記載の投写表示方法であって、上記乗り物は、運転席の背もたれの傾斜角度を制御するリクライニング制御部を有し、上記第一モード時に、上記投写光学系によって投写された光に基づく虚像が上記運転席に座る運転者によって視認可能となる範囲内で上記乗り物の運転席の背もたれの傾斜角度を制限するための制御信号を生成して上記リクライニング制御部に送信する送信ステップを更に備え、上記リクライニング制御部は、上記制御信号に基づいて上記傾斜角度を制限する投写表示方法。
（１７）　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物のウインドシールド又は上記乗り物に搭載されたコンバイナに投写する投写光学系と、を用いた投写表示プログラムであって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、上記光変調部に入力する画像データを制御する画像データ制御ステップをコンピュータに実行させるためのプログラムであり、上記画像データ制御ステップは、上記第一モード時には、上記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、上記第一の画像データは、第一の表示情報に対応する画素データ群と、上記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第一の画像データが上記光変調部に入力された状態では、上記背景部分に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに未到達となり、上記第一の表示情報に対応する画素データ群に基づいて空間変調された上記光は上記ウインドシールド又は上記コンバイナに到達し、上記第二の画像データは、第二の表示情報に対応する画素データ群と、上記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、上記第二の画像データが上記光変調部に入力された状態では、その背景部分に対応する画素データ群に基づいて空間変調された上記光と、上記第二の表示情報に対応する画素データ群に基づいて空間変調された上記光とのうち、その背景部分に対応する画素データ群に基づいて空間変調された上記光が少なくとも上記ウインドシールド又は上記コンバイナに到達する投写表示プログラム。
　本発明は、自動車等の乗り物に適用してこの乗り物の安全運転を支援することができる。
１００　ＨＵＤ
１　フロントウインドシールド
２　投写面
３　ダッシュボード
４　制御ユニット
６　拡散部材
７　反射ミラー
８　凹面鏡
９　撮像部
１０　自動車
４０　光源ユニット
４０Ａ　光源制御部
４１ｒ　Ｒ光源
４１ｇ　Ｇ光源
４１ｂ　Ｂ光源
４２ｒ、４２ｇ、４２ｂ　コリメータレンズ
４３　ダイクロイックプリズム
４４　光変調素子
４５　駆動部
４６　投写レンズ
４７　レンズ駆動部
６０　システム制御部
６１　状況情報取得部
６２　警告判定部
６３　画像データ制御部
６４　変倍制御部
６５　操作検出部
６７　送信部
８１　運転支援画像
８２，８３　警告画像
８４　運転支援画像
１０１　リクライニング制御部

Claims (17)

  1. 　乗り物に搭載される投写型表示装置であって、
    　前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、
    　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、
    　前記空間変調された前記光を乗り物のウインドシールド又は前記乗り物に搭載されたコンバイナに投写する投写光学系と、
    　前記光変調部に入力する画像データを制御する画像データ制御部と、を備え、
    　前記画像データ制御部は、前記第一モード時には、前記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、
    　前記第一の画像データは、第一の表示情報に対応する画素データ群と、前記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、前記第一の画像データが前記光変調部に入力された状態では、前記背景部分に対応する画素データ群に基づいて空間変調された前記光は前記ウインドシールド又は前記コンバイナに未到達となり、前記第一の表示情報に対応する画素データ群に基づいて空間変調された前記光は前記ウインドシールド又は前記コンバイナに到達し、
    　前記第二の画像データは、第二の表示情報に対応する画素データ群と、前記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、前記第二の画像データが前記光変調部に入力された状態では、当該背景部分に対応する画素データ群に基づいて空間変調された前記光と、前記第二の表示情報に対応する画素データ群に基づいて空間変調された前記光とのうち、当該背景部分に対応する画素データ群に基づいて空間変調された前記光が少なくとも前記ウインドシールド又は前記コンバイナに到達する投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記投写光学系は、前記光変調部によって空間変調された光に基づく画像の大きさを変更可能な変倍レンズを含み、
    　前記変倍レンズを制御して、前記第二の画像データが前記光変調部に入力されている状態での前記画像を、前記第一の画像データが前記光変調部に入力されている状態での前記画像よりも大きくする変倍制御部を更に備える投写型表示装置。
  3. 　請求項１又は２記載の投写型表示装置であって、
    　前記乗り物は、人が手動で運転を行う第二モードを更に搭載しており、
    　前記画像データ制御部は、前記第二モード時には、前記光変調部に入力する画像データを前記第一の画像データのみとする制御を行う投写型表示装置。
  4. 　請求項１～３のいずれか１項記載の投写型表示装置であって、
    　前記乗り物に乗車する人に対して警告が必要な状態か否かを判定する警告判定部を更に備え、
    　前記画像データ制御部は、前記第一モード時において、前記警告判定部により警告が不要と判定されている状態では前記第一の画像データを前記光変調部に入力し、前記警告判定部により警告が必要と判定されている状態では、前記第二の画像データを前記光変調部に入力する投写型表示装置。
  5. 　請求項４記載の投写型表示装置であって、
    　前記第一モード時において、前記乗り物に対する予め決められた操作が行われたことを検出する操作検出部を更に備え、
    　前記画像データ制御部は、前記第二の画像データが前記光変調部に入力されている状態で、前記操作検出部によって前記予め決められた操作が検出された場合には、前記光変調部に入力する画像データを前記第一の画像データに切り替える投写型表示装置。
  6. 　請求項４記載の投写型表示装置であって、
    　前記第一モード時において前記乗り物に対する予め決められた操作が行われたことを検出する操作検出部を更に備え、
    　前記画像データ制御部は、前記第二の画像データが前記光変調部に入力されている状態で、前記操作検出部によって前記予め決められた操作が検出された場合には、前記光変調部への画像データの入力を停止する投写型表示装置。
  7. 　請求項６記載の投写型表示装置であって、
    　前記画像データ制御部は、前記第二の画像データが前記光変調部に入力されている状態で、前記操作検出部によって前記予め決められた操作が検出された場合には、前記警告判定部によって警告が不要と判定されるまでの間、前記光変調部への画像データの入力を停止する投写型表示装置。
  8. 　請求項１～７のいずれか１項記載の投写型表示装置であって、
    　前記乗り物は、運転席の背もたれの傾斜角度を制御するリクライニング制御部を有し、
    　前記第一モード時に、前記投写光学系によって投写された光に基づく虚像が前記運転席に座る運転者によって視認可能となる範囲内で前記乗り物の運転席の背もたれの傾斜角度を制限するための制御信号を生成して前記リクライニング制御部に送信する送信部を更に備え、
    　前記リクライニング制御部は、前記制御信号に基づいて前記傾斜角度を制限する投写型表示装置。
  9. 　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物のウインドシールド又は前記乗り物に搭載されたコンバイナに投写する投写光学系と、を用いた投写表示方法であって、
    　前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、
    　前記光変調部に入力する画像データを制御する画像データ制御ステップを備え、
    　前記画像データ制御ステップは、前記第一モード時には、前記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、
    　前記第一の画像データは、第一の表示情報に対応する画素データ群と、前記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、前記第一の画像データが前記光変調部に入力された状態では、前記背景部分に対応する画素データ群に基づいて空間変調された前記光は前記ウインドシールド又は前記コンバイナに未到達となり、前記第一の表示情報に対応する画素データ群に基づいて空間変調された前記光は前記ウインドシールド又は前記コンバイナに到達し、
    　前記第二の画像データは、第二の表示情報に対応する画素データ群と、前記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、前記第二の画像データが前記光変調部に入力された状態では、当該背景部分に対応する画素データ群に基づいて空間変調された前記光と、前記第二の表示情報に対応する画素データ群に基づいて空間変調された前記光とのうち、当該背景部分に対応する画素データ群に基づいて空間変調された前記光が少なくとも前記ウインドシールド又は前記コンバイナに到達する投写表示方法。
  10. 　請求項９記載の投写表示方法であって、
    　前記投写光学系は、前記光変調部によって空間変調された光に基づく画像の大きさを変更可能な変倍レンズを含み、
    　前記変倍レンズを制御して、前記第二の画像データが前記光変調部に入力されている状態での前記画像を、前記第一の画像データが前記光変調部に入力されている状態での前記画像よりも大きくする変倍制御ステップを更に備える投写表示方法。
  11. 　請求項９又は１０記載の投写表示方法であって、
    　前記乗り物は、人が手動で運転を行う第二モードを更に搭載しており、
    　前記画像データ制御ステップは、前記第二モード時には、前記光変調部に入力する画像データを前記第一の画像データのみとする制御を行う投写表示方法。
  12. 　請求項９～１１のいずれか１項記載の投写表示方法であって、
    　前記乗り物に乗車する人に対して警告が必要な状態か否かを判定する警告判定ステップを更に備え、
    　前記画像データ制御ステップは、前記第一モード時において、前記警告判定ステップにより警告が不要と判定されている状態では前記第一の画像データを前記光変調部に入力し、前記警告判定ステップにより警告が必要と判定されている状態では、前記第二の画像データを前記光変調部に入力する投写表示方法。
  13. 　請求項１２記載の投写表示方法であって、
    　前記第一モード時において、前記乗り物に対する予め決められた操作が行われたことを検出する操作検出ステップを更に備え、
    　前記画像データ制御ステップは、前記第二の画像データが前記光変調部に入力されている状態で、前記操作検出ステップによって前記予め決められた操作が検出された場合には、前記光変調部に入力する画像データを前記第一の画像データに切り替える投写表示方法。
  14. 　請求項１２記載の投写表示方法であって、
    　前記第一モード時において前記乗り物に対する予め決められた操作が行われたことを検出する操作検出ステップを更に備え、
    　前記画像データ制御ステップは、前記第二の画像データが前記光変調部に入力されている状態で、前記操作検出ステップによって前記予め決められた操作が検出された場合には、前記光変調部への画像データの入力を停止する投写表示方法。
  15. 　請求項１４記載の投写表示方法であって、
    　前記画像データ制御ステップは、前記第二の画像データが前記光変調部に入力されている状態で、前記操作検出ステップによって前記予め決められた操作が検出された場合には、前記警告判定ステップによって警告が不要と判定されるまでの間、前記光変調部への画像データの入力を停止する投写表示方法。
  16. 　請求項１～１５のいずれか１項記載の投写表示方法であって、
    　前記乗り物は、運転席の背もたれの傾斜角度を制御するリクライニング制御部を有し、
    　前記第一モード時に、前記投写光学系によって投写された光に基づく虚像が前記運転席に座る運転者によって視認可能となる範囲内で前記乗り物の運転席の背もたれの傾斜角度を制限するための制御信号を生成して前記リクライニング制御部に送信する送信ステップを更に備え、
    　前記リクライニング制御部は、前記制御信号に基づいて前記傾斜角度を制限する投写表示方法。
  17. 　光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物のウインドシールド又は前記乗り物に搭載されたコンバイナに投写する投写光学系と、を用いた投写表示プログラムであって、
    　前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを搭載しており、
    　前記光変調部に入力する画像データを制御する画像データ制御ステップをコンピュータに実行させるためのプログラムであり、
    　前記画像データ制御ステップは、前記第一モード時には、前記光変調部に入力する画像データを第一の画像データと第二の画像データとで切り替える制御を行い、
    　前記第一の画像データは、第一の表示情報に対応する画素データ群と、前記第一の表示情報を除いた背景部分に対応する画素データ群とによって構成され、前記第一の画像データが前記光変調部に入力された状態では、前記背景部分に対応する画素データ群に基づいて空間変調された前記光は前記ウインドシールド又は前記コンバイナに未到達となり、前記第一の表示情報に対応する画素データ群に基づいて空間変調された前記光は前記ウインドシールド又は前記コンバイナに到達し、
    　前記第二の画像データは、第二の表示情報に対応する画素データ群と、前記第二の表示情報を除いた背景部分に対応する画素データ群とによって構成され、前記第二の画像データが前記光変調部に入力された状態では、当該背景部分に対応する画素データ群に基づいて空間変調された前記光と、前記第二の表示情報に対応する画素データ群に基づいて空間変調された前記光とのうち、当該背景部分に対応する画素データ群に基づいて空間変調された前記光が少なくとも前記ウインドシールド又は前記コンバイナに到達する投写表示プログラム。
PCT/JP2017/032183 2016-09-26 2017-09-07 投写型表示装置、投写表示方法、及び、投写表示プログラム WO2018056058A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018540954A JP6462194B2 (ja) 2016-09-26 2017-09-07 投写型表示装置、投写表示方法、及び、投写表示プログラム
CN201780059179.XA CN109789782B (zh) 2016-09-26 2017-09-07 投影型显示装置、投影显示方法、及存储介质
US16/357,339 US10629106B2 (en) 2016-09-26 2019-03-19 Projection display device, projection display method, and projection display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-186863 2016-09-26
JP2016186863 2016-09-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/357,339 Continuation US10629106B2 (en) 2016-09-26 2019-03-19 Projection display device, projection display method, and projection display program

Publications (1)

Publication Number Publication Date
WO2018056058A1 true WO2018056058A1 (ja) 2018-03-29

Family

ID=61689961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032183 WO2018056058A1 (ja) 2016-09-26 2017-09-07 投写型表示装置、投写表示方法、及び、投写表示プログラム

Country Status (4)

Country Link
US (1) US10629106B2 (ja)
JP (1) JP6462194B2 (ja)
CN (1) CN109789782B (ja)
WO (1) WO2018056058A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021020518A (ja) * 2019-07-25 2021-02-18 株式会社デンソー 車両用表示制御装置および車両用表示制御方法
JP2021152888A (ja) * 2020-03-23 2021-09-30 株式会社デンソー 情報提示制御装置及び機能制御装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015038770A2 (en) 2013-09-12 2015-03-19 Transmed7, Llc Tissue coring biopsy devices and methods
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
WO2021132250A1 (en) * 2019-12-26 2021-07-01 Ricoh Company, Ltd. In-vehicle display device and program
US20210239485A1 (en) * 2020-02-05 2021-08-05 GM Global Technology Operations LLC System and method for vehicle navigation using terrain text recognition
CN112519674B (zh) * 2020-12-11 2022-08-16 北京一数科技有限公司 一种车辆转弯安全警示系统
DE102021202666A1 (de) * 2021-03-18 2022-09-22 Volkswagen Aktiengesellschaft Dynamischer AR-Hinweis
US11947315B2 (en) * 2021-04-22 2024-04-02 GM Global Technology Operations LLC Contrast characterization of multi-plane holographic HUD accounting for image artifacts
JP2022167531A (ja) * 2021-04-23 2022-11-04 株式会社デンソー 車両用表示システム、表示システム、表示方法、及び表示プログラム
CN116300279A (zh) * 2021-12-13 2023-06-23 华为技术有限公司 投影装置、车灯及交通工具

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05278498A (ja) * 1992-03-30 1993-10-26 Ricoh Co Ltd ヘッドアップディスプレイ装置
JPH07257229A (ja) * 1994-03-18 1995-10-09 Kansei Corp 車両用遠方表示装置
JPH115456A (ja) * 1997-06-16 1999-01-12 Hino Motors Ltd オートクルーズ装置
JP2001018681A (ja) * 1999-07-05 2001-01-23 Isuzu Motors Ltd オートクルーズ制御装置および方法
JP2006171465A (ja) * 2004-12-16 2006-06-29 Nippon Seiki Co Ltd 表示装置
JP2015045782A (ja) * 2013-08-29 2015-03-12 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102449A (ja) 2006-10-20 2008-05-01 Denso Corp 表示装置
DE102008042539A1 (de) * 2008-10-01 2010-04-08 Robert Bosch Gmbh Verfahren zur Anzeige eines Warnhinweises in einem Fahrzeug
JP2010208631A (ja) 2010-03-30 2010-09-24 Nippon Seiki Co Ltd 車両用表示装置
JP5736613B2 (ja) 2010-10-01 2015-06-17 協立化学産業株式会社 低溶出性エポキシ樹脂及びその部分エステル化エポキシ樹脂、その製造方法、並びにそれを含む硬化性樹脂組成物
US20150367859A1 (en) * 2012-12-21 2015-12-24 Harman Becker Automotive Systems Gmbh Input device for a motor vehicle
DE102014219575A1 (de) * 2013-09-30 2015-07-23 Honda Motor Co., Ltd. Verbesserte 3-Dimensionale (3-D) Navigation
JP6149824B2 (ja) * 2014-08-22 2017-06-21 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
JP6123761B2 (ja) * 2014-09-05 2017-05-10 トヨタ自動車株式会社 車両用表示装置
JP2016130104A (ja) 2015-01-14 2016-07-21 日本精機株式会社 車両用計器
JP2016142988A (ja) 2015-02-04 2016-08-08 富士通株式会社 表示装置及び表示制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05278498A (ja) * 1992-03-30 1993-10-26 Ricoh Co Ltd ヘッドアップディスプレイ装置
JPH07257229A (ja) * 1994-03-18 1995-10-09 Kansei Corp 車両用遠方表示装置
JPH115456A (ja) * 1997-06-16 1999-01-12 Hino Motors Ltd オートクルーズ装置
JP2001018681A (ja) * 1999-07-05 2001-01-23 Isuzu Motors Ltd オートクルーズ制御装置および方法
JP2006171465A (ja) * 2004-12-16 2006-06-29 Nippon Seiki Co Ltd 表示装置
JP2015045782A (ja) * 2013-08-29 2015-03-12 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021020518A (ja) * 2019-07-25 2021-02-18 株式会社デンソー 車両用表示制御装置および車両用表示制御方法
JP7263962B2 (ja) 2019-07-25 2023-04-25 株式会社デンソー 車両用表示制御装置および車両用表示制御方法
JP2021152888A (ja) * 2020-03-23 2021-09-30 株式会社デンソー 情報提示制御装置及び機能制御装置
JP7384185B2 (ja) 2020-03-23 2023-11-21 株式会社デンソー 情報提示制御装置

Also Published As

Publication number Publication date
JPWO2018056058A1 (ja) 2019-04-11
JP6462194B2 (ja) 2019-01-30
US20190213932A1 (en) 2019-07-11
CN109789782A (zh) 2019-05-21
US10629106B2 (en) 2020-04-21
CN109789782B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
JP6462194B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
US10732408B2 (en) Projection type display device and projection display method
US10746988B2 (en) Projection display device, projection control method, and non-transitory computer readable medium storing projection control program
JP6175588B2 (ja) 投写型表示装置及び運転支援方法
JP6464326B2 (ja) 投写型表示装置及びその制御方法
JP6620250B2 (ja) 投写型表示装置、その表示制御方法及びプログラム
WO2012036098A1 (ja) ヘッドアップディスプレイ
WO2016103937A1 (ja) 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
WO2015174238A1 (ja) 表示装置
JP6387465B2 (ja) 投写型表示装置及び投写制御方法
US20200051529A1 (en) Display device, display control method, and storage medium
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
CN109996697B (zh) 投影型显示装置、显示控制方法、及记录介质
US20190271842A1 (en) Projection display device, control method for projection display device, and control program for projection display device
JP6867913B2 (ja) 車載システム及びヘッドアップディスプレイ装置
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム

Legal Events

Date Code Title Description
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2018540954

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17852835

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17852835

Country of ref document: EP

Kind code of ref document: A1