WO2018051573A1 - 投写型表示装置、表示制御方法、及び表示制御プログラム - Google Patents

投写型表示装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
WO2018051573A1
WO2018051573A1 PCT/JP2017/017171 JP2017017171W WO2018051573A1 WO 2018051573 A1 WO2018051573 A1 WO 2018051573A1 JP 2017017171 W JP2017017171 W JP 2017017171W WO 2018051573 A1 WO2018051573 A1 WO 2018051573A1
Authority
WO
WIPO (PCT)
Prior art keywords
display control
warning
information
image data
projection
Prior art date
Application number
PCT/JP2017/017171
Other languages
English (en)
French (fr)
Inventor
宗之 大島
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780056818.7A priority Critical patent/CN109996697B/zh
Priority to JP2018539515A priority patent/JP6515250B2/ja
Publication of WO2018051573A1 publication Critical patent/WO2018051573A1/ja
Priority to US16/351,518 priority patent/US11250748B2/en
Priority to US17/551,191 priority patent/US11769431B2/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G09G3/025Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0167Emergency system, e.g. to prevent injuries
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/149Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present invention relates to a projection display device, a display control method, and a display control program.
  • a windshield of a vehicle such as an automobile, a train, a ship, a heavy machine, an aircraft, or an agricultural machine, or a combiner placed near the windshield is used as a screen to project light and display an image.
  • a vehicle HUD Head-up Display
  • an image based on light projected from the HUD can be visually recognized by the driver as a real image on the screen or as a virtual image in front of the screen.
  • Patent Documents 1 to 5 A system for assisting driving using this HUD is described in Patent Documents 1 to 5.
  • Patent Documents 1 and 2 describe a HUD that controls a display image based on information from a control unit of an automobile.
  • Patent Documents 3-5 describe a HUD that acquires information on various sensors mounted on an automobile and controls a display image based on this information.
  • Japanese Unexamined Patent Publication No. 2015-197706 Japanese Unexamined Patent Publication No. 2015-225615 Japanese Unexamined Patent Publication No. 2016-112987 Japanese National Table 2013-535376 Japanese Unexamined Patent Publication No. 2006-058064
  • Patent Documents 3-5 if the HUD constantly performs processing of information from various sensors and generation of image data based on this processing, the HUD becomes highly loaded, causing a temperature rise in the HUD and a display delay. May occur. For example, if there is a display delay in the warning information for informing the driver of the situation where the danger is imminent, there is a possibility that the action for avoiding the danger will be delayed.
  • the present invention has been made in view of the above circumstances, and provides a projection display device capable of supporting safe driving without delaying display of important information, a display control method thereof, and a display control program. With the goal.
  • the projection display device of the present invention includes a light modulation unit that spatially modulates light emitted from a light source based on input image data, and projection optics that projects the spatially modulated light onto a projection surface of a vehicle.
  • a system a measurement information acquisition unit that acquires measurement information measured by a device for measuring information, and a first unit that generates image data based on information received from the control unit that controls the vehicle and inputs the image data to the light modulation unit
  • An image display control unit that performs either one display control or second display control that generates image data based on the measurement information and inputs the image data to the light modulation unit, and a warning based on the measurement information.
  • a warning determination unit that determines whether or not the image display control unit performs the second display control when the warning determination unit determines that a warning is necessary, and the warning determination unit No warning required If it is determined are those performing the first display control.
  • a display control method for a projection display device includes a light modulation unit that spatially modulates light emitted from a light source based on input image data, and the spatially modulated light on a projection surface of a vehicle.
  • a projection optical system for projecting, a display control method for a projection display device comprising: a measurement information acquisition step for acquiring measurement information measured by an information measurement device mounted on the vehicle; and First display control for generating image data based on information received from the control unit to be controlled and inputting the image data to the light modulation unit; and second display control for generating image data based on the measurement information and input to the light modulation unit
  • An image display control step for performing any one of the above display controls, and a warning determination step for determining whether or not a warning is necessary based on the measurement information. In the image display control step, If the warning is determined to be necessary by the warning judging step performs said second display control, when the warning by the warning determination step determines unnecessary is performed the first display control.
  • a display control program for a projection display apparatus includes a light modulation unit that spatially modulates light emitted from a light source based on input image data, and the spatially modulated light on a projection surface of a vehicle.
  • An image display control step for performing any one of the display control and a warning determination step for determining whether or not a warning is necessary based on the measurement information. In the image display control step, when the warning determination step determines that a warning is necessary, the second display control is performed, and when the warning determination step determines that a warning is unnecessary. Performs the first display control.
  • a projection display device a display control method, and a display control program that can support safe driving without delaying display of important information.
  • FIG. 1 is a schematic diagram showing an indoor configuration of an automobile 10 on which a HUD 100 that is an embodiment of a projection display device of the present invention is mounted.
  • FIG. 2 is a schematic diagram showing an internal hardware configuration of a control unit 4 and an automobile 10 of the HUD 100 shown in FIG. It is a functional block diagram of the system control part 60 shown in FIG. It is a flowchart for demonstrating operation
  • FIG. 1 is a schematic diagram showing an indoor configuration of an automobile 10 in which a HUD 100 which is an embodiment of a projection display device of the present invention is mounted.
  • a part of the front windshield 1 of the automobile 10 is a region that is processed to reflect image light, which will be described later, and this region constitutes the projection plane 2.
  • the imaging device 9 attached to the rearview mirror 8 is for imaging the interior of the vehicle, and is connected to a system control unit 60 of the HUD 100 described later by wire or wirelessly.
  • a captured image signal obtained by imaging with the imaging device 9 is transferred to the system control unit 60 of the HUD 100 by wired communication or wireless communication.
  • the HUD 100 is mounted on the automobile 10 and makes it possible for a driver of the automobile 10 to visually recognize a virtual image or a real image by image light projected onto the projection plane 2 that is a partial area of the front windshield 1 of the automobile 10. is there.
  • the HUD 100 can be used by being mounted on a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • the HUD 100 is built in the dashboard 3 of the automobile 10.
  • the dashboard 3 is a member that incorporates interior parts including instruments for notifying information necessary for traveling such as a speedometer, a tachometer, a fuel meter, a water temperature meter, or a distance meter of the automobile 10.
  • the HUD 100 includes a control unit 4 that includes a light source and a light modulation element that spatially modulates light emitted from the light source based on image data, and image light that is spatially modulated by the light modulation element of the control unit 4.
  • a diffusing member 5, a reflecting mirror 6, and a concave mirror 7 constituting a projection optical system for projecting onto the projection surface 2.
  • the diffusion member 5 is a member that diffuses the image light spatially modulated by the light modulation element of the control unit 4 to form a surface light source.
  • a micro mirror array having a fine structure on the surface a diffusing mirror, a reflection holographic diffuser, or the like is used.
  • the reflection mirror 6 reflects the image light diffused by the diffusion member 5.
  • the concave mirror 7 magnifies and reflects the image light reflected by the reflecting mirror 6 and projects it onto the projection plane 2.
  • the projection surface 2 of the front windshield 1 is processed so that the image light projected from the concave mirror 7 is reflected toward the driver's eyes.
  • the HUD 100 may be arranged, for example, near the ceiling of the automobile 10 and project image light onto a sun visor type combiner installed near the ceiling of the automobile 10. In this configuration, the combiner forms the projection surface.
  • An automobile driver can visually recognize information such as icons or characters for assisting driving by a virtual image based on image light projected on the projection plane 2 and reflected on the projection plane 2. Further, the projection surface 2 has a function of transmitting light from the outside (outside) of the front windshield 1. For this reason, the driver
  • FIG. 2 is a schematic diagram showing the internal hardware configuration of the control unit 4 and the automobile 10 of the HUD 100 shown in FIG.
  • the control unit 4 includes a light source unit 40, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, a motion sensor 50, and a system control unit 60 that performs overall control of the HUD 100.
  • the system control unit 60 includes various processors, a ROM (Read Only Memory) that stores a program executed by the processor, and a RAM (Random Access Memory) that functions as a work memory of the processor.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing, such as a CPU (Central Processing Unit) and an FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and perform various processes Examples include a dedicated electrical circuit that is a processor having a circuit configuration that is specifically designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the system control unit 60 may be configured by one of various processors, or may be configured by a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). May be.
  • the light source unit 40 includes a light source controller 40A, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the R light source 41r, the G light source 41g, and the B light source 41b constitute a light source of the HUD 100.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the dichroic prism 43 transmits the red light collimated by the collimator lens 42 r and emits the red light to the light modulation element 44.
  • the dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the HUD 100 is not limited to three examples of the R light source 41r, the G light source 41g, and the B light source 41b, and may be configured by one light source, two light sources, or four or more light sources.
  • the light source control unit 40A controls each of the R light source 41r, the G light source 41g, and the B light source 41b, and performs control to emit light from the R light source 41r, the G light source 41g, and the B light source 41b.
  • the light modulation element 44 spatially modulates the light emitted from the R light source 41r, the G light source 41g, and the B light source 41b and emitted from the dichroic prism 43 based on image data input by the system control unit 60.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • MEMS Micro Electro Mechanical Systems
  • a liquid crystal display element for example, LCOS (Liquid crystal on silicon), DMD (Digital Micromirror Device), MEMS (Micro Electro Mechanical Systems) element, or a liquid crystal display element can be used.
  • the drive unit 45 drives the light modulation element 44 based on the image data input from the system control unit 60, and the image light (red image light, blue image light, and green image) spatially modulated based on the image data. Light) is emitted from the light modulation element 44 to the diffusion member 5.
  • the light modulation element 44 and the drive unit 45 constitute a light modulation unit of the HUD 100.
  • the projection optical system including the diffusing member 5, the reflecting mirror 6, and the concave mirror 7 shown in FIG. 1 has an image based on the image light projected on the projection surface 2 as a virtual image at a position in front of the front windshield 1.
  • the optical design is made so as to be visible to the driver.
  • the optical design of the projection optical system may be made so that an image based on the image light is visible to the driver as a real image on the front windshield 1.
  • the motion sensor 50 is an information measurement device that measures information related to the movement of the HUD 100 with respect to the ground surface.
  • the motion sensor 50 includes, for example, one or both of an acceleration sensor that measures acceleration generated in the HUD 100 and an angular velocity sensor that measures angular velocity generated in the HUD 100.
  • Measurement information measured by the motion sensor 50 is input to the system control unit 60.
  • the motion sensor 50 includes an acceleration sensor and an angular velocity sensor.
  • the system control unit 60 controls the light source control unit 40 ⁇ / b> A and the drive unit 45 based on an instruction from the control unit 70 of the automobile 10 to cause the control unit 4 to emit image light to the diffusing member 5.
  • the vehicle 10 includes a control unit 70 that performs overall control of the vehicle 10, a steering control unit 71 that controls steering, an acceleration / deceleration control unit 72 that controls acceleration and deceleration of the vehicle 10 by controlling a brake and an accelerator, and a display unit 73, a navigation device 74, an engine control unit 75 that controls the engine of the automobile 10 in accordance with instructions from the control unit 70, a motion sensor 76, a radar 77, and an imaging device 9.
  • a control unit 70 that performs overall control of the vehicle 10
  • a steering control unit 71 that controls steering
  • an acceleration / deceleration control unit 72 that controls acceleration and deceleration of the vehicle 10 by controlling a brake and an accelerator
  • a display unit 73 a navigation device 74
  • an engine control unit 75 that controls the engine of the automobile 10 in accordance with instructions from the control unit 70
  • a motion sensor 76 a radar 77
  • the control unit 70 includes the above-described various processors, a ROM that stores programs executed by the processor, and a RAM that functions as a work memory of the processor.
  • the automobile 10 has a first mode (automatic driving mode) in which driving is performed based on a command generated internally by the control unit 70 or a command received wirelessly from the outside, and a second mode (manual driving by a person manually). Operation mode) can be set.
  • the processor of the control unit 70 inputs a command generated internally or a command received wirelessly from the outside to the steering control unit 71 and the acceleration / deceleration control unit 72.
  • Steering control unit 71 controls the course of automobile 10 by controlling steering based on a command from control unit 70.
  • the acceleration / deceleration control unit 72 controls the running speed of the automobile 10 by controlling the brake and the accelerator based on the command from the control unit 70.
  • control unit 70 When the second mode is set, the control unit 70 does not generate the above command and does not control the steering control unit 71 and the acceleration / deceleration control unit 72. For this reason, the processing load of the control unit 70 is relatively high in the first mode.
  • the motion sensor 76 is an information measurement device that measures the movement of the automobile 10 with respect to the ground surface, and includes, for example, one or both of an acceleration sensor and an angular velocity sensor. Measurement information measured by the motion sensor 76 is input to the navigation device 74.
  • the radar 77 is an information measurement device for recognizing an obstacle or measuring a distance from the obstacle, and is, for example, a laser radar, an ultrasonic radar, a millimeter wave radar, or the like.
  • the vehicle 10 is equipped with other information measurement devices for measuring the state of the vehicle 10 or the situation around the vehicle 10.
  • Other information measurement devices mounted on the automobile 10 include an illuminance sensor that detects ambient brightness, instruments (such as a tachometer, a speedometer, a cooling water thermometer, or a fuel gauge), or position information.
  • instruments such as a tachometer, a speedometer, a cooling water thermometer, or a fuel gauge
  • position information There are GPS (Global Positioning System) receivers and the like.
  • the display unit 73 is, for example, a liquid crystal display device built in the center console between the driver seat and the passenger seat, and displays various types of information based on commands from the control unit 70.
  • the navigation device 74 guides the route to the destination based on the measurement information measured by the motion sensor 76, the position information measured by the GPS receiver, the traveling speed information measured by the speedometer of the automobile 10, and the like.
  • the route guidance information for performing is generated, and the generated route guidance information is input to the control unit 70.
  • the imaging device 9 images a subject using an optical system and an image sensor, and inputs a captured image signal obtained by the imaging to the system control unit 60 of the HUD 100.
  • the imaging device 9 images a range including the face of a person sitting in the driver's seat of the automobile 10, for example.
  • the imaging device 9 obtains information indicating the state of the driver by imaging the driver, and is one of information measurement devices.
  • Measurement information measured by devices other than the imaging device 9 and the motion sensor 76 among information measurement devices mounted on the automobile 10 is input to the control unit 70.
  • measurement information measured by the speedometer, the radar 77, and the imaging device 9 is also input to the system control unit 60 of the HUD 100.
  • the measurement information measured by the speedometer, the radar 77, and the imaging device 9 is input to the system control unit 60 without passing through the control unit 70 (non-passing).
  • Display items that can be displayed by the HUD 100 are stored in advance in the ROM of the control unit 70.
  • the control unit 70 acquires the measurement information measured by the information measurement device mounted on the automobile 10, the route guidance information generated by the navigation device 74, and the like. Necessary information is determined as display target information to be displayed by the HUD 100, and this display target information is input to the system control unit 60 of the HUD 100.
  • Examples of display items that can be displayed by the HUD 100 are as follows (1) to (4), but are not limited to these.
  • Automobile 10 such as speed information, engine speed information, engine coolant temperature information, remaining fuel information, fuel consumption real-time information, turn indicator blinking information, or headlight lighting direction information.
  • Route guidance information generated by the navigation device 74 (4) Information for notifying the presence and position of an obstacle such as another vehicle or a person, or for notifying that an obstacle is approaching Information for notifying driving hazards such as information
  • FIG. 3 is a functional block diagram of the system control unit 60 shown in FIG.
  • the system control unit 60 includes a measurement information acquisition unit 61, a warning determination unit 62, and an image display control unit 63.
  • the measurement information acquisition unit 61, the warning determination unit 62, and the image display control unit 63 are configured by the processor of the system control unit 60 executing a program stored in the ROM. This program includes a display control program.
  • the measurement information acquisition unit 61 acquires information measured by a part of the information measurement device mounted on the automobile 10 and the motion sensor 50 as an information measurement device mounted on the HUD 100.
  • the warning determination unit 62 determines whether or not a warning to the driver is necessary based on any information acquired by the measurement information acquisition unit 61.
  • the warning here refers to notifying that some action for avoiding danger is necessary.
  • the warning determination unit 62 determines that a warning is required is shown, but the present invention is not limited thereto.
  • the warning determination part 62 determines that the notification which accelerates
  • the warning determination unit 62 determines that notification is required to weaken the accelerator pedal force when the engine speed acquired from the instrument is equal to or higher than a preset rotation threshold value. To do.
  • the warning determination unit 62 determines that there is a risk of collision with an obstacle, and gives the driver a defense posture (for example, It is determined that a notification that prompts the user to hold the head with both hands and lower the head is necessary.
  • the warning determination unit 62 causes the driver to feel sleepy when the amount of movement in the left-right direction of the automobile 10 based on the angular velocity information acquired from the motion sensor 50 is equal to or greater than the movement threshold over a certain period. It is determined that the device is in a meandering operation, and it is determined that a notification for awakening is necessary to stop the meandering operation.
  • the warning determination unit 62 performs predetermined image processing on the captured image signal acquired from the imaging device 9 to measure the number of blinks of the person in the driver's seat, and the value of the number of blinks in a certain period is the number of times. If it is equal to or greater than the threshold value, it is determined that the driver feels drowsy, and it is determined that a notification for awakening is necessary.
  • the warning determination unit 62 calculates the distance between the vehicle 10 and the obstacle based on the measurement information acquired from the radar 77, and when this distance is equal to or less than a preset distance threshold value. Therefore, it is determined that there is a possibility of collision with an obstacle, and it is determined that a notification for urging the driver to defend is necessary.
  • the ROM of the system control unit 60 responds to the content of a warning (notification that some action is necessary) determined by the warning determination unit 62 (for example, notifications described in (A) to (G) above). , Warning information is stored in association with each other.
  • the image display control unit 63 determines that the display target information is predetermined based on the display target information input from the control unit 70 when it is determined that a warning is not necessary. First image data to be displayed in a layout is generated, and first display control for inputting the first image data to the drive unit 45 is performed.
  • the first image data is, for example, image data for displaying at least one of the information included in the display items (1) to (4).
  • the image display control unit 63 reads out the warning information corresponding to the content of the warning determined to be necessary from the ROM, and stores the warning information. Second display control for generating second image data to be displayed in a predetermined layout and inputting the second image data to the drive unit 45 is performed.
  • the second image data is image data corresponding to the content of the warning determined to be necessary by the warning determination unit 62.
  • the contents of the warning are determined based on the information acquired by the measurement information acquisition unit 61 as exemplified in the above (A) to (G). Therefore, the second image data is image data based on the information acquired by the measurement information acquisition unit 61.
  • FIG. 4 is a flowchart for explaining the operation of the HUD 100 shown in FIG. Note that the processing shown in FIG. 4 is repeatedly executed while the HUD 100 is powered on.
  • the control unit 70 of the automobile 10 displays on the HUD 100 based on various information measured by the information measurement device mounted on the automobile 10 and information input from the navigation device 74.
  • the process of determining the content to be performed and inputting the display target information to the system control unit 60 of the HUD 100 is repeatedly executed.
  • the measurement information acquisition unit 61 of the HUD 100 acquires part of the information measurement device of the automobile 10 and measurement information measured by the motion sensor 50 (step S1). And the warning determination part 62 determines whether a warning is required based on the measurement information acquired by the measurement information acquisition part 61 (step S2).
  • step S2 When it is determined that the warning is not necessary (step S2: NO), the image display control unit 63 generates the first image data based on the display target information input from the control unit 70, and the first image data is generated. Image data is input to the drive unit 45 (step S3).
  • the drive unit 45 drives the light modulation element 44 based on the first image data input from the image display control unit 63, thereby projecting image light based on the first image data on the projection plane 2 (step). S4).
  • an image 81 including the route guidance information, the destination arrival scheduled time, and the traveling speed information is projected on the projection plane 2 and observed by the driver.
  • step S2 when it is determined that a warning is necessary (step S2: YES), the image display control unit 63 reads warning information corresponding to the content of the warning determined to be necessary from the ROM, and displays the read warning information. Second image data is generated and input to the drive unit 45 (step S5). Steps S3 and S5 constitute an image display control step.
  • the driving unit 45 drives the light modulation element 44 based on the second image data input from the image display control unit 63, thereby projecting image light based on the second image data on the projection plane 2 (step). S6).
  • an image 82 prompting the driver to decelerate by stepping on the brake is projected on the projection surface 2 as shown in FIG. Observed by the person.
  • the image 83 of the alarm clock for promoting awakening is projected on the projection surface 2 and observed from the driver.
  • the image 83 may have a luminance higher than the luminance of the image projected on the projection surface 2 based on the first image data, or may blink.
  • the HUD 100 without using information input from the control unit 70 of the automobile 10, a part of an information measurement device mounted on the automobile 10 and an information measurement device mounted on the HUD 100 are used. Whether or not a warning is required can be determined based on information measured by the motion sensor 50 as a device. Therefore, even when the processing load of the control unit 70 of the automobile 10 is high, the image shown in FIG. 6 or 7 for warning can be displayed without delay, and safe driving is supported. Can do.
  • the system control unit 60 can instantaneously determine an emergency situation and present an appropriate warning with a minimum display delay.
  • the HUD 100 also includes a motion sensor 50 that is a device for measuring information. For this reason, the system control unit 60 of the HUD 100 can obtain information from the motion sensor 50 at a higher speed than other information measurement devices. Therefore, it is possible to quickly determine whether or not the warning shown in (C), (D), or (E) above is required, and further shorten the display delay time to support safer driving. can do.
  • the measurement information is input to the system control unit 60 from a part of the information measurement device mounted on the automobile 10, but this is not essential.
  • the system control unit 60 of the HUD 100 may acquire only measurement information measured by the motion sensor 50 and determine whether or not a warning is necessary based on this measurement information. Even with this configuration, it is possible to independently determine whether or not a warning with the contents shown in (C), (D), or (E) above is necessary, and to perform the warning at high speed.
  • the motion sensor 50 of the HUD 100 may be omitted, and measurement information measured by the motion sensor 76 of the automobile 10 may be input to the system control unit 60. According to this structure, the structure of HUD100 can be simplified and manufacturing cost can be reduced.
  • the motion sensor 50 of the HUD 100 may be omitted, and measurement information measured by at least one of the information measurement devices mounted on the automobile 10 may be input to the system control unit 60.
  • the structure of HUD100 can be simplified and manufacturing cost can be reduced.
  • the image display control unit 63 of the HUD 100 selectively executes the first display control and the second display control only when the first mode is set and is set to the second mode. It is preferable that only the first display control (display of an image according to a command from the control unit 70 of the automobile 10) is performed.
  • the processing load of the system control unit 60 of the HUD 100 can be reduced. For this reason, the temperature rise inside HUD100 can be prevented.
  • a light modulator that spatially modulates light emitted from a light source based on input image data, a projection optical system that projects the spatially modulated light onto a projection surface of a vehicle, and information measurement
  • a measurement information acquisition unit that acquires measurement information measured by the device, and a first display control that generates image data based on information received from the control unit that controls the vehicle and inputs the image data to the light modulation unit;
  • An image display control unit that performs any of the second display control that generates image data based on the measurement information and inputs the image data to the light modulation unit, and determines whether a warning is necessary based on the measurement information
  • a warning determination unit and the image display control unit performs the second display control when the warning determination unit determines that a warning is necessary, and the warning determination unit determines that the warning is unnecessary.
  • Projection display device that performs serial first display control.
  • the projection display device wherein the information measurement device is selected from an acceleration sensor, an angular velocity sensor, a speedometer, an imaging device, a laser radar, an ultrasonic radar, or a millimeter wave radar. At least one projection display device.
  • the projection display device according to any one of (1) to (4), wherein the vehicle is operated based on a command generated internally or a command received wirelessly from the outside.
  • a first mode and a second mode in which a person manually operates can be set, and the image display control unit, when the first mode is set, the first display control and the second mode
  • a projection display apparatus that selectively performs the second display control and performs only the first display control when the second mode is set.
  • a projection having a light modulation unit that spatially modulates light emitted from a light source based on input image data, and a projection optical system that projects the spatially modulated light onto a projection surface of a vehicle.
  • a display control method for a type display device based on a measurement information acquisition step for acquiring measurement information measured by an information measurement device mounted on the vehicle, and information received from a control unit for controlling the vehicle
  • An image that performs either of the first display control that generates image data and inputs the image data to the light modulation unit, or the second display control that generates image data based on the measurement information and inputs the image data to the light modulation unit
  • a display control step and a warning determination step for determining whether or not a warning is necessary based on the measurement information.
  • a warning is required by the warning determination step.
  • perform the above second display control when it is determined, display control method of a projection display device that performs the first display control if the warning by the warning determining step is determined to be unnecessary.
  • the information measurement device is an acceleration sensor, an angular velocity sensor, a speedometer, an imaging device, a laser radar, an ultrasonic radar, or a millimeter
  • a display control method for a projection display device which is at least one selected from wave radars.
  • a projection having a light modulation unit that spatially modulates light emitted from a light source based on input image data, and a projection optical system that projects the spatially modulated light onto a projection surface of a vehicle.
  • a display control program for a type display device based on information received from a measurement information acquisition step for acquiring measurement information measured by an information measurement device mounted on the vehicle, and information received from a control unit for controlling the vehicle
  • An image that performs either of the first display control that generates image data and inputs the image data to the light modulation unit, or the second display control that generates image data based on the measurement information and inputs the image data to the light modulation unit
  • the second display control is performed when the warning determination step determines that the warning is necessary
  • the first display control is performed when the warning determination step determines that the warning is unnecessary.
  • a light modulation unit that spatially modulates light emitted from a light source based on input image data, a projection optical system that projects the spatially modulated light onto a projection surface of a vehicle, and information measurement
  • a measurement information acquisition unit that acquires measurement information measured by the device, and a first display control that generates image data based on information received from the control unit that controls the vehicle and inputs the image data to the light modulation unit;
  • An image display control unit that performs any of the second display control that generates image data based on the measurement information and inputs the image data to the light modulation unit, and determines whether a warning is necessary based on the measurement information
  • a processor functioning as a warning determination unit, and the image display control unit performs the second display control when the warning determination unit determines that a warning is necessary, and the warning determination unit issues a warning.
  • Projection display device that performs the first display control if it is determined to be unnecessary.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

重要な情報の表示遅延をなくして安全な運転を支援することのできる投写型表示装置、表示制御方法、及び表示制御プログラムを提供する。HUD100は、動きセンサ50によって測定された測定情報を取得する測定情報取得部61と、自動車10の制御部70から受けた情報に基づいて画像データを生成し、光変調素子44の駆動部45に入力する第一の表示制御と、測定情報に基づいて画像データを生成し、光変調素子44の駆動部45に入力する第二の表示制御とのいずれかを行う画像表示制御部63と、測定情報に基づいて警告が必要か否かを判定する警告判定部62と、を備える。画像表示制御部63は、警告判定部62によって警告が必要と判定された場合には第二の表示制御を行い、警告判定部62によって警告が不要と判定された場合には第一の表示制御を行う。

Description

投写型表示装置、表示制御方法、及び表示制御プログラム
 本発明は、投写型表示装置、表示制御方法、及び表示制御プログラムに関する。
 自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物のウインドシールド、或いは、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のHUD(Head-up Display)が知られている。このHUDによれば、HUDから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
 このHUDを利用して運転支援を行うシステムが、特許文献1~特許文献5に記載されている。
 特許文献1、2には、自動車の制御部からの情報に基づいて表示画像を制御するHUDが記載されている。
 特許文献3-5には、自動車に搭載された各種センサの情報を取得し、この情報に基づいて表示画像を制御するHUDが記載されている。
日本国特開2015-197706号公報 日本国特開2015-225615号公報 日本国特開2016-112987号公報 日本国特表2013-535376号公報 日本国特開2006-058064号公報
 近年、乗り物の自動運転が実用化されようとしているが、自動運転等によって、自動車の制御部の負担が増大してしまうという課題がある。つまり、特許文献1、2のように、HUDが、自動車の制御部からの情報に基づいて表示画像を制御する場合、自動車の制御部が高負荷になると表示遅れが発生する可能性がある。
 また、特許文献3-5のように、HUDが各種センサからの情報の処理と、この処理に基づく画像データの生成とを常時行うと、HUDが高負荷となり、HUD内の温度上昇及び表示遅延が発生する可能性がある。例えば、危険が迫っている状況を運転者に伝えるための警告情報に表示遅延があると、危険回避のための行動に遅れが生じる可能性がある。
 本発明は、上記事情に鑑みてなされたものであり、重要な情報の表示遅延をなくして安全な運転を支援することのできる投写型表示装置、その表示制御方法及び表示制御プログラムを提供することを目的とする。
 本発明の投写型表示装置は、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、情報測定用のデバイスによって測定された測定情報を取得する測定情報取得部と、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御部と、上記測定情報に基づいて警告が必要か否かを判定する警告判定部と、を備え、上記画像表示制御部は、上記警告判定部によって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定部によって警告が不要と判定された場合には上記第一の表示制御を行うものである。
 本発明の投写型表示装置の表示制御方法は、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、を有する投写型表示装置の表示制御方法であって、上記乗り物に搭載された情報測定用のデバイスによって測定された測定情報を取得する測定情報取得ステップと、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御ステップと、上記測定情報に基づいて警告が必要か否かを判定する警告判定ステップと、を備え、上記画像表示制御ステップでは、上記警告判定ステップによって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定ステップによって警告が不要と判定された場合には上記第一の表示制御を行うものである。
 本発明の投写型表示装置の表示制御プログラムは、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、を有する投写型表示装置の表示制御プログラムであって、上記乗り物に搭載された情報測定用のデバイスによって測定された測定情報を取得する測定情報取得ステップと、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御ステップと、上記測定情報に基づいて警告が必要か否かを判定する警告判定ステップと、をコンピュータに実行させるためのプログラムであり、上記画像表示制御ステップでは、上記警告判定ステップによって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定ステップによって警告が不要と判定された場合には上記第一の表示制御を行うものである。
 本発明によれば、重要な情報の表示遅延をなくして安全な運転を支援することのできる投写型表示装置、表示制御方法、及び表示制御プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるHUD100が搭載される自動車10の室内構成を示す模式図である。 図1に示すHUD100の制御ユニット4と自動車10の内部ハードウェア構成を示す模式図である。 図2に示すシステム制御部60の機能ブロック図である。 図1に示すHUD100の動作を説明するためのフローチャートである。 HUD100によって表示される画像の一例を示す図である。 HUD100によって表示される画像の他の例を示す図である。 HUD100によって表示される画像の更に他の例を示す図である。
 以下、本発明の実施形態について図面を参照して説明する。
 図1は、本発明の投写型表示装置の一実施形態であるHUD100が搭載される自動車10の室内構成を示す模式図である。
 自動車10のフロントウインドシールド1の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面2を構成している。
 バックミラー8に取り付けられた撮像装置9は、車内を撮像するためのものであり、後述するHUD100のシステム制御部60と有線又は無線によって接続されている。撮像装置9で撮像して得られた撮像画像信号は、有線通信又は無線通信によってHUD100のシステム制御部60に転送される。
 HUD100は、自動車10に搭載され、自動車10のフロントウインドシールド1の一部の領域である投写面2に投写される画像光により、自動車10の運転者によって虚像又は実像を視認可能にするものである。
 HUD100は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
 図1の例では、HUD100は、自動車10のダッシュボード3に内蔵されている。ダッシュボード3は、自動車10のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
 HUD100は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット4と、制御ユニット4の光変調素子により空間変調された画像光をフロントウインドシールド1の投写面2に投写する投写光学系を構成する拡散部材5、反射ミラー6、及び、凹面鏡7と、を備える。
 拡散部材5は、制御ユニット4の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材5は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、又は、反射ホログラフィクディフューザー等が用いられる。
 反射ミラー6は、拡散部材5で拡散された画像光を反射する。
 凹面鏡7は、反射ミラー6で反射された画像光を拡大して反射し、投写面2に投写する。フロントウインドシールド1の投写面2は、凹面鏡7から投写された画像光が運転者の目の方向に反射するような加工がなされている。
 なお、HUD100は、例えば自動車10の天井付近に配置され、自動車10の天井付近に設置されたサンバイザタイプのコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。
 自動車の運転者は、投写面2に投写され、投写面2で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面2は、フロントウインドシールド1の外部(外界)からの光を透過する機能を持つ。このため、運転者は、凹面鏡7から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。
 図2は、図1に示すHUD100の制御ユニット4と自動車10の内部ハードウェア構成を示す模式図である。
 制御ユニット4は、光源ユニット40と、光変調素子44と、光変調素子44を駆動する駆動部45と、動きセンサ50と、HUD100全体を統括制御するシステム制御部60と、を備える。
 システム制御部60は、各種のプロセッサと、このプロセッサの実行するプログラム等が記憶されるROM(Read Only Memory)と、このプロセッサのワークメモリとして機能するRAM(Random Access Memory)と、を含む。
 各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
 システム制御部60は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
 光源ユニット40は、光源制御部40Aと、赤色光を出射する赤色光源であるR光源41rと、緑色光を出射する緑色光源であるG光源41gと、青色光を出射する青色光源であるB光源41bと、ダイクロイックプリズム43と、R光源41rとダイクロイックプリズム43の間に設けられたコリメータレンズ42rと、G光源41gとダイクロイックプリズム43の間に設けられたコリメータレンズ42gと、B光源41bとダイクロイックプリズム43の間に設けられたコリメータレンズ42bと、を備える。R光源41rとG光源41gとB光源41bはHUD100の光源を構成する。
 ダイクロイックプリズム43は、R光源41r、G光源41g、及び、B光源41bの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム43は、コリメータレンズ42rによって平行光化された赤色光を透過させて光変調素子44に出射する。また、ダイクロイックプリズム43は、コリメータレンズ42gによって平行光化された緑色光を反射させて光変調素子44に出射する。さらに、ダイクロイックプリズム43は、コリメータレンズ42bによって平行光化された青色光を反射させて光変調素子44に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
 R光源41r、G光源41g、及び、B光源41bは、それぞれ、レーザ又はLED(Light Emitting Diode)等の発光素子が用いられる。HUD100の光源は、R光源41rとG光源41gとB光源41bの3つの例に限らず、1つの光源、2つの光源、又は、4つ以上の光源によって構成されていてもよい。
 光源制御部40Aは、R光源41r、G光源41g、及び、B光源41bの各々を制御し、R光源41r、G光源41g、及び、B光源41bから光を出射させる制御を行う。
 光変調素子44は、R光源41r、G光源41g、及び、B光源41bから出射され、ダイクロイックプリズム43から出射された光を、システム制御部60により入力される画像データに基づいて空間変調する。
 光変調素子44としては、例えば、LCOS(Liquid crystal on silicon)、DMD(Digital Micromirror Device)、MEMS(Micro Electro Mechanical Systems)素子、又は、液晶表示素子等を用いることができる。
 駆動部45は、システム制御部60から入力される画像データに基づいて光変調素子44を駆動し、画像データに基づいて空間変調された画像光(赤色画像光、青色画像光、及び、緑色画像光)を、光変調素子44から拡散部材5に出射させる。光変調素子44と駆動部45はHUD100の光変調部を構成する。
 図1に示した拡散部材5、反射ミラー6、及び、凹面鏡7から構成される投写光学系は、投写面2に投写された画像光に基づく画像が、フロントウインドシールド1前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド1において実像として運転者に視認可能となるように投写光学系の光学設計がなされていてもよい。
 動きセンサ50は、HUD100の地表に対する動きに関する情報を測定する情報測定用のデバイスである。動きセンサ50は、例えば、HUD100に生じる加速度を測定する加速度センサ又はHUD100に生じる角速度を測定する角速度センサの一方又は両方によって構成される。
 動きセンサ50によって測定された測定情報は、システム制御部60に入力される。以下では、動きセンサ50が加速度センサと角速度センサを含むものとして説明する。
 システム制御部60は、自動車10の制御部70の指示に基づいて、光源制御部40A及び駆動部45を制御して、画像データに基づく画像光を制御ユニット4から拡散部材5に出射させる。
 自動車10は、自動車10全体を統括制御する制御部70と、ステアリングを制御するステアリング制御部71と、ブレーキ及びアクセルを制御して自動車10の加減速を制御する加減速制御部72と、表示部73と、ナビゲーション装置74と、制御部70の指令にしたがって自動車10のエンジンを制御するエンジン制御部75と、動きセンサ76と、レーダ77と、撮像装置9と、を備える。
 制御部70は、前述した各種のプロセッサと、このプロセッサの実行するプログラム等が記憶されるROMと、このプロセッサのワークメモリとして機能するRAMとを含む。
 自動車10は、制御部70が内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モード(自動運転モード)と、人が手動で運転を行う第二モード(手動運転モード)とを設定可能である。
 第一モードが設定されると、制御部70のプロセッサは、内部で生成した指令又は外部から無線で受信した指令をステアリング制御部71及び加減速制御部72に入力する。
 ステアリング制御部71は、制御部70からの指令に基づいて、ステアリングを制御して自動車10の進路を制御する。
 加減速制御部72は、制御部70からの指令に基づいてブレーキ及びアクセルを制御して、自動車10の走行速度を制御する。
 第二モードが設定されている場合には、制御部70は、上記の指令を生成することはなく、ステアリング制御部71及び加減速制御部72の制御は行わない。このため、第一モード時には制御部70の処理負荷は相対的に高くなる。
 動きセンサ76は、自動車10の地表に対する動きを測定する情報測定用のデバイスであり、例えば加速度センサ又は角速度センサの一方又は両方によって構成される。動きセンサ76で測定される測定情報はナビゲーション装置74に入力される。
 レーダ77は、障害物を認識したり障害物との距離を測定したりするための情報測定用のデバイスであり、例えば、レーザーレーダ、超音波レーダ、又は、ミリ波レーダ等である。
 なお、図示省略されているが、自動車10には、自動車10の状態又は自動車10の周囲の状況を測定するための他の情報測定用のデバイスが搭載されている。
 自動車10に搭載される他の情報測定用のデバイスとしては、周囲の明るさを検出する照度センサ、計器類(タコメータ、速度計、冷却水温度計、又は、燃料計等)、又は、位置情報を測定するためのGPS(Global Positioning System)受信機等がある。
 表示部73は、例えば運転席と助手席の間のセンターコンソールに内蔵された液晶表示装置等であり、制御部70からの指令に基づいて各種の情報を表示する。
 ナビゲーション装置74は、動きセンサ76で測定された測定情報、GPS受信機で測定される位置情報、及び、自動車10の速度計で測定される走行速度情報等に基づいて、目的地までの経路案内を行うための経路案内情報を生成し、生成した経路案内情報を制御部70に入力する。
 撮像装置9は、光学系と撮像素子を用いて被写体を撮像し、この撮像によって得られる撮像画像信号をHUD100のシステム制御部60に入力する。撮像装置9は、例えば自動車10の運転席に着座する人物の顔を含む範囲を撮像する。
 撮像装置9は、運転者を撮像することで、運転者の状態を示す情報を得るものであり、情報測定用のデバイスの1つである。
 自動車10に搭載される情報測定用のデバイスのうち、撮像装置9及び動きセンサ76以外のデバイスによって測定される測定情報は、制御部70に入力される。また、自動車10に搭載される情報測定用のデバイスのうち、速度計とレーダ77と撮像装置9によって測定される測定情報は、HUD100のシステム制御部60にも入力される。
 なお、速度計とレーダ77と撮像装置9によって測定される測定情報は、制御部70を経由することなく(非経由)でシステム制御部60に入力される構成とすることが好ましい。
 制御部70のROMには、HUD100によって表示可能な表示項目が予め記憶されている。
 制御部70は、自動車10に搭載された情報測定用のデバイスで測定された測定情報及びナビゲーション装置74で生成された経路案内情報等を取得し、これらの情報に基づいて、上記の表示項目の中から必要な情報をHUD100によって表示すべき表示対象情報として決定し、この表示対象情報をHUD100のシステム制御部60に入力する。
 HUD100によって表示可能な表示項目の一例は以下の(1)~(4)のとおりであるが、これらに限定されるものではない。
(1)自動車10の速度情報、エンジン回転数情報、エンジン冷却水の温度情報、燃料の残量情報、燃費のリアルタイム情報、方向指示器点滅情報、又は、ヘッドライトの点灯方向情報等の自動車10の動作状態を示す情報。(2)ブレーキパッドの磨耗を通知する情報、エンジンオイルの低下を通知する情報、又は、エンジン冷却水の水温が高いことを通知する情報等の自動車10のメンテナンスが必要であることを示す情報。(3)ナビゲーション装置74によって生成される経路案内情報(4)他車両又は人物等の障害物の存在とその位置を通知するための情報、或いは、障害物に接近していることを通知するための情報等の運転上の危険を通知するための情報
 図3は、図2に示すシステム制御部60の機能ブロック図である。
 システム制御部60は、測定情報取得部61と、警告判定部62と、画像表示制御部63と、を備える。測定情報取得部61、警告判定部62、及び、画像表示制御部63は、システム制御部60のプロセッサがROMに記憶されるプログラムを実行することによって構成される。このプログラムは、表示制御プログラムを含む。
 測定情報取得部61は、自動車10に搭載される情報測定用のデバイスの一部と、HUD100に搭載される情報測定用のデバイスとしての動きセンサ50とによってそれぞれ測定された情報を取得する。
 警告判定部62は、測定情報取得部61で取得されたいずれかの情報に基づいて、運転者への警告が必要か否かを判定する。ここでの警告とは、危険を回避するための何らかの行動が必要であることを通知することを言う。
 以下、警告判定部62が警告を必要と判定する場合の例を示すが、これらに限定されるものではない。
(A)警告判定部62は、速度計から取得された走行速度情報が予め設定されている速度閾値以上である場合には、減速を促す通知が必要であると判定する。
(B)警告判定部62は、計器類から取得されたエンジンの回転数が予め設定されている回転閾値以上である場合には、アクセルを踏む力を弱めることを促す通知が必要であると判定する。
(C)警告判定部62は、動きセンサ50から取得された加速度情報が予め設定した加速度閾値以上である場合には、減速を促す通知が必要であると判定する。
(D)警告判定部62は、動きセンサ50から取得された加速度情報が急激に閾値以下に変化した場合には、障害物との衝突の恐れがあると判断し、運転者に防御姿勢(例えば両手で頭を押さえて頭を低くする姿勢等)を促す通知が必要であると判定する。
(E)警告判定部62は、動きセンサ50から取得された角速度情報に基づく自動車10の左右方向の動き量が一定期間に渡って動き閾値以上である場合には、運転者が眠気を感じて蛇行運転している状態と判断し、蛇行運転を止めさせるために覚醒を促す通知が必要であると判定する。
(F)警告判定部62は、撮像装置9から取得された撮像画像信号に所定の画像処理を施して運転席にいる人のまばたき回数を計測し、そのまばたき回数の一定期間での値が回数閾値以上である場合には、運転者が眠気を感じている状態と判断し、覚醒を促す通知が必要であると判定する。
(G)警告判定部62は、レーダ77から取得された測定情報に基づいて、自動車10と障害物との距離を算出し、この距離が予め設定されている距離閾値以下となった場合には、障害物との衝突の恐れがあると判断して、運転者に防御姿勢を促す通知が必要であると判定する。
 システム制御部60のROMには、警告判定部62によって必要と判定される警告(何らかの行動が必要であることの通知)の内容(例えば上記(A)~(G)に記載した通知)に対し、警告情報が対応付けて記憶されている。
 画像表示制御部63は、警告判定部62による判定の結果、警告が必要ではないと判定された場合には、制御部70から入力される表示対象情報に基づいて、この表示対象情報を所定のレイアウトで表示するための第一の画像データを生成し、この第一の画像データを駆動部45に入力する第一の表示制御を行う。
 第一の画像データは、例えば上記の表示項目(1)~(4)に含まれる情報の少なくとも1つを表示するための画像データである。
 画像表示制御部63は、警告判定部62による判定の結果、警告が必要であると判定された場合には、必要と判定した警告の内容に対応する警告情報をROMから読み出し、この警告情報を所定のレイアウトで表示するための第二の画像データを生成し、この第二の画像データを駆動部45に入力する第二の表示制御を行う。
 第二の画像データは、警告判定部62により必要と判定された警告の内容に対応する画像データである。そして、この警告の内容は、上記の(A)~(G)に例示したように、測定情報取得部61で取得された情報に基づいて決まる。したがって、第二の画像データは、測定情報取得部61で取得された情報に基づく画像データとなる。
 図4は、図1に示すHUD100の動作を説明するためのフローチャートである。なお、図4に示す処理は、HUD100の電源がオンされている間、繰り返し実行される。
 HUD100の電源がオンになると、自動車10の制御部70は、自動車10に搭載される情報測定用のデバイスで測定された各種情報及びナビゲーション装置74から入力される情報等に基づいてHUD100に表示すべき内容を判断し、HUD100のシステム制御部60に表示対象情報を入力する処理を繰り返し実行する。
 一方、HUD100の測定情報取得部61は、電源がオンになると、自動車10の情報測定用のデバイスの一部及び動きセンサ50で測定された測定情報を取得する(ステップS1)。そして、警告判定部62が、測定情報取得部61で取得された測定情報に基づいて警告が必要か否かを判定する(ステップS2)。
 警告が必要ではないと判定された場合(ステップS2:NO)、画像表示制御部63は、制御部70から入力されている表示対象情報に基づいて第一の画像データを生成し、第一の画像データを駆動部45に入力する(ステップS3)。
 駆動部45は、画像表示制御部63から入力された第一の画像データに基づいて光変調素子44を駆動することで、第一の画像データに基づく画像光を投写面2に投写させる(ステップS4)。これにより、図5に例示するように、投写面2には、経路案内情報と、目的地到着予定時刻と、走行速度情報と、を含む画像81が投写され、運転者から観察される。
 一方、警告が必要であると判定された場合(ステップS2:YES)、画像表示制御部63は、必要と判定した警告の内容に対応する警告情報をROMから読み出し、読み出した警告情報を表示するための第二の画像データを生成し、駆動部45に入力する(ステップS5)。ステップS3とステップS5は画像表示制御ステップを構成する。
 駆動部45は、画像表示制御部63から入力された第二の画像データに基づいて光変調素子44を駆動することで、第二の画像データに基づく画像光を投写面2に投写させる(ステップS6)。
 例えば、警告の内容が上記の(A)又は(C)に示した内容の場合、投写面2には、図6に示すように、ブレーキを踏んで減速するよう促す画像82が投写され、運転者から観察される。
 または、警告の内容が上記の(F)に示した内容の場合、投写面2には、図7に示すように、「覚醒を促すための目覚まし時計の画像83が投写され、運転者から観察される。画像83は、第一の画像データに基づいて投写面2に投写される画像の輝度よりも高い輝度としたり、点滅表示させたりしてもよい。
 以上のようにHUD100によれば、自動車10の制御部70から入力される情報を用いることなく、自動車10に搭載される情報測定用のデバイスの一部と、HUD100に搭載される情報測定用のデバイスとしての動きセンサ50とによってそれぞれ測定された情報に基づいて警告が必要か否かを判定することができる。このため、自動車10の制御部70の処理負荷が高い状況であっても、警告を行うための図6又は図7に示す画像の表示を遅延なく行うことができ、安全な運転を支援することができる。
 例えば、自動車10が上記の第一モードに設定されている場合には、自動車10の制御部70の処理負荷が増大することが考えられる。このような場合でも、HUD100によれば、システム制御部60が緊急事態を瞬時に判断し、表示遅延を最小限にして適切な警告を提示することができる。
 また、HUD100は、情報測定用のデバイスである動きセンサ50を備えている。このため、HUD100のシステム制御部60は、動きセンサ50からの情報を、他の情報測定用のデバイスと比較して高速に取得することができる。したがって、上記の(C)、(D)、又は、(E)に示す内容の警告の要否の判定を高速に行うことができ、表示遅延時間を更に短くして、より安全な運転を支援することができる。
 以上の説明では、自動車10に搭載される情報測定用のデバイスの一部からもシステム制御部60に測定情報が入力されるものとしたが、これは必須ではない。
 HUD100のシステム制御部60は、動きセンサ50によって測定される測定情報のみを取得し、この測定情報に基づいて警告が必要か否かを判定するものであってもよい。この構成であっても、上記の(C)、(D)、又は、(E)に示す内容の警告の要否を独自に判定して、警告を高速に行うことが可能である。
 また、図2において、HUD100の動きセンサ50を省略し、自動車10の動きセンサ76によって測定される測定情報がシステム制御部60に入力される構成としてもよい。この構成によれば、HUD100の構成を簡略化することができ、製造コストを低減することができる。
 また、図2において、HUD100の動きセンサ50を省略し、自動車10に搭載される情報測定用のデバイスのうちの少なくとも1つによって測定される測定情報がシステム制御部60に入力される構成としてもよい。この構成によれば、HUD100の構成を簡略化することができ、製造コストを低減することができる。
 HUD100の画像表示制御部63は、第一モードに設定されている場合にのみ、上記の第一の表示制御と第二の表示制御を選択的に実行し、第二モードに設定されている場合には、第一の表示制御(自動車10の制御部70からの指令にしたがった画像の表示)のみを行う構成とするのが好ましい。
 この構成によれば、自動車10の制御部70の処理負荷が低くなる第二モードでは、HUD100のシステム制御部60の処理負荷を低くすることができる。このため、HUD100内部の温度上昇を防ぐことができる。
 以上説明してきたように、本明細書には以下の事項が開示されている。
(1) 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、情報測定用のデバイスによって測定された測定情報を取得する測定情報取得部と、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御部と、上記測定情報に基づいて警告が必要か否かを判定する警告判定部と、を備え、上記画像表示制御部は、上記警告判定部によって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定部によって警告が不要と判定された場合には上記第一の表示制御を行う投写型表示装置。
(2) (1)記載の投写型表示装置であって、上記情報測定用のデバイスを更に備える投写型表示装置。
(3) (1)記載の投写型表示装置であって、上記情報測定用のデバイスは、加速度センサ、角速度センサ、速度計、撮像装置、レーザーレーダ、超音波レーダ、又は、ミリ波レーダから選ばれる少なくとも1つである投写型表示装置。
(4) (2)記載の投写型表示装置であって、上記情報測定用のデバイスは、加速度センサ又は角速度センサの少なくとも一方である投写型表示装置。
(5) (1)~(4)のいずれか1つに記載の投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードと、人が手動で運転を行う第二モードとを設定可能であり、上記画像表示制御部は、上記第一モードが設定されている場合には上記第一の表示制御と上記第二の表示制御を選択的に行い、上記第二モードが設定されている場合には上記第一の表示制御のみを行う投写型表示装置。
(6) 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、を有する投写型表示装置の表示制御方法であって、上記乗り物に搭載された情報測定用のデバイスによって測定された測定情報を取得する測定情報取得ステップと、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御ステップと、上記測定情報に基づいて警告が必要か否かを判定する警告判定ステップと、を備え、上記画像表示制御ステップでは、上記警告判定ステップによって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定ステップによって警告が不要と判定された場合には上記第一の表示制御を行う投写型表示装置の表示制御方法。
(7) (6)記載の投写型表示装置の表示制御方法であって、上記情報測定用のデバイスは上記投写型表示装置に内蔵される投写型表示装置の表示制御方法。
(8) (6)記載の投写型表示装置の表示制御方法であって、上記情報測定用のデバイスは、加速度センサ、角速度センサ、速度計、撮像装置、レーザーレーダ、超音波レーダ、又は、ミリ波レーダから選ばれる少なくとも1つである投写型表示装置の表示制御方法。
(9) (7)記載の投写型表示装置の表示制御方法であって、上記情報測定用のデバイスは、加速度センサ又は角速度センサの少なくとも一方である投写型表示装置の表示制御方法。
(10) (6)~(9)のいずれか1つに記載の投写型表示装置の表示制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードと、人が手動で運転を行う第二モードとを設定可能であり、上記画像表示制御ステップでは、上記第一モードが設定されている場合には上記第一の表示制御と上記第二の表示制御を選択的に行い、上記第二モードが設定されている場合には上記第一の表示制御のみを行う投写型表示装置の表示制御方法。
(11) 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、を有する投写型表示装置の表示制御プログラムであって、上記乗り物に搭載された情報測定用のデバイスによって測定された測定情報を取得する測定情報取得ステップと、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御ステップと、上記測定情報に基づいて警告が必要か否かを判定する警告判定ステップと、をコンピュータに実行させるためのプログラムであり、上記画像表示制御ステップでは、上記警告判定ステップによって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定ステップによって警告が不要と判定された場合には上記第一の表示制御を行う投写型表示装置の表示制御プログラム。
(12) 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写する投写光学系と、情報測定用のデバイスによって測定された測定情報を取得する測定情報取得部と、上記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し上記光変調部に入力する第一の表示制御と、上記測定情報に基づいて画像データを生成し上記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御部と、上記測定情報に基づいて警告が必要か否かを判定する警告判定部として機能するプロセッサと、を備え、上記画像表示制御部は、上記警告判定部によって警告が必要と判定された場合には上記第二の表示制御を行い、上記警告判定部によって警告が不要と判定された場合には上記第一の表示制御を行う投写型表示装置。
 本発明によれば、重要な情報の表示遅延をなくして乗り物の安全な運転を支援することができる。
 以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
 本出願は、2016年9月16日出願の日本特許出願(特願2016-181516)に基づくものであり、その内容はここに取り込まれる。
100 HUD
1 フロントウインドシールド
2 投写面
3 ダッシュボード
4 制御ユニット
5 拡散部材
6 反射ミラー
7 凹面鏡
8 バックミラー
9 撮像装置
10 自動車
40 光源ユニット
40A 光源制御部
41r R光源
41g G光源
41b B光源
42r、42g、42b コリメータレンズ
43 ダイクロイックプリズム
44 光変調素子
45 駆動部
50 動きセンサ
60 システム制御部
61 測定情報取得部
62 警告判定部
63 画像表示制御部
70 制御部
71 ステアリング制御部
72 加減速制御部
73 表示部
74 ナビゲーション装置
75 エンジン制御部
76 動きセンサ
77 レーダ
81、82、83 画像

Claims (11)

  1.  光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、
     前記空間変調された前記光を乗り物の投写面に投写する投写光学系と、
     情報測定用のデバイスによって測定された測定情報を取得する測定情報取得部と、
     前記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し前記光変調部に入力する第一の表示制御と、前記測定情報に基づいて画像データを生成し前記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御部と、
     前記測定情報に基づいて警告が必要か否かを判定する警告判定部と、を備え、
     前記画像表示制御部は、前記警告判定部によって警告が必要と判定された場合には前記第二の表示制御を行い、前記警告判定部によって警告が不要と判定された場合には前記第一の表示制御を行う投写型表示装置。
  2.  請求項1記載の投写型表示装置であって、
     前記情報測定用のデバイスを更に備える投写型表示装置。
  3.  請求項1記載の投写型表示装置であって、
     前記情報測定用のデバイスは、加速度センサ、角速度センサ、速度計、撮像装置、レーザーレーダ、超音波レーダ、又は、ミリ波レーダから選ばれる少なくとも1つである投写型表示装置。
  4.  請求項2記載の投写型表示装置であって、
     前記情報測定用のデバイスは、加速度センサ又は角速度センサの少なくとも一方である投写型表示装置。
  5.  請求項1~4のいずれか1項記載の投写型表示装置であって、
     前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードと、人が手動で運転を行う第二モードとを設定可能であり、
     前記画像表示制御部は、前記第一モードが設定されている場合には前記第一の表示制御と前記第二の表示制御を選択的に行い、前記第二モードが設定されている場合には前記第一の表示制御のみを行う投写型表示装置。
  6.  光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物の投写面に投写する投写光学系と、を有する投写型表示装置の表示制御方法であって、
     前記乗り物に搭載された情報測定用のデバイスによって測定された測定情報を取得する測定情報取得ステップと、
     前記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し前記光変調部に入力する第一の表示制御と、前記測定情報に基づいて画像データを生成し前記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御ステップと、
     前記測定情報に基づいて警告が必要か否かを判定する警告判定ステップと、を備え、
     前記画像表示制御ステップでは、前記警告判定ステップによって警告が必要と判定された場合には前記第二の表示制御を行い、前記警告判定ステップによって警告が不要と判定された場合には前記第一の表示制御を行う投写型表示装置の表示制御方法。
  7.  請求項6記載の投写型表示装置の表示制御方法であって、
     前記情報測定用のデバイスは前記投写型表示装置に内蔵される投写型表示装置の表示制御方法。
  8.  請求項6記載の投写型表示装置の表示制御方法であって、
     前記情報測定用のデバイスは、加速度センサ、角速度センサ、速度計、撮像装置、レーザーレーダ、超音波レーダ、又は、ミリ波レーダから選ばれる少なくとも1つである投写型表示装置の表示制御方法。
  9.  請求項7記載の投写型表示装置の表示制御方法であって、
     前記情報測定用のデバイスは、加速度センサ又は角速度センサの少なくとも一方である投写型表示装置の表示制御方法。
  10.  請求項6~9のいずれか1項記載の投写型表示装置の表示制御方法であって、
     前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードと、人が手動で運転を行う第二モードとを設定可能であり、
     前記画像表示制御ステップでは、前記第一モードが設定されている場合には前記第一の表示制御と前記第二の表示制御を選択的に行い、前記第二モードが設定されている場合には前記第一の表示制御のみを行う投写型表示装置の表示制御方法。
  11.  光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物の投写面に投写する投写光学系と、を有する投写型表示装置の表示制御プログラムであって、
     前記乗り物に搭載された情報測定用のデバイスによって測定された測定情報を取得する測定情報取得ステップと、
     前記乗り物を制御する制御部から受けた情報に基づいて画像データを生成し前記光変調部に入力する第一の表示制御と、前記測定情報に基づいて画像データを生成し前記光変調部に入力する第二の表示制御とのいずれかを行う画像表示制御ステップと、
     前記測定情報に基づいて警告が必要か否かを判定する警告判定ステップと、をコンピュータに実行させるためのプログラムであり、
     前記画像表示制御ステップでは、前記警告判定ステップによって警告が必要と判定された場合には前記第二の表示制御を行い、前記警告判定ステップによって警告が不要と判定された場合には前記第一の表示制御を行う投写型表示装置の表示制御プログラム。
PCT/JP2017/017171 2016-09-16 2017-05-01 投写型表示装置、表示制御方法、及び表示制御プログラム WO2018051573A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780056818.7A CN109996697B (zh) 2016-09-16 2017-05-01 投影型显示装置、显示控制方法、及记录介质
JP2018539515A JP6515250B2 (ja) 2016-09-16 2017-05-01 投写型表示装置、表示制御方法、及び表示制御プログラム
US16/351,518 US11250748B2 (en) 2016-09-16 2019-03-13 Projection display device, display control method, and display control program
US17/551,191 US11769431B2 (en) 2016-09-16 2021-12-15 Projection display device, display control method, and display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-181516 2016-09-16
JP2016181516 2016-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/351,518 Continuation US11250748B2 (en) 2016-09-16 2019-03-13 Projection display device, display control method, and display control program

Publications (1)

Publication Number Publication Date
WO2018051573A1 true WO2018051573A1 (ja) 2018-03-22

Family

ID=61619950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017171 WO2018051573A1 (ja) 2016-09-16 2017-05-01 投写型表示装置、表示制御方法、及び表示制御プログラム

Country Status (4)

Country Link
US (2) US11250748B2 (ja)
JP (1) JP6515250B2 (ja)
CN (1) CN109996697B (ja)
WO (1) WO2018051573A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636271A (zh) * 2018-06-21 2019-12-31 瑞萨电子株式会社 半导体器件和消息图像输出方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119315B2 (en) * 2015-10-15 2021-09-14 Maxell, Ltd. Information display apparatus
KR20200084110A (ko) * 2019-01-02 2020-07-10 현대모비스 주식회사 차량용 영상장치 및 그 제어방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272350A (ja) * 2006-03-30 2007-10-18 Honda Motor Co Ltd 車両用運転支援装置
JP2016045705A (ja) * 2014-08-22 2016-04-04 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
JP2016055674A (ja) * 2014-09-05 2016-04-21 トヨタ自動車株式会社 車両用表示装置
JP2016107945A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
WO2016103937A1 (ja) * 2014-12-24 2016-06-30 富士フイルム株式会社 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
JP2016159656A (ja) * 2015-02-26 2016-09-05 日本精機株式会社 車両用表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4476741B2 (ja) 2004-08-18 2010-06-09 日本精機株式会社 車両用表示装置
JP2010070066A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US9268134B2 (en) * 2010-08-27 2016-02-23 Empire Technology Development Llc Head up display
JP6138634B2 (ja) * 2013-08-29 2017-05-31 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置
JP6252316B2 (ja) 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
JP6318864B2 (ja) 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
JP6515519B2 (ja) 2014-12-12 2019-05-22 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US9701306B2 (en) * 2014-12-23 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Risk mitigation for autonomous vehicles relative to turning objects
JP6402684B2 (ja) * 2015-06-10 2018-10-10 トヨタ自動車株式会社 表示装置
JP6793193B2 (ja) * 2016-06-29 2020-12-02 京セラ株式会社 物体検出表示装置、移動体及び物体検出表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272350A (ja) * 2006-03-30 2007-10-18 Honda Motor Co Ltd 車両用運転支援装置
JP2016045705A (ja) * 2014-08-22 2016-04-04 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
JP2016055674A (ja) * 2014-09-05 2016-04-21 トヨタ自動車株式会社 車両用表示装置
JP2016107945A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
WO2016103937A1 (ja) * 2014-12-24 2016-06-30 富士フイルム株式会社 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
JP2016159656A (ja) * 2015-02-26 2016-09-05 日本精機株式会社 車両用表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636271A (zh) * 2018-06-21 2019-12-31 瑞萨电子株式会社 半导体器件和消息图像输出方法
CN110636271B (zh) * 2018-06-21 2022-09-09 瑞萨电子株式会社 半导体器件和消息图像输出方法

Also Published As

Publication number Publication date
JP6515250B2 (ja) 2019-05-15
US20220108642A1 (en) 2022-04-07
US11769431B2 (en) 2023-09-26
CN109996697A (zh) 2019-07-09
US20190213937A1 (en) 2019-07-11
US11250748B2 (en) 2022-02-15
CN109996697B (zh) 2022-06-21
JPWO2018051573A1 (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
US10629106B2 (en) Projection display device, projection display method, and projection display program
US11492017B2 (en) Information presentation device and information presentation method
US11769431B2 (en) Projection display device, display control method, and display control program
JP6464326B2 (ja) 投写型表示装置及びその制御方法
US10919445B2 (en) Irradiation control device and irradiation method
JP6620250B2 (ja) 投写型表示装置、その表示制御方法及びプログラム
JP6339235B2 (ja) 制御装置および関連方法
JP6201064B2 (ja) 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
US10746988B2 (en) Projection display device, projection control method, and non-transitory computer readable medium storing projection control program
JP6374676B2 (ja) 車両用発光表示装置及び車両用表示システム
WO2015174238A1 (ja) 表示装置
JP2013148901A (ja) 自動車両のためのヒューマンマシンインタフェース
JP2017016457A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
JP2020001589A (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP2021172097A (ja) 車両制御システム
JP2021172096A (ja) 車両制御システム
JP2014235550A (ja) 車載装置
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP3120548B2 (ja) ヘッドアップディスプレイ
JP2015160570A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850480

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539515

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850480

Country of ref document: EP

Kind code of ref document: A1