WO2017149995A1 - 投写型表示装置、投写制御方法、及び、投写制御プログラム - Google Patents

投写型表示装置、投写制御方法、及び、投写制御プログラム Download PDF

Info

Publication number
WO2017149995A1
WO2017149995A1 PCT/JP2017/002125 JP2017002125W WO2017149995A1 WO 2017149995 A1 WO2017149995 A1 WO 2017149995A1 JP 2017002125 W JP2017002125 W JP 2017002125W WO 2017149995 A1 WO2017149995 A1 WO 2017149995A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
control
vehicle
eyes
range
Prior art date
Application number
PCT/JP2017/002125
Other languages
English (en)
French (fr)
Inventor
宗之 大島
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018502582A priority Critical patent/JP6357601B2/ja
Priority to CN201780014571.2A priority patent/CN108698513B/zh
Publication of WO2017149995A1 publication Critical patent/WO2017149995A1/ja
Priority to US16/118,470 priority patent/US10746988B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0977—Reflective elements
    • G02B27/0983—Reflective elements being curved
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3105—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying all colours simultaneously, e.g. by using two or more electronic spatial light modulators
    • H04N9/3108—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying all colours simultaneously, e.g. by using two or more electronic spatial light modulators by using a single electronic spatial light modulator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Definitions

  • the present invention relates to a projection display device, a projection control method, and a projection control program.
  • a windshield of a vehicle such as an automobile, train, ship, heavy machinery, construction equipment, aircraft, or agricultural machine or a combiner placed near the windshield is used as a screen, and light is projected onto it to display an image.
  • a vehicle-mounted HUD Head-up Display
  • an image based on light projected from the HUD can be visually recognized by the driver as a real image on the screen or as a virtual image in front of the screen.
  • the HUD described in Patent Document 1 detects the position of the driver's eyes with a camera installed in the automobile, and controls the angle of the combiner according to the detected eye position, thereby changing the position of the eyes. The visibility of the virtual image is prevented from being lowered.
  • the HUD described in Patent Document 2 detects the position of the eyes of the driver with a camera installed in the automobile, and moves the projection range of the image light according to the detected position of the eyes. It prevents the visibility of virtual images from changing due to changes.
  • Each of the HUDs described in Patent Document 1 and Patent Document 2 follows a change in the position of the driver's eyes and controls the projection state of the image light so that the driver can always visually recognize a virtual image. It is intended to be done.
  • the visibility of the virtual image may be lowered depending on the situation.
  • the projection position of the image light is changed immediately, and the driver It is considered that image light should be incident on both eyes.
  • the projection position of the image light is changed when the traveling speed of the vehicle is high, the instantaneous change of the virtual image is recognized as flicker for the driver. For this reason, attention to the front at the time of high-speed driving may be neglected.
  • the present invention has been made in view of the above circumstances, and a projection display apparatus and a projection control method capable of presenting necessary information to the driver when necessary without imposing a burden on the vehicle driver.
  • An object of the present invention is to provide a projection control program.
  • the projection display device of the present invention spatially modulates light emitted from a light source based on input image data, and projects the image light obtained by the spatial modulation onto a projection surface of a vehicle, thereby the image data.
  • the position of the two eyes of the driver in the captured image data is detected based on a projection display unit that displays an image based on the image and captured image data obtained by imaging the driver of the vehicle by the imaging unit.
  • the projection angle of the image light with respect to the projection plane is determined in a state in which at least one of the two eyes exists outside the range in which the image in the captured image data can be visually recognized by the driver.
  • a control unit that controls the position of the two eyes to fall within the range, and the control unit is based on the number of eyes that are outside the range and the traveling state of the vehicle.
  • Z Te which determines whether to perform the following control.
  • the light emitted from the light source is spatially modulated based on the input image data, and the image light obtained by the spatial modulation is projected onto the projection surface of the vehicle to form the image data.
  • a projection control method for displaying an image based on the image wherein the position of two eyes of the driver in the captured image data is detected based on captured image data obtained by imaging the driver of the vehicle by an imaging unit. And a projection angle of the image light with respect to the projection plane in a state where at least one of the two eyes exists outside a range in which the driver can visually recognize the image in the captured image data.
  • a control step for performing follow-up control to keep the position of the two eyes within the range, and the control step includes the number of eyes existing outside the range and the control unit.
  • Ri based on the running condition of the object is to determine whether to perform the following control.
  • the projection control program of the present invention spatially modulates light emitted from a light source based on input image data, and projects the image light obtained by the spatial modulation onto a projection surface of a vehicle to form the image data.
  • a projection control program for displaying an image based on the detected image data obtained by imaging the driver of the vehicle by an imaging unit, and detecting the positions of the two eyes of the driver in the captured image data And a projection angle of the image light with respect to the projection plane in a state where at least one of the two eyes exists outside a range in which the driver can visually recognize the image in the captured image data.
  • a control step for performing follow-up control to control the position of the two eyes within the above-described range. In the control step, based on the running state of the number and the vehicle of the eye which exists outside these ranges, which determines whether to perform the following control.
  • a projection display device capable of presenting necessary information to a driver when necessary without imposing a burden on a vehicle driver. be able to.
  • FIG. 1 is a diagram showing a schematic configuration of a projection display system 100 including a HUD 10 as a projection display device according to an embodiment of the present invention. It is a schematic diagram which shows the structure of the projection display system 100 shown in FIG. It is a figure which shows an example of an internal structure of the image light production
  • FIG. 1 is a diagram showing a schematic configuration of a projection display system 100 including a HUD 10 as a projection display device according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a configuration of the projection display system 100 shown in FIG.
  • the projection display system 100 is mounted on the automobile 1, and includes a combiner 9, a HUD 10, a rotation mechanism 11 for rotating the combiner 9, and an imaging unit disposed in front of the front windshield 2 on the driver's seat side. 12.
  • the automobile 1 has two modes: a forward mode in which the automobile 1 travels in front of the front windshield 2 (bonnet side) as viewed from the driver, and a reverse mode in which the automobile 1 travels in the opposite direction to the front.
  • the operation mode can be set.
  • This driving mode can be set by the driver by operating a shift lever (not shown) of the automobile 1.
  • the projection display system 100 shown in FIG. 1 can be used by being mounted on a vehicle such as a train, a heavy machine, a construction machine, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • a vehicle such as a train, a heavy machine, a construction machine, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • the HUD 10 uses the combiner 9 as a projection surface, and enables a driver of the automobile 1 to visually recognize a virtual image or a real image by image light projected on the combiner 9.
  • the HUD 10 is built in the dashboard 3 of the automobile 1.
  • the dashboard 3 is a member in which interior parts including instruments for notifying information necessary for traveling such as a speedometer, a tachometer, a fuel meter, a water temperature meter, or a distance meter of the automobile 1 are incorporated.
  • the HUD 10 may be installed near the ceiling above the driver's seat of the automobile 1.
  • the combiner 9 and the rotation mechanism 11 are installed near the ceiling above the driver's seat.
  • the combiner 9 includes a transparent plate 8 and a wavelength selection film 7 formed on the surface of the transparent plate 8.
  • the transparent plate 8 is a plate-like member that transmits visible light.
  • the wavelength selection film 7 is a member that transmits visible light and has a higher reflectivity for light in at least one wavelength band than that for light in wavelength bands other than this wavelength band. In FIG. 1, the positions of the wavelength selection film 7 and the transparent plate 8 may be reversed.
  • wavelength selection film 7 as described in WO2015 / 50202, a member having visible light transmittance and having a central wavelength of a reflection wavelength range in each of a plurality of wavelength bands is adopted. Can do.
  • the rotation mechanism 11 is a projection angle control mechanism for controlling the projection angle (incident angle) of image light projected from the HUD 10 to the combiner 9.
  • the rotation mechanism 11 is a mechanism for rotating the combiner 9 about an axis extending in a direction connecting the driver seat and the passenger seat of the automobile 1.
  • the projection angle of the image light onto the surface (projection surface) on which the image light of the combiner 9 is projected changes.
  • the position of the virtual image or the real image visually recognized by the driver of the automobile 1 in the gravity direction changes.
  • the rotation mechanism 11 includes an actuator such as a stepping motor (not shown), and controls the rotation angle of the combiner 9 by the system control unit 6 described later.
  • the HUD 10 includes an image light generation unit 4 including a light source and a light modulation element that spatially modulates light emitted from the light source based on image data, and image light spatially modulated by the light modulation element of the image light generation unit 4.
  • a concave mirror 5 serving as an enlargement projection member for enlarging and projecting on the combiner 9 and a system control unit 6 for controlling the entire HUD 10 are provided.
  • the image light generation unit 4 and the concave mirror 5 constitute a projection display unit that projects image light obtained by spatial modulation based on the image data onto the combiner 9 of the automobile 1 and displays an image based on the image data.
  • the system control unit 6 is mainly composed of a processor, and includes a ROM (Read Only Memory) in which a program executed by the processor is stored, a RAM (Random Access Memory) as a work memory, and the like.
  • This program includes a projection control program.
  • the imaging unit 12 captures an imaging range including an eye box in which the image based on the image light projected from the HUD 10 onto the combiner 9 is the range of the position of the driver's eyes that can be viewed by the driver of the automobile 1. If either one of the two eyes of the driver is in the eye box, an image based on the image light can be visually recognized by the eyes.
  • the combiner 9 since the combiner 9 is rotatable, an eye box is set for each rotation position of the combiner 9. That is, the position of the eye box moves as the combiner 9 rotates.
  • the imaging unit 12 images a range including all the set eye boxes. In the example of FIG. 1, the imaging unit 12 is installed near the handle of the automobile 1, but the arrangement position is not limited to this.
  • FIG. 3 is a diagram illustrating an example of an internal configuration of the image light generation unit 4 illustrated in FIG.
  • the image light generation unit 4 includes a light source unit 40, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, and a diffusion member 46.
  • the light source unit 40 includes a light source controller 40A, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the R light source 41r, the G light source 41g, and the B light source 41b constitute a light source of the HUD 10.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the dichroic prism 43 transmits the red light collimated by the collimator lens 42 r and emits the red light to the light modulation element 44.
  • the dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the HUD 10 is not limited to the three examples of the R light source 41r, the G light source 41g, and the B light source 41b, but is composed of one light source or two or four or more light sources that emit light of different wavelength bands. May be.
  • the light source control unit 40A controls each of the R light source 41r, the G light source 41g, and the B light source 41b, and performs control to emit light from the R light source 41r, the G light source 41g, and the B light source 41b.
  • the light modulation element 44 spatially modulates the light emitted from the R light source 41r, the G light source 41g, and the B light source 41b and emitted from the dichroic prism 43 based on the image data input by the system control unit 6.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • MEMS Micro Electro Mechanical Systems
  • a liquid crystal display element for example, LCOS (Liquid crystal on silicon), DMD (Digital Micromirror Device), MEMS (Micro Electro Mechanical Systems) element, or a liquid crystal display element can be used.
  • the drive unit 45 drives the light modulation element 44 based on the image data input from the system control unit 6, and outputs image light (red image light, blue image light, and green image light) according to the image data.
  • image light red image light, blue image light, and green image light
  • the light is emitted from the light modulation element 44 to the diffusion member 46.
  • the diffusion member 46 is a member that diffuses the image light spatially modulated by the light modulation element 44 to form a surface light source.
  • a micromirror array having a fine structure on the surface a diffusion mirror, a reflection holographic diffuser, or the like is used.
  • the diffusing member 46 and the concave mirror 5 are optically designed so that an image based on the image light projected on the combiner 9 is visible to the driver as a virtual image at a position in front of the front windshield 2.
  • the optical design may be made so that the image based on the image light is visible to the driver as a real image in the combiner 9.
  • the system control unit 6 of the HUD 10 controls the light source control unit 40A and the drive unit 45 to emit image light based on the image data from the image light generation unit 4 to the concave mirror 5.
  • FIG. 4 is a functional block diagram of the system control unit 6 shown in FIG.
  • the system control unit 6 includes an eye position detection unit 61 and a follow-up control unit 62.
  • the eye position detection unit 61 and the tracking control unit 62 are configured by a processor executing a program stored in a ROM. This program includes a projection control program.
  • the follow-up control unit 62 constitutes a control unit.
  • the eye position detection unit 61 acquires captured image data obtained by imaging the driver's face by the imaging unit 12 by wired communication or wireless communication.
  • the eye position detection unit 61 detects the positions of the two eyes of the driver in the captured image data based on the acquired captured image data.
  • the tracking control unit 62 rotates the combiner 9 by the rotation mechanism 11 in a state where at least one of the two eyes detected by the eye position detection unit 61 exists outside the eye box in the captured image data.
  • the tracking control is performed to move the positions of the two eyes into the eye box.
  • the follow-up control unit 62 determines the number of eyes of the driver existing outside the eye box in the captured image data from the positions of the two eyes of the driver detected by the eye position detection unit 61 and the information of the eye box, Based on the determined number of eyes and the traveling state of the automobile 1, it is determined whether or not to perform the follow-up control.
  • FIG. 5 is a flowchart for explaining the operation of the projection display system 100 shown in FIG.
  • the eye position detection unit 61 acquires the captured image data captured by the imaging unit 12, and detects the driver's two eyes from the acquired captured image data (step S10).
  • the follow-up control unit 62 acquires information on the operation mode of the vehicle 1 from the system control unit that performs overall control of the vehicle 1 and determines whether the operation mode is the reverse mode or the forward mode ( Step S11).
  • step S11 YES
  • the tracking control unit 62 returns the process to step S10 with the tracking control not being executed.
  • step S11 When the operation mode is the forward mode (step S11: NO), the follow-up control unit 62 sets the eye box corresponding to the position of the two eyes detected in step S10 and the rotational position of the combiner 9 at the current time. Based on the coordinate information, it is determined whether one of the two eyes of the driver is outside the eye box (step S12).
  • step S12 If both eyes of the driver are in the eye box (step S12: NO), the follow-up control unit 62 does not execute the follow-up control and returns the process to step S10.
  • step S12 When one of the two eyes of the driver is outside the eye box (step S12: YES), the follow-up control unit 62 determines whether the number of eyes outside the eye box is one (step S12). S13).
  • the follow-up control unit 62 acquires information on the traveling speed of the vehicle 1 from a system control unit that performs overall control of the vehicle 1. Then, it is determined whether or not the traveling speed of the automobile 1 is equal to or less than the threshold value TH1 (step S14).
  • step S14 NO
  • the follow-up control unit 62 does not execute the follow-up control and returns the process to step S10.
  • step S14 When the traveling speed of the automobile 1 is equal to or lower than the threshold value TH1 (step S14: YES), the follow-up control unit 62 rotates the combiner 9 and puts the eye position on the eye box corresponding to the rotational position of the combiner 9 after the rotation is completed.
  • step S15 Follow-up control for holding the driver's two eyes detected by the detection unit 61 is performed (step S15). After step S15, the process returns to step S10.
  • the follow-up control unit 62 controls the rotation speed of the combiner 9 to the reference speed in the follow-up control in step S15.
  • the follow-up control unit 62 controls the brightness of the image light to the reference brightness in the follow-up control in step S15.
  • the reference luminance is the same value as the luminance of the image light at the time immediately before the rotation of the combiner 9 is started.
  • the follow-up control unit 62 acquires information on the traveling speed of the vehicle 1 from the system control unit that performs overall control of the vehicle 1. It is determined whether or not the traveling speed of the automobile 1 is equal to or less than a threshold value TH1 (step S16).
  • step S16 When the traveling speed of the automobile 1 is equal to or less than the threshold value TH1 (step S16: YES), the follow-up control unit 62 rotates the combiner 9 and puts the eye position on the eye box corresponding to the rotation position of the combiner 9 after the rotation is completed.
  • step S17 Follow-up control for holding the driver's two eyes detected by the detection unit 61 is performed (step S17). After step S17, the process returns to step S10.
  • the follow-up control unit 62 controls the rotation speed of the combiner 9 to the reference speed in the follow-up control in step S17.
  • the follow-up control unit 62 controls the brightness of the image light to the reference brightness in the follow-up control in step S15.
  • step S16 When the traveling speed of the automobile 1 exceeds the threshold value TH1 (step S16: NO), the follow-up control unit 62 rotates the combiner 9 to open the eye box corresponding to the rotational position of the combiner 9 after the rotation is completed.
  • step S18 Follow-up control for holding the two eyes of the driver detected by the position detector 61 is performed (step S18). After step S18, the process returns to step S10.
  • the follow-up control unit 62 controls the rotation speed of the combiner 9 to be lower than the reference speed in the follow-up control in step S18. Further, the tracking control unit 62 controls the luminance of the image light to be lower than the reference luminance while the combiner 9 is rotated.
  • the method for controlling the luminance of the image light includes a method for controlling the amount of light emitted from each light source of the light source unit 40, a method for controlling the luminance of image data input to the drive unit 45, and the like.
  • the tracking control unit 62 returns the luminance of the image light to the reference luminance when the rotation of the combiner 9 is completed.
  • the tracking control unit 62 may gradually increase the luminance of the image light and finally return it to the reference luminance.
  • step S18 the rotational speed of the combiner 9 and the brightness of the image light may be decreased as the traveling speed of the automobile 1 increases.
  • the threshold value TH1 of the traveling speed used at step S14 and step S16 is the same value, the value may be changed between the threshold value used at step S14 and the threshold value used at step S16.
  • the follow-up control is performed when the traveling speed of the automobile 1 becomes equal to or less than the threshold value TH1.
  • the number of eyes of the driver existing outside the eye box is one, an image based on the image light can be observed by one eye of the driver.
  • the transition from the state where the image based on the image light is observed by one eye to the state where the image based on the image light is observed by both eyes is not performed in a state where the traveling speed is high.
  • the driver's concentration can be maintained during high-speed driving with high accident risk, and safe driving can be supported.
  • the above-described transition is performed during low-speed traveling with a low risk of accidents, so that it is possible to reduce fatigue caused by the image being viewed with only one eye.
  • the follow-up control is performed regardless of the traveling speed of the automobile 1.
  • the driver cannot observe an image based on the image light. For this reason, in this case, necessary information can be provided to the driver by performing the follow-up control.
  • the rotational speed of the combiner 9 decreases and the brightness of the image light decreases.
  • the change of the image observed from the driver can be moderated. As a result, it is possible to provide information without hindering concentration during high-speed traveling.
  • the follow-up control is not performed. For this reason, it is possible to avoid frequent changes in the image based on the image light in a situation where the movement of the driver's line of sight increases, such as in a garage entry operation. As a result, it is possible to eliminate the troublesomeness caused by frequent image changes.
  • the follow-up control unit 62 may control the brightness of the image light to be lower than the normal brightness, and control the rotation speed of the combiner 9 to the reference speed. In the follow-up control in step S18, the follow-up control unit 62 may control the rotation speed of the combiner 9 to be lower than the reference speed, and control the brightness of the image light to the normal brightness.
  • FIG. 6 is a flowchart for explaining a modification of the operation of the projection display system 100 shown in FIG.
  • the flowchart shown in FIG. 6 is the same as FIG. 5 except that step S21 and step S22 are added. Therefore, the same processes as those in FIG.
  • the operation mode of the automobile 1 further includes an automatic operation mode and a manual operation mode.
  • the automatic driving mode is a mode in which the system control unit of the automobile performs traveling control without depending on the driver's operation.
  • the manual driving mode is a mode in which the vehicle travels when the accelerator, the brake, the steering wheel, and the like are operated by the driver.
  • the automobile 1 switches to the manual operation mode after a predetermined transition period from the time when the switching instruction is given.
  • step S13 when the determination in step S13 is YES, the follow-up control unit 62 determines whether or not it is a transition period from the automatic operation mode to the manual operation mode (step S21).
  • step S21: YES when it is the transition period from the automatic operation mode to the manual operation mode (step S21: YES), the process of step S15 is performed. On the other hand, when it is not the transition period from the automatic operation mode to the manual operation mode (step S21: NO), the process of step S14 is performed.
  • step S13 determines whether or not it is a transition period from the automatic operation mode to the manual operation mode (step S22).
  • step S22: YES when it is the transition period from the automatic operation mode to the manual operation mode (step S22: YES), the process of step S17 is performed. On the other hand, when it is not the transition period from the automatic operation mode to the manual operation mode (step S22: NO), the process of step S16 is performed.
  • step S15 or step S17 is performed regardless of the traveling speed of the automobile 1.
  • follow-up control is performed. By performing the follow-up control unconditionally during this transition period, information that prompts the driver to prepare for manual driving can be provided by an image based on image light. Thereby, switching from automatic operation mode to manual operation mode can be performed safely.
  • FIG. 7 is a schematic diagram showing a configuration of a projection display system 100A that is a modification of the projection display system 100 shown in FIG.
  • the projection display system 100A has the same configuration as the projection display system 100 except that the HUD 10 is changed to the HUD 10A and the rotation mechanism 11 is deleted.
  • the same components as those in FIG. 7 are identical to FIG. 7 and the same components as those in FIG.
  • the HUD 10A has the same configuration as the HUD 10 shown in FIG. 2 except that the rotation mechanism 13 is added and the system control unit 6 is changed to the system control unit 6A.
  • the combiner 9 including the transparent plate 8 and the wavelength selection film 7 is not rotatable.
  • the rotation mechanism 13 is a projection angle control mechanism for controlling the projection angle of image light projected from the HUD 10A to the combiner 9.
  • the rotation mechanism 13 is a mechanism for rotating the concave mirror 5 so that the projection position of the image light projected from the concave mirror 5 with respect to the combiner 9 changes in the direction of gravity.
  • the rotation mechanism 13 includes an actuator (not shown) and is driven by the system control unit 6A.
  • the projection angle of the image light projected from the concave mirror 5 with respect to the combiner 9 changes, and the position of the eye box also changes.
  • the coordinate information of the eye box corresponding to the rotational position of the concave mirror 5 is stored in the ROM of the system control unit 6A.
  • the system control unit 6A includes the eye position detection unit 61 and the tracking control unit 62 described above.
  • the tracking control unit 62 of the system control unit 6A rotates in a state where at least one of the two eyes detected by the eye position detection unit 61 exists outside the eye box in the captured image data acquired from the imaging unit 12.
  • the concave mirror 5 is rotated by the mechanism 13 to move the eye box, and follow-up control is performed to place the positions of the two eyes in the eye box.
  • the follow-up control unit 62 of the system control unit 6 ⁇ / b> A captures a captured image from the position of the driver's two eyes detected by the eye position detection unit 61 and the coordinate information of the eye box corresponding to the rotational position of the concave mirror 5.
  • the number of eyes of the driver existing outside the eye box in the data is determined, and it is determined whether or not to perform the follow-up control based on the determined number of eyes and the running state of the automobile 1.
  • the method for determining whether or not to perform the follow-up control is the same as that described with reference to FIG.
  • the projection display system 100A may further include a rotation mechanism for rotating the combiner 9.
  • the position of the eye box is determined by the combination of the rotational position of the combiner 9 and the rotational position of the concave mirror 5.
  • the system control unit 6A obtains the coordinate information of the eye box corresponding to the combination of the rotational position of the combiner 9 and the rotational position of the concave mirror 5 when performing the determination in step S12 and step S13 in FIG. Use it.
  • the combiner 9 can be deleted, the wavelength selection film 7 can be formed in a part of the range of the front windshield 2, and image light can be projected using this range as the projection plane.
  • the eye box moves in the direction of gravity by rotating one or both of the combiner 9 and the concave mirror 5.
  • the eye box may be movable in a horizontal direction (direction in which the driver seat and the passenger seat are aligned) perpendicular to the direction of gravity by rotating one or both of the combiner 9 and the concave mirror 5.
  • the structure which can move an eyebox to each of a gravitational direction and a horizontal direction may be sufficient because one or both of the combiner 9 and the concave mirror 5 rotates.
  • the disclosed projection display device spatially modulates light emitted from a light source based on input image data, projects the image light obtained by the spatial modulation onto a projection surface of a vehicle, and outputs the image data.
  • the position of the two eyes of the driver in the captured image data is detected based on a projection display unit that displays an image based on the image and captured image data obtained by imaging the driver of the vehicle by the imaging unit.
  • the projection angle of the image light with respect to the projection plane is determined in a state in which at least one of the two eyes exists outside the range in which the image in the captured image data can be visually recognized by the driver.
  • a control unit that controls the position of the two eyes to fall within the range, and the control unit is based on the number of eyes that are outside the range and the traveling state of the vehicle. There are, it is to determine whether to perform the following control.
  • the traveling state includes the traveling speed of the vehicle.
  • control unit performs the follow-up control when the traveling speed of the vehicle is equal to or less than a threshold when the number of eyes existing outside the range is one. Is.
  • control unit has one eye that is outside the range, and the vehicle is in a state of shifting from the automatic operation mode to the manual operation mode. Performs the follow-up control regardless of the traveling speed of the vehicle.
  • control unit performs the follow-up control regardless of the traveling speed of the vehicle when the number of eyes existing outside the range is two.
  • the control unit controls the projection angle as the traveling speed of the vehicle increases. At least one of the speed and the luminance of the image light during the period during which the projection angle is controlled is reduced.
  • the control unit has two eyes outside the range, and the vehicle is in a state of shifting from the automatic operation mode to the manual operation mode. Sets the control speed of the projection angle during the follow-up control and the brightness of the image light during a period during which the projection angle is controlled, regardless of the traveling speed of the vehicle. It is.
  • the control unit performs the tracking control regardless of the traveling speed of the vehicle when the number of eyes existing outside the range is two, and the tracking control is performed. In this case, as the traveling speed of the vehicle increases, at least one of the control speed of the projection angle and the luminance of the image light during the period during which the projection angle is controlled is reduced.
  • control unit does not execute the follow-up control regardless of the number of eyes existing outside the range when the vehicle is traveling backward. Is.
  • the projection display unit displays a virtual image based on the image data.
  • the disclosed projection control method spatially modulates light emitted from a light source based on input image data, and projects the image light obtained by the spatial modulation onto a projection surface of a vehicle to form the image data.
  • a projection control method for displaying an image based on the image wherein the position of two eyes of the driver in the captured image data is detected based on captured image data obtained by imaging the driver of the vehicle by an imaging unit. And a projection angle of the image light with respect to the projection plane in a state where at least one of the two eyes exists outside a range in which the driver can visually recognize the image in the captured image data.
  • a tracking step for performing tracking control that keeps the positions of the two eyes within the range, and the control step includes the number of eyes existing outside the range. Based on the vehicle running state of, it is to determine whether to perform the following control.
  • the traveling state includes the traveling speed of the vehicle.
  • control step performs the follow-up control when the traveling speed of the vehicle is equal to or less than a threshold when the number of eyes existing outside the range is one. It is.
  • the control step is performed when the number of eyes existing outside the range is one and the vehicle is in a state of shifting from the automatic operation mode to the manual operation mode.
  • the follow-up control is executed regardless of the traveling speed of the vehicle.
  • control step performs the follow-up control regardless of the traveling speed of the vehicle when the number of eyes existing outside the range is two.
  • the control speed of the projection angle increases as the traveling speed of the vehicle increases. And at least one of the brightness of the image light during the period during which the projection angle is controlled.
  • the control step is performed when the number of eyes existing outside the range is two and the vehicle is in a state of shifting from the automatic operation mode to the manual operation mode. Regardless of the traveling speed of the vehicle, the control speed of the projection angle during the follow-up control and the brightness of the image light during the period during which the projection angle is controlled are set to predetermined values. is there.
  • the control step performs the tracking control regardless of the traveling speed of the vehicle when the number of eyes existing outside the range is two. As the traveling speed of the vehicle increases, at least one of the control speed of the projection angle and the luminance of the image light during the period during which the projection angle is controlled is reduced.
  • the control step does not execute the follow-up control regardless of the number of eyes existing outside the range when the vehicle is moving backward. It is.
  • the disclosed projection control method includes an image based on the image data that is a virtual image.
  • the disclosed projection control program spatially modulates light emitted from a light source based on input image data, and projects the image light obtained by the spatial modulation onto a projection surface of a vehicle to form the image data.
  • a projection control program for displaying an image based on the detected image data obtained by imaging the driver of the vehicle by an imaging unit, and detecting the positions of the two eyes of the driver in the captured image data And a projection angle of the image light with respect to the projection plane in a state where at least one of the two eyes exists outside a range in which the driver can visually recognize the image in the captured image data.
  • a control step for performing follow-up control to keep the position of the two eyes within the above range by controlling the position of the two eyes. In the above control step, based on the running state of the number and the vehicle of the eye which exists outside these ranges, which determines whether to perform the following control.
  • a projection display device capable of presenting necessary information to a driver when necessary without imposing a burden on a vehicle driver. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

運転者に対して負担をかけることなく必要な情報を提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供する。ＨＵＤ１０は、撮像部１２により運転者を撮像して得られた撮像画像データに基づいて、この撮像画像データにおける運転者の２つの眼の位置を検出し、この撮像画像データにおけるアイボックス外にこの２つの眼の少なくとも一方が存在する状態で、コンバイナ９の回転位置を制御して、この２つの眼の位置をアイボックス内に収める追従制御を行うシステム制御部６を備える。システム制御部６は、アイボックス外に存在する眼の数と自動車１の走行状態とに基づいて追従制御を行うか否かを決定する。

Description

投写型表示装置、投写制御方法、及び、投写制御プログラム
　本発明は、投写型表示装置、投写制御方法、及び、投写制御プログラムに関する。
　自動車、電車、船舶、重機、建機、航空機、又は、農作用機械等の乗り物のウインドシールド又はウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ－ｕｐ　Ｄｉｓｐｌａｙ）が知られている（例えば特許文献１，２参照）。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として又はスクリーン前方において虚像として運転者に視認させることができる。
　特許文献１に記載のＨＵＤは、自動車に設置されたカメラによって運転者の眼の位置を検出し、検出した眼の位置に応じて、コンバイナの角度を制御することにより、眼の位置の変化による虚像の視認性低下を防止している。
　特許文献２に記載のＨＵＤは、自動車に設置されたカメラによって運転者の眼の位置を検出し、検出した眼の位置に応じて、画像光の投写範囲を移動させることにより、眼の位置の変化による虚像の視認性低下を防止している。
ＷＯ２０１２／０３９０２１号公報 日本国特開２０１４－２２５０１７号公報
　特許文献１及び特許文献２に記載のＨＵＤは、いずれも、運転者の眼の位置の変化に追従して、画像光の投写状態を制御することで、運転者から常に虚像が安定して視認されるようにするものである。
　しかし、運転者の眼の位置の変化に追従させて画像光の投写状態を制御する場合、状況によっては虚像の視認性低下を招く可能性がある。
　例えば、運転者の片眼だけに画像光が入射している状況又は運転者のいずれの眼にも画像光が入射していない状況では、画像光の投写位置を即座に変更して、運転者の両眼に画像光が入射されるようにするのがよいと考えられる。しかし、乗り物の走行速度が速い場合に、画像光の投写位置が変更されると、運転者にとっては虚像の瞬時の変化がちらつきとして認識される。このため、高速走行時における前方への注意が疎かになる可能性がある。
　また、車庫入れ作業時等のように、乗り物を後退させている状況では、運転者の眼の位置が頻繁に移動することなる。このような状況で、画像光の投写状態が頻繁に変更されると、虚像の変化が運転者にとって煩わしいものとなる。
　本発明は、上記事情に鑑みてなされたものであり、乗り物の運転者に対して負担をかけることなく必要なときには必要な情報を運転者に提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供することを目的とする。
　本発明の投写型表示装置は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写表示部と、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出部と、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御部と、を備え、上記制御部は、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。
　本発明の投写制御方法は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御方法であって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、を備え、上記制御ステップは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。
　本発明の投写制御プログラムは、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御プログラムであって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、をコンピュータに実行させるためのプログラムであり、上記制御ステップでは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。
　本発明によれば、乗り物の運転者に対して負担をかけることなく必要なときには必要な情報を運転者に提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供することができる。
本発明の一実施形態である投写型表示装置としてのＨＵＤ１０を含む投写表示システム１００の概略構成を示す図である。 図１に示す投写表示システム１００の構成を示す模式図である。 図２に示す画像光生成部４の内部構成の一例を示す図である。 図３に示すシステム制御部６の機能ブロック図である。 図１に示す投写表示システム１００の動作を説明するためのフローチャートである。 図１に示す投写表示システム１００の動作の変形例を説明するためのフローチャートである。 図１に示す投写表示システム１００の変形例である投写表示システム１００Ａの構成を示す模式図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態である投写型表示装置としてのＨＵＤ１０を含む投写表示システム１００の概略構成を示す図である。図２は、図１に示す投写表示システム１００の構成を示す模式図である。
　投写表示システム１００は、自動車１に搭載されるものであり、フロントウインドシールド２の運転席側手前に配置されたコンバイナ９と、ＨＵＤ１０と、コンバイナ９を回転するための回転機構１１と、撮像部１２と、を備える。
　自動車１は、運転者から見てフロントウインドシールド２の前方（ボンネット側）に自動車１が進行するための前進モードと、この前方の反対の方向に自動車１が進行するための後退モードの２つの運転モードを設定可能である。この運転モードは、自動車１の図示しないシフトレバー等を操作することで、運転者によって設定可能である。
　図１に示す投写表示システム１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
　ＨＵＤ１０は、コンバイナ９を投写面とし、コンバイナ９に投写される画像光により、自動車１の運転者によって虚像又は実像を視認可能にするものである。
　図１の例では、ＨＵＤ１０は、自動車１のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
　ＨＵＤ１０は、自動車１の運転席上方の天井付近に設置されていてもよい。この場合には、コンバイナ９及び回転機構１１が運転席の上方の天井付近に設置される。
　コンバイナ９は、透明板８と、透明板８の表面に形成された波長選択膜７と、を備える。
　透明板８は、可視光を透過する板状の部材である。
　波長選択膜７は、可視光を透過し、少なくとも１つの波長帯域の光に対する反射率がこの波長帯域以外の波長帯域の光に対する反射率よりも高い部材である。なお、図１において、波長選択膜７と透明板８の位置は逆であってもよい。
　なお、波長選択膜７としては、ＷＯ２０１５／５０２０２号公報に記載されているように、可視光透過性を有し、複数の波長帯域の各々に反射波長域の中心波長を有する部材を採用することができる。
　回転機構１１は、コンバイナ９に対するＨＵＤ１０から投写される画像光の投写角度（入射角度）を制御するための投写角度制御機構である。
　具体的には、回転機構１１は、自動車１の運転席と助手席を結ぶ方向に伸びる軸を中心にしてコンバイナ９を回転させるための機構である。コンバイナ９がこの軸の周りに回転することで、コンバイナ９の画像光が投写される面（投写面）への画像光の投写角度が変化する。画像光の投写角度が変化することで、自動車１の運転者から視認される虚像又は実像の重力方向における位置が変化する。
　回転機構１１は、図示しないステッピングモータ等のアクチュエータを含み、後述するシステム制御部６によってコンバイナ９の回転角度を制御する。
　ＨＵＤ１０は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む画像光生成部４と、画像光生成部４の光変調素子により空間変調された画像光をコンバイナ９に拡大して投写する拡大投写部材としての凹面鏡５と、ＨＵＤ１０全体を統括制御するシステム制御部６と、を備える。
　画像光生成部４と凹面鏡５は、画像データに基づいて空間変調して得られた画像光を自動車１のコンバイナ９に投写してこの画像データに基づく画像を表示させる投写表示部を構成する。
　システム制御部６は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び、ワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含む。このプログラムは、投写制御プログラムを含む。
　撮像部１２は、ＨＵＤ１０からコンバイナ９に投写された画像光に基づく画像が、自動車１の運転者によって視認可能となる運転者の眼の位置の範囲であるアイボックスを含む撮像範囲を撮像する。このアイボックス内に運転者の２つの眼のいずれか一方が入っていれば、この眼によって画像光に基づく画像が視認可能となる。
　投写表示システム１００では、コンバイナ９が回転可能であるため、コンバイナ９の回転位置毎にアイボックスが設定されている。つまり、アイボックスの位置は、コンバイナ９の回転にともなって移動する。撮像部１２は、この設定された全てのアイボックスを含む範囲を撮像する。撮像部１２は、図１の例では、自動車１のハンドル付近に設置されているが、配置位置はこれに限定されるものではない。
　図３は、図２に示す画像光生成部４の内部構成の一例を示す図である。
　画像光生成部４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、拡散部材４６と、を備える。
　光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１０の光源を構成する。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１０の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つの光源、又は、異なる波長帯域の光を出射する２つ又は４つ以上の光源によって構成されていてもよい。
　光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。
　光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６により入力される画像データに基づいて空間変調する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部６から入力される画像データに基づいて光変調素子４４を駆動し、画像データに応じた画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から拡散部材４６に出射させる。
　拡散部材４６は、光変調素子４４により空間変調された画像光を拡散させて面光源化する部材である。拡散部材４６は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、又は、反射ホログラフィクディフューザー等が用いられる。
　拡散部材４６及び凹面鏡５は、コンバイナ９に投写された画像光に基づく画像が、フロントウインドシールド２前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、コンバイナ９において実像として運転者に視認可能となるように光学設計がなされていてもよい。
　ＨＵＤ１０のシステム制御部６は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を画像光生成部４から凹面鏡５に出射させる。
　図４は、図３に示すシステム制御部６の機能ブロック図である。
　システム制御部６は、眼位置検出部６１と、追従制御部６２と、を備える。眼位置検出部６１及び追従制御部６２は、ＲＯＭに記憶されるプログラムをプロセッサが実行することによって構成される。このプログラムは、投写制御プログラムを含む。追従制御部６２は制御部を構成する。
　眼位置検出部６１は、撮像部１２により運転者の顔を撮像して得られた撮像画像データを有線通信又は無線通信により取得する。そして、眼位置検出部６１は、取得した撮像画像データに基づいて、この撮像画像データにおける運転者の２つの眼の位置を検出する。
　追従制御部６２は、撮像画像データにおけるアイボックスの外側に、眼位置検出部６１により検出された２つの眼の少なくとも一方が存在する状態で、回転機構１１によってコンバイナ９を回転させることでアイボックスを移動させて、この２つの眼の位置をアイボックス内に収める追従制御を行う。
　追従制御部６２は、眼位置検出部６１により検出された運転者の２つの眼の位置とアイボックスの情報とから撮像画像データにおけるアイボックス外に存在する運転者の眼の数を判定し、判定した眼の数と、自動車１の走行状態とに基づいて、追従制御を行うか否かを決定する。
　図５は、図１に示す投写表示システム１００の動作を説明するためのフローチャートである。
　自動車１のエンジン（電気自動車の場合はモータ）を起動する操作、又は、自動車１のバッテリによって駆動される電気系統（空調機器及びライト等）を起動する操作等がなされて、自動車１が始動すると、図５に示すフローが開始される。図５に示すフローは、自動車１が停止するまで繰り返し行われる。
　まず、眼位置検出部６１は、撮像部１２により撮像された撮像画像データを取得し、取得した撮像画像データから運転者の２つの眼を検出する（ステップＳ１０）。
　次に、追従制御部６２は、自動車１の全体を統括制御するシステム制御部から、自動車１の運転モードの情報を取得し、運転モードが後退モードと前進モードのどちらであるかを判定する（ステップＳ１１）。
　運転モードが後退モードである場合（ステップＳ１１：ＹＥＳ）には、追従制御部６２は、追従制御を非実行としてステップＳ１０に処理を戻す。
　運転モードが前進モードである場合（ステップＳ１１：ＮＯ）には、追従制御部６２は、ステップＳ１０で検出された２つの眼の位置と、現時点でのコンバイナ９の回転位置に対応したアイボックスの座標情報とに基づいて、運転者の２つの眼のいずれか一方がアイボックス外にあるか否かを判定する（ステップＳ１２）。
　運転者の２つの眼がいずれもアイボックス内にある場合（ステップＳ１２：ＮＯ）には、追従制御部６２は、追従制御を非実行として、ステップＳ１０に処理を戻す。
　運転者の２つの眼のいずれか一方がアイボックス外にある場合（ステップＳ１２：ＹＥＳ）には、追従制御部６２は、アイボックス外にある眼の数が１つか否かを判定する（ステップＳ１３）。
　アイボックス外にある眼の数が１つである場合（ステップＳ１３：ＹＥＳ）、追従制御部６２は、自動車１の全体を統括制御するシステム制御部から、自動車１の走行速度の情報を取得し、自動車１の走行速度が閾値ＴＨ１以下であるか否かを判定する（ステップＳ１４）。
　自動車１の走行速度が閾値ＴＨ１を超えている場合（ステップＳ１４：ＮＯ）、追従制御部６２は、追従制御を非実行とし、ステップＳ１０に処理を戻す。
　自動車１の走行速度が閾値ＴＨ１以下である場合（ステップＳ１４：ＹＥＳ）、追従制御部６２は、コンバイナ９を回転させて、回転完了後のコンバイナ９の回転位置に対応するアイボックスに、眼位置検出部６１により検出される運転者の２つの眼を収める追従制御を行う（ステップＳ１５）。ステップＳ１５の後はステップＳ１０に処理が戻る。
　追従制御部６２は、ステップＳ１５の追従制御において、コンバイナ９の回転速度を基準速度に制御する。また、追従制御部６２は、ステップＳ１５の追従制御において、画像光の輝度を基準輝度に制御する。基準輝度は、コンバイナ９の回転を開始する直前の時点での画像光の輝度と同じ値である。
　アイボックス外にある眼の数が２つである場合（ステップＳ１３：ＮＯ）、追従制御部６２は、自動車１の全体を統括制御するシステム制御部から自動車１の走行速度の情報を取得し、自動車１の走行速度が閾値ＴＨ１以下であるか否かを判定する（ステップＳ１６）。
　自動車１の走行速度が閾値ＴＨ１以下である場合（ステップＳ１６：ＹＥＳ）、追従制御部６２は、コンバイナ９を回転させて、回転完了後のコンバイナ９の回転位置に対応するアイボックスに、眼位置検出部６１により検出される運転者の２つの眼を収める追従制御を行う（ステップＳ１７）。ステップＳ１７の後はステップＳ１０に処理が戻る。
　追従制御部６２は、ステップＳ１７の追従制御において、コンバイナ９の回転速度を基準速度に制御する。また、追従制御部６２は、ステップＳ１５の追従制御において、画像光の輝度を基準輝度に制御する。
　自動車１の走行速度が閾値ＴＨ１を超えている場合（ステップＳ１６：ＮＯ）、追従制御部６２は、コンバイナ９を回転させて、回転完了後のコンバイナ９の回転位置に対応するアイボックスに、眼位置検出部６１により検出される運転者の２つの眼を収める追従制御を行う（ステップＳ１８）。ステップＳ１８の後はステップＳ１０に処理が戻る。
　追従制御部６２は、ステップＳ１８の追従制御において、コンバイナ９の回転速度を基準速度よりも低い速度に制御する。また、追従制御部６２は、コンバイナ９を回転させている間は、画像光の輝度を基準輝度よりも低い輝度に制御する。
　画像光の輝度を制御する方法は、光源ユニット４０の各光源の出射光量を制御する方法、又は、駆動部４５に入力する画像データの輝度を制御する方法等がある。
　そして、追従制御部６２は、コンバイナ９の回転が完了すると、画像光の輝度を基準輝度に戻す。追従制御部６２は、コンバイナ９の回転が完了すると、画像光の輝度を徐々に増やしていって最終的に基準輝度に戻してもよい。
　ステップＳ１８では、コンバイナ９の回転速度と画像光の輝度を、自動車１の走行速度が大きいほど小さくしてもよい。また、ステップＳ１４とステップＳ１６で用いる走行速度の閾値ＴＨ１はそれぞれ同じ値としているが、ステップＳ１４で用いる閾値とステップＳ１６で用いる閾値とで値を変えてもよい。
　以上のように、ＨＵＤ１０によれば、アイボックス外に存在する運転者の眼の数が１つである場合には、自動車１の走行速度が閾値ＴＨ１以下となった場合に追従制御が行われる。アイボックス外に存在する運転者の眼の数が１つである場合は、運転者の片方の眼によって画像光に基づく画像が観察可能である。
　このように、片方の眼によって画像光に基づく画像が観察されている状態から、両方の眼によって画像光に基づく画像が観察されている状態への移行を、走行速度が大きい状態では行わないことで、事故リスクの高い高速走行時において運転者の集中力を維持することができ、安全運転を支援することができる。一方、事故リスクの低い低速走行時には上記の移行が行われることで、片方の眼のみで画像が視認されることに起因する疲労感を軽減することができる。
　また、ＨＵＤ１０によれば、アイボックス外に存在する運転者の眼の数が２つである場合には、自動車１の走行速度に関わらずに追従制御が行われる。アイボックス外に存在する運転者の眼の数が２つである場合は、運転者から画像光に基づく画像が観察できない状態である。このため、この場合には追従制御を行うことで、運転者に必要な情報を提供することができる。
　また、アイボックス外に存在する運転者の眼の数が２つである場合には、自動車１の走行速度が大きいほど、コンバイナ９の回転速度が遅くなり、画像光の輝度が低くなるため、運転者から観察される画像の変化を緩やかにすることができる。この結果、高速走行時における集中力を妨げることなく、情報の提供が可能となる。
　また、ＨＵＤ１０によれば、自動車１が後退モードである場合には、追従制御は行われない。このため、車庫入れ作業等のように運転者の視線の動きが大きくなる状況において画像光に基づく画像が頻繁に変化するのを避けることができる。この結果、画像が頻繁に変化することによる煩わしさをなくすことができる。
　なお、ステップＳ１８の追従制御において、追従制御部６２は、画像光の輝度を通常輝度より低く制御し、コンバイナ９の回転速度は基準速度に制御してもよい。また、ステップＳ１８の追従制御において、追従制御部６２は、コンバイナ９の回転速度を基準速度よりも低い速度に制御し、画像光の輝度は通常輝度に制御してもよい。
　図６は、図１に示す投写表示システム１００の動作の変形例を説明するためのフローチャートである。図６に示すフローチャートは、ステップＳ２１とステップＳ２２が追加された点を除いては図５と同じであるため、図５と同じ処理には同一符号を付して説明を省略する。
　この変形例では、前提として、自動車１の運転モードが自動運転モードと手動運転モードを更に含む。自動運転モードは、自動車のシステム制御部が運転者の操作によらずに走行制御を行うモードである。手動運転モードは、アクセル、ブレーキ、及び、ハンドル等が運転者によって操作されることで自動車が走行するモードである。
　また、自動車１は、自動運転モードから手動運転モードへの切り替え指示がなされると、この切り替え指示がなされた時点から予め決められた移行期間を挟んでから手動運転モードへの切り替えを行う。
　この変形例では、ステップＳ１３の判定がＹＥＳの場合に、追従制御部６２は、自動運転モードから手動運転モードへの移行期間であるか否かを判定する（ステップＳ２１）。
　そして、自動運転モードから手動運転モードへの移行期間である場合（ステップＳ２１：ＹＥＳ）にはステップＳ１５の処理が行われる。一方、自動運転モードから手動運転モードへの移行期間ではない場合（ステップＳ２１：ＮＯ）にはステップＳ１４の処理が行われる。
　また、ステップＳ１３の判定がＮＯの場合に、追従制御部６２は、自動運転モードから手動運転モードへの移行期間であるか否かを判定する（ステップＳ２２）。
　そして、自動運転モードから手動運転モードへの移行期間である場合（ステップＳ２２：ＹＥＳ）にはステップＳ１７の処理が行われる。一方、自動運転モードから手動運転モードへの移行期間ではない場合（ステップＳ２２：ＮＯ）にはステップＳ１６の処理が行われる。
　以上のように、図６に示す変形例によれば、自動車１が自動運転モードから手動運転モードへの移行期間である場合には、自動車１の走行速度に関わらずにステップＳ１５又はステップＳ１７の追従制御が行われる。この移行期間中は無条件で追従制御を行うことで、画像光に基づく画像により、運転者に対して手動運転の準備を促す情報等を提供することができる。これにより、自動運転モードから手動運転モードへの切り替えを安全に行うことができる。
　図７は、図１に示す投写表示システム１００の変形例である投写表示システム１００Ａの構成を示す模式図である。投写表示システム１００Ａは、ＨＵＤ１０がＨＵＤ１０Ａに変更され、回転機構１１が削除された点を除いては、投写表示システム１００と同じ構成である。図７において、図２と同じ構成には同一符号を付して説明を省略する。
　ＨＵＤ１０Ａは、回転機構１３が追加され、システム制御部６がシステム制御部６Ａに変更された点を除いては、図２に示すＨＵＤ１０と同じ構成である。投写表示システム１００Ａでは、透明板８及び波長選択膜７を備えるコンバイナ９は回転不能となっている。
　回転機構１３は、コンバイナ９に対するＨＵＤ１０Ａから投写される画像光の投写角度を制御するための投写角度制御機構である。
　具体的には、回転機構１３は、凹面鏡５から投写される画像光のコンバイナ９に対する投写位置が重力方向において変化するように、凹面鏡５を回転させるための機構である。回転機構１３は図示しないアクチュエータを搭載し、システム制御部６Ａによって駆動される。
　回転機構１３が凹面鏡５を回転させることで、凹面鏡５から投写される画像光のコンバイナ９に対する投写角度が変化し、アイボックスの位置も変化する。投写表示システム１００Ａでは、凹面鏡５の回転位置に対応するアイボックスの座標情報がシステム制御部６ＡのＲＯＭに記憶されている。
　システム制御部６Ａは、上述した眼位置検出部６１と追従制御部６２とを備える。
　システム制御部６Ａの追従制御部６２は、撮像部１２から取得される撮像画像データにおけるアイボックスの外側に、眼位置検出部６１により検出された２つの眼の少なくとも一方が存在する状態で、回転機構１３によって凹面鏡５を回転させてアイボックスを移動させて、この２つの眼の位置をアイボックス内に収める追従制御を行う。
　また、システム制御部６Ａの追従制御部６２は、眼位置検出部６１により検出された運転者の２つの眼の位置と、凹面鏡５の回転位置に対応するアイボックスの座標情報とから、撮像画像データにおけるアイボックス外に存在する運転者の眼の数を判定し、判定した眼の数と、自動車１の走行状態とに基づいて、追従制御を行うか否かを決定する。追従制御を行うか否かの決定方法は、図５又は図６で説明したのと同じである。
　このように、コンバイナ９ではなく、凹面鏡５を回転させることでアイボックスを移動させることのできる投写表示システムにおいても、システム制御部６Ａの制御によって、運転者に負担をかけることなく、必要な情報を提供することができる。
　なお、投写表示システム１００Ａが、コンバイナ９を回転させるための回転機構を更に有する構成であってもよい。この場合は、コンバイナ９の回転位置と凹面鏡５の回転位置との組み合わせでアイボックスの位置が決まる。このため、システム制御部６Ａは、図５又は図６のステップＳ１２及びステップＳ１３の判定を行う際に、コンバイナ９の回転位置と凹面鏡５の回転位置との組み合わせに対応するアイボックスの座標情報を用いればよい。
　また、投写表示システム１００Ａでは、コンバイナ９を削除し、フロントウインドシールド２の一部の範囲に波長選択膜７を形成し、この範囲を投写面として画像光を投写することも可能である。
　ここまでの投写表示システムでは、コンバイナ９と凹面鏡５の一方又は両方が回転することでアイボックスが重力方向に移動するものとした。この変形例として、コンバイナ９と凹面鏡５の一方又は両方が回転することでアイボックスが重力方向に垂直な水平方向（運転席と助手席の並ぶ方向）に移動可能な構成であってもよい。また、コンバイナ９と凹面鏡５の一方又は両方が回転することで、アイボックスが重力方向と水平方向のそれぞれに移動可能な構成であってもよい。
　以上のように、本明細書には以下の事項が開示されている。
　開示された投写型表示装置は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写表示部と、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出部と、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御部と、を備え、上記制御部は、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。
　開示された投写型表示装置は、上記走行状態は、上記乗り物の走行速度を含むものである。
　開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が１つである場合には、上記乗り物の走行速度が閾値以下となった場合に上記追従制御を行うものである。
　開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が１つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに上記追従制御を実行するものである。
　開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行うものである。
　開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つである場合に行う上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。
　開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに、上記追従制御時における上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度を予め決められた値に設定するものである。
　開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行い、上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。
　開示された投写型表示装置は、上記制御部は、上記乗り物が後退している走行状態の場合には、上記範囲外に存在する眼の数に関わらずに、上記追従制御を非実行とするものである。
　開示された投写型表示装置は、上記投写表示部は、上記画像データに基づく虚像を表示させるものである。
　開示された投写制御方法は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御方法であって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、を備え、上記制御ステップは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。
　開示された投写制御方法は、上記走行状態は、上記乗り物の走行速度を含むものである。
　開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が１つである場合には、上記乗り物の走行速度が閾値以下となった場合に上記追従制御を行うものである。
　開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が１つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに上記追従制御を実行するものである。
　開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行うものである。
　開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つである場合に行う上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。
　開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに、上記追従制御時における上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度を予め決められた値に設定するものである。
　開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行い、上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。
　開示された投写制御方法は、上記制御ステップは、上記乗り物が後退している走行状態の場合には、上記範囲外に存在する眼の数に関わらずに、上記追従制御を非実行とするものである。
　開示された投写制御方法は、上記画像データに基づく画像は虚像であるものを含む。
　開示された投写制御プログラムは、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御プログラムであって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、をコンピュータに実行させるためのプログラムであり、上記制御ステップでは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。
　本発明によれば、乗り物の運転者に対して負担をかけることなく必要なときには必要な情報を運転者に提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供することができる。
　以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
　本出願は、２０１６年３月２日出願の日本特許出願（特願２０１６－０４０４２２）に基づくものであり、その内容はここに取り込まれる。
１００，１００Ａ　投写表示システム
１０，１０Ａ　ＨＵＤ
１　自動車
２　フロントウインドシールド
３　ダッシュボード
４　画像光生成部
５　凹面鏡
６，６Ａ　システム制御部
７　波長選択膜
８　透明板
９　コンバイナ
１１，１３　回転機構
１２　撮像部
４０　光源ユニット
４０Ａ　光源制御部
４１ｒ　Ｒ光源
４１ｇ　Ｇ光源
４１ｂ　Ｂ光源
４２ｒ，４２ｇ，４２ｂ　コリメータレンズ
４３　ダイクロイックプリズム
４４　光変調素子
４５　駆動部
４６　拡散部材
６１　眼位置検出部
６２　追従制御部

Claims (21)

  1. 　光源から出射される光を入力された画像データに基づいて空間変調し、前記空間変調して得られた画像光を乗り物の投写面に投写して前記画像データに基づく画像を表示させる投写表示部と、
    　撮像部により前記乗り物の運転者を撮像して得られた撮像画像データに基づいて、前記撮像画像データにおける前記運転者の２つの眼の位置を検出する眼位置検出部と、
    　前記撮像画像データにおける前記画像が前記運転者により視認可能となる範囲の外側に前記２つの眼の少なくとも一方が存在する状態で、前記投写面に対する前記画像光の投写角度を制御して、前記２つの眼の位置を前記範囲内に収める追従制御を行う制御部と、を備え、
    　前記制御部は、前記範囲外に存在する眼の数と前記乗り物の走行状態とに基づいて、前記追従制御を行うか否かを決定する投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記走行状態は、前記乗り物の走行速度を含む投写型表示装置。
  3. 　請求項２記載の投写型表示装置であって、
    　前記制御部は、前記範囲外に存在する眼の数が１つである場合には、前記乗り物の走行速度が閾値以下となった場合に前記追従制御を行う投写型表示装置。
  4. 　請求項３記載の投写型表示装置であって、
    　前記制御部は、前記範囲外に存在する眼の数が１つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに前記追従制御を実行する投写型表示装置。
  5. 　請求項３又は４記載の投写型表示装置であって、
    　前記制御部は、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行う投写型表示装置。
  6. 　請求項５記載の投写型表示装置であって、
    　前記制御部は、前記範囲外に存在する眼の数が２つである場合に行う前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写型表示装置。
  7. 　請求項６記載の投写型表示装置であって、
    　前記制御部は、前記範囲外に存在する眼の数が２つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに、前記追従制御時における前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度を予め決められた値に設定する投写型表示装置。
  8. 　請求項１又は２記載の投写型表示装置であって、
    　前記制御部は、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行い、前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写型表示装置。
  9. 　請求項１～８のいずれか１項記載の投写型表示装置であって、
    　前記制御部は、前記乗り物が後退している走行状態の場合には、前記範囲外に存在する眼の数に関わらずに、前記追従制御を非実行とする投写型表示装置。
  10. 　請求項１～９のいずれか１項記載の投写型表示装置であって、
    　前記投写表示部は、前記画像データに基づく虚像を表示させる投写型表示装置。
  11. 　光源から出射される光を入力された画像データに基づいて空間変調し、前記空間変調して得られた画像光を乗り物の投写面に投写して前記画像データに基づく画像を表示させる投写制御方法であって、
    　撮像部により前記乗り物の運転者を撮像して得られた撮像画像データに基づいて、前記撮像画像データにおける前記運転者の２つの眼の位置を検出する眼位置検出ステップと、
    　前記撮像画像データにおける前記画像が前記運転者により視認可能となる範囲の外側に前記２つの眼の少なくとも一方が存在する状態で、前記投写面に対する前記画像光の投写角度を制御して、前記２つの眼の位置を前記範囲内に収める追従制御を行う制御ステップと、を備え、
    　前記制御ステップは、前記範囲外に存在する眼の数と前記乗り物の走行状態とに基づいて、前記追従制御を行うか否かを決定する投写制御方法。
  12. 　請求項１１記載の投写制御方法であって、
    　前記走行状態は、前記乗り物の走行速度を含む投写制御方法。
  13. 　請求項１２記載の投写制御方法であって、
    　前記制御ステップは、前記範囲外に存在する眼の数が１つである場合には、前記乗り物の走行速度が閾値以下となった場合に前記追従制御を行う投写制御方法。
  14. 　請求項１３記載の投写制御方法であって、
    　前記制御ステップは、前記範囲外に存在する眼の数が１つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに前記追従制御を実行する投写制御方法。
  15. 　請求項１３又は１４記載の投写制御方法であって、
    　前記制御ステップは、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行う投写制御方法。
  16. 　請求項１５記載の投写制御方法であって、
    　前記制御ステップは、前記範囲外に存在する眼の数が２つである場合に行う前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写制御方法。
  17. 　請求項１６記載の投写制御方法であって、
    　前記制御ステップは、前記範囲外に存在する眼の数が２つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに、前記追従制御時における前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度を予め決められた値に設定する投写制御方法。
  18. 　請求項１１又は１２記載の投写制御方法であって、
    　前記制御ステップは、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行い、前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写制御方法。
  19. 　請求項１１～１８のいずれか１項記載の投写制御方法であって、
    　前記制御ステップは、前記乗り物が後退している走行状態の場合には、前記範囲外に存在する眼の数に関わらずに、前記追従制御を非実行とする投写制御方法。
  20. 　請求項１１～１９のいずれか１項記載の投写制御方法であって、
    　前記画像データに基づく画像は虚像である投写制御方法。
  21. 　光源から出射される光を入力された画像データに基づいて空間変調し、前記空間変調して得られた画像光を乗り物の投写面に投写して前記画像データに基づく画像を表示させる投写制御プログラムであって、
    　撮像部により前記乗り物の運転者を撮像して得られた撮像画像データに基づいて、前記撮像画像データにおける前記運転者の２つの眼の位置を検出する眼位置検出ステップと、
    　前記撮像画像データにおける前記画像が前記運転者により視認可能となる範囲の外側に前記２つの眼の少なくとも一方が存在する状態で、前記投写面に対する前記画像光の投写角度を制御して、前記２つの眼の位置を前記範囲内に収める追従制御を行う制御ステップと、をコンピュータに実行させるためのプログラムであり、
    　前記制御ステップでは、前記範囲外に存在する眼の数と前記乗り物の走行状態とに基づいて、前記追従制御を行うか否かを決定する投写制御プログラム。
PCT/JP2017/002125 2016-03-02 2017-01-23 投写型表示装置、投写制御方法、及び、投写制御プログラム WO2017149995A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018502582A JP6357601B2 (ja) 2016-03-02 2017-01-23 投写型表示装置、投写制御方法、及び、投写制御プログラム
CN201780014571.2A CN108698513B (zh) 2016-03-02 2017-01-23 投影型显示装置、投影控制方法及记录介质
US16/118,470 US10746988B2 (en) 2016-03-02 2018-08-31 Projection display device, projection control method, and non-transitory computer readable medium storing projection control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016040422 2016-03-02
JP2016-040422 2016-03-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/118,470 Continuation US10746988B2 (en) 2016-03-02 2018-08-31 Projection display device, projection control method, and non-transitory computer readable medium storing projection control program

Publications (1)

Publication Number Publication Date
WO2017149995A1 true WO2017149995A1 (ja) 2017-09-08

Family

ID=59742706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002125 WO2017149995A1 (ja) 2016-03-02 2017-01-23 投写型表示装置、投写制御方法、及び、投写制御プログラム

Country Status (4)

Country Link
US (1) US10746988B2 (ja)
JP (1) JP6357601B2 (ja)
CN (1) CN108698513B (ja)
WO (1) WO2017149995A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087714A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 ヘッドアップディスプレイ装置
WO2023022024A1 (ja) * 2021-08-20 2023-02-23 京セラ株式会社 空中像表示装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780226B (zh) * 2016-03-09 2019-09-27 富士胶片株式会社 投影型显示装置、投影控制方法、投影控制程序
FR3060138B1 (fr) * 2016-12-08 2019-07-05 Alstom Transport Technologies Vehicule ferroviaire comprenant un afficheur tete haute
CN108399903B (zh) * 2018-03-27 2020-11-27 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统
TWI637289B (zh) * 2018-05-18 2018-10-01 緯創資通股份有限公司 基於眼球追蹤的顯示控制系統
DE102019004692B3 (de) * 2019-07-03 2020-11-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
CN110962797A (zh) * 2019-12-27 2020-04-07 上海昶枫科技有限公司 汽车电子转向柱锁控制系统及方法
CN113132701B (zh) * 2021-04-13 2021-12-24 深圳吉祥星科技股份有限公司 自动激光对焦及清楚度补偿方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0438829U (ja) * 1990-07-27 1992-04-02
JPH06247184A (ja) * 1993-03-01 1994-09-06 Aisin Seiki Co Ltd 車上表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2009292409A (ja) * 2008-06-09 2009-12-17 Yazaki Corp ヘッドアップディスプレイ装置
JP2011121402A (ja) * 2009-12-08 2011-06-23 Toshiba Corp 表示装置、表示方法及び移動体
JP2015134521A (ja) * 2014-01-16 2015-07-27 三菱電機株式会社 車両情報表示制御装置
JP2015225119A (ja) * 2014-05-26 2015-12-14 株式会社デンソー ヘッドアップディスプレイ装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2668043B2 (ja) 1990-06-04 1997-10-27 三菱電機株式会社 保護絶縁膜を有する半導体装置，その製造方法およびその製造装置
JP3727078B2 (ja) * 1994-12-02 2005-12-14 富士通株式会社 表示装置
JP4847627B1 (ja) 2010-09-21 2011-12-28 パイオニア株式会社 表示装置
DE102013208971A1 (de) 2013-05-15 2014-11-20 Robert Bosch Gmbh Vorrichtung und Verfahren zum Projizieren einer Bildinformation in ein Blickfeld eines Fahrzeuginsassen eines Fahrzeugs
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示系统及其显示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0438829U (ja) * 1990-07-27 1992-04-02
JPH06247184A (ja) * 1993-03-01 1994-09-06 Aisin Seiki Co Ltd 車上表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2009292409A (ja) * 2008-06-09 2009-12-17 Yazaki Corp ヘッドアップディスプレイ装置
JP2011121402A (ja) * 2009-12-08 2011-06-23 Toshiba Corp 表示装置、表示方法及び移動体
JP2015134521A (ja) * 2014-01-16 2015-07-27 三菱電機株式会社 車両情報表示制御装置
JP2015225119A (ja) * 2014-05-26 2015-12-14 株式会社デンソー ヘッドアップディスプレイ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087714A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 ヘッドアップディスプレイ装置
WO2023022024A1 (ja) * 2021-08-20 2023-02-23 京セラ株式会社 空中像表示装置

Also Published As

Publication number Publication date
US10746988B2 (en) 2020-08-18
JP6357601B2 (ja) 2018-07-11
CN108698513A (zh) 2018-10-23
CN108698513B (zh) 2019-06-18
US20180373033A1 (en) 2018-12-27
JPWO2017149995A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
JP6357601B2 (ja) 投写型表示装置、投写制御方法、及び、投写制御プログラム
JP6462194B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
US10732408B2 (en) Projection type display device and projection display method
JP5772841B2 (ja) 車両用表示装置
WO2016103937A1 (ja) 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
WO2015182026A1 (ja) ヘッドアップディスプレイ装置
JP6620250B2 (ja) 投写型表示装置、その表示制御方法及びプログラム
JP6432002B2 (ja) 投写型表示装置、投写制御方法、投写制御プログラム
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
WO2016103935A1 (ja) 投写型表示装置及びその光源制御方法
WO2017047132A1 (ja) 投写型表示装置及び投写制御方法
JP6464326B2 (ja) 投写型表示装置及びその制御方法
JP2011166396A (ja) 走査型表示装置
WO2020166268A1 (ja) 虚像表示装置
JP6432001B2 (ja) 投写型表示装置、投写制御方法、及び、投写制御プログラム
WO2019087714A1 (ja) ヘッドアップディスプレイ装置
WO2018110038A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
WO2017110014A1 (ja) 画像表示装置、画像表示方法および制御プログラム
JP2017149354A (ja) ヘッドアップディスプレイ装置
JP2020157779A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018502582

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17759467

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17759467

Country of ref document: EP

Kind code of ref document: A1