WO2017047132A1 - 投写型表示装置及び投写制御方法 - Google Patents

投写型表示装置及び投写制御方法 Download PDF

Info

Publication number
WO2017047132A1
WO2017047132A1 PCT/JP2016/057562 JP2016057562W WO2017047132A1 WO 2017047132 A1 WO2017047132 A1 WO 2017047132A1 JP 2016057562 W JP2016057562 W JP 2016057562W WO 2017047132 A1 WO2017047132 A1 WO 2017047132A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
unit
windshield
line
sight
Prior art date
Application number
PCT/JP2016/057562
Other languages
English (en)
French (fr)
Inventor
広大 藤田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2017539704A priority Critical patent/JP6271820B2/ja
Priority to CN201680052918.8A priority patent/CN108028901B/zh
Publication of WO2017047132A1 publication Critical patent/WO2017047132A1/ja
Priority to US15/905,750 priority patent/US20180178650A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/61—Specially adapted for utility vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor

Definitions

  • the present invention relates to a projection display device and a projection control method.
  • HUD Head-up Display
  • a vehicle that uses a windshield of a vehicle such as an automobile or a combiner arranged near the windshield as a screen and projects light onto the screen to display an image.
  • the user can cause the driver to visually recognize an image based on the light projected from the HUD as a real image on the screen or as a virtual image in front of the screen.
  • Patent Document 1 and Patent Document 2 describe a machine equipped with a HUD as a construction machine, which is a variety of machines used for construction and civil engineering, such as an excavator loader and a crane.
  • Patent Document 3 describes a construction machine equipped with a projector that projects image light onto a windshield.
  • a construction machine unlike a vehicle whose main purpose is transportation of an automobile or the like, an operator's line of sight is frequently moved particularly in the vertical direction. Also, unlike a vehicle whose main purpose is transportation, the range of movement of the line of sight of the operator in the vertical direction is wide. Further, in the construction machine, the operator's line of sight moves in accordance with the movement of the power shovel and / or bucket to be operated. In addition, since construction machines perform work by operating a power shovel and / or a bucket finely, it is desirable that the visibility in front of the windshield is sufficiently secured when there is a windshield. For these reasons, in a construction machine having a windshield in front of the operator seat, it is preferable to make the virtual image visible in a wide range of the windshield.
  • the construction machine described in Patent Document 1 has a semi-transparent spherical reflector having a size sufficient to cover the entire field of view required for the operator's work, and projection for projecting light onto the semi-transparent spherical reflector.
  • a virtual image can be visually recognized in a wide range by combining with a projection unit having a variable direction.
  • the optical design of the semi-transparent spherical reflector is difficult, and since a large semi-transparent spherical reflector is used, the manufacturing cost of the construction machine increases.
  • the semi-transparent spherical reflector may be damaged due to vibration during operation of the construction machine, and the workability and reliability such as image blurring will also deteriorate.
  • Patent Document 2 projects light onto the windshield from the operator's feet. For this reason, when the operator's line of sight is directed upward, the operator cannot make the virtual image visible, and the virtual image cannot be presented in a wide range.
  • Patent Document 3 presents a real image to an operator by projecting image light onto a windshield with a projector. For this reason, the field of view at the portion where the image light is projected is deteriorated, which may reduce the working efficiency.
  • each projection unit includes a light source or the like, so that the power consumption of the construction machine increases or the room temperature of the operation room rises due to the heat generated by the projection unit.
  • the present invention has been made in view of the above circumstances, and can make a virtual image visible in a wide range in front of the windshield of the work machine without increasing the manufacturing cost and power consumption of the work machine.
  • An object is to provide a mold display device and a projection control method.
  • a projection display device of the present invention includes a projection unit that projects image light, and a projection unit drive mechanism that changes a projection optical axis of the image light by the projection unit, and includes a head of an operator of the work machine.
  • a reflection member having a reflection surface for reflecting the image light projected from the projection unit to the windshield of the work machine; a reflection member driving mechanism for changing the angle of the reflection surface with respect to the windshield; Based on the line of sight detected by the line-of-sight detection unit, the projection optical axis of the projection unit is controlled through the projection unit driving mechanism in a direction crossing the reflecting surface of the reflecting member, and the reflection through the reflecting member driving mechanism.
  • Part A control unit for controlling the angle of the reflecting surface in which comprises a.
  • the projection control method of the present invention includes a projection unit that projects image light, and a projection unit drive mechanism that changes the projection optical axis of the image light by the projection unit, and is provided on the head of the operator of the work machine.
  • a projection control method for a projection display device comprising: a reflecting member having a reflecting surface for reflecting to the windshield; and a reflecting member driving mechanism for changing an angle of the reflecting surface with respect to the windshield, Based on the line-of-sight detection step for detecting the line of sight of the operator and the line of sight detected by the line-of-sight detection step, the projection optical axis of the projection unit intersects the reflection surface of the reflection member via the projection unit drive mechanism. Controlling the direction in which and a control step of controlling the angle of the reflecting surface of the reflecting member via the reflecting member drive mechanism.
  • the present invention it is possible to provide a projection display device and a projection control method capable of making a virtual image visible in a wide range in front of the windshield of the work machine without increasing the manufacturing cost of the work machine. it can.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a construction machine 100 equipped with a HUD system 10 which is an embodiment of a projection display device of the present invention. It is a figure which shows the structural example in the cab in the construction machine 100 shown in FIG. It is a schematic diagram which shows the internal structure of the unit 2 which comprises the HUD system 10 shown in FIG.
  • FIG. 6 is a diagram for explaining a control example of the projection optical axis of image light from the unit 2 and the angle of the reflection surface of the reflection member 5. It is a figure which shows the example of control of the projection optical axis when an operator's eyes
  • FIG. 1 is a schematic diagram showing a schematic configuration of a construction machine 100 equipped with a HUD system 10 which is an embodiment of a projection display device of the present invention.
  • the HUD system 10 shown in FIG. 1 is used by being mounted on the construction machine 100, but can be mounted not only on the construction machine but also on a working machine such as an agricultural machine. That is, the HUD system 10 shown in FIG. 1 is used by being mounted on a working machine such as a construction machine or an agricultural machine.
  • the HUD system 10 shown in FIG. 1 includes a unit 2 fixed to the helmet 1 worn by the operator on the head and a state in which the operator is seated on the operation seat 8 of the construction machine 100 than the operator's head.
  • the reflecting member 3 provided in the upper driver's cab (the ceiling in the example of FIG. 1), the reflecting member driving mechanism 4 that rotatably supports the reflecting member 3 above the driver's cab, and the operator is seated in the operation seat 8.
  • the reflecting member 5 provided in the driver's cabin below the operator's head (on the dashboard 9 in the example of FIG. 1), and the reflecting member that rotatably supports the reflecting member 5 on the dashboard 9
  • the unit 2 may be configured to be removable from the helmet 1 in addition to the configuration integrated with the helmet 1.
  • the helmet 1 is a hat-shaped protective member that protects a human head, and is worn by an operator who rides on the construction machine 100.
  • the unit 2 projects image light on the condition that the virtual image can be visually recognized in front of the windshield 7 of the construction machine 100.
  • the unit 2 is fixed to the right side surface or the left side surface (right side surface in the example of FIG. 1) of the helmet 1 so that the projection direction (projection optical axis) of the image light can be changed according to the line of sight of the operator. It has become.
  • the reflection member 3 has a reflection surface 3 a for reflecting the image light projected from the unit 2 fixed to the helmet 1 to the windshield 7.
  • the reflection member drive mechanism 4 rotates the reflection member 3 to change the angle of the reflection surface 3 a with respect to the windshield 7.
  • the reflecting surface 3a may be a surface coated with a material having a high light reflectance, and a mirror is used as the reflecting member 3, for example.
  • the reflection member 5 has a reflection surface 5 a for reflecting the image light projected from the unit 2 fixed to the helmet 1 to the windshield 7.
  • the reflection member drive mechanism 6 rotates the reflection member 5 to change the angle of the reflection surface 5 a with respect to the windshield 7.
  • the reflection surface 5a may be a surface coated with a material having a high light reflectance, and a mirror is used as the reflection member 5, for example.
  • the reflection member 3 and the reflection member 5 are provided in the cab of the construction machine 100 so as to be separated from each other in the direction of gravity (the vertical direction in FIG. 1), and thus are emitted from the unit 2 fixed to the helmet 1. Reflects light at various angles.
  • These two reflecting members 3 and 5 constitute the reflecting member of the HUD system 10. Further, the two reflecting member driving mechanisms 4 and the reflecting member driving mechanism 6 constitute a reflecting member driving mechanism of the HUD system 10.
  • the unit 2 is fixed to the helmet 1 worn by the operator, and the projection optical axis of the image light can be changed.
  • the reflecting member 3 and the reflecting member 5 are provided in the cab of the construction machine 100 so as to be separated and rotated in the direction of gravity. With such a configuration, a virtual image can be presented to the operator over a wide range of the windshield 7.
  • the operator of the construction machine 100 can visually recognize information such as pictures and characters for supporting the operation of the construction machine 100 by viewing the image light projected onto the windshield 7 and reflected here.
  • the windshield 7 has a function of reflecting image light projected from the unit 2 and transmitting light from the outside (external environment) at the same time. For this reason, the operator can visually recognize the virtual image based on the image light projected from the unit 2 so as to be superimposed on the outside scene.
  • FIG. 2 is a diagram illustrating a configuration example in the cab of the construction machine 100 illustrated in FIG.
  • FIG. 2 shows a front view of the windshield 7 as viewed from the operation seat 8.
  • the construction machine 100 is a hydraulic excavator provided with an arm 21 and a bucket 22 in the front center part of the machine body.
  • the cab is surrounded by transparent windows such as a windshield 7 as a front window, a right side window 23, and a left side window 24, and at least a left operation lever 25 for operating the bending and extension of the arm 21, and A right operation lever 26 and the like for operating excavation and opening of the bucket 22 are provided around the operation seat 8.
  • transparent windows such as a windshield 7 as a front window, a right side window 23, and a left side window 24, and at least a left operation lever 25 for operating the bending and extension of the arm 21, and
  • a right operation lever 26 and the like for operating excavation and opening of the bucket 22 are provided around the operation seat 8.
  • a projection range 7A is assigned to the windshield 7 as an area where the image light projected from the unit 2 is projected, and the image light is reflected and at the same time, light from the outside (external environment) is transmitted.
  • FIG. 3 is a schematic diagram showing the internal configuration of the unit 2 shown in FIG.
  • the unit 2 includes a projection unit 2A including a light source unit 40, a drive unit 45, a projection optical system 46, a diffusion plate 47, a reflection mirror 48, a magnifying mirror 49, and a projection unit drive mechanism 50, a system control unit 60, and a line-of-sight detection unit. 61 and a control unit 2B including a power supply unit 62.
  • Projection unit 2A and control unit 2B may be configured separately or may be configured as a single unit.
  • the light source unit 40 includes a light source controller 40A, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism A collimator lens 42 b provided between the light source 43 and the light modulation element 44.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path. That is, the dichroic prism 43 transmits the red light that has been collimated by the collimator lens 42 r and emits the red light to the light modulation element 44. The dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the light source unit 40 includes three light sources, that is, an R light source 41r, a G light source 41g, and a B light source 41b, but the number of light sources is one, two, or four or more. There may be.
  • the light source control unit 40A sets the light emission amounts of the R light source 41r, the G light source 41g, and the B light source 41b to a predetermined light emission amount pattern, and the R light source 41r, the G light source 41g, and the B light source are set according to the light emission amount pattern. Control is performed to sequentially emit light from the light source 41b.
  • the light modulation element 44 modulates the light emitted from the dichroic prism 43 and supplies light (red image light, blue image light, and green image light) corresponding to the projection image data that is image information to the projection optical system 46. Exit.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • MEMS Micro Electro Mechanical Systems
  • the drive unit 45 drives the light modulation element 44 in accordance with the projection image data input from the system control unit 60, and emits light (red image light, blue image light, and green image light) according to the projection image data.
  • the light is emitted to the projection optical system 46.
  • the projection optical system 46 is an optical system for projecting visible light emitted from the light modulation element 44 of the light source unit 40 onto the diffusion plate 47.
  • the optical system is not limited to a lens, and a scanner can also be used.
  • the light emitted from the scanning scanner may be diffused by the diffusion plate 47 to form a surface light source.
  • the reflection mirror 48 reflects the light diffused by the diffusion plate 47 toward the magnifier 49.
  • the magnifying mirror 49 enlarges an image based on the light reflected by the reflecting mirror 48 and projects it on the windshield 7.
  • the projection unit of the HUD system 10 that projects image light based on projection image data is configured by the light source unit 40, the projection optical system 46, the diffusion plate 47, the reflection mirror 48, and the magnifying mirror 49 in the projection unit 2A.
  • the projection drive mechanism 50 is a drive mechanism for changing the projection optical axis of the image light projected from the projection unit 2A, and changes the projection optical axis by rotating the projection unit 2A.
  • the projection unit driving mechanism 50 is controlled by the system control unit 60. When the projection unit 2A rotates, the projection optical axis of the image light emitted from the projection unit 2A is changed.
  • the system control unit 60 controls the light source control unit 40A, the drive unit 45, and the projection unit drive mechanism 50.
  • the system control unit 60 controls the drive unit 45 and the light source control unit 40A to project image light based on the projection image data.
  • the system control unit 60 controls the projection unit driving mechanism 50 to rotate the projection unit 2A to control the projection optical axis of the image light emitted from the projection unit 2A.
  • the system controller 60 can wirelessly communicate with the reflecting member driving mechanism 4 and the reflecting member driving mechanism 6, and controls the angle of the reflecting surface 3 a of the reflecting member 3 with respect to the windshield 7 via the reflecting member driving mechanism 4. And the angle with respect to the windshield 7 of the reflective surface 5a of the reflective member 5 is controlled via the reflective member drive mechanism 6.
  • the system control unit 60 constitutes a control unit of the HUD system 10. Detailed functions of the system control unit 60 will be described later.
  • the line-of-sight detection unit 61 detects the line of sight of the operator and inputs information indicating the detected line of sight of the operator to the system control unit 60.
  • the operator's line-of-sight detection method includes, for example, the following first detection method and second detection method, but is not limited to these methods.
  • the imaging unit is mounted on the dashboard 9 of the construction machine 100, the imaging unit images the face of the operator seated on the operation seat 8, and the captured image data is detected by wireless communication. Forward to 61.
  • the line-of-sight detection unit 61 analyzes the captured image data by a known image analysis process, and detects the line-of-sight direction of the operator.
  • an acceleration sensor is mounted on the control unit 2B of the unit 2. Since the control unit 2B is fixed to the helmet 1, the acceleration information output from the acceleration sensor is information corresponding to the movement of the head of the operator. By determining how much the head is tilted based on this acceleration information, the line-of-sight direction of the operator can be detected with rough accuracy.
  • the power supply unit 62 is a power supply device that supplies power to the system control unit 60 and the line-of-sight detection unit 61 and supplies power to the entire projection unit 2A.
  • the power supply unit 62 may be a replaceable battery type or a rechargeable battery type. Since the unit 2 is operated by a battery by the power supply unit 62, the unit 2 does not need to receive power supply from the construction machine 100, and the fuel efficiency of the construction machine 100 can be improved. Further, power may be supplied to the unit 2 by wireless power feeding.
  • the system control unit 60 refers to a table stored in advance in an internal memory (not shown) based on the operator's line of sight detected by the line of sight detection unit 61, and adjusts data corresponding to the line of sight of the operator And the reflecting member driving mechanism 4, the reflecting member driving mechanism 6, and the projection unit driving mechanism 50 are controlled based on the read adjustment data.
  • the line-of-sight direction, the rotation angle of the projection unit 2A, and the rotation angle of the reflection member 3 or the reflection member 5 are associated and stored as adjustment data.
  • the image light emitted from the projection unit 2A is transmitted from the line-of-sight direction A1 to the operator. It needs to be incident on the eyes.
  • the projection unit 2A since the projection unit 2A is mounted on the operator's head, the projection unit 2A is at a position deviated from the operator's line of sight, and the windshield 7 is not configured vertically. For this reason, when the image light is directly projected from the projection unit 2A onto the windshield 7, it is difficult to make the image light enter the eyes of the operator from the line-of-sight direction A1.
  • an angle formed between the line-of-sight direction A1 and the normal direction of the windshield 7 at the intersection of the line-of-sight direction A1 and the windshield 7 is an angle ⁇ 2
  • light traveling in the line-of-sight direction A1 from the operator's eyes When the angle between the direction A2 of the reflected light and the normal direction of the reflection surface 5a when specularly reflected at the above-mentioned intersection position of the shield 7 is an angle ⁇ 1, the normal line of the reflection surface 5a of the reflection member 5 from the projection unit 2A
  • the image light can be incident on the operator's eyes from the line-of-sight direction A1.
  • a combination of the rotation amount of the projection unit 2A and the rotation amount of the reflection surface 5a for realizing that the image light is incident on the reflection surface 5a at an angle ⁇ 1 with respect to the line of sight of the operator. are associated with each other and generated as adjustment data.
  • the amount of rotation of the reflecting surface of the reflecting member 5 (or the reflecting member 3) and the amount of rotation of the projection unit 2A are such that the image light is incident on the operator's eyes from the line of sight of the operator. It is obtained for each person's line-of-sight direction and is stored in advance in the internal memory as adjustment data.
  • the adjustment data is generated in advance and stored in the internal memory.
  • the adjustment data is generated in real time using the design information of the construction machine 100 and the structure and arrangement information of the reflecting member 4 and the reflecting member 6. You may calculate and use.
  • FIG. 5 is a diagram showing a control example of the projection optical axis of image light when the operator's line of sight is facing upward.
  • the system control unit 60 adjusts the internal memory to correspond to the line-of-sight direction detected by the line-of-sight detection unit 61. Read data.
  • the system control unit 60 controls the projection unit driving mechanism 50 and the reflecting member driving mechanism 4 based on the read adjustment data.
  • the projection unit driving mechanism 50 and the reflecting member driving mechanism 4 are configured so that the angle formed by the projection optical axis of the image light emitted from the projection unit 2A and the normal direction of the reflecting surface 3a of the reflecting member 3 is ⁇ 3. The amount of rotation of the projection unit 2A and the reflecting member 3 is controlled.
  • the image light emitted from the projection unit 2A is incident on the reflecting member 3 at the incident angle ⁇ 3, reflected at the reflection angle ⁇ 3, and the image light is incident on the projection surface of the windshield 7 at the incident angle ⁇ 4. Then, the light is reflected at the reflection angle ⁇ 4 and enters the eyes of the operator.
  • the operator can reliably visually recognize the virtual image based on the image light projected on the windshield 7 even if the line of sight is directed upward.
  • FIG. 6 is a diagram illustrating an example of control of the projection optical axis of image light when the operator's line of sight faces downward.
  • the system control unit 60 When the gaze detection unit 61 detects that the operator's gaze is facing downward, the system control unit 60 is associated with the gaze direction detected by the gaze direction detection unit 61 from the internal memory. Read the adjustment data.
  • the system control unit 60 controls the projection unit driving mechanism 50 and the reflecting member driving mechanism 6 based on the read adjustment data.
  • the projection unit drive mechanism 50 and the reflection member drive mechanism 6 are configured so that the angle formed by the projection optical axis of the image light emitted from the projection unit 2A and the normal direction of the reflection surface 5a of the reflection member 5 is ⁇ 5. The amount of rotation of the projection unit 2A and the reflecting member 5 is controlled.
  • the image light emitted from the projection unit 2A is incident on the reflecting member 5 at the incident angle ⁇ 5 and reflected at the reflection angle ⁇ 5, and the image light is incident on the projection surface of the windshield 7 at the incident angle ⁇ 6. Then, the light is reflected at the reflection angle ⁇ 6 and enters the eyes of the operator.
  • the operator can reliably visually recognize a virtual image based on the image light projected on the windshield 7 even if the line of sight is directed downward.
  • the adjustment data has been described in which the line-of-sight direction, the rotation amount of the projection unit 2A, and the rotation amount of the reflecting member 3 or the reflecting member 5 are associated with each other.
  • the angle ⁇ 31 formed by the normal direction of the windshield 7 and the line-of-sight direction of the operator is equal to or smaller than the threshold, the method of reflecting the image light by the reflective surface 5a or the reflective surface 3a The image light cannot enter the eyes of the operator from the viewing direction. In this case, it is necessary to project the image light directly onto the windshield 7.
  • the rotation amount of the projection unit 2A for realizing that the image light is incident on the windshield 7 at an angle ⁇ 31 is associated with the line-of-sight direction of the operator, Stored as adjustment data.
  • FIG. 8 is a flowchart for explaining the operation of the HUD system 10 shown in FIG.
  • the line-of-sight detection unit 61 of the control unit 2B detects the line of sight of the operator (step S1).
  • the system control unit 60 reads adjustment data corresponding to the information on the gaze direction input from the gaze detection unit 61 from the internal memory (step S2).
  • the system control unit 60 controls at least one of the projection unit driving mechanism 50 and the reflecting member driving mechanism 4 or the reflecting member driving mechanism 6 based on the read adjustment data, and the projection unit 2A and the reflecting member 3 are controlled. (Or the reflecting member 5) is rotated (step S3).
  • step S3 image light based on the projection image data emitted from the projection unit 2A is projected onto the projection range 7A of the windshield 7.
  • the projection image data is data for displaying traveling speed information, fuel information, construction information, and the like of the construction machine 100, for example.
  • step S3 the process returns to step S1 and the above-described processing is repeated.
  • the unit 2 fixed to the helmet 1 worn by the operator and the reflecting member provided apart from each other in the direction of gravity. 3 and the reflecting member 5 can project image light over a wide range of the windshield 7.
  • the HUD system 10 has a configuration having only one projection unit 2A. For this reason, compared with the structure which mounts a some projection unit in the construction machine 100, the manufacturing cost of the HUD system 10 can be held down.
  • the projection unit 2A is fixed to the helmet 1, it is possible to present a virtual image in a wide range without being restricted by the space in the cab of the construction machine 100, so that the construction machine 100 can be designed. There is no impact.
  • the power consumption and heat generation of the HUD system 10 can be suppressed.
  • the unit 2 since the unit 2 operates with a battery, it is not necessary to consume the power of the construction machine 100 for the HUD system 10, and the fuel efficiency of the construction machine 100 can be improved.
  • the HUD system 10 it is possible to present a virtual image in a wide range by the unit 2, the reflection member 3 and the reflection member 5 having a simple structure. For this reason, compared with the case where the semi-transparent spherical reflector having a complicated structure is used, it is possible to realize a reduction in manufacturing cost of the device and an improvement in reliability of the device.
  • the unit 2 having the projection unit 2A and the control unit 2B is fixed to the helmet 1, but the control unit 2B is provided outside the unit 2, for example, inside the dashboard 9 of the construction machine 100. You may make it provide.
  • the power supply unit 62 is provided on the projection unit 2A side, and the system control unit 60 of the control unit 2B controls each unit of the projection unit 2A fixed to the helmet 1 by wireless communication.
  • the control unit 2B outside the unit 2 may be operated by a battery, or power may be supplied from a power supply unit (not shown) of the construction machine 100.
  • the unit 2 attached to the helmet 1 can be reduced in weight, and the burden on the operator wearing the helmet 1 can be reduced. .
  • FIG. 9 is a schematic diagram showing an internal configuration of a unit 2a that is a modification of the unit 2 shown in FIG. In FIG. 9, the same components as those in FIG.
  • the unit 2a shown in FIG. 9 is obtained by changing the control unit 2B in the unit 2 to the control unit 2Ba.
  • the control unit 2Ba has a configuration in which a shape data acquisition unit 63 is added to the configuration of the control unit 2B.
  • the shape data acquisition unit 63 acquires the shape data of the windshield 7 and inputs the acquired shape data to the system control unit 60.
  • a method of acquiring the shape data of the windshield 7 there is a method of acquiring shape data from a measuring device that measures the three-dimensional shape of an object provided in the construction machine 100.
  • a depth sensor is used for this measuring apparatus.
  • a method of calculating a distance to an object by a time-of-flight method using an infrared light emitting unit and an infrared light receiving unit, an object based on two captured image data obtained by imaging an object with two cameras A known method such as a method for calculating the distance to the object, a method for calculating the distance to the object based on a plurality of captured image data obtained by imaging an object at a plurality of positions while moving one camera, etc. can do.
  • a method for acquiring the shape data of the windshield 7 a method of storing the shape data of the windshield 7 measured in advance using the above measuring device in a memory and acquiring the shape data from the memory. There is.
  • the system control unit 60 determines an intersection position between the line of sight on the windshield 7 based on the line of sight of the operator detected by the line of sight detection unit 61 and the shape data acquired from the shape data acquisition unit 63. Then, the system control unit 60 calculates an angle ( ⁇ 2 in the example of FIG. 4) between the perpendicular direction of the windshield 7 at the intersection position and the visual line direction of the operator detected by the visual line detection unit 61.
  • the amount of rotation of the reflecting member 5 and the amount of rotation of the projection unit 2A necessary for making the image light incident at the incident angle ⁇ 2 with respect to the above-described intersection position of the windshield 7 Can be decided.
  • adjustment data in which this angle is associated with the rotation amount of the reflection member 3 or the reflection member 5 and the rotation amount of the projection unit 2A is stored in the internal memory.
  • the angle ⁇ 31 is small.
  • the amount of rotation of the projection unit 2A necessary for causing the image light to enter the intersection position of the windshield 7 at the incident angle ⁇ 31 and the angle ⁇ 31 are associated with each other and stored as adjustment data. Is done.
  • the system control unit 60 acquires adjustment data corresponding to the calculated angle, and controls the reflection member driving mechanism 4, the reflection member driving mechanism 6, and the projection unit driving mechanism 50 based on the adjustment data.
  • FIG. 10 is a flowchart for explaining the operation of the HUD system 10 having the unit 2a shown in FIG.
  • the line-of-sight detection unit 61 of the control unit 2Ba detects the line of sight of the operator, and the shape data acquisition unit 63 acquires the shape data of the windshield 7 (step S12).
  • the system control unit 60 determines the intersection position of the operator's line of sight and the windshield 7 based on the information on the line-of-sight direction input from the line-of-sight detection unit 61 and the shape data acquired by the shape data acquisition unit 63. (Step S13).
  • the system control unit 60 calculates an angle formed by the perpendicular direction of the windshield 7 at the intersection position determined in step S13 and the line-of-sight direction input from the line-of-sight detection unit 61 (step S14).
  • the system control unit 60 determines whether or not the calculated angle is equal to or smaller than the threshold value (step S15). If it is determined that the angle exceeds the threshold value (step S15: NO), the adjustment data corresponding to this angle Based on the above, the projection unit 2A and the reflecting member 3 or the reflecting member 5 are rotated (step S16).
  • step S16 the direction of the projection optical axis of the projection unit 2A is controlled to intersect the reflecting surface of the reflecting member 3 or the reflecting member 5, and the angle of the reflecting surface of the reflecting member 3 or the reflecting member 5 with respect to the windshield 7 is changed. Be controlled. Therefore, the image light based on the projection image data emitted from the projection unit 2A is reflected by the reflecting member 3 or the reflecting member 5 and projected to the above-mentioned intersection position of the windshield 7, where it is further reflected and operated. In the eyes of the other person.
  • step S15: YES the system control unit 60 rotates the projection unit 2A based on the adjustment data corresponding to this angle. Step S17).
  • step S17 the direction of the projection optical axis of the projection unit 2A is controlled to intersect with the windshield 7, and the angle of the reflecting surface of the reflecting member 3 or the reflecting member 5 with respect to the windshield 7 is not controlled. Therefore, the image light based on the projection image data emitted from the projection unit 2A is directly projected on the above-mentioned intersection position of the windshield 7, and is reflected here and enters the eyes of the operator.
  • step S16 or step S17 the process returns to step S12 and the above-described process is repeated.
  • the intersection position between the line of sight and the windshield 7 is determined based on the shape data of the windshield 7 and the line of sight of the operator, and from the determined intersection position
  • the projection unit 2A and the reflecting member 3 or the reflecting member 5 are rotated by a driving amount corresponding to the obtained angle between the perpendicular direction and the line-of-sight direction.
  • the shape of the windshield 7 varies depending on the model of the construction machine 100, and varies depending on manufacturing errors even if the model is the same. Therefore, by using the shape data of the windshield 7 measured by the measuring device, the drive amount (rotation amount) between the projection unit 2A and the reflection member 3 or the reflection member 5 is determined, so that the projection unit 2A and the reflection unit 2A are reflected. The rotation control with the member 3 or the reflecting member 5 can be performed more accurately.
  • the disclosed projection display device includes a projection unit that projects image light, and a projection unit drive mechanism that changes a projection optical axis of the image light by the projection unit, and includes a head of an operator of the work machine.
  • a reflection member having a reflection surface for reflecting the image light projected from the projection unit to the windshield of the work machine; a reflection member driving mechanism for changing the angle of the reflection surface with respect to the windshield; Based on the line of sight detected by the line-of-sight detection unit, the projection optical axis of the projection unit is controlled through the projection unit driving mechanism in a direction crossing the reflecting surface of the reflecting member, and the reflection through the reflecting member driving mechanism.
  • a control unit for controlling the angle of the reflecting surface in which comprises a.
  • the disclosed projection display apparatus further includes a shape data acquisition unit that acquires shape data of the windshield, and the control unit is acquired by the line of sight detected by the line-of-sight detection unit and the shape data acquisition unit. And a driving amount corresponding to an angle between the normal direction of the windshield and the direction of the line of sight at the determined position of the intersection. Thus, the projection unit and the reflection member are driven.
  • control unit controls the projection optical axis of the projection unit in a direction intersecting the windshield via the projection unit driving mechanism when the angle is equal to or less than a threshold value.
  • Image light is projected directly from the projection unit onto the windshield.
  • the unit is used by being fixed to a hat-shaped protective member that protects a human head.
  • control unit is built in the unit.
  • the unit is operated by a battery provided in the unit.
  • the reflecting member is composed of two reflecting members that are spaced apart from each other in the direction of gravity.
  • the disclosed projection control method includes a projection unit that projects image light and a projection unit drive mechanism that changes the projection optical axis of the image light by the projection unit, and is provided on the head of the operator of the work machine.
  • a projection control method for a projection display device comprising: a reflecting member having a reflecting surface for reflecting to the windshield; and a reflecting member driving mechanism for changing an angle of the reflecting surface with respect to the windshield, Based on the line-of-sight detection step for detecting the line of sight of the operator and the line of sight detected by the line-of-sight detection step, the projection optical axis of the projection unit intersects the reflection surface of the reflection member via the projection unit drive mechanism. That controls the direction, in which and a control step of controlling the angle of the reflecting surface of the reflecting member via the reflecting member drive mechanism.
  • the disclosed projection control method further includes a shape data acquisition step for acquiring the shape data of the windshield, and the control step is acquired by the line of sight detected by the line of sight detection step and the shape data acquisition step. Based on the shape data, an intersection position with the line of sight on the windshield is determined, and a driving amount corresponding to an angle formed by the normal direction of the windshield and the direction of the line of sight at the determined intersection position The projection unit and the reflection member are driven.
  • control step controls the projection optical axis of the projection unit in a direction intersecting the windshield via the projection unit driving mechanism when the angle is equal to or less than a threshold value.
  • Image light is projected directly onto the windshield from the projection unit.
  • the unit is used by being fixed to a hat-shaped protective member that protects a human head.
  • the unit is operated by a battery.
  • the reflecting member is composed of two reflecting members that are spaced apart from each other in the direction of gravity.
  • the present invention is highly convenient and effective when applied to work machines such as construction machines and agricultural machines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Instrument Panels (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業用機械の製造コストを増大させることなく、作業用機械のウインドシールド前方の広範囲において虚像を視認可能にすることのできる投写型表示装置及び投写制御方法を提供する。ウインドシールド７を有する建設機械１００に搭載される投写型表示装置は、操作者の視線を検出し、検出した視線方向に基づいて、ユニット２から出射される画像光の投写光軸を反射部材３（または反射部材５）と交わる方向に制御し、かつ、反射部材駆動機構４（または反射部材駆動機構６）を介して反射部材３（または反射部材５）の反射面の角度を制御し、ユニット２からの画像光をウインドシールド７に反射させる。

Description

投写型表示装置及び投写制御方法
　本発明は、投写型表示装置及び投写制御方法に関する。
　自動車等の乗り物のウインドシールド、または、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ－ｕｐ　Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、利用者は、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
　特許文献１及び特許文献２には、ショベルローダー及びクレーン等、建設および土木の作業に用いられるさまざまな機械類である建設機械としてＨＵＤを搭載したものが記載されている。
　特許文献３には、ウインドシールドに画像光を投写するプロジェクタを搭載する建設機械が記載されている。
特開２００２－１４６８４６号公報 特開２０１０－１８１４１号公報 特開２００９－２４３０７３号公報
　建設機械においては、自動車等の輸送を主目的とする乗り物とは違い、操作者の視線移動が特に縦方向において頻繁に行われる。また、輸送を主目的とする乗り物と違って操作者の縦方向における視線の移動範囲は広い。また、建設機械では、操作対象となるパワーショベルおよび／またはバケットの動きに合わせて操作者の視線が動くことになる。また、建設機械では、パワーショベルおよび／またはバケットを細かく操作して作業を行うことから、ウインドシールドがある場合には、ウインドシールド前方の視界は十分に確保されていることが望ましい。このような事情から、操作席前方にウインドシールドがある建設機械においては、このウインドシールドの広範囲にて虚像を視認できるようにすることが好ましい。
　特許文献１に記載の建設機械は、操作者の作業に必要とされる全視野をカバーするに充分な大きさを有する半透明球面反射鏡と、この半透明球面反射鏡に光を投写する投写方向が可変の投写部とを組み合わせることによって、広範囲で虚像を視認できるようにしている。しかし、この建設機械では、半透明球面反射鏡の光学設計が難しく、また、半透明球面反射鏡として大きいものを利用するため、建設機械の製造コストが高くなる。また、半透明球面反射鏡は、建設機械運転時の震動により破損する可能性がある、像がぶれる等の作業性および信頼性も悪くなる
　特許文献２に記載の建設機械は、操作者の足元からウインドシールドに光を投写するものである。このため、操作者の視線が上方向に向いている場合には、操作者に虚像を視認させることはできず、広範囲での虚像提示はできない。
　特許文献３に記載の建設機械は、ウインドシールドにプロジェクタによって画像光を投写して操作者に実像を提示するものである。このため、画像光が投写された部分での視界が悪くなり、作業効率を低下させる可能性がある。
　なお、操作者の眼の位置よりも上側と下側とにそれぞれ投写部を設置し、ウインドシールドの上側と下側とに画像光を投写して広範囲での虚像を視認させることが考えられる。しかし、この構成では投写部の数が多くなることによって建設機械の製造コストが増大する。また、建設機械の操作室の空間には限りがあり、複数の投写部を設けるだけのスペースを確保するのが難しい。また、複数の投写部を用いると、各投写部に光源等が含まれるため、建設機械の消費電力が大きくなったり、投写部の発熱によって操作室の室温が上昇したりする。
　ここまでは建設機械を例にして課題を説明してきたが、同様の課題はトラクタ等の農作機械およびその他の作業用機械においても生じ得る。つまり、建設機械および農作機械等の作業を行うための作業用機械であれば同様の課題が生じる。
　本発明は、上記事情に鑑みてなされたものであり、作業用機械の製造コストと消費電力を増大させることなく、作業用機械のウインドシールド前方の広範囲において虚像を視認可能にすることのできる投写型表示装置及び投写制御方法を提供することを目的とする。
　本発明の投写型表示装置は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記操作者の視線を検出する視線検出部と、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、上記視線検出部により検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御部と、を備えるものである。
　本発明の投写制御方法は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、を備える投写型表示装置の投写制御方法であって、上記操作者の視線を検出する視線検出ステップと、上記視線検出ステップにより検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御ステップと、を備えるものである。
　本発明によれば、作業用機械の製造コストを増大させることなく、作業用機械のウインドシールド前方の広範囲において虚像を視認可能にすることのできる投写型表示装置及び投写制御方法を提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤシステム１０を搭載する建設機械１００の概略構成を示す模式図である。 図１に示す建設機械１００における運転室内の構成例を示す図である。 図１に示すＨＵＤシステム１０を構成するユニット２の内部構成を示す模式図である。 ユニット２からの画像光の投写光軸と、反射部材５の反射面の角度との制御例を説明する図である。 操作者の視線が上方を向いている場合の投写光軸の制御例を示す図である。 操作者の視線が下方を向いている場合の投写光軸の制御例を示す図である。 操作者の視線がやや上方を向いている場合の投写光軸の制御例を示す図である。 図１に示すＨＵＤシステム１０の動作を説明するためのフローチャートである。 図３に示すユニット２の変形例であるユニット２ａの内部構成を示す模式図である。 図９に示すユニット２ａを有するＨＵＤシステム１０の動作を説明するためのフローチャートである。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投写型表示装置の一実施形態であるＨＵＤシステム１０を搭載する建設機械１００の概略構成を示す模式図である。
　図１に示すＨＵＤシステム１０は、建設機械１００に搭載されて用いられるものであるが、建設機械ではなく農作機械等の作業用機械にも搭載可能である。つまり、図１に示すＨＵＤシステム１０は、建設機械および農作機械等の作業用機械に搭載して用いられる。
　図１に示すＨＵＤシステム１０は、操作者が頭部に装着するヘルメット１に固定されるユニット２と、操作者が建設機械１００の操作席８に着席した状態で、操作者の頭部よりも上方の運転室内（図１の例では天井）に設けられる反射部材３と、反射部材３を運転室上方で回動可能に支持する反射部材駆動機構４と、操作者が操作席８に着席した状態で、操作者の頭部よりも下方の運転室内（図１の例ではダッシュボード９上）に設けられる反射部材５と、反射部材５をダッシュボード９上で回動可能に支持する反射部材駆動機構６と、を備える。ユニット２は、ヘルメット１と一体化されている構成の他、ヘルメット１に対し着脱可能な構成としてもよい。
　ヘルメット１は、人の頭部を保護する帽子型の保護部材であり、建設機械１００に乗車する操作者によって装着される。
　ユニット２は、建設機械１００のウインドシールド７の前方において虚像を視認可能な条件により画像光を投写する。ユニット２は、ヘルメット１の右側面または左側面（図１の例では右側面）に固定されており、操作者の視線に応じて画像光の投写方向（投写光軸）を変えることができるようになっている。
　反射部材３は、ヘルメット１に固定されたユニット２から投写された画像光をウインドシールド７に反射するための反射面３ａを有する。反射部材駆動機構４は、反射部材３を回動させて、ウインドシールド７に対する反射面３ａの角度を変更する。反射面３ａは、光の反射率が高い材料によりコーティングされた面であればよく、反射部材３としては例えば鏡が用いられる。
　反射部材５は、ヘルメット１に固定されたユニット２から投写された画像光をウインドシールド７に反射するための反射面５ａを有する。反射部材駆動機構６は、反射部材５を回動させて、ウインドシールド７に対する反射面５ａの角度を変更する。反射面５ａは、光の反射率が高い材料によりコーティングされた面であればよく、反射部材５としては例えば鏡が用いられる。
　反射部材３及び反射部材５は、建設機械１００の運転室内に、重力方向（図１の上下方向）に離間して設けられていることにより、ヘルメット１に固定されたユニット２から出射される画像光を様々な角度で反射する。
　これら２つの反射部材３及び反射部材５により、ＨＵＤシステム１０の反射部材が構成される。また、２つの反射部材駆動機構４及び反射部材駆動機構６により、ＨＵＤシステム１０の反射部材駆動機構が構成される。
　ＨＵＤシステム１０では、ユニット２が、操作者が装着するヘルメット１に固定されかつ画像光の投写光軸が変更可能となっている。また、反射部材３及び反射部材５が、建設機械１００の運転室内に、重力方向で離間して回動可能に設けられている。このような構成により、ウインドシールド７の広範囲にわたり操作者に虚像を提示することを可能にしている。
　建設機械１００の操作者は、ウインドシールド７に投写され、ここで反射された画像光を見ることによって、建設機械１００の操作を支援するための絵および文字等の情報を視認することができる。また、ウインドシールド７は、ユニット２から投写された画像光を反射すると同時に、外部（外界）からの光を透過する機能を持つ。このため、操作者は、ユニット２から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。
　図２は、図１に示す建設機械１００における運転室内の構成例を示す図である。図２は、ウインドシールド７を操作席８から見た正面図を示している。
　建設機械１００は、機体前方中央部に、アーム２１及びバケット２２を備える油圧ショベルである。
　運転室は、フロントウィンドウとしてのウインドシールド７、右サイドウィンドウ２３、左サイドウィンドウ２４等の透明ウィンドウに取り囲まれており、少なくとも、アーム２１の曲げ伸ばしを操作するための左操作レバー２５、及び、バケット２２の掘削および開放を操作するための右操作レバー２６等を操作席８周りに備える。
　ウインドシールド７には、ユニット２から投写された画像光が投写される領域として投写範囲７Ａが割り当てられており、画像光を反射すると同時に、外部（外界）からの光を透過する。
　図３は、図１に示すユニット２の内部構成を示す模式図である。
　ユニット２は、光源ユニット４０、駆動部４５、投写光学系４６、拡散板４７、反射ミラー４８、拡大鏡４９、及び投写部駆動機構５０を備える投写ユニット２Ａと、システム制御部６０、視線検出部６１、及び電源供給部６２、を備える制御ユニット２Ｂとで構成されている。
　投写ユニット２Ａ及び制御ユニット２Ｂは、別体として構成してもよいし、単体で構成しても良い。
　光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、光変調素子４４と、を備えている。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。本実施形態では、光源ユニット４０の光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むものとしているが、光源の数は１つ、２つ、又は、４つ以上であってもよい。
　光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから光を順次出射させる制御を行う。
　光変調素子４４は、ダイクロイックプリズム４３から出射された光を変調し、画像情報である投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、及び液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部６０から入力される投写用画像データにしたがって光変調素子４４を駆動し、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。
　投写光学系４６は、光源ユニット４０の光変調素子４４から出射された可視光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７により拡散させて面光源化してもよい。
　反射ミラー４８は、拡散板４７により拡散された光を拡大鏡４９側に反射させる。
　拡大鏡４９は、反射ミラー４８により反射されてきた光に基づく像を拡大させてウインドシールド７に投写する。
　投写ユニット２Ａ内の光源ユニット４０、投写光学系４６、拡散板４７、反射ミラー４８、及び拡大鏡４９により、投写用画像データに基づく画像光を投写するＨＵＤシステム１０の投写部が構成される。
　投写部駆動機構５０は、投写ユニット２Ａから投写される画像光の投写光軸を変更するための駆動機構であり、投写ユニット２Ａを回動させることによって投写光軸を変更する。投写部駆動機構５０はシステム制御部６０によって制御される。投写ユニット２Ａが回動することによって、投写ユニット２Ａから出射される画像光の投写光軸が変更される。
　システム制御部６０は、光源制御部４０Ａ、駆動部４５、及び投写部駆動機構５０を制御する。システム制御部６０は、駆動部４５と光源制御部４０Ａを制御して、投写用画像データに基づく画像光を投写させる。
　システム制御部６０は、投写部駆動機構５０を制御して、投写ユニット２Ａを回動させて、投写ユニット２Ａから出射される画像光の投写光軸を制御する。
　システム制御部６０は、反射部材駆動機構４及び反射部材駆動機構６と無線通信可能となっており、反射部材駆動機構４を介して反射部材３の反射面３ａのウインドシールド７に対する角度を制御し、かつ、反射部材駆動機構６を介して反射部材５の反射面５ａのウインドシールド７に対する角度を制御する。
　システム制御部６０により、ＨＵＤシステム１０の制御部が構成される。システム制御部６０の詳しい機能は後述する。
　視線検出部６１は、操作者の視線を検出し、検出した操作者の視線を示す情報をシステム制御部６０に入力する。
　操作者の視線の検出方法は、例えば以下に示す第一の検出方法、および第二の検出方法が挙げられるが、これらの方法に限らない。
（第一の検出方法）
　例えば、撮像部を建設機械１００のダッシュボード９に搭載しておき、この撮像部が、操作席８に着席している操作者の顔を撮像し、撮像した画像データを無線通信により視線検出部６１に転送する。そして、視線検出部６１は、撮像画像データを公知の画像解析処理により解析し、操作者の視線方向を検出する。
（第二の検出方法）
　例えば、ユニット２の制御ユニット２Ｂに加速度センサを搭載しておく。制御ユニット２Ｂは、ヘルメット１に固定されているため、この加速度センサから出力される加速度情報は、操作者の頭部の動きに応じた情報となる。この加速度情報に基づいて、頭部がどの程度傾いているかを判断することによって、操作者の視線方向を大まかな精度で検出することができる。
　電源供給部６２は、システム制御部６０及び視線検出部６１に電源を供給し、かつ、投写ユニット２Ａ全体へ電源を供給する電源装置である。電源供給部６２は、交換可能な電池式でもよいし、あるいは、充電可能なバッテリ式でもよい。電源供給部６２により、ユニット２は電池によって動作するため、ユニット２が建設機械１００からの電源供給を受けずに済み、建設機械１００の燃費向上が可能となる。また、ユニット２への電源供給をワイヤレス給電によって行う構成としてもよい。
　システム制御部６０は、視線検出部６１により検出された操作者の視線に基づいて、予め内部メモリ（図示せず）に記憶しておいたテーブルを参照し、操作者の視線に対応する調整データを読み出し、読み出した調整データに基づいて、反射部材駆動機構４、反射部材駆動機構６、及び投写部駆動機構５０を制御する。
　内部メモリに記憶されるテーブルには、視線方向と、投写ユニット２Ａの回動角度と、反射部材３または反射部材５の回動角度とが対応づけられ、調整データとして記憶されている。
　例えば、図４に示すように、操作者の視線が正面を向いている状況で、虚像を操作者に視認させるためには、投写ユニット２Ａから出射される画像光を、視線方向Ａ１から操作者の目に入射させる必要がある。しかし、投写ユニット２Ａは、操作者の頭部に装着されるため操作者の目線からずれた位置にあり、また、ウインドシールド７は垂直に構成されているわけではない。このため、投写ユニット２Ａからウインドシールド７に画像光を直接投写するのでは、視線方向Ａ１から画像光を操作者の目に入射させることは難しい。
　この場合は、視線方向Ａ１と、視線方向Ａ１とウインドシールド７との交点位置におけるウインドシールド７の法線方向とのなす角度を角度θ２とし、操作者の目から視線方向Ａ１に進む光がウインドシールド７の上記の交点位置で正反射する場合の反射光の方向Ａ２と反射面５ａの法線方向とのなす角度を角度θ１とすると、投写ユニット２Ａから反射部材５の反射面５ａの法線に対して角度θ１となる方向Ａ３から画像光を投写することによって、視線方向Ａ１から操作者の目に画像光を入射させることができる。
　したがって、この場合は、操作者の視線方向に対し、画像光が反射面５ａに対して角度θ１で入射するのを実現するための投写ユニット２Ａの回動量と反射面５ａの回動量との組み合わせの情報が対応付けられて、調整データとして生成される。
　このようにして、操作者の視線方向から操作者の目に画像光が入射されるように、反射部材５（あるいは反射部材３）の反射面の回動量及び投写ユニット２Ａの回動量が、操作者の視線方向毎に求められ、予め調整データとして内部メモリに記憶される。
　ここでは、調整データを予め生成して内部メモリに記憶しておくものとしたが、建設機械１００の設計情報と反射部材４及び反射部材６の構造及び配置情報を用いて、調整データをリアルタイムに算出して利用してもよい。
　図５は、操作者の視線が上方を向いている場合の画像光の投写光軸の制御例を示す図である。
　視線検出部６１によって、操作者の視線が上方を向いていることが検出された場合、システム制御部６０は、内部メモリから、視線検出部６１により検出された視線方向に対応付けられている調整データを読み出す。
　システム制御部６０は、読み出した調整データに基づいて、投写部駆動機構５０及び反射部材駆動機構４を制御する。投写部駆動機構５０及び反射部材駆動機構４は、投写ユニット２Ａから出射される画像光の投写光軸と、反射部材３の反射面３ａの法線方向とのなす角度がθ３となるように、投写ユニット２Ａと反射部材３の回動量を制御する。
　この制御により、投写ユニット２Ａから出射された画像光は入射角θ３で反射部材３に入射され、反射角θ３で反射され、さらにその画像光が、ウインドシールド７の投写面に入射角θ４で入射され、反射角θ４で反射されて操作者の目に入射される。これによって、操作者は、視線を上方に向けたとしても、ウインドシールド７に投写された画像光に基づく虚像を確実に視認することができる。
　図６は、操作者の視線が下方を向いている場合の画像光の投写光軸の制御例を示す図である。
　視線検出部６１によって、操作者の視線が下方を向いていることが検出された場合、システム制御部６０は、内部メモリから、視線方向検出部６１により検出された視線方向に対応付けられている調整データを読み出す。
　システム制御部６０は、読み出した調整データに基づいて、投写部駆動機構５０及び反射部材駆動機構６を制御する。投写部駆動機構５０及び反射部材駆動機構６は、投写ユニット２Ａから出射される画像光の投写光軸と、反射部材５の反射面５ａの法線方向とのなす角度がθ５となるように、投写ユニット２Ａと反射部材５の回動量を制御する。
　この制御により、投写ユニット２Ａから出射された画像光は入射角θ５で反射部材５に入射され、反射角θ５で反射され、さらにその画像光が、ウインドシールド７の投写面に入射角θ６で入射され、反射角θ６で反射されて操作者の目に入射される。これによって、操作者は、視線を下方に向けたとしても、ウインドシールド７に投写された画像光に基づく虚像を確実に視認することができる。
　ここまでは、調整データとして、視線方向と、投写ユニット２Ａの回動量と、反射部材３または反射部材５の回動量とが対応づけられたものを説明してきた。しかし、図７に示すように、ウインドシールド７の法線方向と操作者の視線方向のなす角度θ３１が閾値以下となるケースでは、反射面５ａ又は反射面３ａにて画像光を反射させる方法では、視線方向から画像光を操作者の目に入射させることができない。このケースでは、画像光をウインドシールド７に直接投写する必要がある。
　このため、このようなケースに限っては、視線方向と、投写ユニット２Ａの回動量とを対応付けたデータが調整データとして内部メモリに記憶される。
　具体的に、図７のケースでは、操作者の視線方向に対し、ウインドシールド７に対して画像光が角度θ３１で入射するのを実現するための投写ユニット２Ａの回動量が対応付けられて、調整データとして記憶される。
　図８は、図１に示すＨＵＤシステム１０の動作を説明するためのフローチャートである。
　ＨＵＤシステム１０が起動すると、制御ユニット２Ｂの視線検出部６１は操作者の視線を検出する（ステップＳ１）。
　システム制御部６０は、視線検出部６１から入力される視線方向の情報に対応する調整データを内部メモリから読み出す（ステップＳ２）。
　システム制御部６０は、読み出した調整データに基づいて、投写部駆動機構５０と、反射部材駆動機構４または反射部材駆動機構６と、の少なくとも一方を制御して、投写ユニット２Ａと、反射部材３（または反射部材５）と、の少なくとも一方を回動させる（ステップＳ３）。
　ステップＳ３により、投写ユニット２Ａから出射された投写用画像データに基づく画像光がウインドシールド７の投写範囲７Ａに投写される。投射用画像データは、例えば、建設機械１００の走行速度情報、燃料情報、工事情報等を表示するためのデータである。
　ステップＳ３の後は、ステップＳ１に戻り、上述した処理が繰り返される。
　以上のように、図１に示すＨＵＤシステム１０によれば、作業現場における作業中においては、操作者が装着するヘルメット１に固定されたユニット２と、重力方向に離間して設けられた反射部材３及び反射部材５とによって、ウインドシールド７の広範囲に画像光を投写させることができる。これによって、操作対象となるショベルおよびバケット等の動きに合わせて操作者の縦方向における視線移動が大きくなっても、操作者に十分な作業支援を行うことができる。
　また、ＨＵＤシステム１０は、投写ユニット２Ａを１つだけ有する構成である。このため、建設機械１００に複数の投写ユニットを搭載する構成に比べると、ＨＵＤシステム１０の製造コストを抑えることができる。また、ヘルメット１に投写ユニット２Ａが固定される構成であるため、建設機械１００の運転室内における空間の制約を受けることなく、広範囲での虚像提示を行うことが可能となり、建設機械１００の設計に影響を与えることがない。
　また、ＨＵＤシステム１０によれば、投写ユニット２Ａが１つであるため、ＨＵＤシステム１０の消費電力および発熱を抑えることができる。また、ＨＵＤシステム１０によれば、ユニット２が電池で動作するため、建設機械１００の電力をＨＵＤシステム１０のために消費しなくてすみ、建設機械１００の燃費を向上させることができる。
　また、ＨＵＤシステム１０によれば、ユニット２と、単純な構造の反射部材３及び反射部材５とによって広範囲での虚像提示が可能となる。このため、複雑な構造となる半透明球面反射鏡を用いる場合と比較すると、装置の製造コストの低下と、装置の信頼性向上とを実現することができる。
　以上の説明では、投写ユニット２Ａと制御ユニット２Ｂとを有するユニット２がヘルメット１に固定されるものとしたが、制御ユニット２Ｂは、ユニット２の外部、例えば建設機械１００のダッシュボード９の内部に設けるようにしてもよい。
　この場合は、投写ユニット２Ａ側に電源供給部６２が設けられ、制御ユニット２Ｂのシステム制御部６０は、無線通信によりヘルメット１に固定された投写ユニット２Ａの各部を制御する構成とする。ユニット２外部の制御ユニット２Ｂは、電池で動作するようにしてもよいし、建設機械１００の図示せぬ電源供給部から電源が供給されるようにしてもよい。
　このように、制御ユニット２Ｂをユニット２外部に設ける構成とすることによって、ヘルメット１に装着されるユニット２を軽量化することができ、ヘルメット１を装着する操作者の負担を軽減することができる。
　図９は、図３に示すユニット２の変形例であるユニット２ａの内部構成を示す模式図である。図９において図３と同じ構成には同一符号を付して説明を省略する。
　図９に示すユニット２ａは、ユニット２において制御ユニット２Ｂを制御ユニット２Ｂａに変更したものとなっている。
　制御ユニット２Ｂａは、制御ユニット２Ｂの構成に加えて、形状データ取得部６３が追加された構成である。
　形状データ取得部６３は、ウインドシールド７の形状データを取得し、取得した形状データをシステム制御部６０に入力する。
　ウインドシールド７の形状データの取得方法としては、建設機械１００に設けられた物体の三次元形状を測定する測定装置から形状データを取得する方法がある。この測定装置は、例えば深度センサが用いられる。
　深度センサとしては、赤外線発光部と赤外線受光部を用いてタイムオブフライト方式等により物体までの距離を算出する方式、２つのカメラで物体を撮像して得られる２つの撮像画像データに基づいて物体までの距離を算出する方式、１つのカメラを移動させながら複数位置で物体を撮像して得られる複数の撮像画像データに基づいて物体までの距離を算出する方式等、周知の方式のものを採用することができる。
　また、ウインドシールド７の形状データの取得方法としては、上記の測定装置を用いて予め測定しておいたウインドシールド７の形状データをメモリに記憶しておき、このメモリから形状データを取得する方法がある。
　システム制御部６０は、視線検出部６１により検出された操作者の視線と、形状データ取得部６３から取得した形状データとに基づいて、ウインドシールド７上での視線との交点位置を判定する。そして、システム制御部６０は、交点位置におけるウインドシールド７の垂線方向と、視線検出部６１により検出された操作者の視線方向とのなす角度（図４の例で言えばθ２）を算出する。
　図４の例において、角度θ２が算出できれば、ウインドシールド７の上記の交点位置に対し入射角θ２で画像光を入射させるために必要な反射部材５の回動量と、投写ユニット２Ａの回動量とを決めることができる。図９の制御ユニット２Ｂでは、この角度と、反射部材３又は反射部材５の回動量、及び、投写ユニット２Ａの回動量と、を対応付けた調整データが内部メモリに記憶される。
　なお、図７の例では、角度θ３１は小さくなる。この場合には、ウインドシールド７の上記の交点位置に対し入射角θ３１で画像光を入射させるために必要な投写ユニット２Ａの回動量と、この角度θ３１とが対応付けられて、調整データとして記憶される。
　システム制御部６０は、算出した角度に対応する調整データを取得し、この調整データに基づいて、反射部材駆動機構４、反射部材駆動機構６、及び投写部駆動機構５０を制御する。
　図１０は、図９に示すユニット２ａを有するＨＵＤシステム１０の動作を説明するためのフローチャートである。
　ＨＵＤシステム１０が起動すると、制御ユニット２Ｂａの視線検出部６１は操作者の視線を検出し、形状データ取得部６３は、ウインドシールド７の形状データを取得する（ステップＳ１２）。
　システム制御部６０は、視線検出部６１から入力された視線方向の情報と形状データ取得部６３により取得された形状データとに基づいて、操作者の視線とウインドシールド７との交点位置を判定する（ステップＳ１３）。
　次に、システム制御部６０は、ステップＳ１３で判定した交点位置におけるウインドシールド７の垂線方向と、視線検出部６１から入力された視線方向とのなす角度を算出する（ステップＳ１４）。
　システム制御部６０は、算出した角度が閾値以下か否かを判定し（ステップＳ１５）、この角度が閾値を超えていると判定した場合（ステップＳ１５：ＮＯ）は、この角度に対応する調整データに基づいて、投写ユニット２Ａと反射部材３または反射部材５とを回動させる（ステップＳ１６）。
　ステップＳ１６の処理により、投写ユニット２Ａの投写光軸の方向は反射部材３または反射部材５の反射面と交わる方向に制御され、反射部材３または反射部材５の反射面のウインドシールド７に対する角度が制御される。したがって、投写ユニット２Ａから出射された投写用画像データに基づく画像光は、反射部材３または反射部材５で反射されて、ウインドシールド７の上記の交点位置に投写され、ここで更に反射して操作者の目に入射する。
　一方、システム制御部６０は、ステップＳ１４で算出した角度が閾値以下であると判定した場合（ステップＳ１５：ＹＥＳ）は、この角度に対応する調整データに基づいて、投写ユニット２Ａを回動させる（ステップＳ１７）。
　ステップＳ１７の処理により、投写ユニット２Ａの投写光軸の方向はウインドシールド７と交わる方向に制御され、反射部材３または反射部材５の反射面のウインドシールド７に対する角度は制御されない。したがって、投写ユニット２Ａから出射された投写用画像データに基づく画像光は、ウインドシールド７の上記の交点位置に直接投写され、ここで反射して操作者の目に入射する。
　ステップＳ１６またはステップＳ１７の処理の後は、ステップＳ１２に戻り、上述した処理が繰り返される。
　以上のように、図９のユニット２ａによれば、ウインドシールド７の形状データと、操作者の視線とに基づいて、視線とウインドシールド７との交点位置を判定し、この判定した交点位置から求まる垂線方向と視線方向との角度に対応する駆動量で、投写ユニット２Ａと、反射部材３又は反射部材５とが回動される。
　ウインドシールド７の形状は、建設機械１００の型式によって異なったり、型式が同じでも製造誤差によって異なったりする。したがって、測定装置によって測定されたウインドシールド７の形状データを利用して、投写ユニット２Ａと、反射部材３又は反射部材５との駆動量（回動量）を決めることによって、投写ユニット２Ａと、反射部材３又は反射部材５との回動制御をより正確に行うことができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
　開示された投写型表示装置は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記操作者の視線を検出する視線検出部と、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、上記視線検出部により検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御部と、を備えるものである。
　開示された投写型表示装置は、上記ウインドシールドの形状データを取得する形状データ取得部を更に備え、上記制御部は、上記視線検出部により検出される視線と、上記形状データ取得部により取得された形状データとに基づいて、上記ウインドシールド上での上記視線との交点位置を判定し、判定した交点位置における上記ウインドシールドの法線方向と上記視線の方向とのなす角度に対応する駆動量で上記投写部と上記反射部材を駆動するものである。
　開示された投写型表示装置は、上記制御部は、上記角度が閾値以下の場合には、上記投写部駆動機構を介し上記投写部の投写光軸を上記ウインドシールドと交わる方向に制御して、上記投写部から上記ウインドシールドに画像光を直接投写させるものである。
　開示された投写型表示装置は、上記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられるものである。
　開示された投写型表示装置は、上記制御部は上記ユニットに内蔵されるものである。
　開示された投写型表示装置は、上記ユニットは、上記ユニットに設けられた電池により動作するものである。
　開示された投写型表示装置は、上記反射部材は、重力方向に離間して配置された２つの反射部材により構成されるものである。
　開示された投写制御方法は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、を備える投写型表示装置の投写制御方法であって、上記操作者の視線を検出する視線検出ステップと、上記視線検出ステップにより検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御ステップと、を備えるものである。
　開示された投写制御方法は、上記ウインドシールドの形状データを取得する形状データ取得ステップを更に備え、上記制御ステップは、上記視線検出ステップにより検出される視線と、上記形状データ取得ステップにより取得された形状データとに基づいて、上記ウインドシールド上での上記視線との交点位置を判定し、判定した交点位置における上記ウインドシールドの法線方向と上記視線の方向とのなす角度に対応する駆動量で上記投写部と上記反射部材を駆動するものである。
　開示された投写制御方法は、上記制御ステップは、上記角度が閾値以下の場合には、上記投写部駆動機構を介し上記投写部の投写光軸を上記ウインドシールドと交わる方向に制御して、上記投写部から上記ウインドシールドに画像光を直接投写させるものである。
　開示された投写制御方法は、上記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられるものである。
　開示された投写制御方法は、上記ユニットは電池で動作するものである。
　開示された投写制御方法は、上記反射部材は、重力方向に離間して配置された２つの反射部材により構成されるものである。
　本発明は、建設機械および農作機械等の作業用機械に適用して利便性が高く、有効である。
２　ユニット
２Ａ　投写ユニット
２Ｂ　制御ユニット
３　反射部材
４　反射部材駆動機構
５　反射部材
６　反射部材駆動機構
７　ウインドシールド
１０　ＨＵＤシステム
４０　光源ユニット
４５　駆動部
６０　システム制御部
６１　視線検出部
６２　電源供給部
６３　形状データ取得部
１００　建設機械

Claims (13)

  1. 　画像光を投写する投写部と、前記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、
    　前記操作者の視線を検出する視線検出部と、
    　前記作業用機械に設けられ、前記作業用機械の操作席に着席している操作者の頭部に装着されている前記投写部から投写された画像光を前記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、
    　前記ウインドシールドに対する前記反射面の角度を変更するための反射部材駆動機構と、
    　前記視線検出部により検出される視線に基づいて、前記投写部駆動機構を介し前記投写部の投写光軸を前記反射部材の反射面と交わる方向に制御し、前記反射部材駆動機構を介し前記反射部材の反射面の前記角度を制御する制御部と、を備える投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記ウインドシールドの形状データを取得する形状データ取得部を更に備え、
    　前記制御部は、前記視線検出部により検出される視線と、前記形状データ取得部により取得された形状データとに基づいて、前記ウインドシールド上での前記視線との交点位置を判定し、判定した交点位置における前記ウインドシールドの法線方向と前記視線の方向とのなす角度に対応する駆動量で前記投写部と前記反射部材を駆動する投写型表示装置。
  3. 　請求項２記載の投写型表示装置であって、
    　前記制御部は、前記角度が閾値以下の場合には、前記投写部駆動機構を介し前記投写部の投写光軸を前記ウインドシールドと交わる方向に制御して、前記投写部から前記ウインドシールドに画像光を直接投写させる投写型表示装置。
  4. 　請求項１～３のいずれか１項記載の投写型表示装置であって、
    　前記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられる投写型表示装置。
  5. 　請求項４記載の投写型表示装置であって、
    　前記制御部は前記ユニットに内蔵される投写型表示装置。
  6. 　請求項４又は５記載の投写型表示装置であって、
    　前記ユニットは、前記ユニットに設けられた電池により動作する投写型表示装置。
  7. 　請求項１～６のいずれか１項記載の投写型表示装置であって、
    　前記反射部材は、重力方向に離間して配置された２つの反射部材により構成される投写型表示装置。
  8. 　画像光を投写する投写部と、前記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、前記作業用機械に設けられ、前記作業用機械の操作席に着席している操作者の頭部に装着されている前記投写部から投写された画像光を前記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、前記ウインドシールドに対する前記反射面の角度を変更するための反射部材駆動機構と、を備える投写型表示装置の投写制御方法であって、
    　前記操作者の視線を検出する視線検出ステップと、
    　前記視線検出ステップにより検出される視線に基づいて、前記投写部駆動機構を介し前記投写部の投写光軸を前記反射部材の反射面と交わる方向に制御し、前記反射部材駆動機構を介し前記反射部材の反射面の前記角度を制御する制御ステップと、を備える投写制御方法。
  9. 　請求項８記載の投写制御方法であって、
    　前記ウインドシールドの形状データを取得する形状データ取得ステップを更に備え、
    　前記制御ステップは、前記視線検出ステップにより検出される視線と、前記形状データ取得ステップにより取得された形状データとに基づいて、前記ウインドシールド上での前記視線との交点位置を判定し、判定した交点位置における前記ウインドシールドの法線方向と前記視線の方向とのなす角度に対応する駆動量で前記投写部と前記反射部材を駆動する投写制御方法。
  10. 　請求項９記載の投写制御方法であって、
    　前記制御ステップは、前記角度が閾値以下の場合には、前記投写部駆動機構を介し前記投写部の投写光軸を前記ウインドシールドと交わる方向に制御して、前記投写部から前記ウインドシールドに画像光を直接投写させる投写制御方法。
  11. 　請求項８～１０のいずれか１項記載の投写制御方法であって、
    　前記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられる投写制御方法。
  12. 　請求項１１記載の投写制御方法であって、
    　前記ユニットは電池により動作する投写制御方法。
  13. 　請求項８～１２のいずれか１項記載の投写制御方法であって、
    　前記反射部材は、重力方向に離間して配置された２つの反射部材により構成される投写制御方法。
PCT/JP2016/057562 2015-09-16 2016-03-10 投写型表示装置及び投写制御方法 WO2017047132A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017539704A JP6271820B2 (ja) 2015-09-16 2016-03-10 投写型表示装置及び投写制御方法
CN201680052918.8A CN108028901B (zh) 2015-09-16 2016-03-10 投影型显示装置及投影控制方法
US15/905,750 US20180178650A1 (en) 2015-09-16 2018-02-26 Projection type display device and projection control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015183262 2015-09-16
JP2015-183262 2015-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/905,750 Continuation US20180178650A1 (en) 2015-09-16 2018-02-26 Projection type display device and projection control method

Publications (1)

Publication Number Publication Date
WO2017047132A1 true WO2017047132A1 (ja) 2017-03-23

Family

ID=58288586

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/057562 WO2017047132A1 (ja) 2015-09-16 2016-03-10 投写型表示装置及び投写制御方法

Country Status (4)

Country Link
US (1) US20180178650A1 (ja)
JP (1) JP6271820B2 (ja)
CN (1) CN108028901B (ja)
WO (1) WO2017047132A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017048A1 (ja) * 2017-07-21 2019-01-24 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US10338397B1 (en) 2018-04-18 2019-07-02 Hyundai Mobis Co., Ltd. Vehicle head-up display device and control method thereof
JP2019182237A (ja) * 2018-04-11 2019-10-24 ヒュンダイ・モービス・カンパニー・リミテッド 車両用ヘッドアップディスプレイ装置及びその制御方法
IT201900006556A1 (it) * 2019-05-06 2020-11-06 Cnh Ind Italia Spa Veicolo agricolo che prevede la selezione automatica del display

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111298426B (zh) * 2018-12-12 2023-07-04 倚天酷碁股份有限公司 应用于虚拟现实的电竞座舱
DE102019105855A1 (de) * 2019-03-07 2020-09-10 Deutsche Post Ag Fahrzeug mit Anzeigeeinrichtung
CN110191328A (zh) * 2019-06-19 2019-08-30 广景视睿科技（深圳）有限公司 一种动向投影装置、方法及投影仪
KR102417984B1 (ko) * 2020-05-11 2022-07-08 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
CN115467387A (zh) * 2022-05-24 2022-12-13 中联重科土方机械有限公司 用于工程机械的辅助控制系统、方法及工程机械

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06167687A (ja) * 1992-11-30 1994-06-14 Mitsubishi Electric Corp プロジェクタ
JP2010058742A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP2012085106A (ja) * 2010-10-12 2012-04-26 Sony Corp 画像処理装置、画像処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068444B2 (en) * 2002-09-24 2006-06-27 Kenji Nishi Image display unit and projection optical system
US7629877B2 (en) * 2006-12-19 2009-12-08 Matvey Lvovskiy Multifunctional collimator indicator
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
CN104071010B (zh) * 2013-03-29 2018-02-13 株式会社斯巴鲁 运输设备用显示装置
CN103568955A (zh) * 2013-09-30 2014-02-12 深圳市领华数据信息有限公司 车内玻璃投影的方法及系统
DE112015004367B4 (de) * 2014-09-26 2022-12-22 Fujifilm Corporation Projektionsanzeigevorrichtung und Wärmeabführverfahren
JP6464869B2 (ja) * 2015-03-25 2019-02-06 株式会社デンソー 操作システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06167687A (ja) * 1992-11-30 1994-06-14 Mitsubishi Electric Corp プロジェクタ
JP2010058742A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP2012085106A (ja) * 2010-10-12 2012-04-26 Sony Corp 画像処理装置、画像処理方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017048A1 (ja) * 2017-07-21 2019-01-24 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2019182237A (ja) * 2018-04-11 2019-10-24 ヒュンダイ・モービス・カンパニー・リミテッド 車両用ヘッドアップディスプレイ装置及びその制御方法
US10338397B1 (en) 2018-04-18 2019-07-02 Hyundai Mobis Co., Ltd. Vehicle head-up display device and control method thereof
IT201900006556A1 (it) * 2019-05-06 2020-11-06 Cnh Ind Italia Spa Veicolo agricolo che prevede la selezione automatica del display
EP3736162A1 (en) * 2019-05-06 2020-11-11 CNH Industrial Italia S.p.A. Agricultural vehicle providing an automatic display selection

Also Published As

Publication number Publication date
US20180178650A1 (en) 2018-06-28
CN108028901A (zh) 2018-05-11
CN108028901B (zh) 2020-04-21
JPWO2017047132A1 (ja) 2018-03-15
JP6271820B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
JP6271820B2 (ja) 投写型表示装置及び投写制御方法
JP6244500B2 (ja) 投写型表示装置、投写表示方法、及び投写表示プログラム
US10302940B2 (en) Head-up display
US8693103B2 (en) Display device and display method
JP6357601B2 (ja) 投写型表示装置、投写制御方法、及び、投写制御プログラム
WO2016190135A1 (ja) 車両用表示システム
JP6271819B2 (ja) 投写型表示装置及び投写制御方法
JP6236577B2 (ja) 投写型表示装置及び投写制御方法
JP6582144B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US20180192019A1 (en) Projection type display device and projection control method
JP2011133508A (ja) 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP6547075B2 (ja) 投写型表示装置、投写型表示装置の制御方法及び制御プログラム
JP6481445B2 (ja) ヘッドアップディスプレイ
WO2019138970A1 (ja) 投影距離測定方法及び装置
US20180363273A1 (en) Work vehicle
JP2017227681A (ja) ヘッドアップディスプレイ装置
JP2020204773A (ja) 虚像表示装置
WO2019230138A1 (ja) ヘッドアップディスプレイ装置
JP2020148950A (ja) ヘッドアップディスプレイ装置
JP2020157779A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2019107225A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP2020160092A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2020056901A (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP2020065125A (ja) 表示装置
JP2020160094A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846005

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017539704

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16846005

Country of ref document: EP

Kind code of ref document: A1