WO2018110041A1 - 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム - Google Patents

投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム Download PDF

Info

Publication number
WO2018110041A1
WO2018110041A1 PCT/JP2017/036057 JP2017036057W WO2018110041A1 WO 2018110041 A1 WO2018110041 A1 WO 2018110041A1 JP 2017036057 W JP2017036057 W JP 2017036057W WO 2018110041 A1 WO2018110041 A1 WO 2018110041A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection display
image
light
projection
unit
Prior art date
Application number
PCT/JP2017/036057
Other languages
English (en)
French (fr)
Inventor
広大 藤田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018556205A priority Critical patent/JP6582143B2/ja
Priority to CN201780076743.9A priority patent/CN110073273B/zh
Publication of WO2018110041A1 publication Critical patent/WO2018110041A1/ja
Priority to US16/417,667 priority patent/US10746992B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present invention relates to a projection display device, a projection display device control method, and a projection display device control program.
  • a windshield of a vehicle such as an automobile, train, ship, heavy machinery, construction equipment, aircraft, or agricultural machine, or a combiner placed near the windshield is used as a screen, and light is projected onto this to project an image.
  • a vehicle HUD Head-up Display
  • an image based on light projected from the HUD can be viewed by the driver as a real image on the screen or as a virtual image in front of the screen.
  • Patent Document 1 a shutter part that can be freely opened and closed is provided in an opening part of a housing that serves as a path for image light projected on a screen. When the shutter part is not in use, the shutter part is closed to allow foreign matter or direct sunlight to enter the opening part.
  • An in-vehicle HUD that prevents entry is disclosed.
  • Patent Document 2 discloses an in-vehicle HUD in which a transparent cover is provided at an opening of a housing in order to prevent foreign matter from entering the inside of the apparatus.
  • Patent Document 3 although it is not HUD, it is detected by analyzing the captured image that dust is attached to the lens of the vehicle-mounted camera and part of the image cannot be captured, and where the uncapable area is located. A system for notifying a user is described.
  • the exit surface from which image light is emitted is exposed in the interior space of the vehicle, the exit surface becomes dirty when a user touches the exit surface, or water drops or dust adhere to the exit surface. There is a possibility of getting dirty. In particular, in the case of a construction machine or a heavy machine, there is a high possibility that the emission surface is soiled.
  • the user needs to clean the exit surface narrowly.
  • cleaning of the emission surface is not easy.
  • the exit surface is cleaned gently without knowing where it is dirty, there is a possibility that the dirty part is not cleaned, and information loss may not be prevented.
  • Patent Document 3 visualizes a non-imaging area of an imaging device, and does not disclose a technique when information is lost in a HUD as a display device.
  • the present invention has been made in view of the above circumstances, and can provide a projection display device, a projection display device control method, and a projection display device that can visualize an area lacking information to facilitate cleaning.
  • An object of the present invention is to provide a control program for a type display device.
  • a projection display device includes a light modulation unit that spatially modulates light emitted from a light source based on input image information, and projects the spatially modulated image light onto a projection surface of a vehicle.
  • a projection display unit that displays an image based on the image light, a housing that houses the projection display unit and has an opening from which the image light is emitted, a cover that closes the opening, and an object in the cover
  • An area detection unit that detects an adhered object adhesion region
  • a display control unit that controls the image information to be displayed on the projection display unit by controlling the image information input to the light modulation unit, and
  • the display control unit causes the projection display unit to display an outline of a region where the image light is blocked by the object attachment region in a displayable range in which the projection display unit can display the image.
  • a control method for a projection display apparatus includes a light modulation unit that spatially modulates light emitted from a light source based on input image information, and the spatially modulated image light is applied to a projection surface of a vehicle.
  • a projection display unit that projects and displays an image based on the image light; a housing that houses the projection display unit and has an opening from which the image light is emitted; and a cover that closes the opening.
  • a method for controlling a projection display apparatus comprising: an area detection step for detecting an object adhesion area where an object is adhered to the cover; and the image information input to the light modulation unit is controlled by the projection display unit.
  • a control program for a projection display apparatus includes a light modulation unit that spatially modulates light emitted from a light source based on input image information, and uses the spatially modulated image light on a projection surface of a vehicle.
  • a projection display unit that projects and displays an image based on the image light; a housing that houses the projection display unit and has an opening from which the image light is emitted; and a cover that closes the opening.
  • a control program for a projection display device comprising: an area detection step for detecting an object adhesion area where an object is adhered to the cover; and the image information input to the light modulation unit to control the image information by the projection display unit.
  • a display control step for causing the projection display unit to display a contour of an area where the image light is blocked by the object adhesion area in the displayable range where the image can be displayed. It is intended to be.
  • a projection display device capable of facilitating cleaning by visualizing a region lacking information. be able to.
  • FIG. 6 is a schematic diagram showing a display image of the HUD 100 in a normal mode, and shows a state where an object is attached to the surface of the cover 9 and an object attachment region 91 is generated in the state shown in FIG. 5.
  • FIG. 1 is a diagram showing a schematic configuration of a HUD 100 which is an embodiment of a projection display device of the present invention.
  • the HUD 100 is mounted on the automobile 1 and uses a partial area of the windshield 2 of the automobile 1 as a projection plane, and enables a driver of the automobile 1 to visually recognize a virtual image or a real image by image light projected on the projection plane. It is.
  • the HUD 100 can be used by being mounted on a vehicle such as a train, a heavy machine, a construction machine, an aircraft, a ship, or an agricultural machine in addition to the automobile.
  • a vehicle such as a train, a heavy machine, a construction machine, an aircraft, a ship, or an agricultural machine in addition to the automobile.
  • the HUD 100 is partly exposed and built in the dashboard 4 of the automobile 1.
  • the dashboard 4 is a member that incorporates interior components including instruments for notifying information necessary for travel such as a speedometer, tachometer, fuel meter, water temperature meter, or distance meter of the automobile 1.
  • the HUD 100 includes a control unit 5 including a light source and a light modulation unit that spatially modulates light emitted from the light source based on image information, and projection optics that projects image light spatially modulated by the light modulation unit onto the windshield 2.
  • a box-shaped casing 3 that accommodates the diffusing member 6 and the concave mirror 7 constituting the system, a cylindrical connecting section 8 that connects the casing 3 and the opening of the dashboard 4, and an imaging section 10, Is provided.
  • the configuration of the projection optical system is an example and is not limited to that shown in FIG.
  • An opening K is formed in the housing 3, and a portion around the opening K of the housing 3 and the opening of the dashboard 4 are connected by a connecting portion 8.
  • the diffusion member 6 is a member that diffuses the image light spatially modulated by the light modulation unit of the control unit 5 to form a surface light source.
  • a micro mirror array having a fine structure on the surface a diffusing mirror, an MLA (Microlens-Array) diffuser, a reflective holographic diffuser, or the like is used.
  • the concave mirror 7 enlarges the image light diffused by the diffusing member 6 and reflects it toward the projection surface of the windshield 2.
  • the image light reflected by the concave mirror 7 is projected toward the projection surface of the windshield 2 through the opening K of the housing 3 and the hollow portion of the connecting portion 8.
  • the windshield 2 is processed so that the image light projected through the opening K and the hollow portion of the connecting portion 8 is reflected in the direction of the driver's eye E.
  • the image light is reflected by the windshield 2. And enters the driver's eye E.
  • the driver can visually recognize an image (virtual image or real image) based on the image light.
  • the opening K of the housing 3 is closed by a cover 9 made of resin or glass that can transmit image light.
  • the opening K is an emission window for emitting image light reflected by the concave mirror 7 from the housing 3, and the cover 9 is mixed with dust, dust, liquid, or the like in the housing 3 through the opening K. To prevent it.
  • the imaging unit 10 includes an imaging device and an image processing unit that processes captured image signals obtained by imaging with the imaging device and generates captured image data.
  • the imaging unit 10 is fixed to a position above the cover 9 on the inner wall of the coupling unit 8, and is arranged so as to be able to image the surface of the cover 9 (the surface opposite to the inner side of the housing 3). Captured image data obtained by imaging by the imaging unit 10 is transferred to a system control unit 47 (to be described later) of the control unit 5.
  • the HUD 100 employs a method of projecting image light onto the windshield 2, but a method of projecting image light onto a combiner (not shown) disposed in the vicinity of the windshield 2 may be employed.
  • the combiner constitutes the projection plane.
  • FIG. 2 is a diagram showing the appearance of the connecting portion 8 shown in FIG.
  • the connecting portion 8 has a substantially rectangular parallelepiped hollow portion, and the planar shape of the cover 9 at the base end of the connecting portion 8 viewed from the direction in which the image light is emitted is A direction X in which the driver's seat and the passenger's seat are arranged is a rectangle having a longitudinal direction.
  • the cover 9 since the cover 9 has a shape that is long in the direction X, an image can be displayed in a wide range of the windshield 2.
  • the automobile 1 has a configuration in which a driver's seat is arranged at a position facing the steering wheel H shown in FIG. 2, and a passenger's seat is arranged on the left side or the right side of the driver's seat (example is the left side).
  • a direction X in which the driver's seat and the passenger seat of the automobile 1 are arranged is synonymous with a direction substantially orthogonal to the traveling direction of the automobile 1 when the automobile 1 goes straight.
  • the two directions being substantially orthogonal means that the angle formed by the two directions is in the range of 70 degrees to 110 degrees.
  • FIG. 3 is a schematic diagram showing an example of the internal configuration of the control unit 5 housed in the housing 3 of the HUD 100 shown in FIG.
  • the control unit 5 of the HUD 100 includes a light source unit 40, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, and a system control unit 47 that performs overall control of the HUD 100.
  • the projection optical system 48 shown in FIG. 3 includes the diffusing member 6 and the concave mirror 7 shown in FIG.
  • the system control unit 47 includes a processor, a ROM (Read Only Memory) storing a program executed by the processor, and a RAM (Random Access Memory) functioning as a work memory of the processor.
  • the program stored in the ROM includes a control program for the HUD 100.
  • the light source unit 40 includes a light source controller 46, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the R light source 41r, the G light source 41g, and the B light source 41b constitute a light source of the HUD 100.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the dichroic prism 43 transmits the red light collimated by the collimator lens 42 r and emits the red light to the light modulation element 44.
  • the dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the HUD 100 is not limited to three examples of the R light source 41r, the G light source 41g, and the B light source 41b, and may be configured by one light source, two light sources, or four or more light sources.
  • the light source control unit 46 controls each of the R light source 41r, the G light source 41g, and the B light source 41b, and performs control to emit light from the R light source 41r, the G light source 41g, and the B light source 41b.
  • the light modulation element 44 spatially modulates the light emitted from the R light source 41r, the G light source 41g, and the B light source 41b and emitted from the dichroic prism 43 based on image information input by the system control unit 47.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • MEMS Micro Electro Mechanical Systems
  • a liquid crystal display element for example, LCOS (Liquid crystal on silicon), DMD (Digital Micromirror Device), MEMS (Micro Electro Mechanical Systems) element, or a liquid crystal display element can be used.
  • the drive unit 45 drives the light modulation element 44 based on the image information input from the system control unit 47, and the image light (red image light, blue image light, and green color) spatially modulated based on the image information. Image light) is emitted from the light modulation element 44 to the diffusion member 6 of the projection optical system 48.
  • the light modulation element 44 and the drive unit 45 constitute a light modulation unit of the HUD 100.
  • the projection optical system 48 including the diffusing member 6 and the concave mirror 7 shown in FIG. 1 makes it possible for the driver to visually recognize an image based on the image light projected on the windshield 2 as a virtual image at a position in front of the windshield 2.
  • the optical design is made to become.
  • the optical design of the projection optical system 48 may be made so that an image based on this image light is visible to the driver as a real image on the windshield 2.
  • the system control unit 47 controls the light source control unit 46 and the driving unit 45 to cause the diffusion member 6 to emit image light that is spatially modulated based on the image information.
  • the projection display unit 49 is configured by the projection optical system 48, the light modulation unit including the light modulation element 44 and the drive unit 45, and the light source unit 40.
  • FIG. 4 is a functional block diagram of the system control unit 47 shown in FIG.
  • the system control unit 47 includes a display control unit 47A and a region detection unit 47B.
  • the display control unit 47A and the area detection unit 47B are functional blocks formed when the processor of the system control unit 47 executes a program including a control program stored in the ROM.
  • the area detection unit 47B analyzes the captured image data input from the imaging unit 10, and the area on which the object is attached on the surface of the cover 9 (hereinafter referred to as the object attachment area). Is detected).
  • the object refers to dust, dust, dust, liquid, or sebum that is large enough to affect the display quality of the HUD 100.
  • the inspection mode refers to a mode in which it is determined whether or not the surface of the cover 9 has dirt that affects the display, and when there is dirt, the user is prompted to clean.
  • reference imaged image data obtained by imaging the surface of the cover 9 in a clean state with no object attached by the imaging unit 10 is stored in the ROM of the system control unit 47, and the area detection unit 47B The object adhesion region is detected by comparing the reference captured image data with the captured image data input from the imaging unit 10.
  • the region detection unit 47B compares the reference captured image data with the captured image data input from the image capturing unit 10, and compares the reference captured image data with the density of the captured image data input from the image capture unit 10. A change area where a large change is detected. And the area
  • the region detection unit 47B determines that the region including the plurality of change regions is an object attachment region if there are a plurality of change regions in the vicinity. You may detect as.
  • the display control unit 47A controls image information input to the drive unit 45 and controls an image to be displayed by the projection display unit 49.
  • the display control unit 47A displays a contour of a region that cannot be displayed because the image light is blocked by the object adhesion region detected by the region detection unit 47B.
  • Image information including information is input to the drive unit 45, and an image based on the contour information is displayed on the projection display unit 49.
  • the display control unit 47A When the normal mode is set, the display control unit 47A provides route guidance information for performing route guidance to the destination, information on the traveling speed of the automobile 1, information indicating the state of the instrument of the automobile 1, or Then, image information including driving support information such as information for warning the driver of the automobile 1 is input to the driving unit 45, and an image based on the driving support information is displayed on the projection display unit 49.
  • driving support information such as information for warning the driver of the automobile 1
  • FIG. 5 is a schematic diagram showing a display image of the HUD 100 in the normal mode.
  • the images 20 a, 20 b, and 20 c that are visually recognized by the driver sitting in the driver's seat of the automobile 1, and the displayable range 20 that indicates the maximum range that can be displayed by the projection display unit 49. And are shown.
  • the lower part of FIG. 5 shows a plan view of the cover 9 as viewed from the direction perpendicular to the direction X and the direction Y orthogonal thereto.
  • the image 20a is a character indicating the traveling speed of the automobile 1.
  • the image 20b is characters and arrows indicating route guidance.
  • the image 20c is an icon that gives a warning.
  • a light emission range 90 which is a range in which image light that has passed through the projection optical system 48 is emitted.
  • the image 20 a, the image 20 b, and the image 20 c are displayed in the displayable range 20.
  • the area other than the images (image 20a, image 20b, and image 20c) based on the driving support information is transparent, and the scenery in front of the windshield 2 can be confirmed.
  • FIG. 6 is a schematic diagram showing a display image of the HUD 100 in the normal mode, and shows a state in which an object is attached to the surface of the cover 9 and an object attachment region 91 is generated in the state shown in FIG.
  • the image light for displaying the image 20c shown in FIG. 5 is blocked by the object adhesion region 91 in the light emission range 90, and the region where the image 20c is to be displayed is transparent. It has become. For this reason, the driver cannot notice the warning.
  • the HUD 100 is equipped with the above-described inspection mode in order to intuitively inform the driver where to clean the cover 9.
  • FIG. 7 is a schematic diagram showing a display image of the HUD 100 in the inspection mode.
  • the displayable range 20 described above is shown in the upper part of FIG.
  • a plan view of the cover 9 as seen from the direction perpendicular to the direction X and the direction Y perpendicular to the direction X is shown.
  • the display control unit 47A uses the object adhesion area 91 in the displayable range 20.
  • Image information including outline information for displaying the colored outline of the area where the image light is blocked is generated and input to the drive unit 45.
  • the outline 21 of the missing area 91 a that cannot be displayed by the object adhesion area 91 is displayed in the displayable range 20.
  • the part other than the contour 21 is transparent.
  • the driver can grasp which area of the cover 9 is dirty by the outline 21 by understanding where the displayable range 20 is located on the windshield 2. Therefore, the driver can efficiently clean the surface of the cover 9.
  • the display control unit 47A detects a frame indicating the outer periphery of the displayable range 20 and the object attachment region in the displayable range 20 when the region detection unit 47B detects the object attachment region 91 in the light emission range 90.
  • the image information for displaying the outline of the region where the image light is blocked by 91 may be generated and input to the drive unit 45.
  • the displayable range 20 displays the outline 21 surrounding the missing region 91 a that cannot be displayed by the object attachment region 91 and the frame 22 indicating the outer periphery of the displayable range 20. Is done. In the displayable range 20, the portions other than the outline 21 and the frame 22 are transparently displayed.
  • the driver can grasp the positional relationship between the light emission range 90 of the cover 9 and the object adhesion region 91, and more intuitively know which part of the cover 9 is dirty. be able to.
  • the display control unit 47A in the displayable range 20, other than the region where the image light is blocked by the object attachment region 91.
  • Image information for displaying the portion in color may be generated and input to the drive unit 45.
  • a monochrome image 23 is displayed in a portion excluding the missing area 91 a that cannot be displayed by the object adhesion area 91.
  • FIG. 10 is a flowchart for explaining the operation of the HUD 100 shown in FIG.
  • the system control unit 47 sets the operation mode to the inspection mode (step S1).
  • the surface of the cover 9 is imaged by the imaging unit 10 (step S2), and the captured image data is input to the system control unit 47.
  • the region detection unit 47B of the system control unit 47 detects the object adhesion region on the surface of the cover 9 based on the captured image data and the reference captured image data.
  • step S3 When the object adhesion area is detected (step S3: YES), the display control unit 47A displays image information for displaying the outline of the area that cannot be displayed by the object adhesion area and a message that prompts the cover 9 to be cleaned. The outline and the message are generated and displayed in the displayable range 20 (step S4). After step S4, the process returns to step S2.
  • message display or audio output is not essential.
  • step S3 If no object adhesion area is detected in step S3, the display control unit 47A sets the operation mode to the normal mode (step S5), and starts displaying an image based on the driving support information.
  • the projection display unit 49 displays an outline corresponding to the area where the object is attached. For this reason, the driver can intuitively grasp which part of the cover 9 is dirty with reference to the displayed contour. Therefore, it is only necessary to clean the necessary portion of the cover 9, and the cleaning can be performed efficiently. In the future, as the screen of the HUD increases and the surface area of the cover 9 increases, it takes effort to clean all the surfaces. For this reason, this technique which can grasp
  • the mode automatically shifts to the inspection mode.
  • the present invention is not limited to this. For example, it may be possible to shift to the inspection mode at an arbitrary timing by a manual operation.
  • the operation mode automatically shifts to the normal mode when the object attachment region is no longer detected.
  • the operation mode may be shifted from the inspection mode to the normal mode by manual operation.
  • the normal mode is automatically started when the surface of the cover 9 is cleaned and the object adhesion region is no longer detected from the state where the object adhesion region exists, so the mode is shifted to the normal mode.
  • the driver can recognize that the cover 9 has been cleaned, and convenience can be improved.
  • the imaging unit 10 is provided above the cover 9, but the imaging unit 10 may be disposed inside the housing 3 so that the object adhesion region can be detected.
  • the cover 9 is configured to be fitted into the opening K
  • the cover 9 may be configured to be able to close the opening K.
  • the cover 9 may be fixed to the outer peripheral surface of the housing 3, and the opening K may be closed by covering the entire opening K with the back surface of the cover 9.
  • An image based on the image light that includes a light modulation unit that spatially modulates light emitted from the light source based on input image information, and projects the spatially modulated image light on a projection surface of a vehicle.
  • a projection display unit that displays the image, a housing that contains the projection display unit and has an opening through which the image light is emitted, a cover that closes the opening, and an object that adheres to the object on the cover
  • An area detection unit that detects an area
  • a display control unit that controls the image information that is input to the light modulation unit and that is displayed by the projection display unit, and the display control unit includes:
  • a projection display device that displays an outline of a region in which the image light is blocked by the object adhesion region in a displayable range where the image can be displayed by the projection display unit on the projection display unit.
  • An image based on the image light that includes a light modulation unit that spatially modulates the light emitted from the light source based on input image information, and projects the spatially modulated image light on the projection surface of the vehicle.
  • a projection display unit that displays the image, a housing that houses the projection display unit and has an opening through which the image light is emitted, and a cover that closes the opening.
  • An area detection step for detecting an object adhesion region where an object is adhered to the cover; and a displayable range in which the image can be displayed by the projection display unit by controlling the image information input to the light modulation unit.
  • An image based on the image light that includes a light modulation unit that spatially modulates light emitted from the light source based on input image information, and projects the spatially modulated image light on a projection surface of a vehicle.
  • a control program for a projection display device that includes a projection display unit that displays an image, a housing that houses the projection display unit and has an opening through which the image light is emitted, and a cover that closes the opening.
  • An area detection step for detecting an object adhesion region where an object is adhered to the cover; and a displayable range in which the image can be displayed by the projection display unit by controlling the image information input to the light modulation unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)

Abstract

本発明は、情報の欠落している領域を可視化して清掃を容易にすることができる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供する。 本発明の投写型表示装置であるＨＵＤ（１００）は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、空間変調された画像光を自動車（１）のウインドシールド（２）に投写して画像光に基づく画像を表示する投写表示部（４９）と、投写表示部を収容し画像光が出射される開口部（Ｋ）を有する筐体（３）と、開口部（Ｋ）を塞ぐカバー（９）と、カバーにおいて物体が付着している物体付着領域（９１）を検出する領域検出部（４７Ｂ）と、光変調部に入力する画像情報を制御して投写表示部により表示させる画像を制御する表示制御部（４７Ａ）と、を備える。表示制御部は、物体付着領域の輪郭（２１）を投写表示部に表示させる。

Description

投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
　本発明は、投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラムに関する。
　自動車、電車、船舶、重機、建機、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ－ｕｐ　Ｄｉｓｐｌａｙ）が知られている。このＨＵＤを用いれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
　特許文献１には、スクリーンに投写される画像光の通路となる筐体の開口部に開閉自在なシャッター部が設けられ、不使用時にはシャッター部が閉じることによって、異物又は直射日光等が開口部内に入り込むのを防止する車載用のＨＵＤが開示されている。
　特許文献２には、装置内部への異物の侵入を防ぐために、筐体の開口部に透明カバーが設けられた車載用のＨＵＤが開示されている。
　特許文献３には、ＨＵＤではないが、車載カメラのレンズにゴミが付着して一部が撮像不能となっていることを、撮像画像を解析して検出し、撮像不能領域がどこであるかをユーザに通知するシステムが記載されている。
特開２００３－２３７４１１号公報 特開２００８－０４００９１号公報 特開２０１６－０５８９１２号公報
　乗り物用のＨＵＤでは、画像光が出射される出射面が車内空間に露出するため、利用者が出射面に触れて出射面が汚れたり、出射面に水滴又はゴミ等が付着して出射面が汚れたりする可能性がある。特に、建機又は重機の場合には出射面が汚れる可能性は高い。
　ＨＵＤの出射面に汚れが付着すると、その汚れによって画像光の一部が遮られることになり、表示される情報の一部が欠落することになる。ＨＵＤの場合、表示可能な全範囲にわたって情報を常時表示するのではなく、必要な情報を必要な場合にのみ表示させることが多い。このため、情報の欠落があっても、利用者が情報の欠落を認識することは難しい。特に、出射面の大型化が進んだ場合には、表示可能範囲のどの部分において情報の欠落が起こっているのかを把握することは難しい。
　こういった汚れによる情報の欠落を防ぐためには、利用者が、出射面を細めに清掃する必要がある。しかし、出射面が大型化されると、出射面の清掃は容易ではない。また、どこが汚れているかを把握することなく、漫然と出射面を清掃していると、汚れた部分を綺麗にできていない可能性が生じ、情報の欠落を防げない場合もある。
　特許文献１，２に記載されたＨＵＤは、出射面に汚れが付着した場合の対応については考慮していない。
　特許文献３は、撮像装置の撮像不能領域を可視化するものであり、表示装置としてのＨＵＤにおいて情報が欠落した場合の技術を開示するものではない。
　本発明は、上記事情に鑑みてなされたものであり、情報の欠落している領域を可視化して清掃を容易にすることができる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供することを目的とする。
　本発明の投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記投写表示部を収容し、上記画像光が出射される開口部を有する筐体と、上記開口部を塞ぐカバーと、上記カバーにおいて物体が付着している物体付着領域を検出する領域検出部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる上記画像を制御する表示制御部と、を備え、上記表示制御部は、上記投写表示部によって上記画像を表示可能な表示可能範囲のうちの上記物体付着領域によって上記画像光が遮られる領域の輪郭を上記投写表示部に表示させるものである。
　本発明の投写型表示装置の制御方法は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記投写表示部を収容し、上記画像光が出射される開口部を有する筐体と、上記開口部を塞ぐカバーと、を有する投写型表示装置の制御方法であって、上記カバーにおいて物体が付着している物体付着領域を検出する領域検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部によって上記画像を表示可能な表示可能範囲のうちの上記物体付着領域によって上記画像光が遮られる領域の輪郭を上記投写表示部に表示させる表示制御ステップと、を備えるものである。
　本発明の投写型表示装置の制御プログラムは、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記投写表示部を収容し、上記画像光が出射される開口部を有する筐体と、上記開口部を塞ぐカバーと、を有する投写型表示装置の制御プログラムであって、上記カバーにおいて物体が付着している物体付着領域を検出する領域検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部によって上記画像を表示可能な表示可能範囲のうちの上記物体付着領域によって上記画像光が遮られる領域の輪郭を上記投写表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのものである。
　本発明を用いれば、情報の欠落している領域を可視化して清掃を容易にすることができる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１００の概略構成を示す図である。 図１に示す連結部８の外観を示す図である。 図１に示すＨＵＤ１００の筐体３に収容された制御ユニット５の内部構成例を示す模式図である。 図３に示すシステム制御部４７の機能ブロック図である。 ＨＵＤ１００の通常モード時の表示イメージを示す模式図である。 ＨＵＤ１００の通常モード時の表示イメージを示す模式図であり、図５に示す状態においてカバー９の表面に物体が付着して物体付着領域９１が発生した状態を示す図である。 ＨＵＤ１００の点検モード時の表示イメージを示す模式図である。 ＨＵＤ１００の点検モード時の表示イメージの別の例を示す模式図である。 ＨＵＤ１００の点検モード時の表示イメージの更に別の例を示す模式図である。 図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１００の概略構成を示す図である。
　ＨＵＤ１００は、自動車１に搭載され、自動車１のウインドシールド２の一部の範囲を投写面とし、投写面に投写される画像光により、自動車１の運転者によって虚像又は実像を視認可能にするものである。
　ＨＵＤ１００は、自動車以外にも、例えば電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
　ＨＵＤ１００は、自動車１のダッシュボード４に一部が露出し内蔵されている。ダッシュボード４は、自動車１のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
　ＨＵＤ１００は、光源及びこの光源から出射される光を画像情報に基づいて空間変調する光変調部を含む制御ユニット５と、光変調部により空間変調された画像光をウインドシールド２に投写する投写光学系を構成する拡散部材６及び凹面鏡７と、を収容する箱状の筐体３と、筐体３とダッシュボード４の開口部とを連結する筒状の連結部８と、撮像部１０と、を備える。投写光学系の構成は一例であり、図１に示すものに限定されない。
　筐体３には開口部Ｋが形成されており、筐体３の開口部Ｋの周囲の部分と、ダッシュボード４の開口部とが連結部８によって連結されている。
　拡散部材６は、制御ユニット５の光変調部により空間変調された画像光を拡散させて面光源化する部材である。拡散部材６は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、ＭＬＡ（Ｍｉｃｒｏｌｅｎｓ－Ａｒｒａｙ）ディフューザー、又は、反射ホログラフィクディフューザー等が用いられる。
　凹面鏡７は、拡散部材６によって拡散された画像光を拡大してウインドシールド２の投写面に向けて反射する。凹面鏡７によって反射された画像光は、筐体３の開口部Ｋ及び連結部８の中空部を通ってウインドシールド２の投写面に向けて投写される。
　ウインドシールド２には、開口部Ｋ及び連結部８の中空部を通して投写された画像光が運転者の眼Ｅの方向に反射されるような加工がなされおり、この画像光はウインドシールド２によって反射されて運転者の眼Ｅに入射される。これにより、運転者は画像光に基づく画像（虚像又は実像）を視認可能となる。
　筐体３の開口部Ｋは、画像光を透過可能な樹脂又はガラス等のカバー９によって塞がれている。開口部Ｋは、凹面鏡７によって反射された画像光を筐体３から出射させるための出射窓であり、カバー９は、開口部Ｋを通して筐体３内に塵、埃、又は、液体等が混入するのを防いでいる。
　撮像部１０は、撮像素子と、撮像素子によって撮像して得られる撮像画像信号を処理して撮像画像データを生成する画像処理部とを含む。撮像部１０は、連結部８の内壁においてカバー９よりも上方の位置に固定されており、カバー９の表面（筐体３の内部側とは反対の面）を撮像可能に配置されている。撮像部１０によって撮像して得られた撮像画像データは、制御ユニット５の後述するシステム制御部４７に転送される。
　ＨＵＤ１００は、ウインドシールド２に対して画像光を投写する方式を採用しているが、ウインドシールド２の付近に配置したコンバイナ（図示せず）に画像光を投写する方式を採用してもよい。この場合は、コンバイナが投写面を構成する。
　図２は、図１に示す連結部８の外観を示す図である。
　図２に示すように、連結部８は、中空部が略直方体となっており、連結部８の基端にあるカバー９の画像光の出射される方向から見た平面形状は、自動車１の運転席と助手席の並ぶ方向Ｘが長手方向となる矩形となっている。このように、カバー９が方向Ｘに長い形状となっていることで、ウインドシールド２の広範囲にて画像の表示が可能となる。
　自動車１は、図２に示したハンドルＨと対向する位置に運転席が配置され、この運転席の左隣または右隣（例は左隣である）に助手席が配置される構成である。自動車１の運転席と助手席の並ぶ方向Ｘは、自動車１が直進する場合の自動車１の進行方向と略直交する方向と同義である。２つの方向が略直交するとは、この２つの方向のなす角度が７０度～１１０度の範囲にあることを言う。
　図３は、図１に示すＨＵＤ１００の筐体３に収容された制御ユニット５の内部構成例を示す模式図である。
　図３に示すように、ＨＵＤ１００の制御ユニット５は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、ＨＵＤ１００全体を統括制御するシステム制御部４７と、を備える。図３に示す投写光学系４８は、図１に示す拡散部材６及び凹面鏡７によって構成される。
　システム制御部４７は、プロセッサと、このプロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、このプロセッサのワークメモリとして機能するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、を含む。このＲＯＭに記憶されるプログラムは、ＨＵＤ１００の制御プログラムを含む。
　光源ユニット４０は、光源制御部４６と、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１００の光源を構成する。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１００の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つの光源、２つの光源、又は、４つ以上の光源によって構成されていてもよい。
　光源制御部４６は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。
　光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部４７により入力される画像情報に基づいて空間変調する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部４７から入力される画像情報に基づいて光変調素子４４を駆動し、この画像情報に基づいて空間変調された画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から投写光学系４８の拡散部材６に出射させる。光変調素子４４と駆動部４５はＨＵＤ１００の光変調部を構成する。
　図１に示した拡散部材６及び凹面鏡７から構成される投写光学系４８は、ウインドシールド２に投写された画像光に基づく画像が、ウインドシールド２前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、ウインドシールド２において実像として運転者に視認可能となるように投写光学系４８の光学設計がなされていてもよい。
　システム制御部４７は、光源制御部４６及び駆動部４５を制御して、画像情報に基づいて空間変調された画像光を拡散部材６に出射させる。
　投写光学系４８と、光変調素子４４及び駆動部４５から構成される光変調部と、光源ユニット４０とにより、投写表示部４９が構成されている。
　図４は、図３に示すシステム制御部４７の機能ブロック図である。
　システム制御部４７は、表示制御部４７Ａと、領域検出部４７Ｂと、を備える。表示制御部４７Ａと領域検出部４７Ｂは、システム制御部４７のプロセッサがＲＯＭに記憶される制御プログラムを含むプログラムを実行することにより形成される機能ブロックである。
　領域検出部４７Ｂは、点検モードが設定されている場合には、撮像部１０から入力される撮像画像データを解析して、カバー９の表面において物体が付着している領域（以下、物体付着領域という）を検出する。物体とは、ＨＵＤ１００の表示品質に影響を与える程度に大きなゴミ、埃、塵、液体、又は、皮脂等のことを言う。点検モードとは、カバー９の表面に表示に影響のある汚れがあるか否かを判定し、汚れがある場合にはユーザに清掃を促すモードを言う。
　例えば、物体が全く付着していない綺麗な状態のカバー９の表面を撮像部１０により撮像して得られた基準撮像画像データをシステム制御部４７のＲＯＭに記憶しておき、領域検出部４７Ｂは、この基準撮像画像データと、撮像部１０から入力される撮像画像データとの比較により物体付着領域を検出する。
　具体的には、領域検出部４７Ｂは、基準撮像画像データと撮像部１０から入力される撮像画像データとを比較して、撮像部１０から入力される撮像画像データにおいて基準撮像画像データに対し濃淡の変化が大きい変化領域を検出する。そして、領域検出部４７Ｂは、この変化領域のうち、面積が閾値以上となる変化領域を物体付着領域として検出する。
　領域検出部４７Ｂは、面積が閾値未満となる変化領域しか存在しない場合でも、この変化領域が複数個近傍に存在している場合には、この複数個の変化領域を包含する領域を物体付着領域として検出してもよい。
　表示制御部４７Ａは、駆動部４５に入力する画像情報を制御して、投写表示部４９により表示させる画像を制御する。
　また、表示制御部４７Ａは、点検モードが設定されている場合には、領域検出部４７Ｂによって検出された物体付着領域によって画像光が遮られて表示不可となる領域の輪郭を表示するための輪郭情報を含む画像情報を駆動部４５に入力し、この輪郭情報に基づく画像を投写表示部４９に表示させる。
　表示制御部４７Ａは、通常モードが設定されている場合には、目的地までの経路案内を行うための経路案内情報、自動車１の走行速度の情報、自動車１の計器の状態を示す情報、又は、自動車１の運転者に警告を行うための情報等の運転支援情報を含む画像情報を駆動部４５に入力し、運転支援情報に基づく画像を投写表示部４９に表示させる。
　図５は、ＨＵＤ１００の通常モード時の表示イメージを示す模式図である。図５の上段には、自動車１の運転席に着座する運転者から視認される画像２０ａ，２０ｂ，２０ｃと、投写表示部４９によって画像を表示させることのできる最大の範囲を示す表示可能範囲２０と、が示されている。図５の下段には、カバー９を方向Ｘとこれに直交する方向Ｙの各々に垂直な方向から見た平面図が示されている。
　画像２０ａは、自動車１の走行速度を示す文字である。画像２０ｂは、経路案内を示す文字及び矢印である。画像２０ｃは、警告を行うアイコンである。
　カバー９の表面には、投写光学系４８を通った画像光が出射される範囲である光出射範囲９０が示されている。光出射範囲９０から出射された画像光がウインドシールド２に投写されることによって、表示可能範囲２０において画像２０ａ、画像２０ｂ、及び、画像２０ｃが表示される。なお、表示可能範囲２０において、運転支援情報に基づく画像（画像２０ａ、画像２０ｂ、及び、画像２０ｃ）以外の領域は透明となっており、ウインドシールド２前方の景色が確認可能となっている。
　図６は、ＨＵＤ１００の通常モード時の表示イメージを示す模式図であり、図５に示す状態においてカバー９の表面に物体が付着して物体付着領域９１が発生した状態を示している。
　図６に示す状態では、図５に示されていた画像２０ｃを表示するための画像光が光出射範囲９０にある物体付着領域９１によって遮られており、画像２０ｃが表示されるべき領域は透明になっている。このため、運転者は警告に気付くことができなくなる。
　このような事態を防ぐためには、カバー９に付着している物体を取り除く必要がある。しかし、表示可能範囲２０のうち物体付着領域９１によって画像光が遮られる（表示が不可となる）領域は透明表示になるだけである。このため、運転者は、ＨＵＤ１００によって表示される画像を見るだけでは、カバー９のどの部分が汚れているのかを判断するのが難しい。そこで、ＨＵＤ１００では、カバー９のどこを綺麗にすればよいかを運転者に直感的に知らせるべく、上記の点検モードを搭載している。
　図７は、ＨＵＤ１００の点検モード時の表示イメージを示す模式図である。図７の上段には、上述した表示可能範囲２０が示されている。図７の下段には、カバー９を方向Ｘとこれに直交する方向Ｙの各々に垂直な方向から見た平面図が示されている。
　図７に示すように、点検モードでは、表示制御部４７Ａは、領域検出部４７Ｂにより光出射範囲９０において物体付着領域９１が検出されると、表示可能範囲２０のうちのこの物体付着領域９１によって画像光が遮られる領域の輪郭を有色して表示するための輪郭情報を含む画像情報を生成して駆動部４５に入力する。
　これにより、図７の上段に示すように、表示可能範囲２０には、物体付着領域９１によって表示不可となる欠落領域９１ａの輪郭２１が表示される。なお、表示可能範囲２０において輪郭２１以外の部分は透明表示となっている。
　運転者は、ウインドシールド２上において表示可能範囲２０がどのあたりにあるかを理解しておくことで、この輪郭２１によって、カバー９のどのあたりが汚れているのかを把握することができる。したがって、運転者は、カバー９の表面を効率的に清掃することができる。
　なお、表示制御部４７Ａは、領域検出部４７Ｂにより光出射範囲９０において物体付着領域９１が検出されると、表示可能範囲２０の外周を示す枠と、表示可能範囲２０のうちのこの物体付着領域９１によって画像光が遮られる領域の輪郭とを有色して表示するための画像情報を生成して駆動部４５に入力してもよい。
　これにより、図８の上段に示すように、表示可能範囲２０には、物体付着領域９１によって表示不可となる欠落領域９１ａを取り囲む輪郭２１と、表示可能範囲２０の外周を示す枠２２とが表示される。なお、表示可能範囲２０において輪郭２１と枠２２以外の部分は透明表示となっている。
　この構成によれば、運転者は、カバー９の光出射範囲９０と物体付着領域９１との位置関係を把握することができ、カバー９のどのあたりが汚れているのかをより直感的に把握することができる。
　また、表示制御部４７Ａは、領域検出部４７Ｂにより光出射範囲９０において物体付着領域９１が検出されると、表示可能範囲２０のうちの、この物体付着領域９１によって画像光が遮られる領域以外の部分を有色（例えば赤一色又は青一色等）して表示するための画像情報を生成して駆動部４５に入力してもよい。
　これにより、図９の上段に示すように、表示可能範囲２０には、物体付着領域９１によって表示不可となる欠落領域９１ａを除く部分に単色の画像２３が表示される。
　この構成によれば、画像２３によってウインドシールド２前方の背景像が見えにくくなるため、物体付着領域９１によって表示不可となる領域の輪郭の視認性を向上させることができる。
　次に、ＨＵＤ１００の動作について説明する。
　図１０は、図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。
　自動車１のイグニッションキーが操作されることによってＨＵＤ１００の電源がオンしてＨＵＤ１００が起動すると、システム制御部４７は、動作モードを点検モードに設定する（ステップＳ１）。
　点検モードが設定されると、撮像部１０によってカバー９の表面が撮像され（ステップＳ２）、撮像画像データがシステム制御部４７に入力される。システム制御部４７の領域検出部４７Ｂは、撮像画像データが入力されると、この撮像画像データと基準撮像画像データとに基づいて、カバー９の表面の物体付着領域を検出する。
　物体付着領域が検出されると（ステップＳ３：ＹＥＳ）、表示制御部４７Ａは、物体付着領域によって表示不可となる領域の輪郭と、カバー９の清掃を促すメッセージとを表示するための画像情報を生成し、この輪郭とメッセージを表示可能範囲２０に表示させる（ステップＳ４）。ステップＳ４の後はステップＳ２に処理が戻る。
　メッセージの例としては、“ＨＵＤのカバーが汚れています。表示像を参考にカバーを清掃してください”といったものが挙げられる。また、メッセージは、画像ではなく音声出力によって運転者に伝達してもよい。なお、メッセージの表示又は音声出力は必須ではない。
　ステップＳ３において物体付着領域が検出されなかった場合には、表示制御部４７Ａは、動作モードを通常モードに設定し（ステップＳ５）、運転支援情報に基づく画像の表示を開始する。
　以上のようにＨＵＤ１００では、点検モード時に、カバー９に物体が付着している場合には、この物体の付着している領域に対応する輪郭が投写表示部４９によって表示される。このため、運転者は、表示される輪郭を参考にして、カバー９のどのあたりが汚れているのかを直感的に把握することができる。したがって、カバー９における必要な箇所だけを清掃すればすむようになり、清掃を効率的に行うことができる。今後、ＨＵＤの大画面化が進み、カバー９の表面積が大きくなると、そのすべての表面を清掃するには労力を有する。このため、物体付着領域の位置を表示画像によって把握できる本技術は有効となる。
　なお、図１０に示す動作例では、ＨＵＤ１００が起動すると点検モードに自動で移行するものとしているが、これに限らない。例えば、マニュアル操作によって任意のタイミングにおいて点検モードに移行できるようにしてもよい。
　また、図１０に示す動作例では、物体付着領域が検出されなくなった時点において動作モードが通常モードに自動で移行しているが、マニュアル操作によって点検モードから通常モードに移行できるようにしてもよい。図１０に示す動作例によれば、物体付着領域が存在する状態から、カバー９の表面が清掃されて物体付着領域が検出されなくなると自動で通常モードが開始されるため、通常モードに移行したことによってカバー９の汚れが取れたことを運転者に認識させることができ、利便性を向上させることができる。
　以上の説明では、撮像部１０がカバー９の上方に設けられているが、筐体３の内部に撮像部１０を配置して物体付着領域を検出できるようにしてもよい。
　また、カバー９が開口部Ｋに嵌め込まれる構成としたが、カバー９は開口部Ｋを塞ぐことができる構成であればよい。例えば、カバー９を筐体３の外周面に固定し、カバー９の裏面で開口部Ｋ全体を覆うことで、開口部Ｋを塞ぐ構成としてもよい。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）　光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記投写表示部を収容し、上記画像光が出射される開口部を有する筐体と、上記開口部を塞ぐカバーと、上記カバーにおいて物体が付着している物体付着領域を検出する領域検出部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる上記画像を制御する表示制御部と、を備え、上記表示制御部は、上記投写表示部によって上記画像を表示可能な表示可能範囲のうちの上記物体付着領域によって上記画像光が遮られる領域の輪郭を上記投写表示部に表示させる投写型表示装置。
（２）　（１）記載の投写型表示装置であって、上記表示制御部は、上記表示可能範囲の外周を示す枠を上記輪郭と併せて上記投写表示部に表示させる投写型表示装置。
（３）　（１）記載の投写型表示装置であって、上記表示制御部は、上記表示可能範囲のうちの上記物体付着領域により上記画像光が遮られる領域以外を有色表示にすることによって上記輪郭を上記投写表示部に表示させる投写型表示装置。
（４）　（１）～（３）のいずれか１項記載の投写型表示装置であって、上記表示制御部は、上記投写型表示装置が起動したタイミングにおいて上記輪郭を表示させる投写型表示装置。
（５）　光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記投写表示部を収容し、上記画像光が出射される開口部を有する筐体と、上記開口部を塞ぐカバーと、を有する投写型表示装置の制御方法であって、上記カバーにおいて物体が付着している物体付着領域を検出する領域検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部によって上記画像を表示可能な表示可能範囲のうちの上記物体付着領域によって上記画像光が遮られる領域の輪郭を上記投写表示部に表示させる表示制御ステップと、を備える投写型表示装置の制御方法。
（６）　（５）記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記表示可能範囲の外周を示す枠を上記輪郭と併せて上記投写表示部に表示させる投写型表示装置の制御方法。
（７）　（５）記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記表示可能範囲のうちの上記物体付着領域により上記画像光が遮られる領域以外を有色表示にすることによって上記輪郭を上記投写表示部に表示させる投写型表示装置の制御方法。
（８）　（５）～（７）のいずれか１項記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記投写型表示装置が起動したタイミングにおいて上記輪郭を表示させる投写型表示装置の制御方法。
（９）　光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面に投写して上記画像光に基づく画像を表示する投写表示部と、上記投写表示部を収容し、上記画像光が出射される開口部を有する筐体と、上記開口部を塞ぐカバーと、を有する投写型表示装置の制御プログラムであって、上記カバーにおいて物体が付着している物体付着領域を検出する領域検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部によって上記画像を表示可能な表示可能範囲のうちの上記物体付着領域によって上記画像光が遮られる領域の輪郭を上記投写表示部に表示させる表示制御ステップと、をコンピュータに実行させるための投写型表示装置の制御プログラム。
　本発明を用いれば、情報の欠落している領域を可視化して画像光が出射するカバーの清掃を容易にすることができる。
１００　ＨＵＤ
１　自動車
２　ウインドシールド
３　筐体
４　ダッシュボード
５　制御ユニット
６　拡散部材
７　凹面鏡
８　連結部
９　カバー
１０　撮像部
２０　表示可能範囲
２０ａ，２０ｂ，２０ｃ　画像
２１　輪郭
２２　枠
２３　画像
４０　光源ユニット
４１ｒ　Ｒ光源
４１ｇ　Ｇ光源
４１ｂ　Ｂ光源
４２ｒ、４２ｇ、４２ｂ　コリメータレンズ
４３　ダイクロイックプリズム
４４　光変調素子
４５　駆動部
４６　光源制御部
４７　システム制御部
４７Ａ　表示制御部
４７Ｂ　領域検出部
４８　投写光学系
４９　投写表示部
９０　光出射範囲
９１　物体付着領域
９１ａ　欠落領域
Ｈ　ハンドル
Ｋ　開口部
Ｅ　眼
Ｘ、Ｙ　方向

Claims (9)

  1. 　光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、前記空間変調された画像光を乗り物の投写面に投写して前記画像光に基づく画像を表示する投写表示部と、
    　前記投写表示部を収容し、前記画像光が出射される開口部を有する筐体と、
    　前記開口部を塞ぐカバーと、
    　前記カバーにおいて物体が付着している物体付着領域を検出する領域検出部と、
    　前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる前記画像を制御する表示制御部と、を備え、
    　前記表示制御部は、前記投写表示部によって前記画像を表示可能な表示可能範囲のうちの前記物体付着領域によって前記画像光が遮られる領域の輪郭を前記投写表示部に表示させる投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記表示制御部は、前記表示可能範囲の外周を示す枠を前記輪郭と併せて前記投写表示部に表示させる投写型表示装置。
  3. 　請求項１記載の投写型表示装置であって、
    　前記表示制御部は、前記表示可能範囲のうちの前記物体付着領域により前記画像光が遮られる領域以外を有色表示にすることによって前記輪郭を前記投写表示部に表示させる投写型表示装置。
  4. 　請求項１～３のいずれか１項記載の投写型表示装置であって、
    　前記表示制御部は、前記投写型表示装置が起動したタイミングにおいて前記輪郭を表示させる投写型表示装置。
  5. 　光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、前記空間変調された画像光を乗り物の投写面に投写して前記画像光に基づく画像を表示する投写表示部と、前記投写表示部を収容し、前記画像光が出射される開口部を有する筐体と、前記開口部を塞ぐカバーと、を有する投写型表示装置の制御方法であって、
    　前記カバーにおいて物体が付着している物体付着領域を検出する領域検出ステップと、
    　前記光変調部に入力する前記画像情報を制御して前記投写表示部によって前記画像を表示可能な表示可能範囲のうちの前記物体付着領域によって前記画像光が遮られる領域の輪郭を前記投写表示部に表示させる表示制御ステップと、を備える投写型表示装置の制御方法。
  6. 　請求項５記載の投写型表示装置の制御方法であって、
    　前記表示制御ステップでは、前記表示可能範囲の外周を示す枠を前記輪郭と併せて前記投写表示部に表示させる投写型表示装置の制御方法。
  7. 　請求項５記載の投写型表示装置の制御方法であって、
    　前記表示制御ステップでは、前記表示可能範囲のうちの前記物体付着領域により前記画像光が遮られる領域を有色表示にすることによって前記輪郭を前記投写表示部に表示させる投写型表示装置の制御方法。
  8. 　請求項５～７のいずれか１項記載の投写型表示装置の制御方法であって、
    　前記表示制御ステップでは、前記投写型表示装置が起動したタイミングにおいて前記輪郭を表示させる投写型表示装置の制御方法。
  9. 　光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、前記空間変調された画像光を乗り物の投写面に投写して前記画像光に基づく画像を表示する投写表示部と、前記投写表示部を収容し、前記画像光が出射される開口部を有する筐体と、前記開口部を塞ぐカバーと、を有する投写型表示装置の制御プログラムであって、
    　前記カバーにおいて物体が付着している物体付着領域を検出する領域検出ステップと、
    　前記光変調部に入力する前記画像情報を制御して前記投写表示部によって前記画像を表示可能な表示可能範囲のうちの前記物体付着領域によって前記画像光が遮られる領域の輪郭を前記投写表示部に表示させる表示制御ステップと、をコンピュータに実行させるための投写型表示装置の制御プログラム。
PCT/JP2017/036057 2016-12-12 2017-10-04 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム WO2018110041A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018556205A JP6582143B2 (ja) 2016-12-12 2017-10-04 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
CN201780076743.9A CN110073273B (zh) 2016-12-12 2017-10-04 投影型显示装置、投影型显示装置的控制方法、存储介质
US16/417,667 US10746992B2 (en) 2016-12-12 2019-05-21 Projection display device with light blocking region detection, and control method and control program for projection display device with light blocking region detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-240497 2016-12-12
JP2016240497 2016-12-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/417,667 Continuation US10746992B2 (en) 2016-12-12 2019-05-21 Projection display device with light blocking region detection, and control method and control program for projection display device with light blocking region detection

Publications (1)

Publication Number Publication Date
WO2018110041A1 true WO2018110041A1 (ja) 2018-06-21

Family

ID=62558381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036057 WO2018110041A1 (ja) 2016-12-12 2017-10-04 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Country Status (4)

Country Link
US (1) US10746992B2 (ja)
JP (1) JP6582143B2 (ja)
CN (1) CN110073273B (ja)
WO (1) WO2018110041A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199583A1 (ja) * 2020-03-31 2021-10-07 パナソニックＩｐマネジメント株式会社 撮像表示システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113391A (zh) * 2021-03-18 2022-09-27 中强光电股份有限公司 光机模块与投影装置
DE102021123814A1 (de) * 2021-09-15 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Reflexionsanzeigesystem sowie Verfahren zum Betreiben eines Reflexionsanzeigesystems mit einer Abdeckerkennung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63156833U (ja) * 1987-04-03 1988-10-14
JP2005075230A (ja) * 2003-09-02 2005-03-24 Nissan Motor Co Ltd 車両用ヘッドアップディスプレイ装置
DE102005025572A1 (de) * 2005-06-03 2006-06-08 Daimlerchrysler Ag Selbstreinigende Bedien- und Anzeigeeinrichtung
JP2010033222A (ja) * 2008-07-28 2010-02-12 Seiko Epson Corp ディスプレイを有する電子機器
JP2012026857A (ja) * 2010-07-23 2012-02-09 Fujitsu Ltd 清掃作業支援装置
JP2013511431A (ja) * 2009-11-24 2013-04-04 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング カメラに基く雨及び汚れセンサ装置、運転者確認及び疲労検査のためヘッドアップディスプレイの光学素子の使用

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618902B2 (ja) 1986-12-19 1994-03-16 東洋紡績株式会社 熱収縮性ポリエステル系フイルム
JP2003237411A (ja) * 2002-02-12 2003-08-27 Denso Corp ヘッドアップディスプレイ装置
AU2003214595A1 (en) * 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
DE10245334A1 (de) * 2002-09-27 2004-04-08 Robert Bosch Gmbh Navigationsvorrichtung
JP5080763B2 (ja) 2006-08-04 2012-11-21 矢崎総業株式会社 ヘッドアップディスプレイ用カバー及び車両用表示ユニット
US9443429B2 (en) * 2012-01-24 2016-09-13 GM Global Technology Operations LLC Optimum gaze location on full windscreen display
US9170474B2 (en) * 2012-06-21 2015-10-27 Qualcomm Mems Technologies, Inc. Efficient spatially modulated illumination system
US20140034806A1 (en) * 2012-08-01 2014-02-06 Delphi Technologies, Inc. Windshield display with obstruction detection
FR3000571B1 (fr) * 2012-12-28 2016-04-29 Valeo Etudes Electroniques Afficheur, notamment afficheur tete haute, pour vehicule
JP5969973B2 (ja) * 2013-12-18 2016-08-17 富士重工業株式会社 車載画像表示装置
CN105022167B (zh) * 2014-04-24 2018-04-03 惠州市德赛西威汽车电子股份有限公司 一种双模式抬头显示装置及其显示方法
JP6398501B2 (ja) * 2014-09-10 2018-10-03 株式会社デンソー 車載カメラ診断装置
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
JP6272375B2 (ja) * 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ 車両用表示制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63156833U (ja) * 1987-04-03 1988-10-14
JP2005075230A (ja) * 2003-09-02 2005-03-24 Nissan Motor Co Ltd 車両用ヘッドアップディスプレイ装置
DE102005025572A1 (de) * 2005-06-03 2006-06-08 Daimlerchrysler Ag Selbstreinigende Bedien- und Anzeigeeinrichtung
JP2010033222A (ja) * 2008-07-28 2010-02-12 Seiko Epson Corp ディスプレイを有する電子機器
JP2013511431A (ja) * 2009-11-24 2013-04-04 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング カメラに基く雨及び汚れセンサ装置、運転者確認及び疲労検査のためヘッドアップディスプレイの光学素子の使用
JP2012026857A (ja) * 2010-07-23 2012-02-09 Fujitsu Ltd 清掃作業支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199583A1 (ja) * 2020-03-31 2021-10-07 パナソニックＩｐマネジメント株式会社 撮像表示システム

Also Published As

Publication number Publication date
JPWO2018110041A1 (ja) 2019-10-24
US20190271842A1 (en) 2019-09-05
CN110073273A (zh) 2019-07-30
US10746992B2 (en) 2020-08-18
CN110073273B (zh) 2021-06-01
JP6582143B2 (ja) 2019-09-25

Similar Documents

Publication Publication Date Title
JP6462194B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
WO2017033566A1 (ja) 投写型表示装置、投写表示方法、及び投写表示プログラム
JP6255537B2 (ja) 投写型表示装置及び投写制御方法
CN109789783B (zh) 投影型显示装置、显示控制方法及计算机可读取存储介质
JP6582143B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US20180335627A1 (en) Projection type display device
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
WO2017149995A1 (ja) 投写型表示装置、投写制御方法、及び、投写制御プログラム
JP2006106254A (ja) 車両用ヘッドアップディスプレイ
JP6582140B2 (ja) 投写型表示装置
US10823957B2 (en) Projection display device, and operation method and operation program for projection display device
US20180192019A1 (en) Projection type display device and projection control method
US10761413B2 (en) Projection display device, control method for projection display device, and control program for projection display device
WO2018051734A1 (ja) 投写型表示装置及びその制御方法
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17880177

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556205

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17880177

Country of ref document: EP

Kind code of ref document: A1