WO2023047897A1 - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
WO2023047897A1
WO2023047897A1 PCT/JP2022/032529 JP2022032529W WO2023047897A1 WO 2023047897 A1 WO2023047897 A1 WO 2023047897A1 JP 2022032529 W JP2022032529 W JP 2022032529W WO 2023047897 A1 WO2023047897 A1 WO 2023047897A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
emitting element
vehicle
imaging
display
Prior art date
Application number
PCT/JP2022/032529
Other languages
English (en)
French (fr)
Inventor
幸蔵 西澤
雄治 猪坂
一成 濱田
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to DE112022004477.2T priority Critical patent/DE112022004477T5/de
Priority to CN202280062612.6A priority patent/CN117980801A/zh
Priority to JP2023549437A priority patent/JPWO2023047897A1/ja
Publication of WO2023047897A1 publication Critical patent/WO2023047897A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/235Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40Hardware adaptations for dashboards or instruments
    • B60K2360/48Sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741Instruments adapted for user detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • B60K37/20Dashboard panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • B60Y2400/3015Optical cameras

Definitions

  • the present invention relates to, for example, a head-up display (HUD) device mounted on a vehicle such as an automobile.
  • HUD head-up display
  • Patent Document 1 describes detecting a driver's viewpoint using an infrared camera and attaching the infrared camera to a steering column (steering wheel shaft) (Patent Document 1 [ 0018], Fig. 4).
  • the camera When the camera is mounted on the steering column, the camera rotates as the steering wheel rotates, causing distortion in the captured image. are provided.
  • the camera and the viewpoint detection unit can be incorporated into the HUD device, and the viewpoint detection unit and the HUD control unit can be connected with, for example, a short wiring in the HUD device, reducing signal delay and communication noise. contamination can be suppressed.
  • the inventor further considered providing an infrared camera (hereinafter sometimes simply referred to as a camera) outside the path of the display light that displays the image.
  • a camera an infrared camera
  • it is possible to freely determine the arrangement of the camera independently of the optical system for display light, thereby improving the degree of freedom in design.
  • one optical element (reflecting mirror, etc.) does not need to correspond to both visible light and infrared light, and the configuration (structure) of the optical element (optical system) can be simplified. is also advantageous.
  • the light-emitting element for example, an LED that emits infrared rays
  • the camera for example, a solid-state imaging device such as a CCD
  • the direction of the imaging light emitted by the light emitting element is also set appropriately.
  • the imaging light is emitted toward the windshield (reflective translucent member) through the translucent cover provided in the opening of the housing of the HUD device.
  • the translucent cover provided in the opening of the housing of the HUD device.
  • outside light enters through the translucent cover from the upper side of the vehicle in the height direction.
  • an LED that emits infrared rays or a camera (for example, a solid-state imaging device such as a CCD) may be visible. Therefore, it is preferable to consider countermeasures for suppressing external light and countermeasures for suppressing discomfort due to human visual observation (in other words, deterioration of marketability of the HUD device).
  • part of the imaging light emitted from the light-emitting element (LED, etc.) is reflected by the light-transmitting cover, and the reflected light (stray light) enters the camera (solid-state imaging element, etc.). It may be an error. Therefore, it is preferable to consider measures against this stray light as well.
  • One of the objects of the present invention is to reduce the distortion of the captured image in a head-up display device having a function of displaying an image (virtual image) and a function of imaging the parts (eyes, etc.) of the occupant, and detecting the parts. It is to improve accuracy.
  • the head-up display device comprises: Displaying a virtual image to an occupant of the vehicle by irradiating display light of an image on a reflective translucent member provided in the vehicle and having both light reflectivity and transparency, irradiating a part of the occupant with imaging light, and capturing an image of the part by receiving reflected light from the part via the reflective translucent member;
  • a head-up display device disposed between the occupant and the translucent reflecting member in a plan view viewed from above in the height direction of the vehicle, the head-up display device comprising: a housing; a translucent cover provided on the housing; a display unit provided in the housing for displaying the image; an optical system that is provided in the housing and includes an optical element that irradiates the display light toward the reflecting light-transmitting member via the light-transmitting cover; a light-emitting element that is provided outside the path of the display light of the image in the housing and that emits the imaging light; and an imaging element that receives the reflected light arriving via the reflective translucent member
  • an imaging unit having has In a plan view seen from above in the height direction of the vehicle,
  • the housing is arranged between the seated position of the passenger and the reflective translucent member,
  • the region of the translucent cover provided on the housing is a display light passing area through which the display light passes; an imaging device region corresponding to the imaging device located below the translucent cover,
  • the imaging device area is provided on the end side of the vehicle in the width direction of the vehicle, which is opposite to the center side, with respect to the display light passing area as viewed from the occupant.
  • the HUD device can be arranged, for example, in front of the occupant (imaging target) and in front of the windshield (near the windshield, etc.).
  • the HUD device emits display light for displaying an image and imaging light for imaging the parts of the occupant.
  • the imaging light emitted from the light-emitting element passes through the windshield (reflecting light-transmitting member) and irradiates the occupant.
  • the light is received by (imaging element) and imaged.
  • a quadrangle looks like a quadrangle, but when viewed from an angle, it looks like a parallelogram or a trapezoid, and the image is distorted.
  • the occupant (for example, the driver) is positioned on the left end side in the width direction of the vehicle in a left-hand drive vehicle, and is positioned on the right end side in a right-hand drive vehicle.
  • the change in the curved surface shape of the windshield is generally sharp at the ends of the vehicle (in other words, the curvature is large and the radius of curvature is small), and is gentle at the center side (in other words, the curvature is small and the radius of curvature is small). large).
  • the light is reflected at a portion where the curved surface shape changes abruptly on the end side of the vehicle, it is possible to reflect the light at a more acute angle with respect to the width direction of the vehicle.
  • This acute-angle reflection is possible makes it easy to use the display light to irradiate the front of the passenger (driver) while approaching it, and furthermore, the reflected light of the imaging light from the passenger (driver) can be more easily reflected. It can be easily used to reflect light at a position close to the front and return it to a camera (imaging device) positioned close to the light emitting device. Imaging at a position close to the front reduces the distortion of the captured image.
  • the imaging device is arranged at a position where the optical axis of the imaging device is less twisted with respect to the translucent reflecting member, the distortion of the captured image can be reduced, and the detection accuracy of the position of the user's eyes can be improved. can be improved.
  • the optical path length of the return optical path of the reflected light of the imaging light can be shortened. This point is useful, for example, in suppressing expansion of distortion caused by reflection of imaging light on the windshield. In this respect as well, it is possible to reduce the distortion of the captured image.
  • the reflected light can be received at a position closer to the front in the width direction of the vehicle (in other words, the imaging device can be arranged closer to the front).
  • the imaging device can be arranged closer to the front.
  • the area in which the image sensor is arranged is wider in the width direction of the vehicle than the display light passing area through which the display light (a wider luminous flux) passes. It is provided on the edge side (opposite side to the central side), and a layout configuration is adopted that makes it easy to use the portion on the edge side of the windshield (reflecting light-transmitting member) where there is a large change in the curved surface.
  • the size of the housing of the HUD device can be reduced.
  • the display light is visible light
  • the imaging light is infrared light, having a filter portion provided under the translucent cover that transmits infrared light and blocks visible light;
  • a filter part area corresponding to the filter part is provided in the area of the light-transmitting cover,
  • the imaging element region may be provided within the filter portion region.
  • a filter portion that transmits infrared light and blocks visible light is provided under the translucent cover.
  • this filter portion for example, a multilayer long-pass filter made of a material that absorbs visible light and transmits infrared light (specifically, an IR filter or the like attached to the back surface of the translucent cover) can be used. .
  • the imaging device is placed at a position corresponding to this filter section.
  • a layout configuration is adopted in which the imaging element area is provided within the filter portion area corresponding to the filter portion.
  • the human line of sight from above is also blocked by the filter section. Therefore, it is possible to suppress the occurrence of discomfort due to human visual observation (in other words, deterioration of the marketability of the HUD device).
  • a point of intersection between the optical axis of the imaging element and the translucent reflective member is located above a point of reflection of the principal ray of the display light on the translucent reflective member.
  • the principal ray of the imaging light is reflected by the windshield (reflecting translucent member) above the position at which the principal ray of the image display light is reflected.
  • the "principal ray of imaging light” is, in other words, a central ray (referred to as a principal ray) that travels along the optical axis of the imaging device. Therefore, "the reflection position of the principal ray of the imaging light on the windshield” can be rephrased as "the position of the intersection of the optical axis of the imaging device and the windshield”.
  • the human face (especially the eyes) is located above the instrument panel and steering wheel. Therefore, according to the height of the face, eyes, etc., the position of intersection of the optical axis of the imaging light and the windshield is set to a position higher than the position of the reflection area of the display light of the image, and the position of the human part (for example, the face) (eyes, etc.) can be imaged at an angle closer to the front. As a result, the distortion of the captured image can be suppressed, and the detection accuracy of the positions of the face and eyes can be maintained at a high level.
  • the area of the light-transmitting cover provided on the housing includes a light-emitting element area corresponding to the light-emitting element positioned below the light-transmitting cover;
  • the light emitting element region may be provided on an end portion side of the vehicle in the width direction of the vehicle, which is opposite to the center side, with respect to the display light passing region, when viewed from the occupant.
  • the fourth aspect illustrates a preferred example of the layout configuration of the light emitting element regions.
  • the light emitting element region is provided on the vehicle end side (the side opposite to the center side) with respect to the display light passing region.
  • the "light-emitting element area” is arranged on the same side as the "imaging element area” shown in the first aspect (on the edge side of the vehicle with respect to the display light passing area).
  • Adopting this layout configuration has the effect that, for example, the light-emitting element and the imaging element that are arranged close to each other can be handled as one imaging unit. Specifically, by housing the light-emitting element and the imaging element in a common package to form a unit, handling becomes easier than when each element is handled individually.
  • the light-emitting element and the imaging element are installed separately, it is possible that there may be a concern about variations in the relative positions of the elements.
  • the relative positional error of each element is determined by the layout accuracy of each element in the manufacturing process of the unit and is not affected by the positional deviation during mounting.
  • the area of the light-transmitting cover provided on the housing includes a light-emitting element area corresponding to the light-emitting element positioned below the light-transmitting cover;
  • the light emitting element area may be provided on the center side of the vehicle in the width direction of the vehicle with respect to the display light passing area as viewed from the passenger.
  • the fifth aspect exemplifies another preferred example of the layout configuration of the light emitting element region.
  • the light emitting element area is provided on the vehicle center side with respect to the display light passing area.
  • the "light-emitting element area” is arranged on the opposite side (the center side of the vehicle) of the “imaging element area” with respect to the display light passing area. Since the display light passing area exists between the light emitting element area and the imaging element area, the distance between the areas can be increased accordingly.
  • the layout configuration of this aspect is useful as a countermeasure against stray light.
  • the layout configuration of this embodiment is also useful in realizing a layout of elements with a higher degree of freedom according to the situation.
  • the area of the light-transmitting cover provided on the housing includes a light-emitting element area corresponding to the light-emitting element positioned below the light-transmitting cover; Having first and second light emitting elements as the light emitting elements,
  • the light emitting element region has a first light emitting element region corresponding to the first light emitting element and a second light emitting element region,
  • the first light emitting element region is provided on the center side of the vehicle in the width direction of the vehicle with respect to the display light passing region as viewed from the passenger
  • the second light-emitting element region may be provided on an end portion side of the vehicle in the width direction of the vehicle, which is opposite to the center side, with respect to the display light passing region, as viewed from the passenger. good.
  • the first and second light emitting elements are used.
  • the first light emitting element is provided on the center side of the vehicle with respect to the display light passing area.
  • the second light emitting element is provided on the edge side of the vehicle with respect to the display light passing area.
  • the display light passing region exists between the first and second light emitting elements, so that the distance between them is wide and the installation positions of the elements are considerably different. Therefore, for example, an optical path (first optical path) when imaging light emitted by the first light emitting element is reflected by the windshield and applied to a part of a person (first optical path), and an imaging light emitted by the second light emitting element passes through the windshield. It is possible to make the light path different from the light path (second light path) when the light is reflected by the shield and illuminates the part of the person.
  • the surface of the sunglasses worn by the driver causes unusual reflection (diffuse reflection, etc.) of the imaging light
  • the unusual reflected light is reflected by the windshield and returned to the image sensor.
  • the distortion of the image may increase.
  • the optical path In other words, it is possible to subtly change the angle of incidence), or to change the cross-sectional shape of the beam of light that irradiates the part of the person, or to expand the area. This may reduce the stray light described above.
  • the incident angle of the returning stray light to the image sensor changes and becomes difficult to detect.
  • the S/N may be improved by increasing normal (regular) return light.
  • the configuration of this aspect can be a countermeasure against stray light when a person (driver) wears sunglasses or the like.
  • this aspect is also useful in terms of increasing the amount of imaging light returning to the imaging element and improving the detection sensitivity.
  • the area of the light-transmitting cover provided on the housing includes a light-emitting element area corresponding to the light-emitting element positioned below the light-transmitting cover; Having first and second light emitting elements as the light emitting elements,
  • the light emitting element region has a first light emitting element region corresponding to the first light emitting element and a second light emitting element region,
  • the first light emitting element region is provided on the center side of the vehicle in the width direction of the vehicle with respect to the display light passing region as viewed from the passenger,
  • the second light emitting element region is viewed from the occupant, the center side of the vehicle in the width direction of the vehicle with respect to the display light passage area, and, It may be provided at a position farther from the display light passing region than the first light emitting element region.
  • first and second light emitting elements are provided, and each light emitting element is switched and used, or two light emitting elements are used in combination. , measures against stray light, or increase the amount of imaging light returning to the imaging element.
  • the first and second light emitting elements are provided on opposite sides of the display light passing region, whereas in this aspect, the first and second light emitting elements are both provided on the central side (same side). Also, the second light emitting element is provided at a position farther from the display light passing region than the first light emitting element. The interval between the first and second light emitting elements can also be finely adjusted as appropriate.
  • FIG. 1A is a diagram showing an example of the configuration of the HUD device, and FIG. , and a second region (filter region) in which infrared light is transmitted and visible light is not transmitted.
  • FIG. 2A is a diagram showing an example layout of an imaging unit including a light emitting element and an imaging element
  • FIG. 2B is a diagram showing another example layout of the imaging unit.
  • FIG. 3A is a diagram showing an example of the arrangement of the HUD device in a left-hand drive vehicle, an example of optical paths of visible light (display light) and infrared light (imaging light), etc.
  • FIG. It is a figure which shows the example of arrangement
  • FIG. 4A is a diagram showing an example of the arrangement of the HUD device in a right-hand drive vehicle, an example of optical paths of visible light (display light) and infrared light (imaging light), etc.
  • FIG. It is a figure which shows the example of arrangement
  • FIG. 5 is a diagram for explaining the advantages of arranging the imaging device (imaging device region) on the end side of the vehicle with respect to the display light passing region.
  • FIG. 6 is a diagram showing a preferred example of optical paths (routes) of display light and imaging light.
  • FIGS. 7A and 7B are diagrams for explaining the effect of blocking external light and line of sight by the filter section.
  • FIGS. 9A to 9C show a light-emitting element (light-emitting element area) and an image pickup element (image pickup element area) in consideration of stray light generated in the light-transmitting cover (or the filter section provided under the light-transmitting cover).
  • FIGS. 9A to 9C show a light-emitting element (light-emitting element area) and an image sensor (image sensor area) in consideration of stray light generated in the light-transmitting cover (or the filter section provided under the light-transmitting cover).
  • FIG. 9A to 9C show a light-emitting element (light-emitting element area) and an image sensor (image sensor area) in consideration of stray light generated in the light-transmitting cover (or the filter section provided under the light-transmitting cover).
  • FIG. 9A to 9C show a light-emitting element (light-emitting element area) and an image sensor (image sensor area) in consideration of stray light generated in the light-transmitting
  • FIG. 10A shows an example in which the light emitting element (light emitting element area) is arranged on the right side of the display light passing area as seen from the driver, and the image pickup element (image pickup element area) is arranged on the left side as seen from the driver.
  • FIG. 10B is a diagram showing the stray light suppression effect.
  • FIG. 11 is a diagram showing an example of a layout configuration using first and second light emitting elements.
  • FIG. 12 is a diagram showing another example of layout configuration using the first and second light emitting elements.
  • FIG. 1A is a diagram showing an example of the configuration of the HUD device, and FIG. , and a second region (filter portion region that transmits infrared light) that transmits infrared light and does not transmit visible light.
  • a head-up display (HUD) device 100 displays an image on a windshield 2 provided in a vehicle 1 and serving as a reflective translucent member having both light reflectivity and transmissivity. It has a function of displaying a virtual image V on a virtual image display surface PS for an occupant (here, the driver) 5 of the vehicle 1 by irradiating the light L1.
  • HUD head-up display
  • the HUD device 100 irradiates the part (the face, the eyes, etc., here referred to as the eyes (viewpoint) 7) of the occupant (driver) 5 with the imaging light L2 via the windshield 2, and It also has a function of capturing an image of a part by receiving reflected light L3 from the part via the windshield 2 .
  • the position of the eye (viewpoint) is detected based on the captured image. Based on the detected viewpoint position, for example, viewpoint position tracking lighting, viewpoint position tracking warping, etc. may be performed.
  • the HUD device 100 in a plan view seen from the upper side in the height direction (Y direction) of the vehicle 1, has an occupant (driver) 5 (or the steering wheel 8) and the windshield 2 as a reflective translucent member, positioned forward (and downward) as viewed from the driver 5. As shown in FIG.
  • the HUD device 100 is housed in the instrument panel 4 near the windshield 2 .
  • the HUD device 100 includes a housing 116, a translucent cover 112 provided on the housing, and a display unit 102 (such as a liquid crystal display device) provided in the housing for displaying an image. ), and an optical element (curved mirror 108 ) (including the plane mirror 106), and a light emitting element (not shown in FIG. 1, FIG. 2 etc.) and an imaging element (not shown in FIG. 1, reference numeral 115 in FIG. 2 etc.) that receives the reflected light L3 of the imaging light arriving via the windshield 2 (imaging unit ) 110 and .
  • the light emitting element 113 emits imaging light toward the windshield 2 through the translucent cover 112 in the example of FIG. 1(A).
  • the configuration is not limited to this, and the light emitting element 113 may be configured to directly irradiate the passenger (driver or the like) with the imaging light without passing through the windshield 2 .
  • the display light L1 is visible light
  • the imaging light L2 (and the reflected light L3 of the imaging light that is reflected by the human body and returns to the imaging unit 110) is infrared light (including near-infrared light).
  • infrared light including near-infrared light
  • the HUD device 100 also has a filter section 114 provided on the lower side of the translucent cover 112 that transmits infrared light and blocks visible light.
  • This filter section 114 has a function of preventing external light from entering the imaging section 110 or preventing a person from viewing the imaging section 110 through the translucent cover 112 .
  • a multilayer long-pass filter made of a material that absorbs visible light and transmits infrared light (specifically, an IR filter or the like attached to the back surface of the translucent cover 112) is used. be able to.
  • the region of the light-transmitting cover 112 includes a display light passing region (sometimes referred to as a first region) Z1 through which display light (visible light) passes, and infrared light. It can be distinguished from a filter portion region (region corresponding to the filter portion 114; sometimes referred to as a second region) Z2 that transmits and blocks visible light.
  • a display light passing region sometimes referred to as a first region
  • Z1 display light (visible light) passes, and infrared light. It can be distinguished from a filter portion region (region corresponding to the filter portion 114; sometimes referred to as a second region) Z2 that transmits and blocks visible light.
  • first region Z1 can also be referred to as a "display light (visible light) transmission region”.
  • the second region Z2 can also be called an "infrared light transmission region.”
  • the regions Z1 and Z2 are drawn along the longitudinal direction of the vehicle 1 for the sake of convenience, but they are actually arranged along the width direction (horizontal direction) of the vehicle 1. (this point will be discussed later).
  • FIG. 2A is a diagram showing an example layout of an imaging unit including a light emitting element and an imaging element
  • FIG. 2B is a diagram showing another example layout of the imaging unit.
  • parts common to those in FIG. 1 are denoted by the same reference numerals (the same applies to other drawings).
  • FIGS. 2(A) and (B) show an example of arrangement in a left-hand drive vehicle (see FIG. 3(A)).
  • the HUD device 100 provides a space between an occupant (driver) 5 (or a steering wheel 8) and a windshield 2 as a reflective translucent member. It is arranged at a front (and lower) position as viewed from 5 .
  • the translucent cover 112 provided on the housing 116 is exposed to the windshield 2 side.
  • Display light L1 and imaging light L2 are emitted through the translucent cover 112, and reflected light L3 of the imaging light L2 from human parts returns.
  • Light is received by an element (camera in a broad sense) 115 .
  • a region (light-transmitting cover region Z0) where the light-transmitting cover 112 exists is a rectangular region in a plan view viewed from above in the height direction (Y direction) of the vehicle 1, and is indicated by a thick solid line in the drawing. ing.
  • a device region (broadly speaking, a camera region) Zr is provided.
  • the light emitting element 113 and the imaging element 115 are components of the imaging unit (imaging unit) 110 .
  • the imaging unit (imaging section) 110 is arranged below the filter section 114 .
  • a layout configuration is employed in which an imaging unit area (imaging section area) is arranged in a filter section area Z2 corresponding to the filter section 114 .
  • Reference numeral 106 denotes a plane mirror that is a component of the optical system of the HUD device 100.
  • the imaging element region Zr is opposite to the central side of the vehicle in the width direction of the vehicle 1 with respect to the display light passing region Z1 when viewed from the passenger (driver) 5.
  • side in other words, the left side as seen from the driver 5).
  • the light emitting element 113 and the imaging element 115 are arranged along the longitudinal direction of the vehicle.
  • the light emitting element 113 is arranged in the rear
  • the imaging element 115 is arranged in the front. Adopting this arrangement has the advantage of suppressing adverse effects of stray light caused by reflection of infrared light on the translucent cover 112 (this point will be described later).
  • the light emitting element 113 and the imaging element 115 are arranged along the width direction (horizontal direction) of the vehicle.
  • the light emitting element 113 is arranged on the right side as seen from the driver 5, and the imaging element 115 is arranged on the left side. Adopting this arrangement has the advantage of suppressing adverse effects of stray light caused by reflection of infrared light on the translucent cover 112 (this point will be described later).
  • FIG. 3A is a diagram showing an example of the arrangement of the HUD device in a left-hand drive vehicle, an example of optical paths of visible light (display light) and infrared light (imaging light), etc.
  • FIG. It is a figure which shows the example of arrangement
  • FIG. 3 the arrangement shown in FIG. 2(A) is adopted. Further, as shown in FIG. 3A, the vehicle 1 is a left-hand drive vehicle, and the driver 5 is positioned on the left end (second end) side of the vehicle 1 .
  • Reference numeral 91 denotes a right side mirror, and reference numeral 93 denotes a left side mirror.
  • a portion P1 surrounded by a dashed circle on the windshield 2 indicates a reflection position in the width direction of the vehicle of display light (visible light) L1 for displaying an image.
  • a point P2 is a reflection position in the width direction of the vehicle of the emitted light L2 of the imaging light (infrared light) and the reflected light (or the feedback light returning toward the imaging device 115) L3 from the part of the person. show.
  • the point P1 is located on the center side (closer to the center) in the width direction of the vehicle, and the point P2 is located on the end side (closer to the end).
  • the change (degree of bending) of the curved surface of the windshield 2 at the point P1 is gradual, while the change of the curved surface of the windshield 2 at the point P2 is quite steep.
  • This steep curved surface it is possible to reflect the imaging light (infrared light) L2 and L3 at an acute angle and to image the driver 5 from a position as close to the front as possible. It also has the effect of suppressing the transformation (details of this point will be described later).
  • an imaging unit (imaging section) 110 includes a light-emitting element 113 and an imaging element 115 . Note that the filter portion region Z2 is omitted in FIG. 3B.
  • FIG. 3B in a plan view seen from the upper side in the height direction of the vehicle 1, a light emitting element region Ze is provided corresponding to the light emitting element 113, and an image pickup element region Zr is provided corresponding to the image pickup element 115. is provided.
  • the imaging device area Zr is located on the left side of the display light passing area Z1 as seen from the driver 5, in other words, on the end side in the width direction (horizontal direction) of the vehicle 1.
  • FIG. 4A is a diagram showing an example of the arrangement of the HUD device in a right-hand drive vehicle, an example of optical paths of visible light (display light) and infrared light (imaging light), etc.
  • FIG. It is a figure which shows the example of arrangement
  • parts common to those in FIG. 3 are given the same reference numerals.
  • the vehicle 1 is a right-hand drive vehicle, and the driver 5 is positioned on the right end (first end) side of the vehicle 1 .
  • the HUD device is also provided on the right end side in the width direction of the vehicle 1 .
  • FIG. 5 is a diagram for explaining the advantages of arranging the imaging device (imaging device region) on the end side of the vehicle with respect to the display light passing region. 5 assumes the left-hand drive vehicle shown in FIG.
  • the imaging light infrared light
  • FIG. is drawing.
  • the imaging light (infrared light) L2 emitted from the light emitting element 113 is irradiated to the driver 5 via the windshield (translucent reflecting member) 2 (see FIG. 3A), and the reflected light L3 is incident on the windshield 2, reflected, and received and imaged by a camera (image pickup device) 115 arranged at a predetermined position.
  • a quadrangle looks like a quadrangle, but when viewed from an angle, it looks like a parallelogram or a trapezoid, and the image is distorted. Therefore, it is preferable to take an image from a position as close to the front as possible.
  • the dashed straight line G1 indicates the sagittal plane of the driver 5
  • the direction along the sagittal plane G1 is the front direction
  • the intersection of the sagittal plane G1 and the windshield 2 is It can be called the front position.
  • An image pickup unit (image pickup unit) 110 having a light emitting element 113 and an image pickup element 115 does not overlap the display light passage area Z1 so as not to hinder the progress of the display light L2 (L3). It is arranged in the vicinity of the light passing area Z1.
  • the imaging element can be arranged either on the left side or the right side of the display light passing area Z1.
  • the imaging element arranged on the left side is denoted by reference numeral 115
  • the imaging element arranged on the right side is denoted by reference numeral 115' to distinguish between them.
  • those related to the image pickup element 115' are distinguished by attaching "'".
  • the reflected light L3 is reflected obliquely forward left as viewed from the driver 5 at an angle ⁇ 1, and the reflected light L3′ is reflected obliquely forward right viewed from the driver 5 at an angle ⁇ 1. Both reflection angles are ⁇ 1.
  • the angle of incidence (and angle of reflection) of principal ray L3 is ⁇ 2
  • the angle of incidence (and angle of reflection) of principal ray L3' is ⁇ 3, where ⁇ 2 ⁇ 3.
  • the driver 5 is positioned on the left end side in the width direction of the vehicle 1 in a left-hand drive vehicle. Moreover, as is clear from FIG. 5, the change in the curved surface shape of the windshield 2 is abrupt at the end of the vehicle 1 (in other words, when the shape of the windshield 2 is a partial arc, the curvature of the arc is is large and the radius of curvature is small), and is gentle on the central side (in other words, the curvature of the partial arc is small and the radius of curvature is large).
  • the light is reflected at a point (point P2 in FIG. 5) where the curved surface shape changes abruptly on the end portion side of the vehicle 1, the light is formed at a sharper angle (angle ⁇ 2 ) can be reflected.
  • angle ⁇ 2 the angle
  • the fact that this acute-angle reflection is possible makes it easy to use the display light L2 for irradiating it closer to the front of the driver 5, and also makes the reflected light L3 of the imaging light from the driver 5 more frontal. It can be easily used for reflecting light at a near position (a position near the sagittal plane G1) and returning it to an imaging device (camera) 115 positioned near the light emitting device 113 . Imaging at a position close to the front reduces the distortion of the captured image.
  • the imaging element 115 is arranged at a position where the twist of the optical axis of the imaging element is small with respect to the windshield (reflecting translucent member) 2, the distortion of the captured image can be reduced.
  • the eye position detection accuracy can be improved.
  • the optical path length of the return optical path of the reflected light of the imaging light (principal ray L3 in FIG. 5) can be shortened. This point is useful, for example, in suppressing expansion of distortion caused by reflection of imaging light on the windshield 2 . In this respect as well, it is possible to reduce the distortion of the captured image.
  • the reflected light is received at a position closer to the front in the width direction of the vehicle (in other words, the imaging element is placed closer to the front position (the intersection of the sagittal plane G1 and the windshield 2). can do.
  • the size of the housing 116 expands in the lateral direction (the width direction of the vehicle), and the HUD device 100 inevitably increases in size. Therefore, a configuration that efficiently utilizes acute-angle reflection can be expected to have the effect of suppressing an increase in housing size.
  • the imaging element (camera) 115 is arranged at a position close to the display light passing area Z1, which contributes to miniaturization of the housing 116 of the HUD device 100.
  • the angle of incidence (and angle of reflection) ⁇ 3 is quite large. This substantially means that the parts of the driver 5 are taken from a position that is far from the front and from a fairly oblique angle, and the distortion of the captured image becomes large.
  • the optical path length of the reflected light L3' is longer than that of the reflected light L3, which may increase the error.
  • the imaging element 115' in order to receive the reflected light L3', the imaging element 115' must be placed at a position away from the display light passing area Z1. Therefore, the housing 116 is increased in size, which goes against the demand for miniaturization of the HUD device 100 .
  • the image sensor region Ze (see FIG. 3B) in which the image sensor 115 is arranged is larger than the display light passing region Z1 through which the display light (luminous flux) L1 passes.
  • the image sensor region Ze (see FIG. 3B) in which the image sensor 115 is arranged is larger than the display light passing region Z1 through which the display light (luminous flux) L1 passes.
  • adopting a layout configuration that makes it easy to use the portion on the end side of the windshield (reflecting translucent member) 2 where there is a large change in the curved surface. are doing.
  • the size of the housing of the HUD device can be reduced.
  • FIG. 6 is a diagram showing a preferred example of optical paths (routes) of display light and imaging light.
  • the same reference numerals are given to the parts that are common to the previous figures. Description of each part shown in FIG. 6 is omitted. Note that FIG. 6 assumes a left-hand drive vehicle shown in FIG. 6A (this also applies to subsequent figures).
  • the principal ray R2 of the imaging light L2 (in this case, irradiation light emitted from the light emitting element 113 toward the windshield 2) ) 2 (position in the height direction of the vehicle) 2 is set above the position (position in the height direction) YA where the principal ray R1 of the display light L1 of the image is reflected.
  • the "principal ray of imaging light” is, in other words, the central ray (this is called the principal ray) that travels along the "optical axis" of the image sensor. Taking this into account, "principal ray R2 of imaging light L2" can be rephrased as “optical axis R2 of imaging device 115".
  • the reflection position YB of the principal ray R2 of the imaging light L2 on the windshield 2 can be rephrased as "the position YB of the intersection of the optical axis R2 of the imaging device 115 and the windshield 2".
  • the intersection position YB between the optical axis R2 of the imaging light L2 and the windshield 2 is set at a position higher than the reflection position YA of the display light L1 of the image on the windshield 2 in accordance with the height of the face, eyes, etc.
  • a human part for example, face, eyes, etc.
  • the distortion of the captured image can be suppressed, and the detection accuracy of the face and eye positions can be maintained at a high level.
  • the situation in which the imaging light L2 is blocked by the instrument panel 4 or the steering wheel 8 and the body part of the person cannot be imaged can be reliably avoided. Therefore, it is possible to suppress deterioration in the reliability of the imaging function provided in the HUD device 100 .
  • FIGS. 7A and 7B are diagrams for explaining the effect of blocking external light and line of sight by the filter section.
  • FIG. 7(A) is a reproduction of FIG. 2(A) shown above.
  • FIG. 7B is a cross-sectional view taken along line AA in FIG. 7A.
  • the lower side of the translucent cover 112 fixed to the housing 116 transmits infrared light and visible light.
  • a filter section (sometimes simply referred to as a filter) 114 that blocks (including absorption) is provided.
  • a multilayer long-pass filter made of a material that absorbs visible light and transmits infrared light (specifically, an IR filter or the like attached to the back surface of the translucent cover) can be used. can.
  • a filter portion region Z2 corresponding to the filter portion 114 is provided in a region where the light-transmitting cover 2 exists (light-transmitting cover region) when viewed from above in the height direction of the vehicle (for example, FIG. 3 ( A)).
  • An imaging element area Zr corresponding to the imaging element 115 is provided in this filter area Z2.
  • the imaging element 115 is arranged at a position corresponding to this filter section 114 .
  • the filter unit 114 is provided above (above) the image sensor 115 in the housing 116 of the HUD device 100 so as to cover the image sensor 115 .
  • indicates the range (angular range) in which the imaging light (infrared light) is emitted, and ⁇ indicates the reflected light of the imaging light (infrared light) at the part of the person. It shows the range (angle range) in which (return light) is incident.
  • the filter section 114 exists above the imaging element 115 . Therefore, as shown in FIG. 7(B), external light incident on the translucent cover 112 from above (for example, external light arriving via the windshield 2: (indicated by dashed arrows) are blocked by the filter section 114 . Therefore, it is possible to suppress deterioration in imaging accuracy due to external light.
  • FIGS. 8A to 8C show a light-emitting element (light-emitting element area) and an image pickup element (image pickup element area) in consideration of stray light generated in the light-transmitting cover (or the filter section provided under the light-transmitting cover). ) is a diagram for explaining an example of a preferred arrangement.
  • FIG. 8(A) is a reproduction of Fig. 2(A) shown earlier.
  • FIG. 8B is a cross-sectional view along line AA in FIG. 8A
  • FIG. 8C is a comparative example (an example in which a layout in which a light-emitting element and an imaging element are arranged in reverse). It is a cross-sectional view showing the.
  • the imaging unit 110 is positioned on the left side of the display light passage area Z1 as seen from the driver 5 (on the end side of the vehicle 1) in plan view from above. are doing.
  • the imaging element (camera) 115 not only the imaging element (camera) 115 but also the light emitting element (such as a solid-state imaging element such as a CCD) 113 is located on the left side of the display light passage area Z1 as viewed from the driver 5 (on the end side of the vehicle 1). ).
  • the light emitting element such as a solid-state imaging element such as a CCD
  • the light emitting element area Ze is provided on the end side of the vehicle 1 (the side opposite to the center side) with respect to the display light passing area z1.
  • the “light-emitting element region Ze” is arranged on the same side as the “imaging element region Zr” (on the vehicle end side with respect to the display light passing region z1).
  • Employing this layout configuration has the effect that, for example, the light emitting element 113 and the imaging element 115 that are arranged close to each other can be handled as one imaging unit 110 . Specifically, by housing the light-emitting element 113 and the imaging element 115 in a common package to form a unit, handling becomes easier than when each element is handled individually.
  • the relative positional error of each element is determined by the layout accuracy of each element in the manufacturing process of the unit and is not affected by the positional deviation during mounting.
  • the imaging element 115 and the light emitting element 113 are arranged close to each other along the longitudinal direction of the vehicle 1 .
  • the imaging element 115 is arranged on the side (front side) near the windshield 2, and the light emitting element 113 is arranged on the side (rear side) near the steering wheel 8 (or the driver 5).
  • the shape of the translucent cover 112 has an arcuate curved surface shape (partial arcuate shape) convex downward in a cross section along the longitudinal direction of the vehicle.
  • This partial circular arc shape is inclined so that the height position of the end on the rear side is higher than the height position of the end on the front side.
  • both the light emitting element 113 and the imaging element 115 are installed tilted to the rear side (to the right in the paper surface of FIG. 8B) with respect to the height direction (Y direction) of the vehicle, and the light emitting element 113 , the imaging light is emitted to the upper rear side (diagonally upper right in the paper surface of FIG. 8B).
  • indicates the range (angular range) in which the imaging light (infrared light) is emitted, and ⁇ indicates the reflected light of the imaging light (infrared light) at the part of the person. It shows the range (angle range) in which (return light) is incident.
  • stray lights N1 and N2 are generated.
  • the problem here is the stray light N2.
  • the stray light N2 is generated by reflection of the light at the position closest to the imaging element in the luminous flux of the imaging light.
  • the stray light N2 travels out of the light receiving range ⁇ of the image sensor 115, so the influence on the light reception (imaging) of the image sensor 115 can be sufficiently suppressed.
  • the stray light N4 may return directly to the imaging element 115. Therefore, the S/N of imaging may decrease.
  • the configuration of FIG. 8A has a layout configuration that takes measures against stray light caused by part of the imaging light being reflected by the translucent cover.
  • FIGS. 9A to 9C show a light-emitting element (light-emitting element area) and an image sensor (image sensor area) in consideration of stray light generated in the light-transmitting cover (or the filter section provided under the light-transmitting cover). ) is a diagram for explaining another example of a preferred arrangement.
  • FIG. 9(A) is a reproduction of Fig. 2(B) shown earlier.
  • FIG. 9B is a cross-sectional view along line BB in FIG. 9A
  • FIG. 9C is a comparative example (an example in which a layout in which a light-emitting element and an imaging element are arranged in reverse). It is a cross-sectional view showing the.
  • the light emitting element (light source section) 113 and the imaging element (camera) 115 are arranged close to each other along the width direction (horizontal direction) of the vehicle. This point is different from FIG. 8(A).
  • the imaging unit 110 is positioned on the left side of the display light passage area Z1 as viewed from the driver 5 (on the end side of the vehicle 1) in plan view from above. are doing. As described above with reference to FIG. 8A, there is an advantage that it can be handled on a unit-by-unit basis.
  • stray lights N5 and N6 are generated.
  • the problem here is the stray light N6.
  • the stray light N6 is out of the light incident range of the imaging device 115 . Therefore, deterioration of imaging accuracy due to stray light N6 is sufficiently suppressed.
  • FIG. 9A is a layout configuration that takes countermeasures against stray light caused by part of the imaging light reflected by the light-transmitting cover, as in the case of FIG. 8A. be.
  • FIG. 10A shows an example in which the light emitting element (light emitting element area) is arranged on the right side of the display light passing area as seen from the driver, and the image pickup element (image pickup element area) is arranged on the left side as seen from the driver.
  • FIG. 10B is a diagram showing the stray light suppression effect.
  • the region of the light-transmitting cover 112 provided in the housing 116 is the light-emitting element 113 located below the light-transmitting cover 112. includes a light emitting element region Ze corresponding to .
  • This light emitting element area Ze is located on the center side of the vehicle in the width direction of the vehicle (in other words, on the side where the imaging element 115 is provided) with respect to the display light passing area Z1 when viewed from the driver (in a broad sense, the passenger). (on the side opposite to the end side of the vehicle).
  • a display light passing area Z1 exists between the light emitting element 113 and the imaging element 115, and the distance between the elements is widened accordingly.
  • FIG. 10(B) is a cross-sectional view along line CC of FIG. 10(A). As shown in FIG. 10B, in a three-dimensional space, a path (three-dimensional space corresponding to the luminous flux) Ea through which display light (visible light) passes is sandwiched between the light emitting element 113 and the imaging element 115. , layout configuration is adopted.
  • the layout (planar layout) viewed from above is such that the display light (visible light) passing area Z1 is sandwiched between the light emitting element area Ze and the imaging element area Zr.
  • the light emitting element area Ze is arranged on the opposite side of the image sensor area Zr (the center side of the vehicle) with respect to the display light passing area Z1. Since the display light passing area Z1 exists between the light emitting element area Ze and the imaging element area Zr, the distance between the areas can be widened accordingly.
  • the layout configuration in FIG. 10 is useful as a measure against stray light.
  • the layout configuration of FIG. 10B is also useful in realizing a layout of elements with a higher degree of freedom depending on the situation.
  • FIG. 11 is a diagram showing an example of a layout configuration using first and second light emitting elements.
  • the region of the light-transmitting cover 112 provided on the housing 116 includes a light emitting element area Ze corresponding to the light emitting element 113 positioned below the translucent cover 112 .
  • the HUD device 100 of FIG. 11 has a first light emitting element 113a and a second light emitting element 113b as light emitting elements.
  • the light-emitting element region Ze has a layout configuration having a first light-emitting element region Zea corresponding to the first light-emitting element 113a and a second light-emitting element region Zeb corresponding to the second light-emitting element 113b. .
  • the filter portion (and the filter portion region) is also divided into the first filter portion 114a (first filter portion region Z2a) and the second filter portion 114b (second filter portion region Z2b). be done.
  • the first light emitting element area Zea is provided on the center side of the vehicle in the width direction of the vehicle (right side: upper side in FIG. 11) with respect to the display light passage area Z1 when viewed from the driver 5 .
  • the second light emitting element region Zeb When viewed from the driver 5, the second light emitting element region Zeb is located on the end side (left side: in FIG. on the lower side of the paper).
  • the first and second light-emitting elements 113a and 113b can be selectively switched for use, or the light-emitting elements 113a and 113b can simultaneously emit light for use.
  • the first light emitting element 113a (and the first light emitting element area Zea) is provided on the center side of the vehicle (on the right side as viewed from the driver 5) with respect to the display light passage area Z1.
  • the second light emitting element 113b (and the second light emitting element region Zeb) is provided on the vehicle end side (on the left side as seen from the driver) with respect to the display light passing region Z1.
  • the first and second light emitting elements 113a and 113b have the display light passing region Z1 between them, so that the distance between the elements is large and the installation positions of the elements are considerably different.
  • the imaging light emitted by the light emitting element 113b is reflected by the windshield 2, and the optical path (second optical path) when the parts (face, eyes, etc.) of the person 5 are irradiated can be made different. .
  • the two light emitting elements (imaging light sources) 113a and 113b are appropriately switched and used, or the two light emitting elements (imaging light sources) 113a and 113b are used in combination. This increases the possibility of suppressing adverse effects due to stray light that tends to occur when the (driver) 5 wears sunglasses.
  • the surface of the sunglasses worn by the driver 5 causes an unusual reflection (diffuse reflection, etc.) of the imaging light, and the unusual reflected light is reflected by the windshield 2 and returned to the imaging device.
  • the unusual reflected light since it does not pass through a normal optical path, it may cause an increase in image distortion.
  • the optical path In other words, it is possible to subtly change the angle of incidence), or to change the cross-sectional shape of the beam of light that irradiates the part of the person, or to expand the area. This may reduce the stray light described above.
  • the incident angle of the returning stray light to the image sensor changes and becomes difficult to detect.
  • the S/N may be improved by increasing normal (regular) return light.
  • FIG. 11 can serve as a countermeasure against stray light when a person (driver) wears sunglasses or the like.
  • FIG. 11 The configuration of FIG. 11 is also useful in that it increases the amount of imaging light that returns to the imaging element and improves detection sensitivity.
  • FIG. 12 is a diagram showing another example of layout configuration using the first and second light emitting elements.
  • a region Z0 of the light-transmitting cover 112 provided on the housing 116 (a rectangular region indicated by a thick solid line in the figure: transparent
  • the light cover area) includes a light emitting element area Ze corresponding to the light emitting element 113 positioned below the translucent cover 112 .
  • the HUD device 100 of FIG. 12 has a first light emitting element 113a and a second light emitting element 113b as light emitting elements.
  • the first and second light emitting elements 113 a and 113 b are provided as constituent elements of the light emitting element unit 117 .
  • the light-emitting element region Ze has a layout configuration having a first light-emitting element region Zea corresponding to the first light-emitting element 113a and a second light-emitting element region Zeb corresponding to the second light-emitting element 113b. .
  • the filter portion (and the filter portion region) is also divided into the first filter portion 114a (first filter portion region Z2a) and the second filter portion 114b (second filter portion region Z2b). be done.
  • the first and second light emitting elements 113a and 113b are located on the central side of the vehicle when viewed from the driver (passenger) 5 with the display light passing area Z1 as a reference. (Upper side of the paper surface of FIG. 12), they are arranged close to each other along the width direction (horizontal direction) of the vehicle.
  • the second light emitting element region Zeb corresponding to the second light emitting element 113a is provided at a position farther from the display light passing region Z1 than the first light emitting element region Zea.
  • the distance (distance in the width direction of the vehicle) from the display light passing area Z1 for the first light emitting element area Zea is "D1”
  • the distance for the second light emitting element area Zeb is "D2 , and D2>D1 is set.
  • first and second light emitting elements (imaging light sources) 113a and 113b are provided, and each light emitting element is switched for use, or two light emitting elements are used. By using them together, it is possible to take countermeasures against stray light, or to increase the amount of imaging light returning to the imaging device. For example, since the first and second light emitting elements 113a and 113b are arranged close to each other, there is an advantage that using them together can effectively increase the amount of light emitted in the same direction.
  • distortion of a captured image in a head-up display device having a function of displaying an image (virtual image) and a function of capturing an image of a passenger's body part (eyes, etc.) can be reduced.
  • vehicle can be broadly interpreted as a vehicle.
  • terms related to navigation should be interpreted in a broad sense, taking into consideration the viewpoint of broad-sense navigation information that is useful for driving a vehicle, for example.
  • HUD devices and display devices also include those used as simulators (for example, aircraft simulators, simulators as game devices, etc.).
  • curved surface Mirror concave mirror, etc.
  • HUD device 110 Imaging unit (imaging unit) 112 Translucent cover 113 Light-emitting element (infrared light-emitting diode, etc.) 114 Filter unit (filter that passes infrared light and blocks visible light), 115: imaging device (solid-state imaging device such as CCD, broadly speaking: camera), 116: housing, L1: image display light (visible light), L2 ... imaging light (infrared light: irradiation light irradiated to the human part), L3 ... reflected light reflected by the human part, Z0 ... translucent cover Areas Z1: display light passing area Z2: filter portion area Ze: light emitting element area Zr: imaging element area

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

画像(虚像)を表示する機能と、乗員の部位(目等)を撮像する機能とを有するヘッドアップディスプレイ装置における、撮像画像の歪みを低減し、部位の検出精度を高める。 筐体116と、透光カバー112と、画像を表示する表示部102と、光学系108と、筐体内の、画像の表示光の経路外に設けられると共に、発光素子113と撮像素子115とを有する撮像部110と、を有し、上側から見た平面視において、筐体は、乗員の着座位置と反射透光部材との間に配置され、筐体に設けられる透光カバーの領域は、表示光が通過する表示光通過領域Z1と、透光カバーの下側に位置する撮像素子115に対応する撮像素子領域Zrとを含むと共に、撮像素子領域Zrは、乗員5から見て、表示光通過領域Z1に対して、車両1の幅方向における車両の、中央側とは反対側である端部側に設けられている。

Description

ヘッドアップディスプレイ装置
 本発明は、例えば自動車等の車両に搭載されるヘッドアップディスプレイ(HUD)装置等に関する。
 特許文献1には、運転者の視点を赤外線カメラを用いて検出すること、及び、その赤外線カメラを、ステアリングコラム(ステアリングホイールの軸部)に取り付けることが記載されている(特許文献1の[0018]、図4)。
 なお、カメラをステアリングコラムに装着すると、ステアリングホイールの回転に伴い、カメラが回動して撮像画像に歪みが生じることから、特許文献1では、その撮像画像の歪みを電気的に補正する手段を設けている。
特開2019-26198号公報
 本発明者は、赤外線カメラ(近赤外線カメラを含む)を、例えばHUD装置のハウジング(筐体)内に設けることを検討した。この構成によれば、カメラ及び視点検出部をHUD装置内に取り込むことができ、HUD装置内で、視点検出部とHUD制御部とを例えば短い配線で接続して使用でき、信号遅延や通信ノイズの混入を抑制することができる。
 本発明者は、さらに、画像を表示する表示光の経路外に赤外線カメラ(以下、単にカメラと称する場合がある)を設けることを検討した。この構成によれば、表示光用の光学系とは独立に、自由にカメラの配置等を決めることができ、設計の自由度が向上する。また、1つの光学素子(反射鏡等)が、可視光及び赤外光の双方に対応する必要もなくなり、光学素子(光学系)の構成(構造)を簡素化でき、この点で、コスト的にも有利となる。
 但し、本発明者の検討によって、以下の新規な課題が明らかとされた。
 (1)カメラの設置位置によって、人の部位(例えば目(視点))の位置の検出精度が異なる。
 撮像光(赤外光等)は、ウインドシールド(広義には、光の反射性/透過性を併せ持つ反射透光部材)を経由してカメラに戻るため、ウインドシールドにて、どのような角度に撮像光が反射されるのか、を事前に検討して、適切なカメラの設置位置を決める必要がある。
 但し、ウインドシールド(反射透光部材)の曲面形状は一律ではなく、例えば、車両の中央側では、曲面の変化が緩やかで、端部(左端部及び右端部)では曲面の変化が急峻となる傾向がある。どの領域を撮像光の反射に用いるかによって、撮像画像の歪みの程度に差が生じる。
 よって、上記の点を考慮して、発光素子(例えば赤外線を発するLED)やカメラ(例えばCCD等の固体撮像素子)を、撮像画像の歪みが抑制され得るように適切な位置に配置する必要がある。また、発光素子が発する撮像光の向きも、適切に設定されるのが好ましい。
 (2)また、撮像画像の歪みを低減する点のみならず、ヘッドアップディスプレイ(HUD)装置の筐体の小型化を阻害しない点も考慮されるのが好ましい。
 上記(1)で述べたように、撮像画像の歪みが低減されるようにカメラを配置する必要があるが、そのカメラの位置が、画像を表示する表示光用の光学系から離れた位置であるときは、筐体は大きくならざるを得ない。この場合は、HUD装置の小型化の要請に反することとなる。よって、HUD装置の小型化の要請も考慮して、発光素子やカメラの配置が決定されるのが好ましい。
 (3)また、撮像光は、HUD装置の筐体の開口部に設けられる透光カバーを介して、ウインドシールド(反射透光部材)に向けて発出される。見方を変えると、車両の高さ方向における上側から、透光カバーを介して外光が入る可能性があり、また、人が、透光カバーを介して、その下側に位置する発光素子(例えば赤外線を発するLED)やカメラ(例えばCCD等の固体撮像素子)を目視できる可能性がある、ということでもある。
 よって、外光を抑制する対策、及び、人の目視による不快感の発生(言い換えれば、HUD装置の商品性の低下)を抑制する対策についても考慮されるのが好ましい。
 (4)また、発光素子(LED等)から発出された撮像光の一部が、透光カバーで反射され、その反射光(迷光)が、カメラ(固体撮像素子等)に入射し、これが撮像誤差となる場合もあり得る。よって、この迷光対策についても、考慮されるのが好ましい。
 このような新規な課題が、本発明者等によって明らかとされた。この課題については、上記の特許文献1には記載されておらず、その対策についての記載もない。
 本発明の目的の1つは、画像(虚像)を表示する機能と、乗員の部位(目等)を撮像する機能とを有するヘッドアップディスプレイ装置における、撮像画像の歪みを低減し、部位の検出精度を高めることである。
 本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
 以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
 第1の態様において、ヘッドアップディスプレイ装置は、
 車両に設けられた、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して虚像を表示し、
 撮像光を前記乗員の部位に照射し、前記部位からの反射光を、前記反射透光部材を経由して受光することで前記部位を撮像し、
 かつ、前記車両の高さ方向における上側から見た平面視において、前記乗員と前記反射透光部材との間に配置されるヘッドアップディスプレイ装置であって、筐体と、
 前記筐体に設けられる透光カバーと、
 前記筐体内に設けられ、前記画像を表示する表示部と、
 前記筐体内に設けられ、前記透光カバーを経由して前記反射透光部材に向けて前記表示光を照射する光学素子を含む光学系と、
 前記筐体内の、前記画像の表示光の経路外に設けられると共に、前記撮像光を出射する発光素子と、前記反射透光部材を経由して到来する前記反射光を受光する撮像素子と、を有する撮像部と、
 を有し、
 前記車両の高さ方向における上側から見た平面視において、
 前記筐体は、前記乗員の着座位置と前記反射透光部材との間に配置され、
 前記筐体に設けられる前記透光カバーの領域は、
 前記表示光が通過する表示光通過領域と、
 前記透光カバーの下側に位置する前記撮像素子に対応する撮像素子領域と、を含み、
 前記撮像素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側とは反対側である端部側に設けられている。
 第1の態様では、HUD装置は、例えば乗員(撮像対象)の前方の、ウインドシールドの手前(ウインドシールドの近傍等)に配置され得る。HUD装置からは、画像を表示するための表示光と、乗員の部位を撮像するための撮像光とが出射される。
 発光素子から出射される撮像光は、ウインドシールド(反射透光部材)を経由して乗員に照射され、その反射光は、ウインドシールドに入射され、反射されて、所定位置に配置されているカメラ(撮像素子)で受光されて撮像される。
 ここで、人の部位(例えば、顔、目等)をできるだけ正確に撮像するためには、正面から撮像するのが有利である。例えば、四角形を正面から見れば、四角形に見えるが、斜めから見れば平行四辺形や台形のように見え、画像が歪むことは、日常的に経験するところである。
 乗員(例えば運転者とする)は、左ハンドル車では車両の幅方向における左の端部側に位置し、右ハンドル車では右の端部側に位置している。また、ウインドシールドの曲面形状の変化は、一般に、車両の端部側では急(言い換えれば曲率が大、曲率半径が小)であり、中央側では緩やか(言い換えれば、曲率が小、曲率半径が大)である。
 ここで、車両の端部側における曲面形状の変化が急である箇所にて光を反射させれば、光を、車両の幅方向に関して、より鋭角に反射させることが可能である。この鋭角な反射が可能であることは、表示光を、乗員(運転者)の正面に近づけつつ照射することに利用し易く、また、撮像光の乗員(運転者)での反射光を、より正面に近い位置で反射させて、発光素子に近い位置にあるカメラ(撮像素子)に戻すことに利用し易い。正面に近い位置での撮像が実現されることで、撮像画像の歪みは低減される。
 言い換えれば、撮像素子を反射透光部材に対して、撮像素子の光軸のねじれが小さい位置に配置するため、撮像画像の歪みを小さくすることができ、利用者の目の位置の検出精度を向上させることができる。
 また、上記の鋭角な反射を利用すると、撮像光の反射光の戻り光路の光路長を短くすることができる。この点は、例えば、ウインドシールドでの撮像光の反射によって生じる歪みの拡大を抑制するのに役立つ。この点でも、撮像画像の歪みの低減が可能である。
 また、車両の幅方向における正面に、より近い位置で、反射光を受ける(言い換えれば、撮像素子を、正面の位置に、より近づけて配置する)ことができる。正面位置から撮像素子の配置位置までの距離が大きいほど、筐体のサイズは左右方向(車両の幅方向)に広がり、HUD装置は大型化せざるを得ない。よって、鋭角な反射を効率的に利用する構成は、筐体サイズの大型化を抑制する効果も期待できる。
 このような観点から、第1の態様では、撮像素子が配置される領域(撮像素子領域)は、表示光(のより広い光束)が通過する表示光通過領域よりも、車両の幅方方向における端部側(中央側とは反対側)に設け、ウインドシールド(反射透光部材)の端部側の、曲面の変化が大きい箇所を利用し易いレイアウト構成を採用した。
 これによって、撮像画像の歪みの抑制(低減)が可能となり、人の部位(例えば顔や目等)の位置の検出精度を高く維持することができる。また、HUD装置の筐体の小型化も実現される。
 第1の態様に従属し得る第2の態様において、
 前記表示光は可視光であり、前記撮像光は赤外光であり、
 前記透光カバーの下側に設けられる、赤外光を透過し、可視光を遮断するフィルター部を有し、
 前記車両の高さ方向における上側から見た平面視において、
 前記透光カバーの領域内において、前記フィルター部に対応するフィルター部領域が設けられ、
 前記フィルター部領域内に、前記撮像素子領域が設けられていてもよい。
 第2の態様では、透光カバーの下側に、赤外光を透過し、可視光を遮断するフィルター部が設けられる。このフィルター部としては、例えば可視光を吸収し、赤外光を透過する材料からなる多層のロングパスフィルター(具体的には、透光カバーの裏面に貼付されるIRフィルター等)を用いることができる。
 撮像素子は、このフィルター部に対応する位置に配置される。言い換えれば、透光カバーを上側から見た平面視において、撮像素子領域は、フィルター部に対応するフィルター部領域内に設けられるレイアウト構成が採用される。
 言い換えれば、筐体の断面構造において、撮像素子の上側にはフィルター部が存在する。したがって、透光カバーに、上側から入射される外光は、そのフィルター部により阻止される。従って、外光による撮像精度の低下を抑制することができる。
 また、人の、上側からの視線も同様に、フィルター部により遮断される。従って、人の目視による不快感の発生(言い換えれば、HUD装置の商品性の低下)を抑制することができる。
 第1又は第2の態様に従属し得る第3の態様において、
 前記撮像素子の光軸と前記反射透光部材との交点は、前記表示光の主光線の、前記反射透光部材における反射点よりも上方に位置する。
 第3の態様では、乗員(運転者等)の目等の部位を、できるだけ正面から撮像できるようにするために、撮像光の主光線(発光素子からウインドシールドに向けて照射される照射光、及び、人の部位からの反射光の双方を含む)がウインドシールド(反射透光部材)によって反射される位置を、画像の表示光の主光線が反射される位置よりも上方に設定する。
 なお、「撮像光の主光線」は、言い換えれば、撮像素子の光軸に沿って進行する中心的な光線(これを主光線と称する)である。よって、「撮像光の主光線のウインドシールドにおける反射位置」は、「撮像素子の光軸とウインドシールドとの交点の位置」と言い換えることができる。
 例えば人の顔(特に目)は、インストルメントパネルやステアリングホイールよりも上側に位置する。よって、顔や目等の高さに合わせて、撮像光の光軸とウインドシールドとの交点位置を、画像の表示光の反射領域の位置よりも高い位置に設定し、人の部位(例えば顔や目等)を、より正面に近い角度で撮像できるようにする。これによって、撮像画像の歪みを抑制することができ、顔や目の位置の検出精度を高く維持することができる。
 また、撮像光が、インストルメントパネルやステアリングホイールに遮られて、人の部位を撮像できないという事態も、確実に回避される。よって、HUD装置に備わる撮像機能の信頼性の低下を抑制できる。
 第1乃至第3の何れか1つの態様に従属し得る第4の態様では、
 前記車両の高さ方向における上側から見た平面視において、
 前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
 前記発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側とは反対側である端部側に設けられていてもよい。
 第4の態様は、発光素子領域のレイアウト構成の好ましい一例を例示している。第4の態様では、発光素子領域は、表示光通過領域に対して車両の端部側(中央側とは反対側)に設けられている。
 言い換えれば、「発光素子領域」は、第1の態様にて示した「撮像素子領域」と同じ側(表示光通過領域を基準として車両の端部側)に配置されている。このレイアウト構成を採用すると、例えば、近接した配置された発光素子と撮像素子を、1つの撮像ユニットとして取り扱うことができる、といった効果がある。具体的には、発光素子と撮像素子を共通のパッケージに収納してユニット化することで、各素子を個別に取り扱う場合に比べて取り扱いが容易となる。
 また、発光素子と撮像素子を個別に設置するときは、各素子の相対的な位置のばらつきが懸念される場合も想定され得る。ユニット単位で設置する場合には、各素子の相対的な位置の誤差は、ユニットの製造工程における各素子のレイアウト精度によって決まり、実装時の位置ずれには左右されない、という利点もある。
 第1乃至第3のいずれか1つの態様に従属し得る第5の態様において、
 前記車両の高さ方向における上側から見た平面視において、
 前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
 前記発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の中央側に設けられていてもよい。
 第5の態様は、発光素子領域のレイアウト構成の好ましい他の例を例示している。第5の態様では、発光素子領域は、表示光通過領域に対して車両の中央側に設けられている。
 言い換えれば、「発光素子領域」は、表示光通過領域を基準として、「撮像素子領域」とは反対側(車両の中央側)に配置されている。発光素子領域と撮像素子領域との間に表示光通過領域が存在するため、その分、各領域の間隔を広くとることができる。
 発光素子から出射された撮像光が、筐体に設けられる透光カバー(あるいは、フィルター部)にて反射されると迷光が生じ、この迷光が撮像素子に入射されると、撮像誤差の原因となる。
 本態様では、発光素子と撮像素子とが離れて配置されるため、迷光が、撮像素子に入射されることが十分に抑制される。このように、本態様のレイアウト構成は、迷光対策として有用である。
 また、発光素子と撮像素子とが離れて配置されることで、人の部位で反射して、撮像素子に戻ってくる撮像光の光量が、各素子を同じ側に配置した場合に比べて増える場合も、状況によってはあり得る。本態様のレイアウト構成は、状況に応じた、より自由度の高い素子のレイアウトの実現という点でも有用である。
 第1乃至第3のいずれか1つの態様に従属し得る第6の態様において、
 前記車両の高さ方向における上側から見た平面視において、
 前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
 前記発光素子として、第1、第2の発光素子を有し、
 前記発光素子領域は、前記第1の発光素子に対応する第1の発光素子領域と、第2の発光素子領域を有し、
 前記第1の発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の中央側に設けられており、
 前記第2の発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側とは反対側である端部側に設けられてもよい。
 第6の態様では、第1、第2の発光素子を使用する。第1の発光素子は、表示光通過領域に対して、車両の中央側に設けられる。第2の発光素子は、表示光通過領域に対して、車両の端部側に設けられる。
 言い換えれば、第1、第2の発光素子は、その間に表示光通過領域が存在するため、間隔が広く、各素子の設置位置が、かなり異なる。よって、例えば、第1の発光素子が発する撮像光がウインドシールドで反射されて、人の部位に照射されるときの光路(第1の光路)と、第2の発光素子が発する撮像光がウインドシールドで反射されて、人の部位に照射されるときの光路(第2の光路)とを、異ならせることが可能である。
 この点を考慮し、2つの発光素子(撮像用光源)を切り替えて使用する、あるいは、2つの発光素子(撮像用光源)を併用することによって、例えば、人(運転者)がサングラスをかけているような場合に生じ易い迷光による悪影響を抑制できる場合がある。
 例えば、運転者が装着しているサングラスの表面で、通常とは異なる撮像光の反射(乱反射等)が生じ、その、通常とは異なる反射光がウインドシールドで反射されて撮像素子に戻される場合もあり、この場合は、通常の光路を経由していないため、画像の歪みが増大する場合もある。
 この場合、上記のとおり、2つの発光素子(撮像用光源)を切り替えて使用する、あるいは、2つの発光素子(撮像用光源)を併用することで、人の部位に撮像光を照射する光路(言い換えれば入射角度)を微妙に変更したり、あるいは、人の部位を照射する光の光束の断面形状を変化させたり面積を広げたりすることができる。これによって、上記の迷光を低減できる場合があり得る。
 例えば、戻ってくる迷光の、撮像素子への入射角度が変化して感知されにくくなる、という場合が有り得る。また、通常の(正規の)戻り光が増えてS/Nが改善される場合もあり得る。
 よって、本態様の構成は、人(運転者)がサングラス等を装着している場合等における迷光対策になり得る。
 また、本態様は、撮像素子に戻ってくる撮像光の光量を増やして、検出感度を向上させる点でも有用である。
 第1乃至第3のいずれか1つの態様に従属し得る第7の態様において、
 前記車両の高さ方向における上側から見た平面視において、
 前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
 前記発光素子として、第1、第2の発光素子を有し、
 前記発光素子領域は、前記第1の発光素子に対応する第1の発光素子領域と、第2の発光素子領域を有し、
 前記第1の発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の中央側に設けられており、
 前記第2の発光素子領域は、
 前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側であって、
 かつ、
 第1の発光素子領域よりも、表示光通過領域からの距離が遠い位置に設けられていてもよい。
 第7の態様では、第6の態様と同様に、第1、第2の発光素子(撮像用光源)を設け、各発光素子を切り替えて使用する、あるいは、2つの発光素子を併用することで、迷光対策としたり、あるいは、撮像素子に戻る撮像光の光量を増やしたりする。
 但し、第7の態様では、第1、第2の発光素子は、表示光通過領域に対して、互いに反対側に設けられていたのに対し、本態様では、第1、第2の発光素子は共に、中央側(同じ側)に設けられている。また、第2の発光素子は、第1の発光素子よりも、表示光通過領域からの距離が遠い位置に設けられる。第1、第2の発光素子間の間隔等は、適宜、微調整することも可能である。
 当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
図1(A)は、HUD装置の構成の一例を示す図、図1(B)は、透光カバー領域が、可視光である表示光が通過する第1の領域(表示光通過領域)と、赤外光が透過し、可視光が不透過である第2の領域(フィルター部領域)とに、区別し得ることを示す図である。 図2(A)は、発光素子と撮像素子を備える撮像ユニットのレイアウトの一例を示す図、図2(B)は、撮像ユニットのレイアウトの他の例を示す図である。 図3(A)は、左ハンドル車におけるHUD装置の配置例、可視光(表示光)と赤外光(撮像光)の光路例等を示す図、図3(B)は、HUD装置における撮像部(撮像ユニット)の配置例を示す図である。 図4(A)は、右ハンドル車におけるHUD装置の配置例、可視光(表示光)と赤外光(撮像光)の光路例等を示す図、図4(B)は、HUD装置における撮像部(撮像ユニット)の配置例を示す図である。 図5は、表示光通過領域に対して、撮像素子(撮像素子領域)を車両の端部側に配置することの利点について説明するための図である。 図6は、表示光と撮像光の光路(経路)の好ましい例を示す図である。 図7(A)、(B)は、フィルター部による外光や視線の遮断効果について説明するための図である。 図8(A)~(C)は、透光カバー(あるいは透光カバーの下側に設けられたフィルター部)で生じる迷光を考慮した、発光素子(発光素子領域)と撮像素子(撮像素子領域)の好ましい配置の一例について説明するための図である。 図9(A)~(C)は、透光カバー(あるいは透光カバーの下側に設けられたフィルター部)で生じる迷光を考慮した、発光素子(発光素子領域)と撮像素子(撮像素子領域)の好ましい配置の他の例について説明するための図である。 図10(A)は、発光素子(発光素子領域)を、運転者から見て表示光通過領域の右側に配置し、撮像素子(撮像素子領域)を、運転者から見て左側に配置した例を示す図、図10(B)は、迷光抑制効果を示す図である。 図11は、第1、第2の発光素子を使用したレイアウト構成の一例を示す図である。 図12は、第1、第2の発光素子を使用したレイアウト構成の他の例を示す図である。
 以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
 (第1の実施形態)
 図1(A)は、HUD装置の構成の一例を示す図、図1(B)は、透光カバー領域が、可視光である表示光が通過する第1の領域(表示光通過領域)と、赤外光である赤外光が透過し、可視光が不透過である第2の領域(赤外光を透過するフィルター部領域)とに、区別し得ることを示す図である。
 図1(A)に示されるように、ヘッドアップディスプレイ(HUD)装置100は、車両1に設けられた、光の反射性と透過性を併せ持つ反射透光部材としてのウインドシールド2に画像の表示光L1を照射して、車両1の乗員(ここでは運転者とする)5に対して、虚像表示面PS上に虚像Vを表示する機能を有する。
 また、このHUD装置100は、ウインドシールド2を経由して撮像光L2を乗員(運転者)5の部位(顔や目等であり、ここでは目(視点)7とする)に照射し、その部位からの反射光L3を、ウインドシールド2を経由して受光することで、その部位を撮像する機能も有する。
 なお、撮像された画像に基づき、目(視点)の位置が検出される。検出された視点位置に基づいて、例えば、視点位置追従ライティングや視点位置追従ワーピング等が実施され得る。
 また、HUD装置100は、例えば、図3(A)、図4(A)に示されるように、車両1の高さ方向(Y方向)における上側から見た平面視において、乗員(運転者)5(あるいは、ステアリングホイール8)と反射透光部材としてのウインドシールド2との間の、運転者5から見た前方(かつ下方)の位置に配置される。
 具体的には、HUD装置100は、ウインドシールド2の近傍のインストルメントパネル4に収納されている。
 図1(A)に示されるように、HUD装置100は、筐体116と、筐体に設けられる透光カバー112と、筐体内に設けられ、画像を表示する表示部102(液晶表示装置等の表示パネル104を備える)と、筐体内に設けられ、透光カバー112を経由して反射透光部材としてのウインドシールド2に向けて表示光L1を照射する光学素子(凹面鏡等の曲面ミラー108)を含む光学系(平面ミラー106も含む)と、筐体1内の、画像の表示光L1の経路外に設けられると共に、撮像光L2を出射する発光素子(図1では不図示、図2等における符号113)と、ウインドシールド2を経由して到来する撮像光の反射光L3を受光する撮像素子(図1では不図示、図2等における符号115)と、を有する撮像部(撮像ユニットと称する場合がある)110と、を有する。ここで、発光素子113は、図1(A)の例では、透光カバー112を介してウインドシールド2に向けて撮像光を出射する。但し、これに限定されるものではなく、発光素子113は、ウインドシールド2を介さずに、直接に乗員(運転者等)に撮像光を照射する構成であってもよい。
 なお、表示光L1は可視光であり、撮像光L2(及び、人の部位で反射して撮像部110に戻る、撮像光の反射光L3)は赤外光(近赤外光を含む)である。但し、これは一例であり、他の波長域の光を用いることもできる。
 また、HUD装置100は、透光カバー112の下側に設けられる、赤外光を透過し、可視光を遮断するフィルター部114を有する。
 このフィルター部114は、外光が撮像部110に入射するのを防止したり、あるいは、人が透光カバー112を介して撮像部110を目視することを防止したりする機能がある。
 なお、フィルター部114としては、例えば可視光を吸収し、赤外光を透過する材料からなる多層のロングパスフィルター(具体的には、透光カバー112の裏面に貼付されるIRフィルター等)を用いることができる。
 図1(B)に示されるように、透光カバー112の領域は、表示光(可視光)が通過する表示光通過領域(第1の領域と称する場合がある)Z1と、赤外光を透過し、可視光を遮断するフィルター部領域(フィルター部114に対応する領域。第2の領域と称する場合がある)Z2とに区別することができる。
 なお、第1の領域Z1は、「表示光(可視光)透過領域」と称することもできる。また、第2の領域Z2は、「赤外光透過領域」と称することもできる。
 図1(B)では、便宜上、各領域Z1とZ2が、車両1の前後方向に沿って配置されるように描かれているが、実際は、車両1の幅方向(左右方向)に沿って配置される(この点は、後述する)。
 次に、図2を参照する。図2(A)は、発光素子と撮像素子を備える撮像ユニットのレイアウトの一例を示す図、図2(B)は、撮像ユニットのレイアウトの他の例を示す図である。図2において、図1と共通する部分には、同じ符号を付している(この点は、他の図面においても同様である)。
 ここで、図2(A)、(B)は、左ハンドル車(図3(A)参照)における配置例を示している。
 図2(A)、(B)に示されるように、HUD装置100は、乗員(運転者)5(あるいは、ステアリングホイール8)と反射透光部材としてのウインドシールド2との間の、運転者5から見た前方(かつ下方)の位置に配置されている。
 また、図2(A)、(B)において、筐体116に設けられる透光カバー112がウインドシールド2側に露出している。この透光カバー112を介して、表示光L1や撮像光L2が出射され、また、撮像光L2の人の部位での反射光L3が戻り、その反射光L3は撮像素子(CCD等の固体撮像素子:広義にはカメラ)115にて受光される。
 透光カバー112が存在する領域(透光カバー領域Z0)は、車両1の高さ方向(Y方向)の上側から見た平面視で矩形の領域であり、図中、太線の実線で示されている。
 この透光カバー領域Z0内に、表示光(の光束)L1が通過する表示光通過領域(あるいは表示光透過領域)Z1と、透光カバー112の下側に位置する発光素子(赤外発光ダイオード等:広義には光源)に対応する発光素子領域(広義には光源領域)Zeと、同じく透光カバー112の下側に位置する撮像素子(CCD等:広義にはカメラ)115に対応する撮像素子領域(広義にはカメラ領域)Zrと、が設けられる。
 発光素子113及び撮像素子115は、撮像ユニット(撮像部)110の構成要素である。撮像ユニット(撮像部)110は、フィルター部114の下側に配置されている。上側から見た平面視では、フィルター部114に対応するフィルター部領域Z2の中に、撮像ユニット領域(撮像部領域)が配置されるレイアウト構成が採用されている。
 なお、符号106は、HUD装置100の光学系の構成要素である平面ミラーを示す。
 図2(A)、(B)において、撮像素子領域Zrは、乗員(運転者)5から見て、表示光通過領域Z1に対して、車両1の幅方向における車両の、中央側とは反対側である端部側(言い換えれば、運転者5から見て左側)に配置されている。
 この配置を採用することで、撮像画像の歪み低減の点、あるいは、筐体の小型化の点で有利となる(このことについては後述する)。
 また、図2(A)では、発光素子113と撮像素子115は、車両の前後方向に沿って配置されている。言い換えれば、発光素子113が後方に配置され、撮像素子115が前方に配置されている。この配置を採用すると、透光カバー112での赤外光の反射による迷光の悪影響を抑制できる利点がある(この点は後述する)。
 また、図2(B)では、発光素子113と撮像素子115は、車両の幅方向(左右方向)に沿って配置されている。言い換えれば、発光素子113が、運転者5から見て右側に配置され、撮像素子115が、左側に配置されている。この配置を採用すると、透光カバー112での赤外光の反射による迷光の悪影響を抑制できる利点がある(この点は後述する)。
 迷光の発生状況等を考慮して、迷光がより低減できるように、図2(A)、(B)の何れかの配置を選択することができる。
 次に、図3を参照する。図3(A)は、左ハンドル車におけるHUD装置の配置例、可視光(表示光)と赤外光(撮像光)の光路例等を示す図、図3(B)は、HUD装置における撮像部(撮像ユニット)の配置例を示す図である。
 図3では、図2(A)に示した配置が採用されている。また、図3(A)に示されるように、車両1は、左ハンドル車であり、運転者5は、車両1の左端(第2端)側に位置している。なお、符号91は右サイドミラーを示し、符号93は左サイドミラーを示す。
 また、図3(A)において、ウインドシールド2において破線の丸で囲まれる箇所P1は、画像を表示する表示光(可視光)L1の、車両の幅方向における反射位置を示す。また、箇所P2は、撮像光(赤外光)の出射光L2、及び人の部位での反射光(あるいは撮像素子115に向けて帰還する帰還光)L3の、車両の幅方向における反射位置を示す。
 箇所P1は、車両の幅方向における中央側(中央寄り)に位置し、箇所P2は、端部側(端部寄り)に位置する。
 箇所P1におけるウインドシールド2の曲面の変化(曲がりの程度)は緩やかであり、一方、箇所P2におけるウインドシールド2の曲面の変化は、かなり急峻である。この急峻な曲面を活用することで、撮像光(赤外光)L2、L3を鋭角に反射させて、できるだけ正面に近い位置から運転者5を撮像することが可能となり、また、筐体の大型化を抑制するという効果も得られる(この点の詳細については後述する)。
 図3(B)に示されるように、撮像ユニット(撮像部)110は、発光素子113と撮像素子115を含む。なお、図3(B)では、フィルター部領域Z2は省略している。
 また、図3(B)において、車両1の高さ方向の上側から見た平面視で、発光素子113に対応して発光素子領域Zeが設けられ、撮像素子115に対応して撮像素子領域Zrが設けられる。
 また、撮像素子領域Zrは、表示光通過領域Z1に対して、運転者5から見て左側、言い換えれば、車両1の幅方向(左右方向)における端部側に位置する。
 次に、図4を参照する。図4(A)は、右ハンドル車におけるHUD装置の配置例、可視光(表示光)と赤外光(撮像光)の光路例等を示す図、図4(B)は、HUD装置における撮像部(撮像ユニット)の配置例を示す図である。図4において、図3と共通する箇所には同じ符号を付している。
 図4(A)に示されるように、車両1は、右ハンドル車であり、運転者5は、車両1の右端(第1端)側に位置している。これに伴い、HUD装置も、車両1の幅方向における右端部側に設けられている。
 先に図3(A)、(B)にて説明した事項は、図4(A)、(B)にも適用され得る。
 次に、図5を参照する。図5は、表示光通過領域に対して、撮像素子(撮像素子領域)を車両の端部側に配置することの利点について説明するための図である。なお、図5では、図3で示した左ハンドル車を想定している。
 また、撮像光(赤外光)は、実際には複雑な経路で進行するが、図5では、車両の高さ方向(Y方向)における上側から見た平面視にて、進行経路を単純化して描いている。ここでは、特に、撮像光(赤外光)の、ウインドシールド2に対する、車両の幅方向(X方向)における入射角/反射角に着目する。
 発光素子113から出射される撮像光(赤外光)L2は、ウインドシールド(反射透光部材)2を経由して運転者5に照射され(図3(A)を参照)、その反射光L3は、ウインドシールド2に入射され、反射されて、所定位置に配置されているカメラ(撮像素子)115で受光されて撮像される。
 ここで、人の部位(例えば、顔、目等)をできるだけ正確に撮像するためには、正面から撮像するのが有利である。例えば、四角形を正面から見れば、四角形に見えるが、斜めから見れば平行四辺形や台形のように見え、画像が歪むことは、日常的に経験するところである。よって、できるだけ正面に近い位置から撮像するのが好ましい。
 図5において、破線の直線G1は運転者5の矢状面を示しており、この矢状面G1に沿う方向が正面方向であり、また、この矢状面G1とウインドシールド2との交点が正面位置ということができる。
 以下、撮像素子(カメラ)115の好ましい配置について説明する。発光素子113及び撮像素子115を有する撮像部(撮像ユニット)110は、表示光L2(L3)の進行を妨げないように、表示光通過領域Z1と重なりを有さないようにして、かつ、表示光通過領域Z1の近傍にて配置される。
 図5からわかるように、撮像素子は、表示光通過領域Z1の左側の位置、又は右側の位置の何れにも配置可能である。図5では、左側に配置される撮像素子に符号115を付し、右側に配置される撮像素子に符号115’を付して、両者を区別している。また、光線等に関しても、撮像素子115’に関係するものは、「’」を付して区別している。
 図5では、運転者5の目(運転者の顔の中央に位置するものとして取り扱う)で反射する、2本の反射光の主光線L3、L3’を想定する。
 反射光L3は、運転者5から見て左斜め前方に角度θ1で反射され、反射光L3’は、運転者5から見て右斜め前方に、同じく角度θ1で反射される。反射角は、共にθ1である。
 但し、2本の反射光の主光線L3、L3’は、ウインドシールド2に対して、異なる角度で入射される。主光線L3の入射角(及び反射角)はθ2であり、一方、主光線L3’の入射角(及び反射角)はθ3であり、θ2<θ3となる。
 運転者5は、左ハンドル車では車両1の幅方向における左の端部側に位置している。また、図5からも明らかなように、ウインドシールド2の曲面形状の変化は、車両1の端部側では急(言い換えれば、ウインドシールド2の形状を部分円弧とした場合の、その円弧の曲率が大、曲率半径が小)であり、中央側では緩やか(言い換えれば、その部分円弧の曲率が小、曲率半径が大)である。
 ここで、車両1の端部側における曲面形状の変化が急である箇所(図5の箇所P2)にて光を反射させれば、光を、車両の幅方向に関して、より鋭角に(角度θ2で)反射させることが可能である。この鋭角な反射が可能であることは、表示光L2を、運転者5の正面に近づけつつ照射することに利用し易く、また、撮像光の運転者5での反射光L3を、より正面に近い位置(矢状面G1に近い位置)で反射させて、発光素子113の近くに位置する撮像素子(カメラ)115に戻すことに利用し易い。正面に近い位置での撮像が実現されることで、撮像画像の歪みは低減される。
 言い換えれば、撮像素子115を、ウインドシールド(反射透光部材)2に対して、撮像素子の光軸のねじれが小さい位置に配置するため、撮像画像の歪みを小さくすることができ、利用者の目の位置の検出精度を向上させることができる。
 また、上記の鋭角な反射を利用すると、撮像光の反射光(図5の主光線L3)の戻り光路の光路長を短くすることができる。この点は、例えば、ウインドシールド2での撮像光の反射によって生じる歪みの拡大を抑制するのに役立つ。この点でも、撮像画像の歪みの低減が可能である。
 また、車両の幅方向における正面に、より近い位置で、反射光を受ける(言い換えれば、撮像素子を、正面の位置(矢状面G1とウインドシールド2との交点位置)に、より近づけて配置する)ことができる。
 正面位置から撮像素子113の配置位置までの距離が大きいほど、筐体116のサイズは左右方向(車両の幅方向)に広がり、HUD装置100は大型化せざるを得ない。よって、鋭角な反射を効率的に利用する構成は、筐体サイズの大型化を抑制する効果も期待できる。
 図5から明らかなように、撮像素子(カメラ)115は、表示光通過領域Z1から近い位置に配置されており、HUD装置100の筐体116の小型化に寄与している。
 一方、反射光のL3’に関しては、入射角(及び反射角)θ3であり、かなり大きい。このことは、実質的に、運転者5の部位を正面位置から離れて、かなり斜めから撮像していることになり、撮像画像の歪みが大きくなる。
 また、反射光L3’の光路長は、反射光L3よりも長くなり、この点、誤差が拡大される可能性がある。また、その反射光L3’を受光するためには、撮像素子115’は、表示光通過領域Z1から離れた位置に配置せざるを得ない。よって、筐体116が大型化し、HUD装置100の小型化の要請にも反することとなる。
 このような観点から、本実施形態では、撮像素子115が配置される撮像素子領域Ze(図3(B)を参照)は、表示光(の光束)L1が通過する表示光通過領域Z1よりも、車両の幅方方向における端部側(中央側とは反対側)に設け、ウインドシールド(反射透光部材)2の端部側の、曲面の変化が大きい箇所を利用し易いレイアウト構成を採用している。
 これによって、撮像画像の歪みの抑制(低減)が可能となり、人の部位(例えば顔や目等)の位置の検出精度を高く維持することができる。また、HUD装置の筐体の小型化も実現される。
 次に、図6を参照する。図6は、表示光と撮像光の光路(経路)の好ましい例を示す図である。図6において、前掲の図と共通する部分には、同じ符号を付している。図6に示される各部の説明は省略する。なお、図6では、図(A)に示した左ハンドル車を想定している(この点は、以降の図でも同様である)。
 先に説明したように、乗員(運転者等)の目等の部位を、できるだけ正面から撮像するのが好ましい。この点を考慮し、図6の例では、撮像光L2(ここでは、発光素子113からウインドシールド2に向けて照射される照射光とする)の主光線R2が、ウインドシールド(反射透光部材)2によって反射される位置(車両の高さ方向の位置)YBを、画像の表示光L1の主光線R1が反射される位置(高さ方向の位置)YAよりも上方に設定している。
 ここで、「撮像光の主光線」は、言い換えれば、撮像素子の「光軸」に沿って進行する中心的な光線(これを主光線と称する)である。これを考慮すると、「撮像光L2の主光線R2」は、「撮像素子115の光軸R2」と言い換えることができる。
 よって、「撮像光L2の主光線R2のウインドシールド2における反射位置YB」は、「撮像素子115の光軸R2とウインドシールド2との交点の位置YB」と言い換えることができる。
 例えば人の顔(特に目)は、インストルメントパネル4やステアリングホイール8よりも上側に位置する。よって、顔や目等の高さに合わせて、撮像光L2の光軸R2とウインドシールド2との交点位置YBを、画像の表示光L1のウインドシールド2における反射位置YAよりも高い位置に設定することで、人の部位(例えば顔や目等)を、より正面に近い角度で撮像できる。
 これによって、撮像画像の歪みを抑制することができ、顔や目の位置の検出精度を高く維持することができる。
 また、撮像光L2が、インストルメントパネル4やステアリングホイール8に遮られて、人の部位を撮像できないという事態も、確実に回避される。よって、HUD装置100に備わる撮像機能の信頼性の低下を抑制できる。
 次に、図7を参照する。図7(A)、(B)は、フィルター部による外光や視線の遮断効果について説明するための図である。図7(A)は、先に示した図2(A)を再掲したものである。図7(B)は、図7(A)のA-A線に沿う断面図である。
 図2(A)で説明したように、筐体116に固定される(あるいは、筐体116と一体的に設けられる)透光カバー112の下側には、赤外光を透過し、可視光を遮断(吸収を含む)するフィルター部(単に、フィルターと称する場合がある)114が設けられる。
 このフィルター部114としては、例えば可視光を吸収し、赤外光を透過する材料からなる多層のロングパスフィルター(具体的には、透光カバーの裏面に貼付されるIRフィルター等)を用いることができる。
 車両の高さ方向における上側から見た平面視において、透光カバー2が存在する領域(透光カバー領域)内に、フィルター部114に対応するフィルター部領域Z2が設けられる(例えば、図3(A)を参照)。
 このフィルター部領域Z2内に、撮像素子115に対応する撮像素子領域Zrが設けられる。
 撮像素子115は、このフィルター部114に対応する位置に配置される。図7(B)に示されるように、フィルター部114は、HUD装置100の筐体116内の、撮像素子115の上方(上側)において、撮像素子115を覆うように設けられている。
 言い換えれば、透光カバー112を上側から見た平面視において、撮像素子領域Zrは、フィルター部114に対応するフィルター部領域Z2内に設けられるレイアウト構成が採用される。
 なお、図7(B)において、αは、撮像光(赤外光)が出射される範囲(角度範囲)を示し、βは、撮像光(赤外光)の、人の部位での反射光(帰還光)が入射される範囲(角度範囲)を示している。
 このように、筐体116の断面構造において、撮像素子115の上側にはフィルター部114が存在する。したがって、図7(B)に示されるように、透光カバー112に、上側から入射される外光(例えば、ウインドシールド2を経由して到来する外光:図7(B)において、太線の破線の矢印で示される)は、フィルター部114により阻止される。従って、外光による撮像精度の低下を抑制することができる。
 また、人(運転者5等)の、上側からの視線(図7(B)において、太線の破線の矢印で示される)も同様に、フィルター部114により遮断される。従って、人の目視による不快感の発生(言い換えれば、HUD装置100の商品性の低下)を抑制することができる。
 次に、図8を参照する。図8(A)~(C)は、透光カバー(あるいは透光カバーの下側に設けられたフィルター部)で生じる迷光を考慮した、発光素子(発光素子領域)と撮像素子(撮像素子領域)の好ましい配置の一例について説明するための図である。
 図8(A)は、先に示した図2(A)を再掲したものである。図8(B)は、図8(A)のA-A線に沿う断面図であり、図8(C)は、比較例(発光素子と撮像素子を逆に配置したレイアウトを採用した例)を示す断面図である。
 図8(A)に示されるように、撮像ユニット110は、上側から見た平面視で、表示光通過領域Z1に対して、運転者5から見て左側(車両1の端部側)に位置している。
 言い換えれば、撮像素子(カメラ)115のみならず、発光素子(CCD等の固体撮像素子等)113も、表示光通過領域Z1に対して、運転者5から見て左側(車両1の端部側)に位置している。
 発光素子領域Zeは、表示光通過領域z1に対して、車両1の端部側(中央側とは反対側)に設けられている。言い換えれば、「発光素子領域Ze」は、「撮像素子領域Zr」と同じ側(表示光通過領域z1を基準として車両の端部側)に配置されている。このレイアウト構成を採用すると、例えば、近接した配置された発光素子113と撮像素子115を、1つの撮像ユニット110として取り扱うことができる、といった効果がある。具体的には、発光素子113と撮像素子115を共通のパッケージに収納してユニット化することで、各素子を個別に取り扱う場合に比べて取り扱いが容易となる。
 また、発光素子113と撮像素子115を個別に設置するときは、各素子の相対的な位置のばらつきが懸念される場合も想定され得る。ユニット単位で設置する場合には、各素子の相対的な位置の誤差は、ユニットの製造工程における各素子のレイアウト精度によって決まり、実装時の位置ずれには左右されない、という利点もある。
 また、撮像素子115及び発光素子113は、車両1の前後方向に沿って、近接して配置されている。そして、撮像素子115は、ウインドシールド2に近い側(前方側)に配置され、発光素子113は、ステアリングホイール8(あるいは運転者5)に近い側(後方側)に配置されている。
 このレイアウトを採用すると、図8(B)に示されるように、迷光N2による悪影響を低減することができる。
 図8(B)に示されるように、透光カバー112の形状は、車両の前後方向に沿う断面では、下に凸の円弧状の曲面形状(部分円弧形状)を有する。この部分円弧形状は、前方側の端部の高さ位置よりも、後方側の端部の高さ位置が高くなるように、傾斜して設けられる。
 また、発光素子113及び撮像素子115は共に、車両の高さ方向(Y方向)を基準として、後方側(図8(B)の紙面では右側に)傾いて設置されており、発光素子113は、上方の後方側(図8(B)の紙面では右斜め上側)に撮像光を出射する。
 なお、図8(B)において、αは、撮像光(赤外光)が出射される範囲(角度範囲)を示し、βは、撮像光(赤外光)の、人の部位での反射光(帰還光)が入射される範囲(角度範囲)を示している。
 図8(B)に示されるように、発光素子113が出射する撮像光の一部は、透光カバー2(あるいは透光カバーの下に設けられるフィルター部114)で反射する。このため、迷光N1、N2が生じる。ここで問題となるのは、迷光N2である。迷光N2は、撮像光の光束の、撮像素子に最も近い位置の光が反射して生じる。
 但し、図8(B)では、迷光N2は、撮像素子115の受光範囲βを外れて進行するため、撮像素子115の受光(撮像)に与える影響は、十分に抑制され得る。
 仮に、図8(C)に示されるように、発光素子113と撮像素子116の位置が逆であると、迷光N4が、直接的に撮像素子115に戻る場合が有り得る。よって、撮像のS/Nが低下する可能性がある。
 このように、図8(A)の構成は、撮像光の一部が透光カバーで反射して生じる迷光に対しても、対策されたレイアウト構成となっている。
 次に、図9を参照する。図9(A)~(C)は、透光カバー(あるいは透光カバーの下側に設けられたフィルター部)で生じる迷光を考慮した、発光素子(発光素子領域)と撮像素子(撮像素子領域)の好ましい配置の他の例について説明するための図である。
 図9(A)は、先に示した図2(B)を再掲したものである。図9(B)は、図9(A)のB-B線に沿う断面図であり、図9(C)は、比較例(発光素子と撮像素子を逆に配置したレイアウトを採用した例)を示す断面図である。
 図9(A)では、発光素子(光源部)113と、撮像素子(カメラ)115は、車両の幅方向(左右方向)に沿って、近接して配置されている。この点が、図8(A)とは異なる点である。
 図9(A)に示されるように、撮像ユニット110は、上側から見た平面視で、表示光通過領域Z1に対して、運転者5から見て左側(車両1の端部側)に位置している。先に図8(A)で説明したとおり、ユニット単位の取り扱いができる利点がある。
 図9(B)では、迷光N5、N6が発生する。ここで、問題となるのが迷光N6である。但し、迷光N6は、撮像素子115における光の入射範囲から外れる。よって、迷光N6による撮像精度の低下は十分に抑制される。
 仮に、図9(C)のように、発光素子113と撮像素子115の位置を逆にすると、迷光N6が、撮像素子115の受光面に戻り易くなる。よって、撮像精度の低下が懸念される。
 このように、図9(A)の構成は、図8(A)の場合と同様に、撮像光の一部が透光カバーで反射して生じる迷光に対しても、対策されたレイアウト構成である。
(第2の実施形態)
 次に、図10を参照する。図10(A)は、発光素子(発光素子領域)を、運転者から見て表示光通過領域の右側に配置し、撮像素子(撮像素子領域)を、運転者から見て左側に配置した例を示す図、図10(B)は、迷光抑制効果を示す図である。
 図10(A)の例では、車両の高さ方向における上側から見た平面視において、筐体116に設けられる透光カバー112の領域は、透光カバー112の下側に位置する発光素子113に対応する発光素子領域Zeを含む。
 この発光素子領域Zeは、運転者(広義には乗員)から見て、表示光通過領域Z1に対して、車両の幅方向における車両の中央側(言い換えれば、撮像素子115が設けられている側(車両の端部側)とは反対側)に設けられている。
 発光素子113と撮像素子115との間には、表示光通過領域Z1が存在し、その分、各素子間の間隔は広くなっている。
 図10(B)は、図10(A)のC-C線に沿う断面図である。図10(B)に示されるように、3次元の空間において、発光素子113と撮像素子115によって、表示光(可視光)が通過する経路(光束に対応する立体的な空間)Eaが挟まれる、というレイアウト構成が採用されている。
 上側から見た平面視におけるレイアウト(平面的なレイアウト)としては、発光素子領域Zeと撮像素子領域Zrによって、表示光(可視光)通過領域Z1が挟まれる、というレイアウト構成となる。
 図10(A)、(B)からわかるように、発光素子領域Zeは、表示光通過領域Z1を基準として、撮像素子領域Zrとは反対側(車両の中央側)に配置されている。発光素子領域Zeと撮像素子領域Zrとの間に表示光通過領域Z1が存在するため、その分、各領域の間隔を広くとることができる。
 図10(B)に示されるように、発光素子113から出射された撮像光が、筐体116に設けられる透光カバー112(あるいは、フィルター部114)にて反射されると迷光N9、N10が生じる。特に、迷光N10が撮像素子115に入射されると、撮像誤差の原因となる。
 しかし、図10(B)に示されるように、発光素子113と撮像素子115とが離れて配置されているため、迷光N10が、撮像素子115に入射されることが十分に抑制される。このように、図10におけるレイアウト構成は、迷光対策として有用である。
 また、発光素子113と撮像素子115とが離れて配置されることで、人の部位で反射して、撮像素子に戻ってくる撮像光の光量が、各素子113、115を同じ側に配置した場合に比べて増える場合も、状況によってはあり得る。図10(B)のレイアウト構成は、状況に応じた、より自由度の高い素子のレイアウトの実現という点でも有用である。
(第3の実施形態)
 次に、図11を参照する。図11は、第1、第2の発光素子を使用したレイアウト構成の一例を示す図である。
 図11に示されるように、車両の高さ方向における上側から見た平面視において、筐体116に設けられる透光カバー112の領域(図中、太線の実線で示される矩形の領域:透光カバー領域)は、透光カバー112の下側に位置する発光素子113に対応する発光素子領域Zeを含む。
 ここで、図11のHUD装置100は、発光素子として、第1の発光素子113a、及び、第2の発光素子113bとを有する。
 これに伴い、発光素子領域Zeは、第1の発光素子113aに対応する第1の発光素子領域Zeaと、第2の発光素子113bに対応する第2の発光素子領域Zebを有するレイアウト構成となる。
 また、フィルター部(及び、フィルター部領域)も、第1のフィルター部114a(第1のフィルター部領域Z2a)と、第2のフィルター部114b(第2のフィルター部領域Z2b)とに分かれて設けられる。
 第1の発光素子領域Zeaは、運転者5から見て、表示光通過領域Z1に対して、車両の幅方向における車両の中央側(右側:図11の紙面では上側)に設けられている。
 第2の発光素子領域Zebは、運転者5から見て、表示光通過領域Z1に対して、車両の幅方向における車両の、中央側とは反対側である端部側(左側:図11の紙面では下側)に設けられている。
 図11の例では、第1、第2の各発光素子113a、113bを選択的に切り替えて使用することができ、あるいは、各発光素子113a、113bを同時に発光させて使用することもできる。
 第1の発光素子113a(及び、第1の発光素子領域Zea)は、表示光通過領域Z1に対して、車両の中央側(運転者5から見て右側)に設けられる。第2の発光素子113b(及び、第2の発光素子領域Zeb)は、表示光通過領域Z1に対して、車両の端部側(運転者から見て左側)に設けられる。
 言い換えれば、第1、第2の発光素子113a、113bは、その間に表示光通過領域Z1が存在するため、各素子間の間隔が広く、各素子の設置位置が、かなり異なる。
 よって、例えば、第1の発光素子113aが発する撮像光がウインドシールド2で反射されて、人5の部位(顔や目等)に照射されるときの光路(第1の光路)と、第2の発光素子113bが発する撮像光がウインドシールド2で反射されて、人5の部位(顔や目等)に照射されるときの光路(第2の光路)とを、異ならせることが可能である。
 この点を考慮し、2つの発光素子(撮像用光源)113a、113bを、適宜、切り替えて使用する、あるいは、2つの発光素子(撮像用光源)113a、113bを併用することによって、例えば、人(運転者)5がサングラスをかけているような場合に生じ易い迷光による悪影響を抑制できる可能性が高まる。
 例えば、運転者5が装着しているサングラスの表面で、通常とは異なる撮像光の反射(乱反射等)が生じ、その、通常とは異なる反射光がウインドシールド2で反射されて撮像素子に戻される場合もあり、この場合は、通常の光路を経由していないため、画像の歪みが増大する原因となり得る。
 この場合、上記のとおり、2つの発光素子(撮像用光源)を切り替えて使用する、あるいは、2つの発光素子(撮像用光源)を併用することで、人の部位に撮像光を照射する光路(言い換えれば入射角度)を微妙に変更したり、あるいは、人の部位を照射する光の光束の断面形状を変化させたり面積を広げたりすることができる。これによって、上記の迷光を低減できる場合があり得る。
 例えば、戻ってくる迷光の、撮像素子への入射角度が変化して感知されにくくなる、という場合が有り得る。また、通常の(正規の)戻り光が増えてS/Nが改善される場合もあり得る。
 よって、図11の構成は、人(運転者)がサングラス等を装着している場合等における迷光対策になり得る。
 また、図11の構成は、撮像素子に戻ってくる撮像光の光量を増やして、検出感度を向上させる点でも有用である。
(第4の実施形態)
 次に、図12を参照する。図12は、第1、第2の発光素子を使用したレイアウト構成の他の例を示す図である。
 図12に示されるように、車両の高さ方向における上側から見た平面視において、筐体116に設けられる透光カバー112の領域Z0(図中、太線の実線で示される矩形の領域:透光カバー領域)は、透光カバー112の下側に位置する発光素子113に対応する発光素子領域Zeを含む。
 ここで、図12のHUD装置100は、発光素子として、第1の発光素子113a、及び、第2の発光素子113bとを有する。
 第1、第2発光素子113a、113bは、発光素子ユニット117の構成要素として設けられている。
 これに伴い、発光素子領域Zeは、第1の発光素子113aに対応する第1の発光素子領域Zeaと、第2の発光素子113bに対応する第2の発光素子領域Zebを有するレイアウト構成となる。
 また、フィルター部(及び、フィルター部領域)も、第1のフィルター部114a(第1のフィルター部領域Z2a)と、第2のフィルター部114b(第2のフィルター部領域Z2b)とに分かれて設けられる。
 第1、第2発光素子113a、113b(及び第1、第2の発光素子領域Zea、Zeb)は、表示光通過領域Z1を基準として、運転者(乗員)5から見て、車両の中央側(図12の紙面の上側)において、車両の幅方向(左右方向)に沿って、互いに近接して配置されている。
 但し、第2の発光素子113aに対応する第2の発光素子領域Zebは、第1の発光素子領域Zeaよりも、表示光通過領域Z1からの距離が遠い位置に設けられている。図12において、第1の発光素子領域Zeaについての、表示光通過領域Z1からの距離(車両の幅方向における距離)は「D1」であり、第2の発光素子領域Zebについての距離は「D2」であり、D2>D1に設定されている。
 図12の例では、図11の例と同様に、第1、第2の発光素子(撮像用光源)113a、113bを設けて、各発光素子を切り替えて使用する、あるいは、2つの発光素子を併用することで、迷光対策としたり、あるいは、撮像素子に戻る撮像光の光量を増やしたりすることができる。例えば、第1、第2の発光素子113a、113bは近接して配置されているため、併用すると、同じ方向に出射される光の光量を効果的に増やすことができるという利点もある。
 また、第1、第2の発光素子113a、113b間の間隔等は、適宜、微調整することも可能である。
 以上説明したように、本発明の実施形態によれば、画像(虚像)を表示する機能と、乗員の部位(目等)を撮像する機能とを有するヘッドアップディスプレイ装置における、撮像画像の歪みを低減し、部位の検出精度を高めることができる。
 また、ヘッドアップディスプレイ装置の筐体が大型化することを抑制することも可能である。
 本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語(例えば標識等)についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、HUD装置や表示器装置(及び広義の表示装置)には、シミュレータ(例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等)として使用されるものも含まれるものとする。
 本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
 1・・・車両、2・・・ウインドシールド(反射透光部材)、4・・・インストルメントパネル(あるいはダッシュボード)、5・・・乗員(運転者等)、7・・・撮像対象となる人の部位(顔や目等)、8・・・ステアリングホイール、102・・・表示部、104・・・表示パネル(液晶表示装置等)、106・・・平面ミラー、108・・・曲面ミラー(凹面鏡等)、100・・・HUD装置、110・・・撮像部(撮像ユニット)、112・・・透光カバー、113・・・発光素子(赤外発光ダイオード等)、114・・・フィルター部(赤外光を通過し、可視光を遮断するフィルター)、115・・・撮像素子(CCD等の固体撮像素子、広義にはカメラ)、116・・・筐体、L1・・・画像の表示光(可視光)、L2・・・撮像光(赤外光:人の部位に照射される照射光)、L3・・・人の部位で反射した反射光、Z0・・・透光カバー領域、Z1・・・表示光通過領域、Z2・・・フィルター部領域、Ze・・・発光素子領域、Zr・・・撮像素子領域

Claims (7)

  1.  車両に設けられた、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して虚像を表示し、
     撮像光を前記乗員の部位に照射し、前記部位からの反射光を、前記反射透光部材を経由して受光することで前記部位を撮像し、
     かつ、前記車両の高さ方向における上側から見た平面視において、前記乗員と前記反射透光部材との間に配置されるヘッドアップディスプレイ装置であって、
     筐体と、
     前記筐体に設けられる透光カバーと、
     前記筐体内に設けられ、前記画像を表示する表示部と、
     前記筐体内に設けられ、前記透光カバーを経由して前記反射透光部材に向けて前記表示光を照射する光学素子を含む光学系と、
     前記筐体内の、前記画像の表示光の経路外に設けられると共に、前記撮像光を出射する発光素子と、前記反射透光部材を経由して到来する前記反射光を受光する撮像素子と、を有する撮像部と、
     を有し、
     前記車両の高さ方向における上側から見た平面視において、
     前記筐体は、前記乗員の着座位置と前記反射透光部材との間に配置され、
     前記筐体に設けられる前記透光カバーの領域は、
     前記表示光が通過する表示光通過領域と、
     前記透光カバーの下側に位置する前記撮像素子に対応する撮像素子領域と、を含み、
     前記撮像素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側とは反対側である端部側に設けられている、
     ヘッドアップディスプレイ装置。
  2.  前記表示光は可視光であり、前記撮像光は赤外光であり、
     前記透光カバーの下側に設けられる、赤外光を透過し、可視光を遮断するフィルター部を有し、
     前記車両の高さ方向における上側から見た平面視において、
     前記透光カバーの領域内において、前記フィルター部に対応するフィルター部領域が設けられ、
     前記フィルター部領域内において、前記撮像素子領域が設けられている、
     請求項1に記載のヘッドアップディスプレイ装置。
  3.  前記撮像素子の光軸と前記反射透光部材との交点は、前記表示光の主光線の、前記反射透光部材における反射点よりも上方に位置する、
     請求項1に記載のヘッドアップディスプレイ装置。
  4.  前記車両の高さ方向における上側から見た平面視において、
     前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
     前記発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側とは反対側である端部側に設けられている、
     請求項1に記載のヘッドアップディスプレイ装置。
  5.  前記車両の高さ方向における上側から見た平面視において、
     前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
     前記発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の中央側に設けられている、
     請求項1に記載のヘッドアップディスプレイ装置。
  6.  前記車両の高さ方向における上側から見た平面視において、
     前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
     前記発光素子として、第1、第2の発光素子を有し、
     前記発光素子領域は、前記第1の発光素子に対応する第1の発光素子領域と、第2の発光素子領域を有し、
     前記第1の発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の中央側に設けられており、
     前記第2の発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側とは反対側である端部側に設けられている、
     請求項1に記載のヘッドアップディスプレイ装置。
  7.  前記車両の高さ方向における上側から見た平面視において、
     前記筐体に設けられる前記透光カバーの領域は、前記透光カバーの下側に位置する前記発光素子に対応する発光素子領域、を含み、
     前記発光素子として、第1、第2の発光素子を有し、
     前記発光素子領域は、前記第1の発光素子に対応する第1の発光素子領域と、第2の発光素子領域を有し、
     前記第1の発光素子領域は、前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の中央側に設けられており、
     前記第2の発光素子領域は、
     前記乗員から見て、前記表示光通過領域に対して、前記車両の幅方向における前記車両の、中央側であって、
     かつ、
     前記車両の幅方向における前記表示光通過領域からの距離が、前記第1の発光素子領域の前記表示光通過領域からの距離よりも大きくなるように、前記表示光通過領域から、より遠い位置に設けられている、
     請求項1に記載のヘッドアップディスプレイ装置。
PCT/JP2022/032529 2021-09-21 2022-08-30 ヘッドアップディスプレイ装置 WO2023047897A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112022004477.2T DE112022004477T5 (de) 2021-09-21 2022-08-30 Head-up-Display-Vorrichtung
CN202280062612.6A CN117980801A (zh) 2021-09-21 2022-08-30 平视显示装置
JP2023549437A JPWO2023047897A1 (ja) 2021-09-21 2022-08-30

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-153000 2021-09-21
JP2021153000 2021-09-21

Publications (1)

Publication Number Publication Date
WO2023047897A1 true WO2023047897A1 (ja) 2023-03-30

Family

ID=85720513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032529 WO2023047897A1 (ja) 2021-09-21 2022-08-30 ヘッドアップディスプレイ装置

Country Status (4)

Country Link
JP (1) JPWO2023047897A1 (ja)
CN (1) CN117980801A (ja)
DE (1) DE112022004477T5 (ja)
WO (1) WO2023047897A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152883A (ja) * 2010-01-28 2011-08-11 Toyota Motor Corp 撮像装置
WO2017033566A1 (ja) * 2015-08-26 2017-03-02 富士フイルム株式会社 投写型表示装置、投写表示方法、及び投写表示プログラム
JP2017134226A (ja) * 2016-01-27 2017-08-03 京セラ株式会社 表示装置および車両
WO2019238854A1 (en) * 2018-06-15 2019-12-19 Continental Automotive Gmbh Head-up-display
JP2022056520A (ja) * 2020-09-30 2022-04-11 日本精機株式会社 車両用表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019026198A (ja) 2017-08-03 2019-02-21 マクセル株式会社 ヘッドアップディスプレイ装置とそのためのドライバ視点検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152883A (ja) * 2010-01-28 2011-08-11 Toyota Motor Corp 撮像装置
WO2017033566A1 (ja) * 2015-08-26 2017-03-02 富士フイルム株式会社 投写型表示装置、投写表示方法、及び投写表示プログラム
JP2017134226A (ja) * 2016-01-27 2017-08-03 京セラ株式会社 表示装置および車両
WO2019238854A1 (en) * 2018-06-15 2019-12-19 Continental Automotive Gmbh Head-up-display
JP2022056520A (ja) * 2020-09-30 2022-04-11 日本精機株式会社 車両用表示装置

Also Published As

Publication number Publication date
CN117980801A (zh) 2024-05-03
JPWO2023047897A1 (ja) 2023-03-30
DE112022004477T5 (de) 2024-07-18

Similar Documents

Publication Publication Date Title
JP4414612B2 (ja) 車両用表示装置
JP5698578B2 (ja) 頭部装着型表示装置
JP4325724B2 (ja) ヘッドアップディスプレイ装置
TWI479177B (zh) 反射型光電感測器
US20180252917A1 (en) Display Image Projection Apparatus and Display Image Projection System
JP7377609B2 (ja) ヘッドアップディスプレイ装置
JP6115585B2 (ja) ヘッドマウントディスプレイ及び画像表示装置
CN113741031B (zh) 车载显示装置
JP2004226469A (ja) 車両用ヘッドアップディスプレイ装置
WO2016190134A1 (ja) ヘッドアップディスプレイ装置
JP7492670B2 (ja) 車両用表示装置
JP2020197672A (ja) 画像表示装置
JP6334273B2 (ja) 車両用投影表示装置
WO2023047897A1 (ja) ヘッドアップディスプレイ装置
US10246010B2 (en) Ultrasonic sensor and obstacle detection apparatus
JP7417937B2 (ja) 表示装置
JP6549817B2 (ja) コンバイナ
WO2022085621A1 (ja) ヘッドアップディスプレイ装置
JP6646614B2 (ja) 車両用表示装置
JPWO2019239465A1 (ja) 画像表示装置
WO2023112908A1 (ja) 表示装置
WO2020066193A1 (ja) 光学装置及び表示装置
CN112748572A (zh) 虚像显示装置及导光部件
JP7147373B2 (ja) 車両用表示装置
WO2024053543A1 (ja) 画像投影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872653

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549437

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280062612.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18694025

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112022004477

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22872653

Country of ref document: EP

Kind code of ref document: A1