WO2024203229A1 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
WO2024203229A1
WO2024203229A1 PCT/JP2024/009331 JP2024009331W WO2024203229A1 WO 2024203229 A1 WO2024203229 A1 WO 2024203229A1 JP 2024009331 W JP2024009331 W JP 2024009331W WO 2024203229 A1 WO2024203229 A1 WO 2024203229A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection device
vehicle
hud
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/009331
Other languages
English (en)
French (fr)
Inventor
陽介 大橋
里美 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2025510233A priority Critical patent/JPWO2024203229A1/ja
Publication of WO2024203229A1 publication Critical patent/WO2024203229A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present invention relates to an image projection device.
  • Image projection devices for vehicles such as that described in Patent Document 1 are known.
  • Image projection devices project images or videos onto a windshield or combiner, and allow the occupants to view the images by superimposing them on real space through the windshield or combiner, thereby achieving what is known as augmented reality (AR).
  • AR augmented reality
  • Patent Document 1 discloses a vehicle display system for reducing the hassle of visibility caused by overlapping of an image created by visible light and an image created by near-infrared light.
  • the vehicle display system includes a first lamp that irradiates near-infrared light, a second lamp that irradiates visible light, a first camera that captures a first image of the outside of the vehicle illuminated by the first lamp, a second camera, a control unit, and an image projection device.
  • the imaging range of the second camera includes the imaging range of the first camera.
  • the second camera captures a second image of the outside of the vehicle illuminated by the second lamp.
  • the control unit generates a third image in which the brightness of pixels of the first image corresponding to pixels in the second image is reduced based on the brightness of the second image, and causes the image projection device to display the third image.
  • the line of sight of vehicle (mobile body) occupants is constantly changing. For example, sometimes the occupants look at the image generated by the image projection device, and sometimes they do not. If the brightness of the image remains high even when the occupants are not looking at it, the image will be perceived as dazzling by the occupants.
  • the present disclosure provides an image projection device that displays an image at a brightness that depends on whether or not an occupant is looking at it.
  • An image projection device includes: An image projection device that allows a passenger of a moving body to visually recognize an image as a virtual image, When it is determined that the occupant is not looking at the image, the brightness of the image is reduced.
  • This disclosure makes it possible to provide an image projection device that displays an image at a brightness that depends on whether or not an occupant is looking at it.
  • FIG. 1 is a block diagram of a vehicle system in a vehicle equipped with an image projection device according to this embodiment.
  • FIG. 2 is a schematic diagram of an image projection device.
  • FIG. 3 is a diagram illustrating a state in which the image output by the image projection device is recognized by the driver as a virtual image.
  • FIG. 4 is a flowchart showing the process executed by the image projection device when displaying an image.
  • FIG. 5 is a diagram illustrating an example of an attention-calling image of the image projection device.
  • the "left-right direction,” “up-down direction,” and “front-rear direction” may be referred to as appropriate. These directions are relative directions set for the HUD (head-up display) 42 shown in FIG. 2.
  • the "left-right direction” refers to a direction that includes the “left direction” and the “right direction.”
  • the "up-down direction” refers to a direction that includes the “upward direction” and the “downward direction.”
  • the "front-rear direction” refers to a direction that includes the "forward direction” and the "rearward direction.”
  • the left-right direction is a direction that is perpendicular to the up-down direction and the front-rear direction. The directions are defined based on the occupant using the HUD 42.
  • FIG. 1 is a block diagram of the vehicle system 2.
  • the vehicle 1 is an example of a moving body.
  • the vehicle system 2 includes a vehicle control unit 3, a HUD 42, and a camera 6.
  • the vehicle control unit 3 is configured to control the running of the vehicle 1.
  • the vehicle control unit 3 is configured, for example, by at least one electronic control unit (ECU: Electronic Control Unit).
  • the electronic control unit includes a computer system (e.g., SoC (System on a Chip) etc.) including one or more processors and one or more memories, and an electronic circuit configured of active elements such as transistors and passive elements.
  • the processor includes, for example, at least one of a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit) and a TPU (Tensor Processing Unit).
  • the CPU may be configured by multiple CPU cores.
  • the GPU may be configured by multiple GPU cores.
  • the memory includes a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • a vehicle control program may be stored in the ROM.
  • the vehicle control program may include an artificial intelligence (AI) program for autonomous driving.
  • the AI program is a program (trained model) constructed by supervised or unsupervised machine learning (particularly, deep learning) using a multi-layer neural network.
  • the RAM may temporarily store the vehicle control program, vehicle control data, and/or surrounding environment information indicating the surrounding environment of the vehicle.
  • the processor may be configured to deploy a program designated from various vehicle control programs stored in the ROM onto the RAM and execute various processes in cooperation with the RAM.
  • the computer system may also be configured with non-von Neumann type computers such as ASICs (Application Specific Integrated Circuits) and FPGAs (Field-Programmable Gate Arrays). Furthermore, the computer system may be configured with a combination of von Neumann type computers and non-von Neumann type computers.
  • ASICs Application Specific Integrated Circuits
  • FPGAs Field-Programmable Gate Arrays
  • the HUD 42 is located inside the vehicle 1. Specifically, the HUD 42 is installed in a predetermined location inside the vehicle 1. For example, the HUD 42 may be disposed in the dashboard of the vehicle 1.
  • the HUD 42 is a visual interface between the vehicle 1 and the occupant.
  • the HUD 42 is configured to display predetermined information (hereinafter referred to as HUD information) toward the occupant so that the HUD information is superimposed on the real space outside the vehicle 1 (particularly, the surrounding environment in front of the vehicle). In this manner, the HUD 42 is an AR (Augmented Reality) display.
  • the HUD information displayed by the HUD 42 includes, for example, vehicle information related to the running of the vehicle 1, surrounding environment information related to the surrounding environment of the vehicle 1 (particularly, information related to objects present outside the vehicle 1), and attention-attracting images displayed according to the situation of traffic participants around the vehicle.
  • vehicle information indicates at least one of the following: vehicle speed, vehicle acceleration/deceleration state, vehicle charging state (charging rate, charging, discharging), and shift position. Details of the HUD 42 will be described later.
  • the HUD 42 is an example of an image projection device that allows the occupant of the moving body to visually recognize an image as a virtual image.
  • the vehicle control unit 3 and the control board 425 of the HUD 42 which will be described later, are provided as separate components, but the vehicle control unit 3 and the control board 425 may be configured as an integrated unit. In this respect, the control board 425 and the vehicle control unit 3 may be configured as a single electronic control unit.
  • the camera 6 is a camera including an imaging element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 6 includes one or more external cameras 61 and an internal camera 62.
  • the external camera 61 is configured to acquire image data showing the surrounding environment of the vehicle 1 and output the image data to the vehicle control unit 3.
  • the vehicle control unit 3 acquires surrounding environment information based on the output image data.
  • the surrounding environment information may include information about objects (pedestrians, other vehicles including a preceding vehicle and an oncoming vehicle, signs, etc.) that exist outside the vehicle 1.
  • the external camera 61 detects a preceding vehicle traveling in front of the vehicle 1 and outputs image data showing the preceding vehicle to the vehicle control unit 3.
  • the vehicle control unit 3 acquires surrounding environment information including information about the preceding vehicle and information about the distance and position of the preceding vehicle relative to the vehicle 1 based on the output image data.
  • the external camera 61 may be configured as a mono
  • the internal camera 62 is disposed inside the vehicle 1 and configured to acquire image data showing the occupant.
  • the internal camera 62 functions as a tracking camera that tracks the occupant's viewpoint E.
  • the internal camera 62 may have a light projection function, an image processing function, and an arithmetic processing function required for tracking.
  • the occupant's viewpoint E is either the viewpoint of the left eye or the viewpoint of the right eye of the occupant.
  • the viewpoint E may be defined as the midpoint of a line segment connecting the viewpoint of the left eye and the viewpoint of the right eye.
  • the control board 425 may identify the position of the occupant's viewpoint E based on the image data acquired by the internal camera 62.
  • the position of the occupant's viewpoint E is updated at a predetermined cycle based on the image data.
  • FIG. 2 is a schematic diagram of the HUD 42 according to this embodiment.
  • the HUD 42 has a HUD main body 420.
  • the HUD main body 420 has a housing 422 and an exit window 423.
  • the exit window 423 is a transparent plate that transmits visible light.
  • the HUD main body 420 has an image generation unit (PGU: Picture Generation Unit) 424, a control board 425, a plane mirror 426, a drive mechanism 427, and a concave mirror 428.
  • PGU Picture Generation Unit
  • the image generating unit 424 is configured to generate an image.
  • the image generating unit 424 has a light source, optical components, and a display device.
  • the light source is, for example, a laser light source or an LED light source.
  • the laser light source is, for example, an RGB laser light source configured to emit red laser light, green laser light, and blue laser light, respectively.
  • the optical components include a prism, a lens, a diffusion plate, a magnifying glass, etc.
  • the display device is a liquid crystal display, a DMD (Digital Mirror Device), etc.
  • the drawing method of the image generating unit 424 may be a raster scan method, a DLP method, or an LCOS method. When the DLP method or the LCOS method is adopted, the light source of the HUD 42 may be an LED light source. Note that, when a liquid crystal display is adopted, the light source of the HUD 42 may be a white LED light source.
  • the display device of the image generating unit 424 has an image forming surface formed of a large number of pixels.
  • the image generating unit 424 is configured to form an image using a portion of the image forming surface.
  • the control board 425 is configured to control the operation of the image generating unit 424 and the drive mechanism 427.
  • the control board 425 is equipped with a processor such as a CPU (Central Processing Unit) and a memory 429 ( Figure 1), and the processor executes a computer program read from the memory 429 to control the operation of the image generating unit 424.
  • the control board 425 may also control the drive mechanism 427 to change the orientation (angle) of the concave mirror 428.
  • the control board 425 acquires information and image data transmitted from the vehicle control unit 3.
  • the acquired information or image data includes information related to the occupant's line of sight, vehicle driving information, and surrounding environment information.
  • the control board 425 is further configured to generate a control signal for controlling the operation of the image generation unit 424 according to the information and image data, and to transmit the generated control signal to the image generation unit 424. More specifically, the control board 425 is configured to control the brightness (illuminance) of the image generated by the image generation unit 424 according to the acquired information and image data.
  • the concave mirror 428 is disposed on the optical path of the light emitted from the image generating unit 424 and reflected by the plane mirror 426. Specifically, the concave mirror 428 is disposed in front of the image generating unit 424 and the plane mirror 426 within the HUD main body 420. The concave mirror 428 is configured to reflect the light emitted by the image generating unit 424 toward the windshield 18 (e.g., the front window of the vehicle 1) via the exit window 423.
  • the concave mirror 428 has a concavely curved reflective surface, and reflects the image of the light emitted from the image generating unit 424 and formed at a predetermined magnification.
  • the light emitted from the exit window 423 of the HUD main body 420 is irradiated onto the windshield 18.
  • a portion of the light irradiated from the HUD main body 420 onto the windshield 18 is reflected towards the occupant's viewpoint E.
  • the occupant recognizes the light (predetermined image) emitted from the HUD main body 420 as a virtual image formed at a predetermined distance in front of the windshield 18.
  • the image displayed by the HUD 42 is superimposed on the real space in front of the vehicle 1 through the windshield 18, allowing the occupant to visually recognize the virtual image object I formed by the predetermined image as floating above the road outside the vehicle.
  • a predetermined image is projected so as to become a virtual image at a single distance that is arbitrarily determined.
  • a 3D image stereo image
  • a plurality of predetermined images that are the same or different from each other are projected so as to become virtual images at different distances.
  • the distance of the virtual image object I (the distance from the occupant's viewpoint E to the virtual image) can be adjusted by adjusting the distance from the image generation unit 424 to the occupant's viewpoint E (for example, by adjusting the distance between the image generation unit 424 and the concave mirror 428).
  • the HUD main body 420 does not need to have a plane mirror 426. In this case, the light emitted from the image generation unit 424 is incident on the concave mirror 428 without being reflected by the plane mirror 426.
  • Fig. 3 is a diagram illustrating a state in which the image output by the HUD 42 is recognized by the driver as a virtual image.
  • Fig. 3 illustrates a state in which an image B1 indicating the vehicle speed is recognized at a predetermined position in the left corner of the driver's field of view A1.
  • the image B1 indicating the vehicle speed is an image whose display position is fixed in the driver's field of view A1.
  • the image B1 indicating the vehicle speed is an image that indicates the state of the vehicle 1, and is also an image that does not change according to the state ahead of the vehicle 1.
  • the driver is an example of a passenger.
  • the HUD 42 generates image data to be displayed based on vehicle speed data (e.g., 30 km/h) acquired from the vehicle control unit 3 and basic image data (character font, decorative image, initial brightness, etc.) of the image including initial brightness acquired from the memory 429.
  • vehicle speed data e.g., 30 km/h
  • basic image data character font, decorative image, initial brightness, etc.
  • HUD 42 determines where to display this image data.
  • the driver's field of view A1 extends at a specific solid angle ⁇ from eye point (eye position, viewpoint) E.
  • HUD 42 determines the display position of the image data so that image B1 indicating the vehicle speed is displayed at a specific position in the driver's field of view A1.
  • the HUD 42 can output an image anywhere in the field of view (hereafter referred to as the expected maximum field of view AMax) that the driver can see when the eye point E moves within the expected range of movement (eye box EB).
  • the HUD 42 can control the position and direction in which image light is emitted from the exit window 423 of the HUD 42 by changing the position at which the image is formed on the image forming surface 42S or by changing the angle of the concave mirror 428 or the plane mirror 426.
  • the image generating area 42R of the HUD 42 is set to be the same as or larger than the expected maximum field of view AMax.
  • the HUD 42 calculates the position within the expected maximum field of view AMax at which the image is to be displayed as generated position information.
  • the generated position information can be expressed in a format in which any position within the expected maximum field of view AMax is expressed as a solid angle ⁇ with the center of the eye box EB as the central point.
  • the generated position information can be calculated based on the position of the driver's eyes (viewpoint E) and the position at which the driver wants to recognize the image within his field of vision A1.
  • the position at which the driver wants to recognize the image within his field of vision A1 is stored in advance in memory 429 or the like.
  • image B1 indicating vehicle speed is set to be displayed in the lower section of the maximum field of vision AMax when it is divided vertically into thirds.
  • HUD 42 determines through eye tracking that the driver's eye position (viewpoint E) is facing the lower section, it sets the display position of image B1 indicating vehicle speed to the lower section as the generated position information.
  • the HUD 42 emits image light based on image data including initial brightness and generated position information, allowing the driver to recognize an image B1 indicating the vehicle speed at a specific position within the driver's field of view A1 (for example, the lower level of the maximum field of view AMax).
  • the HUD 42 is configured to reduce the brightness of image B1 when it is determined that the driver is not looking at image B1.
  • Figure 4 is a flowchart executed by the HUD 42 when displaying image B1. The HUD 42 repeatedly executes the flow shown in Figure 4 at a predetermined interval, for example, every 0.1 seconds.
  • the HUD 42 first outputs image B1 at the initial brightness (step S01).
  • the HUD 42 acquires the driver's gaze information (step S02).
  • the HUD 42 acquires the driver's gaze information from the internal camera 62 via the vehicle control unit 3.
  • the internal camera 62 acquires image data including the driver's eyes as the driver's gaze information.
  • the acquired image data is sent to the HUD 42 via the vehicle control unit 3.
  • the HUD 42 estimates the direction in which the driver is looking based on the acquired image data, for example, the position of the driver's black eye and the position of the pupil.
  • the HUD 42 determines whether the driver is looking at image B1 based on the acquired gaze information (step S03). More specifically, the HUD 42 determines whether the estimated driver's gaze is within the display range BR of image B1, which indicates the vehicle speed. If the driver's gaze is within the display range BR, the HUD 42 determines that the driver is looking at image B1.
  • image B1 is set to be recognized as being displayed 3 m ahead of vehicle 1
  • the area that the image occupies on a virtual screen 3 m ahead can be represented using a two-dimensional coordinate system based on the generation position information of image B1.
  • the direction of the driver's line of sight can also be represented using a common two-dimensional coordinate system on the virtual screen based on the position of the eyes and the direction of the line of sight.
  • HUD 42 can determine whether the direction of the line of sight is within the display range BR of image B1.
  • the HUD 42 determines whether a predetermined time has elapsed during which the driver has not looked at image B1 (step S04). Here, it determines whether the driver has not looked at image B1 for, for example, three minutes.
  • step S04 If image B1 has not been viewed for less than three minutes (step S04: NO), HUD 42 ends the process.
  • step S05 the HUD 42 reduces the brightness of image B1 (step S05). For example, the HUD 42 reduces the brightness of image B1 to a brightness that is 60% lower than the initial brightness. After reducing the brightness, the HUD 42 ends the process.
  • step S06 HUD 42 next determines whether the brightness of image B1 is set to an initial brightness (step S06).
  • HUD42 ends the process.
  • step S06 If the initial luminance is not set for the luminance of image B1 (step S06: NO), that is, if the luminance of image B1 has been reduced, HUD 42 returns the luminance to the initial luminance and ends the process. Note that it is preferable that the speed [lux/sec] at which the luminance is increased to the initial luminance in step S07 is faster than the speed at which the luminance is reduced in step S05.
  • the HUD 42 of this embodiment reduces the luminance of image B1 when it is determined that the driver is not looking at image B1. If the luminance of image B1 remains high at its initial luminance even when the driver is not looking at image B1, the driver may find image B1 dazzling. However, in this embodiment, the luminance of image B1 is reduced, so the glare of such an image can be reduced. Therefore, it is possible to provide a HUD 42 that displays image B1 at a brightness that corresponds to whether the driver is looking at it or not.
  • the brightness of image B1 decreases when a predetermined time has passed while the driver is not looking at image B1.
  • the line of sight of the driver of vehicle 1 is constantly moving, and there are cases where the driver's line of sight is within the display range BR of image B1 for a very short period of time, or where the driver passes through the display range BR momentarily. If the brightness of image B1 is changed even in such cases, the driver may find the change in brightness annoying.
  • the brightness of image B1 decreases when a predetermined time has passed, making it possible to reduce the annoyance of the change in brightness.
  • the rate at which the brightness decreases is relatively slow in order to reduce the annoyance of the change in brightness.
  • the driver goes from not looking at image B1 to looking at it, it is preferable to immediately display image B1 at a brightness that is easy for the driver to see.
  • the rate at which the brightness increases is faster than the rate at which the brightness decreases, so that when the driver's line of sight returns to image B1, image B1 can be displayed relatively quickly at a brightness that is easy for the driver to see.
  • the position at which image B1 is displayed does not change depending on the state ahead of vehicle 1. This reduces the processing load on HUD 42 compared to a case in which the position at which image B1 is displayed changes depending on the state ahead of vehicle 1.
  • the position where image B1 is displayed is fixed. Since there is no need to change the position where image B1 is displayed, the processing load on the HUD 42 is relatively reduced.
  • image B1 shows the state of vehicle 1. Therefore, image B1 showing the state of vehicle 1 can be provided to the driver.
  • image B1 shows information that does not change depending on the state ahead of vehicle 1. Since the displayed image B1 does not need to be linked to the state ahead of vehicle 1, the processing load on HUD 42 is relatively reduced.
  • the HUD 42 may also project an attention-calling image C1 that is displayed according to the conditions of traffic participants around the vehicle 1.
  • Figure 5 is a diagram illustrating an example of the attention-calling image C1 of the HUD 42.
  • a motorcycle (an example of a traffic participant) may be approaching from behind the vehicle 1. Because the motorcycle is located outside the driver's field of vision A1, the driver has difficulty noticing it.
  • the HUD 42 may receive information regarding the direction and speed of the approaching motorcycle via the external camera 61 of the vehicle 1, and display an attention-calling image C1 to notify the driver of the presence of the motorcycle.
  • the attention-calling image C1 may be displayed at a position different from the image B1 showing the state of the vehicle 1 and the driver's line of sight E1. As shown in FIG. 5, for example, the attention-calling image C1 may be displayed at the bottom center of the driver's maximum visual field AMax.
  • the attention warning image C1 is displayed at a higher brightness than the image B1, whose brightness changes according to the driver's line of sight. More specifically, the brightness of the attention warning image C1 is higher than the maximum brightness of the image B1, or the brightness of the attention warning image C1 is higher than the brightness of the image B1 currently being displayed.
  • the HUD 42 of this embodiment projects an image B1 showing the state of the vehicle 1, as well as an attention-calling image C1 that is displayed according to the status of traffic participants around the vehicle 1. This makes it easier for the driver to recognize the presence of traffic participants, such as motorcycles, approaching the vehicle 1 from outside the maximum field of view AMax.
  • the brightness of the attention warning image C1 may be higher than when the driver is looking at the motorcycle.
  • the HUD 42 acquires the driver's line of sight information via the internal camera 62 and can determine whether the driver is looking at the motorcycle. If the driver has never looked directly at the motorcycle, it is highly likely that the driver is not aware of the presence of the motorcycle. In this embodiment, in such a case, the brightness of the attention warning image C1 is relatively high, making it easier for the driver to recognize the presence of the motorcycle.
  • the brightness of image B1 may be lower than when the driver is not looking at the motorcycle.
  • the driver is looking at the motorcycle, there is a high possibility that the driver is aware of the motorcycle's presence. If the brightness of image B1 other than the attention-drawing image C1 is high even in such a case, the driver may find the image B1 dazzling. In this embodiment, the brightness of image B1 is low in such a case, and therefore the glare of image B1 can be reduced.
  • the driver is shown viewing the image, but the present disclosure can also be applied to cases where an occupant other than the driver, such as a passenger in the front passenger seat or in the back seat, views the image.
  • a motorcycle is used as an example of a traffic participant, but traffic participants are not limited to motorcycles. Traffic participants may also be pedestrians, bicycles, or other vehicles.
  • the virtual screen is set 3 m ahead of the vehicle 1, but the position of the virtual screen is not limited to 3 m ahead.
  • the virtual screen may be set 10 m ahead of the vehicle 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)

Abstract

ＨＵＤ（４２）は、虚像として車両（１）の運転者に画像（Ｂ１）を視認させ、運転者が画像（Ｂ１）を見ていないと判定したとき、画像（Ｂ１）の輝度を下げる。

Description

画像投影装置
　本発明は、画像投影装置に関する。
　特許文献１のような車両用の画像投影装置が知られている。画像投影装置は、ウインドシールドやコンバイナに画像や映像を投影させ、その画像をウインドシールドやコンバイナを通して現実空間と重畳させて乗員に視認させることで、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を実現することができる。
　特許文献１は、可視光による画像と近赤外光による画像とが重なることによる視認性の煩わしさを低減するための、車両用表示システムを開示している。車両用表示システムは、近赤外光を照射する第一灯具と、可視光を照射する第二灯具と、第一灯具により照射された車両外部の第一画像を撮像する第一カメラと、第二カメラと、制御部と、画像投影装置と、を備えている。第二カメラの撮像範囲は、第一カメラの撮像範囲を含んでいる。第二カメラは、第二灯具により照射された車両外部の第二画像を撮像する。制御部は、第二画像の輝度に基づいて、第二画像に画素に対応する第一画像の画素の輝度を下げた第三画像を生成し、画像投影装置に第三画像を表示させる。
国際公開第２０２２／０５４５５７号
　ところで、車両（移動体）の乗員の視線は常に動いている。例えば乗員は画像投影装置が生成する画像を見る時もあれば、見ていない時もある。乗員が画像を見ていない場合にまで画像の輝度が高いままだと、乗員にとっては画像を眩しく感じてしまう。
　そこで本開示は、乗員が見ているか否かに応じた明るさで画像を表示する画像投影装置を提供する。
　本開示の一側面に係る画像投影装置は、
　虚像として移動体の乗員に画像を視認させる画像投影装置であって、
　前記乗員が前記画像を見ていないと判定したとき、前記画像の輝度を下げる。
　本開示によれば、乗員が見ているか否かに応じた明るさで画像を表示する画像投影装置を提供することができる。
図１は、本実施形態に係る画像投影装置を備えた車両における、車両システムのブロック図である。 図２は、画像投影装置の模式図である。 図３は、画像投影装置が出力する画像を虚像として運転者に認識させている様子を示す例示する図である。 図４は、画像を表示する際に画像投影装置が実行するフローチャートである。 図５は、画像投影装置の注意喚起画像を例示する図である。
　以下、本発明の実施形態について図面を参照しながら説明する。尚、実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は省略する。また、本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
　本実施形態の説明では、説明の便宜上、「左右方向」、「上下方向」、「前後方向」について適宜言及する場合がある。これらの方向は、図２に示すＨＵＤ（ヘッドアップディスプレイ）４２について設定された相対的な方向である。ここで、「左右方向」は、「左方向」及び「右方向」を含む方向である。「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。左右方向は、図２では示されていないが、上下方向及び前後方向に直交する方向である。ＨＵＤ４２を利用する乗員を基準に方向を定義する。
　図１を参照して、本実施形態に係るヘッドアップディスプレイ（ＨＵＤ）４２を備えた車両１における、車両システム２について以下に説明する。図１は、車両システム２のブロック図である。車両１は、移動体の一例である。
　図１に示すように、車両システム２は、車両制御部３と、ＨＵＤ４２と、カメラ６と、を備える。
　車両制御部３は、車両１の走行を制御するように構成されている。車両制御部３は、例えば、少なくとも一つの電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により構成されている。電子制御ユニットは、１以上のプロセッサと１以上のメモリを含むコンピュータシステム（例えば、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）等）と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）及びＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のうちの少なくとも一つを含む。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。メモリは、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。ＲＯＭには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能（ＡＩ）プログラムを含んでもよい。ＡＩプログラムは、多層のニューラルネットワークを用いた教師有り又は教師なし機械学習（特に、ディープラーニング）によって構築されたプログラム（学習済みモデル）である。ＲＡＭには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ＲＯＭに記憶された各種車両制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。また、コンピュータシステムは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の非ノイマン型コンピュータによって構成されてもよい。さらに、コンピュータシステムは、ノイマン型コンピュータと非ノイマン型コンピュータの組み合わせによって構成されてもよい。
　ＨＵＤ４２は、少なくとも一部が車両１の内部に位置する。具体的には、ＨＵＤ４２は、車両１の室内の所定箇所に設置されている。例えば、ＨＵＤ４２は、車両１のダッシュボード内に配置されてもよい。ＨＵＤ４２は、車両１と乗員との間の視覚的インターフェースである。ＨＵＤ４２は、所定の情報（以下、ＨＵＤ情報という。）が車両１の外部の現実空間（特に、車両の前方の周辺環境）と重畳されるように当該ＨＵＤ情報を乗員に向けて表示するように構成されている。このように、ＨＵＤ４２は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）ディスプレイである。ＨＵＤ４２によって表示されるＨＵＤ情報は、例えば、車両１の走行に関連した車両情報、車両１の周辺環境に関連した周辺環境情報（特に、車両１の外部に存在する対象物に関連した情報）、及び車両の周囲の交通参加者の状況に応じて表示する注意喚起画像を含む。車両情報は、車速、車両の加減速の状態、車両の充電状態（充電率、充電中、放電中）、シフトポジションの少なくとも一つを示す。ＨＵＤ４２の詳細は後述する。ＨＵＤ４２は、虚像として移動体の乗員に画像を視認させる画像投影装置の一例である。
　本実施形態では、車両制御部３と、後述する、ＨＵＤ４２の制御基板４２５は、別個の構成として設けられているが、車両制御部３と制御基板４２５は一体的に構成されてもよい。この点において、制御基板４２５と車両制御部３は、単一の電子制御ユニットにより構成されていてもよい。
　カメラ６は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（相補型ＭＯＳ）等の撮像素子を含むカメラである。カメラ６は、一以上の外部カメラ６１と、内部カメラ６２とを含む。外部カメラ６１は、車両１の周辺環境を示す画像データを取得した上で、当該画像データを車両制御部３に出力するように構成されている。車両制御部３は、出力された画像データに基づいて、周辺環境情報を取得する。ここで、周辺環境情報は、車両１の外部に存在する対象物（歩行者、前走車および対向車を含む他車両、標識等）に関する情報を含んでもよい。例えば、外部カメラ６１は、車両１の前方を走行する前走車を検出し、前走車を示す画像データを車両制御部３に出力する。車両制御部３は、出力された画像データに基づいて、前走車に関する情報と、車両１に対する前走車の距離や位置に関する情報とを含む周辺環境情報を取得する。外部カメラ６１は、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。
　内部カメラ６２は、車両１の内部に配置されると共に、乗員を示す画像データを取得するように構成されている。内部カメラ６２は、乗員の視点Ｅをトラッキングするトラッキングカメラとして機能する。内部カメラ６２は、トラッキングに必要な光投影機能や画像処理機能、演算処理機能を有していてもよい。ここで、乗員の視点Ｅは、乗員の左目の視点又は右目の視点のいずれかである。視点Ｅは、左目の視点と右目の視点を結んだ線分の中点として規定されてもよい。制御基板４２５は、内部カメラ６２によって取得された画像データに基づいて、乗員の視点Ｅの位置を特定してもよい。乗員の視点Ｅの位置は、画像データに基づいて、所定の周期で更新される。
　次にＨＵＤ４２の詳細を説明する。図２は本実施形態に係るＨＵＤ４２の模式図である。
　図２に示すように、ＨＵＤ４２は、ＨＵＤ本体部４２０を備えている。ＨＵＤ本体部４２０は、ハウジング４２２と出射窓４２３を有する。出射窓４２３は可視光を透過させる透明板である。ＨＵＤ本体部４２０は、ハウジング４２２の内側に、画像生成部（ＰＧＵ：Ｐｉｃｔｕｒｅ　Ｇｅｎｅｒａｔｉｏｎ　Ｕｎｉｔ）４２４と、制御基板４２５と、平面鏡４２６と、駆動機構４２７と、凹面鏡４２８とを有する。
　画像生成部４２４は、画像を生成するように構成されている。画像生成部４２４は、光源と、光学部品と、表示デバイスとを有する。光源は、例えば、レーザ光源又はＬＥＤ光源である。レーザ光源は、例えば、赤色レーザ光と、緑色レーザ光と、青色レーザ光をそれぞれ出射するように構成されたＲＧＢレーザ光源である。光学部品は、プリズム、レンズ、拡散板、拡大鏡等を有する。表示デバイスは、液晶ディスプレイ、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）等である。画像生成部４２４の描画方式は、ラスタースキャン方式、ＤＬＰ方式又はＬＣＯＳ方式であってもよい。ＤＬＰ方式又はＬＣＯＳ方式が採用される場合、ＨＵＤ４２の光源はＬＥＤ光源であってもよい。なお、液晶ディスプレイが採用される場合、ＨＵＤ４２の光源は白色ＬＥＤ光源であってもよい。
　画像生成部４２４の表示デバイスには、多数の画素で構成される画像形成面が形成されている。画像生成部４２４は、画像形成面のうちの一部を用いて、画像を形成するように構成されている。
　制御基板４２５は、画像生成部４２４と、駆動機構４２７の動作を制御するように構成されている。制御基板４２５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサとメモリ４２９（図１）が搭載され、メモリ４２９から読みだしたコンピュータプログラムをプロセッサが実行して、画像生成部４２４の動作を制御する。制御基板４２５は、駆動機構４２７を介して凹面鏡４２８の向き（角度）を変更するように制御してもよい。
　制御基板４２５は、車両制御部３から送信された情報及び画像データを取得する。取得される情報あるいは画像データには、乗員の視線に関する情報と、車両走行情報と、周囲環境情報と、が含まれる。制御基板４２５は、さらに、当該情報及び画像データに応じて、画像生成部４２４の動作を制御するための制御信号を生成し、生成された制御信号を画像生成部４２４に送信するように構成されている。より詳細には、制御基板４２５は、取得された情報及び画像データに応じて、画像生成部４２４が生成する画像の輝度（照度）を制御するように構成されている。
　凹面鏡４２８は、画像生成部４２４から出射されて平面鏡４２６により反射された光の光路上に配置されている。具体的には、凹面鏡４２８は、ＨＵＤ本体部４２０内において、画像生成部４２４及び平面鏡４２６の前側に配置されている。凹面鏡４２８は、画像生成部４２４により出射された光を、出射窓４２３を介してウインドシールド１８（例えば、車両１のフロントウィンドウ）に向けて反射するように構成されている。凹面鏡４２８は、凹状に湾曲した反射面を有し、画像生成部４２４から出射され結像した光の像を所定の倍率で反射させる。
　ＨＵＤ本体部４２０の出射窓４２３から出射された光は、ウインドシールド１８に照射される。ＨＵＤ本体部４２０からウインドシールド１８に照射された光の一部は、乗員の視点Ｅに向けて反射される。この結果、乗員は、ＨＵＤ本体部４２０から出射された光（所定の画像）をウインドシールド１８の前方の所定の距離において形成された虚像として認識する。このように、ＨＵＤ４２によって表示される画像がウインドシールド１８を通して車両１の前方の現実空間に重畳される結果、乗員は、所定の画像により形成される虚像オブジェクトＩが車両外部に位置する道路上に浮いているように視認することができる。
　なお、虚像オブジェクトＩとして２Ｄ画像（平面画像）を形成する場合には、所定の画像を任意に定めた単一距離の虚像となるように投影する。虚像オブジェクトＩとして３Ｄ画像（立体画像）を形成する場合には、互いに同一または互いに異なる複数の所定の画像をそれぞれ異なる距離の虚像となるように投影する。また、虚像オブジェクトＩの距離（乗員の視点Ｅから虚像までの距離）は、画像生成部４２４から乗員の視点Ｅまでの距離を調整する（例えば画像生成部４２４と凹面鏡４２８との間の距離を調整する）ことによって調整可能である。また、ＨＵＤ本体部４２０は、平面鏡４２６を有していなくてもよい。この場合、画像生成部４２４から出射された光は、平面鏡４２６で反射することなく、凹面鏡４２８に入射する。
　次に、ＨＵＤ４２の動作を説明する。
　図３は、ＨＵＤ４２が出力する画像を虚像として運転者に認識させている様子を例示する図である。図３においては、運転者の視野Ａ１の左隅の所定の位置に車速を示す画像Ｂ１を認識させる様子を示している。なお、車速を示す画像Ｂ１は、運転者の視野Ａ１のうち、表示される位置が固定されている画像である。車速を示す画像Ｂ１は、車両１の状態を示す画像であり、また、車両１の前方の様子に応じて変化しない画像でもある。運転者は、乗員の一例である。
　ＨＵＤ４２は、車両制御部３から取得した車速データ（例えば３０ｋｍ／ｈ）と、メモリ４２９から取得した、初期輝度を含む画像の基礎的な画像データ（文字のフォントや装飾画像、初期輝度など）とに基づき、表示すべき画像データを生成する。
　次に、ＨＵＤ４２は、この画像データをどこに表示させるかを特定する。運転者の視野Ａ１はアイポイント（目の位置、視点）Ｅから特定の立体角φで広がっている。ＨＵＤ４２は、この運転者の視野Ａ１において、特定の位置に車速を示す画像Ｂ１が表示されるように、画像データの表示位置を特定する。
　ＨＵＤ４２は、アイポイントＥが想定される移動範囲（アイボックスＥＢ）内を動いた場合に運転者が見える視野（以降、想定される最大視野ＡＭａｘと呼ぶ）のどこにでも画像を出力可能である。例えばＨＵＤ４２は、画像形成面４２Ｓの画像を形成する位置を変更したり、凹面鏡４２８や平面鏡４２６の角度を変更したりすることにより、ＨＵＤ４２の出射窓４２３から画像光の出射する位置や方向を制御することができる。ＨＵＤ４２の画像生成可能領域４２Ｒは、想定される最大視野ＡＭａｘと同じかそれよりも大きく設定されている。
　ＨＵＤ４２は、想定される最大視野ＡＭａｘ内のうち、画像を表示させたい位置を生成位置情報として算出する。例えば、想定される最大視野ＡＭａｘ内の任意の位置をアイボックスＥＢの中心を中心点とした立体角φで表現した表現形式により、生成位置情報は表現されうる。
　生成位置情報は、運転者の目の位置（視点Ｅ）と、運転者の視野Ａ１内の画像を認識させたい位置と、に基づき算出できる。なお、運転者の視野Ａ１内の画像を認識させたい位置は、あらかじめメモリ４２９などに記憶されている。例えば、車速を示す画像Ｂ１は、最大視野ＡＭａｘ内のうち、上下方向に三分割したときの下段に表示されると設定されている。この場合において、ＨＵＤ４２は、アイトラッキングにより運転者の目の位置（視点Ｅ）が当該下段に向いていると判定した場合には、生成位置情報として、車速を示す画像Ｂ１の表示位置を下段と設定する。
　このようにしてＨＵＤ４２は、初期輝度を含む画像データと生成位置情報に基づき画像光を出射して、運転者の視野Ａ１内の特定の位置（例えば、最大視野ＡＭａｘの下段）に車速を示す画像Ｂ１を認識させる。
　ところで本実施形態のＨＵＤ４２は、運転者が画像Ｂ１を見ていないと判定したときに画像Ｂ１の輝度を下げるように構成されている。図４は、画像Ｂ１を表示する際にＨＵＤ４２が実行するフローチャートである。ＨＵＤ４２は、図４に示したフローを、例えば０．１秒間隔など所定の間隔で繰り返し実行する。
　図４に示すように、まずＨＵＤ４２はまず初期輝度で画像Ｂ１を出力する（ステップＳ０１）。
　次にＨＵＤ４２は、運転者の視線情報を取得する（ステップＳ０２）。ＨＵＤ４２は、運転者の視線情報を、内部カメラ６２から車両制御部３を介して取得する。例えば内部カメラ６２は、運転者の目を含む画像データを、運転者の視線情報として取得する。取得された画像データは、車両制御部３を介してＨＵＤ４２に送られる。ＨＵＤ４２は、取得した画像データのうち、例えば、運転者の黒目の位置と瞳孔の位置に基づき、運転者が見ている視線先を推定する。
　ＨＵＤ４２は、取得した視線情報に基づき、運転者が画像Ｂ１を見ているか否かを判定する（ステップＳ０３）。より具体的には、ＨＵＤ４２は、推定した運転手の視線先が、車速を示す画像Ｂ１の表示範囲ＢＲにあるか否かを、判定する。運転者の視線先が表示範囲ＢＲ内にあれば、ＨＵＤ４２は運転者が画像Ｂ１を見ていると判定する。
　例えば、画像Ｂ１が車両１の３ｍ先に表示されると認識されるように設定されている場合、画像Ｂ１の生成位置情報に基づき、３ｍ先の仮想スクリーン上に画像の占める領域を、二次元座標系を用いて表現できる。運転者の視線先も、目の位置と視線の方向とに基づき、当該仮想スクリーン上に共通の二次元座標系を用いて表現できる。ＨＵＤ４２は、この共通の二次元座標系を用いて、視線先が画像Ｂ１の表示範囲ＢＲ内にあるかないかを判定できる。
　運転者が画像Ｂ１を見ていないと判定した場合（ステップＳ０３：ＮＯ）、続いてＨＵＤ４２は運転者が画像Ｂ１を見ていない状態が所定時間経過したか否かを判定する（ステップＳ０４）。ここでは、例えば３分間、運転者が画像Ｂ１を見ていない状態が継続したか否かを判定する。
　画像Ｂ１を見ていない状態が３分未満である場合（ステップＳ０４：ＮＯ）、ＨＵＤ４２は処理を終了する。
　一方、画像Ｂ１を見ていない状態が３分を超えた場合（ステップＳ０４：ＹＥＳ）、ＨＵＤ４２は画像Ｂ１の輝度を下げる（ステップＳ０５）。例えばＨＵＤ４２は、画像Ｂ１の輝度を、初期輝度よりも６０％低い輝度まで下げる。輝度を下げた後、ＨＵＤ４２は処理を終了する。
　ステップＳ０３に戻り、運転者が画像Ｂ１を見ていると判定した場合（ステップＳ０３：ＹＥＳ）、ＨＵＤ４２は次に画像Ｂ１の輝度に初期輝度が設定されているか否かを判定する（ステップＳ０６）。
　画像Ｂ１の輝度に初期輝度が設定されている場合（ステップＳ０６：ＹＥＳ）、ＨＵＤ４２は処理を終了する。
　画像Ｂ１の輝度に初期輝度が設定されていない場合（ステップＳ０６：ＮＯ）、つまり画像Ｂ１の輝度が下げられた状態であった場合、ＨＵＤ４２は輝度を初期輝度に戻し、処理を終了する。なお、ステップＳ０７における輝度を初期輝度まで増加させる速度［ルクス／秒］は、ステップＳ０５における輝度を低下させる速度よりも早いことが好ましい。
　以上説明したように、本実施形態のＨＵＤ４２は、運転者が画像Ｂ１を見ていないと判定したとき、画像Ｂ１の輝度を下げる。仮に、運転者が画像Ｂ１を見ていない状態にまで画像Ｂ１の輝度が初期輝度のまま高いと、運転者にとって画像Ｂ１を眩しく感じてしまうことがある。しかしながら、本実施形態では、画像Ｂ１の輝度を下げるため、このような画像の眩しさを低減させることができる。したがって、運転者が見ているか否かに応じた明るさで画像Ｂ１を表示するＨＵＤ４２を提供することができる。
　本実施形態のＨＵＤ４２では、運転者が画像Ｂ１を見ていない状態が所定時間経過したとき、画像Ｂ１の輝度が下がる。車両１の運転者の視線は常に動いており、運転者の視線先がごく短時間だけ画像Ｂ１の表示範囲ＢＲ内にある場合や、表示範囲ＢＲを瞬間的に通過する場合がある。このような場合にまで画像Ｂ１の輝度を変化させると、運転者にとっては輝度の変化を煩わしいと感じることがある。しかしながら本実施形態では、所定時間が経過したときに画像Ｂ１の輝度が下がるため、輝度の変化の煩わしさを抑制することができる。
　更に本実施形態では、運転者が画像Ｂ１を見ていない状態から見た状態になったとき、画像Ｂ１の輝度が上がり、輝度の上がる速度は輝度の下がる速度よりも早い。
　運転者が画像Ｂ１を見ていない状態では、輝度の変化の煩わしさを抑制するため、輝度の下がる速度は比較的遅いことが好ましい。一方、運転者が画像Ｂ１を見ていない状態から見た状態になったときは、運転者にとって見やすい輝度で画像Ｂ１をすぐに表示することが好ましい。本実施形態では、輝度の上がる速度は輝度の下がる速度よりも早いため、運転者の視線先が画像Ｂ１へ戻った場合には、比較的早く、運転者にとって見やすい輝度で画像Ｂ１を表示することができる。
　本実施形態では、画像Ｂ１が表示される位置は、車両１の前方の様子に応じて変化しない。このため、車両１の前方の様子に応じて画像Ｂ１が表示される位置が変化する場合と比較して、ＨＵＤ４２の処理負荷が軽減される。
　本実施形態では、画像Ｂ１が表示される位置は固定されている。画像Ｂ１が表示される位置を変更する必要がないため、ＨＵＤ４２の処理負荷が比較的軽減される。
　本実施形態では、画像Ｂ１は車両１の状態を示す。このため運転者に対して、車両１の状態を示した画像Ｂ１を提供することができる。
　本実施形態では、画像Ｂ１は車両１の前方の様子に応じて変化しない情報を示す。表示する画像Ｂ１を、車両１の前方の様子と連動させる必要がないため、ＨＵＤ４２の処理負荷が比較的低減される。
　なお、ＨＵＤ４２は、車両１の状態を示す画像Ｂ１に加えて、車両１の周囲の交通参加者の状況に応じて表示する注意喚起画像Ｃ１も照射してもよい。図５は、ＨＵＤ４２の注意喚起画像Ｃ１を例示する図である。
　例えば、車両１の後方からバイク（交通参加者の一例）が近づいてくる場合がある。バイクは運転者の視野Ａ１の外に位置するため、運転者はバイクに気づきにくい。このような場合、図５に示すように、ＨＵＤ４２は、車両１の外部カメラ６１を介してバイクの近づいてくる方向や速さに関する情報を受領し、運転者に対してバイクの存在を示す注意喚起画像Ｃ１を表示してもよい。
　注意喚起画像Ｃ１は、車両１の状態を示す画像Ｂ１および運転者の視線先Ｅ１とは異なる位置に表示されてもよい。図５に示すように、例えば、注意喚起画像Ｃ１は運転者の最大視野ＡＭａｘの中央下部に表示されてもよい。
　注意喚起画像Ｃ１は、運転者の視線に応じて輝度が変化する画像Ｂ１よりも高い輝度で表示される。より詳細には、注意喚起画像Ｃ１の輝度は、画像Ｂ１の最大輝度よりも高い、あるいは、注意喚起画像Ｃ１の輝度は表示中の画像Ｂ１の輝度よりも高い、いずれも含む。
　このように本実施形態のＨＵＤ４２は、車両１の状態を示す画像Ｂ１に加えて、車両１の周囲の交通参加者の状況に応じて表示する注意喚起画像Ｃ１も照射する。このため運転者は最大視野ＡＭａｘの外から車両１に近づいてくるバイクなどの交通参加者の存在を認識しやすくなる。
　運転者がバイクを見ていないときは、運転者がバイクを見ているときに比べて、注意喚起画像Ｃ１の輝度が高くてもよい。上述したように、ＨＵＤ４２は、内部カメラ６２を介して運転者の視線情報を取得し、運転者がバイクを見ているか否かを判定することができる。運転者がバイクを１回も直視していない場合は、運転者はバイクの存在を認識していない可能性が高い。本実施形態ではこのような場合、注意喚起画像Ｃ１の輝度は比較的高いため、運転者がバイクの存在を認識しやすくなる。
　さらに、運転者が車両１の周囲のバイクを見ているときは、運転者がバイクを見ていないときに比べて、画像Ｂ１の輝度が低くてもよい。運転者がバイクを見ているときは、運転者はバイクの存在を認識している可能性が高い。このような場合まで注意喚起画像Ｃ１以外の画像Ｂ１の輝度が高いと、運転者にとって当該画像Ｂ１を眩しく感じてしまう場合がある。本実施形態ではこのような場合においては画像Ｂ１の輝度が低いため、画像Ｂ１の眩しさを低減させることができる。
　以上、本開示の実施形態について説明をしたが、本開示の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本開示の技術的範囲は請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
　上述した実施形態では、運転者が画像を視認する場合を説明したが、助手席や後部座席の乗員など、運転者以外の乗員が画像を視認する場合にも本開示を適用できる。
　上述した実施形態では、交通参加者としてバイクを例示したが、交通参加者はバイクに限定されない。交通参加者は、歩行者、自転車、他車両でもよい。
　上述した実施形態では、仮想スクリーンは、車両１の前方３ｍ先に設定されていたが、仮想スクリーンの位置は前方３ｍに限定されない。仮想スクリーンは、車両１の前方１０ｍ先に設定されてもよい。
　本出願は、２０２３年３月２９日出願の日本出願第２０２３－０５３６７３号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。

Claims (10)

  1. 　虚像として移動体の乗員に画像を視認させる画像投影装置であって、
    　前記乗員が前記画像を見ていないと判定したとき、前記画像の輝度を下げる、画像投影装置。
  2. 　前記乗員が前記画像を見ていない状態が所定時間経過したとき、前記画像の前記輝度が下がる、請求項１に記載の画像投影装置。
  3. 　前記乗員が前記画像を見ていない状態から見た状態になったとき、前記画像の前記輝度が上がり、
    　前記輝度の上がる速度は前記輝度の下がる速度よりも早い、請求項１に記載の画像投影装置。
  4. 　前記画像が表示される位置は、前記移動体の前方の様子に応じて変化しない、請求項１に記載の画像投影装置。
  5. 　前記画像が表示される位置は固定されている、請求項１に記載の画像投影装置。
  6. 　前記画像は前記移動体の状態を示す、請求項１に記載の画像投影装置。
  7. 　前記画像は前記移動体の前方の様子に応じて変化しない情報を示す、請求項１に記載の画像投影装置。
  8. 　前記画像投影装置は、
    　　前記移動体の状態を示す前記画像と、
    　　前記移動体の周囲の交通参加者の状況に応じて表示する注意喚起画像と、を照射し、
    　前記注意喚起画像は、前記乗員の視線に応じて前記輝度が変化する前記画像よりも高い輝度で表示される、請求項１に記載の画像投影装置。
  9. 　前記乗員が前記交通参加者を見ていないときは、前記乗員が前記交通参加者を見ているときに比べて、前記注意喚起画像の前記輝度が高い、請求項８に記載の画像投影装置。
  10. 　前記乗員が前記移動体の周囲の交通参加者を見ているときは、前記乗員が前記交通参加者を見ていないときに比べて、前記画像の前記輝度が低い、請求項１に記載の画像投影装置。
PCT/JP2024/009331 2023-03-29 2024-03-11 画像投影装置 Ceased WO2024203229A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025510233A JPWO2024203229A1 (ja) 2023-03-29 2024-03-11

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-053673 2023-03-29
JP2023053673 2023-03-29

Publications (1)

Publication Number Publication Date
WO2024203229A1 true WO2024203229A1 (ja) 2024-10-03

Family

ID=92904317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009331 Ceased WO2024203229A1 (ja) 2023-03-29 2024-03-11 画像投影装置

Country Status (2)

Country Link
JP (1) JPWO2024203229A1 (ja)
WO (1) WO2024203229A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10963A (ja) * 1996-04-16 1998-01-06 Harness Sogo Gijutsu Kenkyusho:Kk 車両の表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2014199546A (ja) * 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法
JP2015060180A (ja) * 2013-09-20 2015-03-30 日本精機株式会社 ヘッドアップディスプレイ装置
WO2017018027A1 (ja) * 2015-07-29 2017-02-02 富士フイルム株式会社 投写型表示装置及び投写制御方法
WO2017018122A1 (ja) * 2015-07-29 2017-02-02 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP2018052281A (ja) * 2016-09-28 2018-04-05 矢崎総業株式会社 車両用表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10963A (ja) * 1996-04-16 1998-01-06 Harness Sogo Gijutsu Kenkyusho:Kk 車両の表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2014199546A (ja) * 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法
JP2015060180A (ja) * 2013-09-20 2015-03-30 日本精機株式会社 ヘッドアップディスプレイ装置
WO2017018027A1 (ja) * 2015-07-29 2017-02-02 富士フイルム株式会社 投写型表示装置及び投写制御方法
WO2017018122A1 (ja) * 2015-07-29 2017-02-02 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP2018052281A (ja) * 2016-09-28 2018-04-05 矢崎総業株式会社 車両用表示装置

Also Published As

Publication number Publication date
JPWO2024203229A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
JP7254832B2 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
JP7241081B2 (ja) 車両用表示システム及び車両
JP7478160B2 (ja) ヘッドアップディスプレイおよび画像表示システム
JP7295863B2 (ja) 車両用表示システム及び車両
US11597316B2 (en) Vehicle display system and vehicle
JP6695062B2 (ja) 表示システム、制御装置、制御方法、プログラム、及び移動体
JP7545400B2 (ja) 車両用表示システム及び車両
JP7727643B2 (ja) 車両用表示システム及び画像照射装置
US12005832B2 (en) Vehicle display system, vehicle system, and vehicle
JP7652970B2 (ja) 画像生成装置及びヘッドアップディスプレイ
JP7602593B2 (ja) ヘッドアップディスプレイ
JP7619007B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
EP3961291B1 (en) Vehicular head-up display and light source unit used therefor
JP2024141826A (ja) 画像投影装置
US20250306366A1 (en) Image generating apparatus and image projecting apparatus
JP7635559B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
WO2023190338A1 (ja) 画像照射装置
JP7773612B2 (ja) 画像生成装置及びヘッドアップディスプレイ
JP7780574B2 (ja) ヘッドアップディスプレイ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24779359

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025510233

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025510233

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 24779359

Country of ref document: EP

Kind code of ref document: A1