WO2021193636A1 - ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法 - Google Patents

ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法 Download PDF

Info

Publication number
WO2021193636A1
WO2021193636A1 PCT/JP2021/011997 JP2021011997W WO2021193636A1 WO 2021193636 A1 WO2021193636 A1 WO 2021193636A1 JP 2021011997 W JP2021011997 W JP 2021011997W WO 2021193636 A1 WO2021193636 A1 WO 2021193636A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
illumination area
area
lost
light
Prior art date
Application number
PCT/JP2021/011997
Other languages
English (en)
French (fr)
Inventor
誠 秦
毅 笠原
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to DE112021001814.0T priority Critical patent/DE112021001814T5/de
Priority to JP2022510551A priority patent/JPWO2021193636A1/ja
Priority to CN202180019316.3A priority patent/CN115280215A/zh
Publication of WO2021193636A1 publication Critical patent/WO2021193636A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/332Light emitting diodes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility

Definitions

  • the present invention is a head-up display (HUD) that projects (projects) the display light of an image onto a projected member such as a windshield or a combiner of a vehicle (vehicle) and displays a virtual image in front of the driver or the like.
  • HUD head-up display
  • the present inventor examined the implementation of viewpoint-following spotlighting by detecting the viewpoint position of the driver (which can be widely interpreted by the driver, crew, etc.), and recognized the new issues described below.
  • the driver's viewpoint position may move, and the HUD device may temporarily lose the viewpoint position (lost). At this time, if the driver's viewpoint (at least one of both eyes) deviates from the partial illumination area, the driver cannot see the virtual image. This may give the driver a sudden feeling and may lead to a sense of discomfort.
  • the viewpoint should return to the eyebox after that, and at this time, it does not always return to the original position. For some reason, it can be assumed that the position will return to a position far away from the original position.
  • the viewpoint position gradually stabilizes and eventually stops while the viewpoint moves by trial and error.
  • the viewpoint on the way back is not projected and the virtual image cannot be visually recognized. Occurs.
  • the fact that the viewpoint returns to the eye box means that the viewpoint is located inside the eye box, and if the lighting can be devised and the light is projected onto the viewpoint (illuminated light), the virtual image can be visually recognized. It also means that.
  • the viewpoint lost may be caused by a large movement of the viewpoint for some reason, or may be caused by a momentary high-speed movement of the viewpoint although the movement distance of the viewpoint is relatively short. could be.
  • a HUD device capable of displaying a virtual image over a considerably wide range in front of a vehicle has been developed, and such a HUD device tends to become large in size. From the viewpoint of energy saving, it is preferable to reduce the area of the partial illumination area, but in this case, there is a high possibility that the driver (user) cannot see the virtual image when the viewpoint is lost. Therefore, it tends to be difficult to achieve both energy-saving performance and enhanced visibility.
  • Patent Document 1 does not describe anything in this regard.
  • One of the objects of the present invention is that the virtual image disappears when the viewpoint is lost during the viewpoint tracking spot lighting control that irradiates a partial region of the eye box with light according to the viewpoint position of the driver. It is to suppress the feeling of discomfort.
  • one of the other objects of the present invention is that the virtual image disappears or the display light is appropriate for the viewpoint not only when the viewpoint is lost but also when the viewpoint is likely to be lost. It is to suppress the deterioration of the quality of the virtual image due to not being irradiated with the light, and to reduce the discomfort.
  • the head-up display device is A head-up display (HUD) device that is mounted on a vehicle and allows a virtual image of an image to be visually recognized.
  • a display unit that displays the image and
  • a control unit that performs viewpoint-following spotlighting control that irradiates a partial area of the eyebox with light according to the driver's viewpoint position.
  • the control unit When the viewpoint lost where the viewpoint position cannot be detected occurs, the area of the pixel or the light source that contributes to the display of the virtual image on the display unit is expanded, and the partial illumination area of the eye box that was illuminated immediately before the viewpoint lost. Control to illuminate a wider illumination area.
  • the area is wider than the partial illumination area that was spotlighted (partially illuminated) before the viewpoint lost. Control is performed to illuminate the illuminated area.
  • the illumination area may be expanded to the entire area (entire surface) of the eye box.
  • the display unit for displaying an image forms a pixel by, for example, a self-luminous element such as an LED or an organic EL
  • the light emitting state of the pixel is controlled
  • the display unit is, for example, a liquid crystal panel.
  • the illumination area can be expanded by controlling the light emitting state (lighting, extinguishing, etc.) of the light source (light source element). ..
  • the illumination area immediately before the viewpoint is lost. It is possible to expand the light emitting area around the reference.
  • the viewpoint is preferable to set it as "extension based on the illumination area immediately before the viewpoint is lost". If the viewpoint is lost for a short period of time, the viewpoint is likely to stay near the original illumination area, and expanding around the original area increases the possibility of projecting light onto the viewpoint. be.
  • the driver (user) can display (the user) if the viewpoint is located in the expanded illumination area.
  • the virtual image) is visible, increasing the possibility of preventing the display from disappearing suddenly. Therefore, the effect of reducing the occurrence of discomfort can be obtained.
  • the possibility of visually recognizing the display necessary for the operation of the vehicle or the like is increased, the reliability in safety is also increased.
  • this aspect is a single-eyed HUD that projects the same image on each of the driver's eyes, and a binocular (parallax, phorogram, or optical reproduction) that projects different images (parallax images) to each eye. It can be applied to both HUDs.
  • the "viewpoint lost" in this embodiment it is possible to assume both the viewpoint lost in which at least one of both eyes is inside the eyebox and the viewpoint lost in which both eyes are outside the eyebox.
  • the control unit At least one of the control of continuously expanding the illumination area or the control of gradually expanding the illumination area may be performed.
  • the second aspect by gradually expanding the illumination area, it is possible to suppress the discomfort that may occur when the illumination area is expanded to the entire area of the eyebox at once. In other words, “spot lighting extended control" with less discomfort is possible.
  • the discomfort can be further reduced.
  • efficient expansion with regularity can be easily carried out (with less burden on the device) according to a predetermined expansion algorithm.
  • control unit When the viewpoint lost continues for a first predetermined time or longer, control may be performed to illuminate the entire area of the eye box.
  • the partial illumination area in the eyebox When the partial illumination area in the eyebox is expanded, a part of the luminous flux toward the expanded illumination area may also enter the original illumination area.
  • the entire area of the eyebox may be illuminated at once, but in this case, it is assumed that the image (virtual image) brightness visually recognized in the original illumination area increases sharply, and the driver It cannot be said that there is a possibility that the (user) may feel uncomfortable due to the change in brightness.
  • the control for expanding the illumination range to the entire area is performed on the condition that the first predetermined time has elapsed.
  • the size of the partial illumination area can be gradually increased in the period before the first predetermined time elapses. Therefore, the feeling of strangeness can be suppressed (reduced).
  • control unit Control to increase the amount of illumination light may be performed when the illumination area is continuously or stepwise expanded.
  • the discomfort when the illumination area is expanded, the discomfort can be further suppressed by controlling the amount of light of the light source in the direction of expanding the illumination area (gradually increasing the brightness to a desired level).
  • A the illumination area (partial illumination area) immediately before the viewpoint is lost
  • B the extended area. It is also possible to increase the brightness of the B region to the same brightness as that of the A region at once. However, in this case, it is undeniable that the change in the brightness of the peripheral visual field becomes large to some extent, as described in the third aspect above. In this case, it cannot be said that the driver (user) may feel uncomfortable.
  • the pixels (display pixels) of the display unit are not controlled to switch between lighting and non-lighting (binary control of lighting / extinguishing) at a desired brightness, but are brought to a desired brightness over time. Control to raise (in other words, multi-value lighting control) is implemented. Thereby, the discomfort can be further reduced.
  • control unit When the illumination area is continuously or stepwise expanded, the viewpoint lost occurs based on at least one of the movement direction of the viewpoint before the viewpoint lost, the past learning result regarding the movement of the viewpoint, and the driving situation at the time of the viewpoint lost. Control may be performed to estimate or predict the direction and extend the illumination area so as to include at least the estimated or predicted direction.
  • the direction in which the viewpoint is lost (the direction in which the viewpoint is moved when the viewpoint is lost) is estimated or predicted, and the illumination area is expanded by utilizing the content of the estimation (prediction).
  • the viewpoint Even when the viewpoint is lost, it may be possible to estimate (or predict) the direction of movement of the viewpoint. For example, when only one of both eyes is lost, the direction of the lost viewpoint can be estimated (predicted) by following the trajectory of the movement of the other unlost eye (estimation based on the moving direction of the viewpoint).
  • the driver has personal characteristics in his / her behavior and movement while driving. For example, a driver frequently changes his / her posture while driving, thereby moving up and down (in the height direction of the vehicle). If it can be understood from past learning that the viewpoint may change, it can be estimated (predicted) that the viewpoint has moved along the vertical direction and the viewpoint has been lost by utilizing the learning results. (Estimation or prediction by learning).
  • the direction is up or down or diagonal. It can be estimated (predicted) that the viewpoint may have moved instantaneously and lost (estimated or predicted depending on the driving situation).
  • Efficient expansion is possible by performing such estimation (prediction) and expanding to include the estimation (prediction) direction.
  • the image can be projected to the viewpoint during lost.
  • the possibility is increased, and the possibility that the expansion of the illumination area is effectively linked to the enhancement of the visibility of the virtual image can be increased. It is also beneficial in terms of energy saving because it can focus on the required area.
  • the eye box has a predetermined outer shape and has a predetermined outer shape.
  • the control unit When expanding the illumination area continuously or stepwise, An isotropic extension that uniformly extends the illumination area around it, Or an anisotropic extension that is not uniform and extends, Alternatively, one of the isotropic expansion and the expansion by a combination of the anisotropic expansion is carried out. If the viewpoint position is rediscovered while the expansion is being performed, or if the illumination area extends to the entire area of the eyebox, control may be performed to end the expansion.
  • the outer shape (contour) of the eye box and the illumination area has a predetermined shape, and when expanding the illumination area, any of isotropic expansion, anisotropic expansion, and expansion combining these is performed. can do.
  • expanding the illumination area uniformly around it can be said to mean “expanding to an area having a shape similar to the original shape of the illumination area and having a larger area”. ..
  • "extending non-uniformly around the area” can also be said to "extend to an area that is not similar to the original shape of the illumination area and has a larger area”.
  • the rules at the time of expansion are clarified, and effects such as easy control by software can be obtained.
  • control unit When the viewpoint position is rediscovered after the viewpoint is lost, the wide illumination area expanded after the viewpoint is lost is of the same size as the partial illumination area before the viewpoint is lost, corresponding to the rediscovered viewpoint position. Control may be performed to reduce the size to a narrow illumination area.
  • the seventh aspect when returning from the viewpoint lost, it is possible to return to the same (normal) spot lighting state as before the lost without any discomfort.
  • the eye box has a predetermined outer shape and has a predetermined outer shape.
  • the control unit When the viewpoint position is rediscovered after the viewpoint is lost, the wide illumination area expanded after the viewpoint is lost is of the same size as the partial illumination area before the viewpoint is lost, corresponding to the rediscovered viewpoint position. Control to reduce to a narrow lighting area, Moreover, when the illumination area is reduced, An isotropic reduction in which the illumination area is uniformly reduced and an anisotropic reduction in which the illumination area is not uniform are combined to be performed, and a narrow illumination area having the same size as the partial illumination area before the viewpoint lost is performed.
  • the illumination area is reduced after the isotropic reduction.
  • a first method of performing target reduction a second method of performing horizontal contraction after vertical contraction, and a third method of performing vertical contraction after horizontal contraction can be adopted.
  • the rules at the time of reduction are clarified, and effects such as easy control by software can be obtained.
  • the control unit The time required to make the wide illumination area into the narrow illumination area may be controlled to be equal to or longer than the second predetermined time.
  • the viewpoint When the viewpoint is rediscovered, it shifts to partial lighting based on the rediscovered viewpoint position (in principle, partial lighting of the same size as the partial lighting area before the viewpoint is lost), but the driver (user) The viewpoint may converge to a certain position while repeating a certain amount of movement.
  • the normal spotlighting state is restored at a time after the predetermined time has elapsed (when the time required for the viewpoint to stabilize has elapsed). As a result, it is possible to suppress (reduce) the viewpoint from moving out of the illumination area due to a small movement of the viewpoint on the way back.
  • control unit When reducing the wide illumination area to the narrow illumination area, control may be performed to reduce the amount of illumination light.
  • the amount of illumination light is gradually reduced to suppress (reduce) the discomfort that may occur when the process shifts to normal spot lighting at once. )can do.
  • the control unit In the eleventh aspect subordinate to the tenth aspect, The control unit In the case of reducing the amount of illumination light when reducing the wide illumination area to the narrow illumination area, The illumination light may be reduced by reducing the brightness of the pixel or the light source element, which has a small effect on the brightness visually recognized at the viewpoint position, over time.
  • the eleventh aspect shows an example of a control method on the premise that light from a plurality of pixels is directed to one viewpoint.
  • a light source here, C2 excluding the light source element C1 having a small influence on the brightness of the imaginary image visually recognized at the eye position (X1).
  • C3 By gradually reducing the brightness (over time), the brightness of the image due to the light (light of the light sources C2, C3 ...) That slightly reached the eye position X1. It is possible to make it difficult to feel the decrease, and it is possible to reduce the discomfort.
  • the control unit When reducing the wide illumination area to the narrow illumination area, The brightness of the pixel or light source element, which has a small effect on the brightness visible at the viewpoint position, is reduced over time, and the brightness of the pixel or light source element, which has a large effect on the brightness visible at the viewpoint position, is reduced over time. You may raise it by multiplying it.
  • a light source here, the light source element C1 having a small influence on the brightness of the imaginary image visually recognized at the eye position (X1) is used.
  • the brightness of the light source C1 (which is excluded, C2, C3, ...) Is gradually reduced (over time), and the brightness of the light source C1 which has a large effect on the brightness of the imaginary image visually recognized at the eye position X1 is gradually reduced. Raise (over time).
  • the brightness of the image (virtual image) can be maintained substantially constant even while the illumination range is being changed. Therefore, for example, it is possible to reduce the change in brightness (difference in brightness) of the image (virtual image) seen from the eye position X1 between when the illumination range is expanded and when it is reduced. Therefore, the feeling of strangeness can be further reduced.
  • the control unit may variably control the first predetermined time based on at least one of the driving situation of the vehicle, the surrounding environment, and the driver's situation.
  • the time required to expand the illumination area to the entire area (maximum area) of the eye box is variably controlled according to various factors, and control suitable for the driving scene is performed.
  • the frequency of vehicle pitching exceeds a predetermined value
  • the frequency of vehicle pitching exceeds a predetermined value
  • the sensitivity of the human eye is higher than in the daytime, so it is possible to control the expansion more slowly over time to reduce discomfort.
  • the speed at which the lighting area is expanded may be increased so that the maximum area can be reached quickly.
  • the display virtual image
  • the control unit may variably control the second predetermined time based on at least one of the driving situation of the vehicle, the surrounding environment, and the driver's situation.
  • the control unit With respect to the light amount distribution of the illumination light in the illumination area (including the wide illumination area and the narrow illumination area).
  • the amount of light in the peripheral portion of the illumination region is controlled to be less than the amount of light in the central portion, but the brightness above a predetermined value is controlled so as to be secured. Or
  • the amount of light may be controlled to be uniform within the illumination region.
  • the fifteenth aspect a preferable example of the distribution of the amount of light (luminance) in the illumination region (including the partial illumination region) is shown.
  • the viewpoint goes out of the partial illumination area (spot lighting area)
  • the brightness becomes extremely small and the visibility of the image (virtual image) is extremely reduced and suddenly deteriorates.
  • the amount of light in the center is large and the amount of light in the peripheral portion (near the boundary) is small, but a certain amount (above a predetermined value) of light (brightness) is secured. As low as possible, it suppresses the sudden disappearance of the virtual image when the viewpoint goes outside the above boundary. In this case, when the viewpoint moves to the outside of the boundary, the image disappears after a thin virtual image is seen, and a sense of discomfort is less likely to occur.
  • uniform (including substantially uniform) light is irradiated so as to have a predetermined brightness level in the illumination area (lighting area).
  • the amount of light decreases from the vicinity of the edge (near the boundary), but since a certain amount of light is secured, when the viewpoint moves to the outside of the boundary, the image disappears after a thin virtual image is seen. Therefore, a feeling of strangeness is unlikely to occur.
  • the discomfort that the display (virtual image) suddenly disappears is reduced.
  • the head-up display device is a head-up display (HUD) device mounted on a vehicle to visually recognize a virtual image of an image.
  • HUD head-up display
  • the control unit When a state in which the viewpoint position cannot be detected is likely to occur, the area of the pixel or the light source that contributes to the display of the virtual image in the display unit is expanded, and the eye is illuminated immediately before the expansion. Control to illuminate a lighting area wider than the partial lighting area of the box.
  • the display image (virtual image, etc.) becomes invisible or the display quality deteriorates before the viewpoint loss actually occurs due to the detection or prediction of the state in which the viewpoint loss is likely to occur. Measures can be implemented. Therefore, quick and reliable measures are possible.
  • the control unit When the moving speed of the viewpoint is equal to or higher than the first threshold value, it may be determined that the viewpoint is likely to be lost. In the seventeenth aspect, it is determined that the viewpoint lost is likely to occur when the viewpoint (eye) position moves at a high speed at a speed equal to or higher than the threshold value, and countermeasures are taken. For example, such a situation is likely to occur when the driver's face suddenly shakes greatly. In this aspect, such a situation can be dealt with promptly and surely. In the eighteenth aspect, which is subordinate to the sixteenth aspect, The control unit When it is detected that the brightness of the surroundings of the vehicle, including the front, changes suddenly, or when the sudden change is predicted.
  • a sudden change in the brightness inside the vehicle is, for example, when highly directional light from the headlights of an oncoming vehicle or highly directional light from a street light using an LED is incident inside the vehicle. Is likely to occur. This situation can also contribute to the lost viewpoint.
  • the driver when the rear seat monitor or the child monitor is turned on, the driver often directs his / her line of sight to the monitoring terminal, which may contribute to the lost viewpoint. Also, if the vehicle is traveling on a rough road, for example, on a rough road, on a muddy dirt road, or on a road with continuous sharp curves.
  • the expansion of the illumination area may include a multi-step expansion process. As a result, the driver's discomfort can be reduced. In addition, the load on the device can be reduced.
  • the control unit When the state in which the viewpoint loss is likely to occur is eliminated, control may be performed to reduce the expanded wide illumination area to a narrow illumination area having the same size as the partial illumination area before expansion.
  • the illumination area is reduced.
  • the temperature rise of the light source can be suppressed, and the driving power of the light source can be reduced.
  • the control unit When the moving speed of the viewpoint is less than the first threshold value, Or When it becomes less than or equal to the second threshold value which is smaller than the first threshold value or larger than the first threshold value, Control is performed to reduce the expanded wide illumination area to a narrow illumination area having the same size as the partial illumination area before expansion.
  • the first threshold value when determining the necessity of expanding the illumination area based on the comparison result between the moving speed of the viewpoint and the first threshold value, the first threshold value also determines the necessity of reducing the illumination area. Comparison with, or comparison with a second threshold value different from the first threshold value is performed. Since it is a comparative judgment, it is easy to realize.
  • the second threshold may be smaller than the first threshold. In this case, unless the moving speed of the viewpoint is lower than the first threshold value and further equal to or lower than the second threshold value, it is not determined that the illumination area needs to be reduced. Therefore, the expanded state of the illumination area can be stably maintained. In this case, the effect that the probability that the viewpoint deviates from the irradiation range is reduced can be obtained.
  • the second threshold value may be larger than the first threshold value.
  • the second threshold value may be larger than the first threshold value.
  • the second threshold value when the moving speed of the viewpoint becomes equal to or less than the second threshold value, it is determined that the illumination area needs to be reduced. Therefore, the period during which the illumination area is expanded can be shortened, and as a result, effects such as suppression of temperature rise of the light source and reduction of power consumption can be obtained.
  • the reduction of the illumination area may include a plurality of steps of reduction process. As a result, the driver's discomfort can be reduced.
  • the display control device has the control unit in any one of the 16th to 21st aspects.
  • the display control device can include a control unit capable of taking measures against lost viewpoint. This improves, for example, the portability of the control unit or the ease of installation.
  • the display control method is A process of performing viewpoint-following spot lighting control that irradiates a partial area of the eyebox with light according to the viewpoint position of the driver, and When the viewpoint lost where the viewpoint position cannot be detected occurs, or when a state in which the viewpoint lost is likely to occur is detected, the area of the pixel or the light source that contributes to the display of the image is expanded and illuminated immediately before the expansion.
  • the process of illuminating an illumination area wider than the partial illumination area of the eyebox When the viewpoint position is rediscovered after the viewpoint loss occurs, or when the state in which the viewpoint loss is likely to occur is resolved, the expanded wide illumination area is made to have the same size as the partial illumination area before expansion.
  • effective measures can be taken after the fact or in advance when the viewpoint loss occurs or when the viewpoint loss is likely to occur.
  • FIG. 1 (A) is a diagram showing an outline of viewpoint tracking spot lighting control and an example of a main configuration of a HUD device having a function of expanding an illumination area when a viewpoint is lost
  • FIG. 1 (B) is a diagram. , It is a figure which shows the state which the viewpoint lost occurred.
  • FIG. 2A is a diagram showing a state in which the illumination region is expanded after the viewpoint is lost
  • FIG. 2B is a diagram showing a preferable example of the light amount distribution of the illumination light in the illumination region.
  • 3 (A) and 3 (B) are diagrams showing a configuration example of an eye box used in the HUD device.
  • FIG. 1 (A) is a diagram showing an outline of viewpoint tracking spot lighting control and an example of a main configuration of a HUD device having a function of expanding an illumination area when a viewpoint is lost
  • FIG. 1 (B) is a diagram. , It is a figure which shows the state which the viewpoint lost occurred.
  • FIG. 2A is a diagram
  • FIG. 4A is a diagram showing a configuration example of a stereoscopic display type (3D) HUD device to which the present invention is applied
  • FIG. 4B is a diagram for explaining the principle of displaying a stereoscopic image (virtual image).
  • 5 (A) is a diagram showing the transition (change) of the viewpoint detection state with respect to the passage of time
  • FIGS. 5 (B) to 5 (F) are expansion and contraction of the illumination area corresponding to the movement of the viewpoint in the eye box. It is a figure which shows the state.
  • 6 (A) to 6 (H) are diagrams showing an example of expansion and contraction of the illumination area.
  • 7 (A) to 7 (D) are diagrams showing an example of reduction and expansion of the illumination area.
  • FIG. 8 (A) and 8 (B) show another example of the change in the viewpoint position (an example considering the case of returning from the viewpoint lost state to the viewpoint rediscovered state), and the expansion of the illumination area by estimating or predicting the viewpoint movement. It is a figure which shows. It is a flowchart which shows an example of the operation procedure of the HUD apparatus which expands and reduces the illumination area.
  • FIG. 10 is a diagram showing an example of the configuration of the HUD device.
  • FIG. 11 is a diagram showing a configuration example of the display unit.
  • 12 (A) and 12 (B) are diagrams showing an outline of viewpoint tracking spot lighting control using the display unit shown in FIG.
  • FIG. 13 is a diagram showing an example of an arrangement of LED arrays in the display unit.
  • FIG. 14 (A) is a diagram showing the illumination area in the eye box before the illumination area is expanded
  • FIG. 14 (B) is the illumination area and the illumination area in the eye box after the illumination area is expanded. It is a figure which shows an example of the structure of the control part which expands or reduces.
  • FIG. 15A shows an example of an LED lighting pattern when the illumination area is gradually expanded
  • FIG. 15B shows an example of an LED lighting pattern when the illumination area is gradually reduced.
  • FIG. 16 is a flowchart showing an example of a procedure for expanding or reducing the illumination area
  • FIG. 17 is a diagram showing another example of the configuration of the illumination area in the eye box and the control unit that expands or reduces the illumination area after the illumination area is expanded.
  • FIG. 18 is a diagram showing an example of the configuration of the vehicle display system.
  • FIG. 19 is a diagram showing an example of the configuration of the display control device.
  • FIG. 20 is a diagram showing an example of expansion and contraction of the illumination area when the vehicle passes through the tunnel.
  • FIG. 21 is a flowchart showing another example of the procedure for expanding or contracting the illumination area.
  • FIG. 1 (A) is a diagram showing an outline of viewpoint tracking spot lighting control and an example of a main configuration of a HUD device having a function of expanding an illumination area when a viewpoint is lost
  • FIG. 1 (B) is a diagram. , It is a figure which shows the state which the viewpoint lost occurred.
  • the eyebox EB is divided into four subregions Z10 to Z13, and the position of the eyes (viewpoint) of the driver (user) is divided into four subregions Z10 to Z13. Can be detected.
  • the arrangement directions of the partial regions Z10 to Z13 are the X directions (width directions of the vehicle) in the real space as seen by the driver who is driving the vehicle. ),
  • the direction along the vertical line of the paper is the Y direction (the height direction of the vehicle), and the Z direction is the direction along the traveling direction of the vehicle (front-back direction or depth direction).
  • the actual space outside the vehicle as seen by the driver is the space below the windshield 2 shown in FIGS. 1A and 1B.
  • the HUD device 1 has a control unit 100, a display unit 145, and a reflection optical system (condensing optical system) 150.
  • the configuration of each part will be described below in order.
  • the control unit 100 has a partial lighting (spot lighting) control unit 110.
  • the partial illumination (spot lighting) control unit 110 includes a viewpoint position detection unit 112, a viewpoint loss (lost) detection unit 114, and a light emission control unit 116.
  • S1a and S1b indicate viewpoint detection information.
  • S2 indicates the viewpoint lost notification information (notification signal) indicating that the viewpoint loss (viewpoint lost) has occurred.
  • the camera 90 captures the face and eyes of a person (driver).
  • the information S0 obtained by imaging is supplied to the viewpoint position detection unit 112.
  • the ECU 160 centrally manages in-vehicle electronics.
  • the ECU 160 collects vehicle information, information around the vehicle (surroundings information), information such as the degree of fatigue of the driver and other passengers (biological information). Therefore, the ECU 160 has a function as a collecting unit of various kinds of information.
  • Various information collected in the ECU 160 is provided to the light emission control unit 116. In FIG. 1 (A), the various information provided is indicated by the reference numeral S3.
  • the light emission control unit 116 adaptively performs contents such as expansion processing of the illumination area executed at the time of lost viewpoint and reduction processing of the illumination area after rediscovering the viewpoint. Adjustments such as changing are possible (this point will be described later).
  • the viewpoint position detection unit 112 detects the viewpoint position based on the imaging information (imaging signal) S0 from the camera 90 that images the human face or pupil.
  • the viewpoint position detection unit 120 may be provided separately from the HUD device 1.
  • the viewpoint loss (viewpoint lost) detection unit 114 detects the occurrence of viewpoint lost.
  • the light emission control unit 116 generates and outputs a light emission control signal S4 based on the input signals S1a, S2, S3, etc., whereby the light emission state (lighting / non-lighting, during light emission) of the display pixel in the display unit 145. Brightness, etc.) is controlled.
  • the viewpoint loss (viewpoint lost) detection unit 114 may be provided separately from the HUD device 1.
  • the display unit (display device) 145 includes a light source (backlight) 120, an optical system (first optical system) 130 of the display unit, and a liquid crystal panel 140 for displaying an image.
  • the liquid crystal panel is an example, and a non-self-luminous display means using another non-self-luminous element may be used. Further, a self-luminous display means that uses an LED element, an organic EL element, or the like as pixels may be used.
  • the light source 120 has a plurality of light source elements (here, LED elements) 120a to 122d mounted (arranged) in a planar shape (matrix shape) on the mounting surface of the substrate 121.
  • LED elements light source elements
  • the optical system (first optical system) 130 of the display unit is configured by combining a plurality of lenses.
  • a first field lens in which the cross-sectional shape on the side where light is incident is a curved surface (for example, an arc shape) and the cross-sectional shape on the exit side is flat, and the cross-sectional shape on the side where light is incident are flat and are emitted.
  • a second field lens having a curved surface (for example, an arc shape) on the side is arranged in close proximity to the second field lens.
  • the first and second field lenses appropriately refract the light emitted from the light source elements 122a to 122d, and the light illuminates the liquid crystal panel 140 from the back surface.
  • each pixel of the liquid crystal panel 140 By controlling the light transmittance of each pixel of the liquid crystal panel 140, for example, the twist angle of the liquid crystal element, the light emission / non-emission of each pixel or the intensity of light emitted from each pixel (in other words, the intensity of the light emitted from each pixel) Emission intensity) can be controlled.
  • the reflective optical system (condensing optical system) 150 functions as a second optical system.
  • the reflective optical system (condensing optical system) 150 is simplified, but specifically, for example, a reflective mirror or a concave mirror (curved mirror: reference numeral 171 in FIG. 4 (B)). Etc.
  • the light emitted from the display unit 145 travels while being reflected by the reflection mirror of the reflection optical system (condensing optical system) 150, and the light (display light: reference numeral K in FIG. 3) is the windshield 2 of the vehicle. It is reflected by (see FIG. 3) and is projected onto the eyeboxes EB (viewpoints A1 and A2).
  • the viewpoint A1 (right eye) is located at the partial region Z10 of the eyebox EB, and the viewpoint A2 (left eye) is located at the partial region Z12 of the eyebox EB.
  • the light source elements 122b and 122d are lit and are in a light emitting state, and 122a and 122c are turned off and are in a non-light emitting state.
  • the light ray L1 (indicated by the alternate long and short dash line) generated by the light source element 122b emitting light is finally projected onto the left eye A2. Further, the light ray R1 (indicated by a solid line) generated by the light source element 122d emitting light is finally projected onto the right eye A1.
  • the parallax image is the driver's image. Light is projected on each of the eyes A1 and A2. This allows the driver to visually recognize a three-dimensional virtual image.
  • FIG. 1 (B) the viewpoints A1 and A2 are located in the partial regions Z11 and Z13.
  • the light source elements 122a and 122c are turned on to be in a light emitting state, and the light source elements 122b and 122d are turned off and are in a non-light emitting state.
  • the light ray L2 (shown by the solid line) generated by the light source element 122a emitting light is finally projected onto the left eye A2.
  • the light ray R2 (indicated by the alternate long and short dash line) generated by the light source element 122c emitting light is finally projected onto the right eye A1.
  • the viewpoints A1 and A2 move in the X direction (to the right on the paper), and at this time, the viewpoint position cannot be detected and the viewpoint is lost (viewpoint lost).
  • the viewpoint A1'at the time of the viewpoint lost is located in the partial region Z12 of the eyebox EB, and the viewpoint A2'is located outside the eyebox EB.
  • the light rays R2 and L2 are not projected onto the viewpoints A1'and A2', and the driver cannot visually recognize the display (virtual image) by the HUD device 1.
  • the viewpoint A1' is located in the eye box EB, it is possible to irradiate the viewpoint A1' with light to make it visible by changing the illumination range.
  • FIG. 2A is a diagram showing a state in which the illumination region is expanded after the viewpoint is lost
  • FIG. 2B is a diagram showing a preferable example of the light amount distribution of the illumination light in the illumination region.
  • the positions of the viewpoints (viewpoints A1', A2') in FIG. 2 (A) are the same as those in FIG. 1 (B), and the viewpoint is lost.
  • the viewpoint loss detection unit 114 detects that the viewpoint lost has occurred, and sends the viewpoint lost detection signal (detection information) S2 to the light emission control unit 116.
  • the light emission control unit 116 implements the expansion processing of the illumination area as a countermeasure against the lost viewpoint.
  • expanding the illumination area expands, for example, the area of pixels or light sources that contribute to the display of virtual images on the display unit 145 (in other words, controls so that the number of pixels and light source elements in the light emitting state increases), and the viewpoint is lost. This can be achieved by controlling to illuminate a larger illumination area than the partial illumination area of the eyebox, which was illuminated immediately before.
  • the light source elements 122b and 122d which were turned off in FIG. 1B, are lit, and all the light source elements 122a to 122d are lit (light emitting).
  • FIG. 1 (B) only the light rays L2 and R2 were used for illumination, but in FIG. 2 (A), in addition to this, the light rays L1 and R1 were used for illumination, and the illumination range (illumination area) in the eyebox EB. Has been expanded (enlarged).
  • a light ray L1 is projected onto the viewpoint A1'(located in the partial region Z12 of the eyebox) after the viewpoint is lost.
  • the driver does not have a situation in which the display (virtual image) by the HUD device 1 cannot be visually recognized at all. In other words, the situation where the display disappears completely due to the occurrence of lost viewpoint is suppressed (reduced or prevented).
  • FIG. 2B shows a preferable example of the distribution of the amount of light (luminance) in the illumination region (including the partial illumination region).
  • the viewpoint goes out of the partial illumination area (spot lighting area)
  • the brightness becomes extremely small and the visibility of the image (virtual image) is extremely reduced and suddenly deteriorates.
  • the amount of light in the center is large and the peripheral portion (near the boundary) is low, but a certain amount of light (brightness) is secured (above a predetermined value).
  • a certain amount of light is secured (above a predetermined value).
  • uniform (including substantially uniform) light is irradiated so as to have a predetermined brightness level in the illumination area (lighting area).
  • the amount of light decreases from the vicinity of the edge (near the boundary), but since a certain amount of light is secured, when the viewpoint moves to the outside of the boundary, the image disappears after a thin virtual image is seen. Therefore, a feeling of strangeness is unlikely to occur.
  • the light intensity distributions DB1 and DB2 shown in FIG. 2B correspond to the above other preferable examples.
  • DB1 shows the light amount distribution of the partial illumination region corresponding to the partial region Z13 of the eyebox EB
  • DB2 is the illumination region when the illumination region is expanded to the entire area of the eyebox EB (partial regions Z10 to Z13).
  • the light amount distribution in (the entire illumination area) is shown. In either distribution, the amount of light equal to or greater than the predetermined threshold Lth is secured near the boundary inside the eyebox EB or the boundary of the outer shape of the eyebox EB itself (in other words, the periphery or the edge of the illumination area).
  • the amount of light extends beyond the boundary and spreads, and the intensity of light does not decrease sharply, but gradually (with a gradient). Therefore, even when the viewpoint moves to the outside of the boundary, the display (virtual image) becomes faint and disappears, and does not disappear suddenly. As a result, discomfort and anxiety are suppressed (reduced).
  • the discomfort that the virtual image suddenly disappears when the viewpoint is out of the illumination area is alleviated.
  • FIG. 3 (A) and 3 (B) are diagrams showing a configuration example of an eye box used in the HUD device.
  • the eyebox EB is divided into a plurality of (here, 9) subregions Z1 to Z9, and the position of the driver's viewpoint A is detected in units of the subregions Z1 to Z9. Will be done.
  • the display light K of the image is emitted from the condensing optical system 150 (see FIGS. 1 and 2) of the HUD device 1, and a part of the display light K is reflected by the windshield 2 and incident on the driver's viewpoint (eye) A. ..
  • the driver can visually recognize the virtual image of the image.
  • the display light K of the image is emitted from the condensing optical system 150 of the HUD device 1, a part of the display light K is reflected by the windshield 2, and the driver's left and right viewpoints (left and right eyes). ) It is incident on A1 and A2.
  • the viewpoints A1 and A2 are in the eyebox EB, the driver can visually recognize the virtual image of the image.
  • the width direction (horizontal direction) of the vehicle 1 is the X direction (or the lateral direction), which is orthogonal to the X direction and is in the height direction along the vertical line of the road surface. Is the Y direction (vertical direction), and the front (front-back direction) is the Z direction.
  • the inside of the eyebox EB is provided with eight partial regions E1 to E8 partitioned by a vertical boundary line, and each partial region E1 to E8 having a vertically long rectangular outer shape is formed. They are arranged (arranged) adjacent to each other in the horizontal direction (X direction).
  • the information on the viewpoint position detected using each of the partial regions Z1 to Z9 or E1 to E8 can be used for control other than the viewpoint position tracking spot lighting.
  • the "partial area in the eye box EB" and the “partial illumination area” in the spot lighting are different concepts, and the sizes of the two are not always the same.
  • FIG. 4A is a diagram showing a configuration example of a stereoscopic display type (3D) HUD device to which the present invention is applied
  • FIG. 4B is a diagram for explaining the principle of displaying a stereoscopic image (virtual image). be.
  • the same reference numerals are given to the same parts as those in the above-mentioned drawings.
  • an image (parallax image) QR for the right eye and an image (parallax image) QL for the left eye are displayed on the display surface 145 of the liquid crystal panel (flat panel display in a broad sense) 140.
  • the "parallax image” is an image in which the parallax (difference in the image perceived by each eye) caused by the left and right eyes being at different positions is reproduced.
  • the optical member 160 when the light emitting side of the liquid crystal panel 140 is the front, the optical member 160 is arranged in front of the liquid crystal panel 140.
  • the optical member 160 functions as a light ray separating member, and can be specifically configured by a lenticular lens 170 or a parallax barrier (parallax barrier) 180 having a slit SL, as shown on the upper left side.
  • the parallax barrier 180 has a plurality of slits 185a to 185n. However, these are examples and are not limited thereto.
  • the lights L10 and R10 separated by the optical member 160 having a light ray separation function (reproduced light for each eye that reproduces an image) enter the binoculars A1 and A2 located at the imaging point of the light.
  • the stereoscopic image IM was generated by the 3D display.
  • the convergence angle is ⁇ c.
  • a control unit 100 As described with reference to FIG. 1 and the like, behind the liquid crystal panel 140, a control unit 100, a light source (light source for backlight such as LED) 120, and an optical system (first optical system) 130 of the light source Is placed.
  • a light source light source for backlight such as LED
  • an optical system first optical system 130 of the light source Is placed.
  • the entire display surface 145 of the liquid crystal panel 140 does not emit light, but the necessary parts ZA and ZB are selectively emitted.
  • Reference numerals 147 and 147' indicate pixels corresponding to (centers of) viewpoints A1 and A2. Partial lighting (spot lighting) is realized on the eyebox EB by this selective light emission.
  • the eyebox EB is set in front of the viewer (vehicle driver, etc.), and the eyepoint P (C) is located at the center of the eyebox EB.
  • the virtual image V (C) is located in the center of the overlapping region. ..
  • the convergence angle of the virtual image V (C) is ⁇ d, and the virtual image V (C) is recognized as a three-dimensional image by the viewer (user).
  • This three-dimensional virtual image V (C) is displayed (formed) as follows. That is, the reproduced lights L10 and R10 for the left and right eyes of the virtual stereoscopic image IM generated by the 3D display shown in FIG. 3A are the curved surfaces included in the condensing optical system 150 of the HUD device 1. It is reflected by a mirror (concave mirror, etc.) 171 (the number of reflections is at least once), and as a result, it is projected (projected) onto the windshield 2 as display light K, and the reflected light reaches both eyes of the viewer, and the windshield By forming an image in front of 2, the virtual image V (C) is displayed (formed).
  • FIG. 5 (A) is a diagram showing the transition (change) of the viewpoint detection state with respect to the passage of time
  • FIGS. 5 (B) to 5 (F) are expansion and contraction of the illumination area corresponding to the movement of the viewpoint in the eye box. It is a figure which shows the state.
  • the period from time t0 to t2 is the “viewpoint detection state” in which the viewpoint is detected, and at time t2, the position of the viewpoint cannot be detected and the viewpoint is lost (viewpoint lost). doing.
  • This viewpoint lost state continues until time t5.
  • the viewpoint is re-detected at time t5, and thereafter, the viewpoint is detected.
  • control for expanding or reducing the illumination area when the viewpoint is lost which will be described below, is a single-eyed HUD that projects the same image on each of the driver's eyes, and a different image (parallax image) for each eye. It can be applied to both the binocular (parallax type, phorogram type or optical reproduction type) HUD that projects the image.
  • FIG. 5 (B), (C), (D), (E), and (F) show the illumination area in the eyebox EB at time t1, t3, t4, t6, and t7, respectively.
  • the illumination area is shown as a rectangular (including square and rectangular) areas Q1 to Q5 with a sand pattern.
  • the viewpoints A1 and A2 in the viewpoint detection state are shown by solid lines, and the viewpoints A1 and A2 in the viewpoint lost state are shown by broken lines.
  • the viewpoints A1 and A2 are obliquely to the right on the eyebox EB (here, the rectangular area in a plan view seen from the front is referred to as the eyebox). It is located near the top.
  • the display light of the image is irradiated (projected) to the rectangular partial illumination area Q1 of a predetermined size centering on the viewpoints A1 and A2 whose positions are detected.
  • the viewpoint moves, the position of the viewpoint is detected at any time, and the partial illumination region Q1 moves following the viewpoint while maintaining its size. This state is a normal spotlighting state.
  • the above “predetermined size” is the illumination size when the viewpoint position is detected and the partial illumination area does not touch the eyebox EB (in other words, the normal state of spot lighting).
  • FIG. 5C (corresponding to time t3), the viewpoint is lost, and the HUD device 1 cannot detect the viewpoint position.
  • the viewpoint is moving diagonally downward to the right on the eyebox EB.
  • the size of the partial illumination region Q2 is expanded (enlarged) from the size of the partial illumination region Q1 in FIG. 5 (A) (in other words, the size of the partial illumination region immediately before the viewpoint is lost). There is. It is extended almost evenly in the direction perpendicular to each of the four sides that determine the outer shape of the rectangular illumination area (isotropic expansion).
  • the viewpoint A1 is outside the partial illumination region Q2, but the viewpoint A2 is located inside Q2, and an image can be projected onto the viewpoint A2. Therefore, it is avoided that the driver cannot see the display (virtual image) at all when the viewpoint is lost.
  • control for expanding the partial illumination area is performed by the control unit 100 (specifically, the partial illumination control unit 110: see FIG. 1A) described above.
  • the display unit 140 for displaying an image forms a pixel by a self-lighting element such as an LED or an organic EL
  • the light emitting state of the pixel is controlled, and the display unit 140 is shown in the figure.
  • the light emitting state (lighting, extinguishing, etc.) of the light source (light source element) is controlled. By doing so, the expansion of the illumination area can be realized.
  • the illumination area immediately before the viewpoint is lost. It is possible to expand the light emitting area around the reference.
  • the viewpoint is lost for a short period of time, the viewpoint is likely to stay near the original illumination area, and expanding around the original area increases the possibility of projecting light onto the viewpoint. be.
  • the illumination area is expanded around the partial illumination area Q1 of FIG. 5 (B) at time t1 immediately before the viewpoint is lost, thereby increasing the size.
  • the partial illumination region Q2 of the above is realized, and as described above, the light can be projected onto the viewpoint A2.
  • the control unit 100 may perform at least one of continuous expansion control and stepwise expansion control, and gradually expand over time. In this case, it is possible to suppress the discomfort that may occur when the illumination area is expanded over the entire area of the eye box at once. In other words, “spot lighting extended control" with less discomfort is possible.
  • the discomfort can be further reduced.
  • efficient expansion with regularity can be easily carried out (with less burden on the device) according to a predetermined expansion algorithm.
  • the viewpoint is temporarily lost due to the movement of the viewpoint (at least one of the left and right eyes)
  • the viewpoint is located in the expanded lighting area, the driver (user)
  • the display virtual image
  • the possibility of visually recognizing the display necessary for the operation of the vehicle or the like is increased, the reliability in safety is also increased.
  • the light source element may be made to emit light at a stretch to a predetermined light intensity by binary control of non-lighting / lighting.
  • the change in brightness is large, it may cause a sense of discomfort. Therefore, in the examples of FIGS. 5 (B) and 5 (C), the amount of light is gradually increased.
  • a white arrow with an extended tip is shown between FIGS. 5B and 5C, indicating that the amount of light is gradually increased (this point indicates that the amount of light is gradually increased. The same applies to the arrow drawn between FIGS. 5 (C) and 5 (D)).
  • the pixels (display pixels) of the display unit 140 are not controlled to switch between lighting and non-lighting (binary control of lighting / extinguishing) at a desired brightness, but are brought to the desired brightness over time. Control to raise (in other words, multi-value lighting control) is implemented. Thereby, the discomfort can be further reduced.
  • FIG. 5 (D) will be described.
  • the illumination area is expanded to the entire area on the eyebox EB (in the figure, the entire illumination area is designated by reference numeral Q3).
  • the viewpoints A1 and A2 are further moved diagonally downward to the right from FIG. 5 (C), but both the viewpoints A1 and A2 are expanded to the entire range of the illumination area.
  • the image is projected onto the image, and the driver can visually recognize, for example, a three-dimensional image (virtual image).
  • the time t4 is a time point after the first predetermined time Tth1 has elapsed from the viewpoint lost time point t2.
  • the control for illuminating the entire area of the eyebox EB is performed.
  • the illumination range may be expanded (enlarged) to the entire area of the eyebox EB at once, but in this case, the image visually recognized in the original illumination region. (Virtual image) It is assumed that the brightness will increase sharply, and it cannot be said that there is a possibility that the driver (user) may feel a sense of discomfort due to the change in brightness.
  • the state of FIG. 5 (C) is set, and when the viewpoint is still not detected again, the state of FIG. 5 (D) (the state in which the illumination range is expanded to the entire area of the eye box) is set. There is.
  • the control for expanding the illumination range to the entire area is performed on the condition that the first predetermined time Tth1 has elapsed.
  • the size of the partial illumination region can be gradually increased in the period before the first predetermined time Tth1 elapses (for example, FIG. 5C). Therefore, the feeling of strangeness can be suppressed (reduced).
  • extended control of the partial illumination area has been described above, but a specific example of expansion and a modified example will be described later. Further, extended control that estimates (or predicts) the moving direction of the viewpoint may be performed, which will also be described later.
  • FIG. 5 (E) shows the state at time t6. Since the viewpoint was rediscovered at time t5, the illumination area is reduced to the partial illumination area Q4 so as to correspond to the re-detected viewpoint position. However, the size of the partial illumination area Q4 is larger than that of the partial illumination area Q1 of FIG. 5 (B), and the size has not completely returned to the original size. In the next 5 (F), it is reduced to the original size.
  • FIG. 5 (F) shows the state at time t7.
  • the viewpoint When the viewpoint is rediscovered, it shifts to partial illumination based on the rediscovered viewpoint position (in principle, partial illumination of the same size as the partial illumination area before the viewpoint is lost). As a result, when returning from the viewpoint lost, it is possible to return to the same (normal) spot lighting state as before the lost without feeling uncomfortable.
  • the size At the stage of FIG. 5 (E), the size may be reduced to the same size as the original partial illumination size at once.
  • driver's (user's) point of view may converge to a certain position while repeating some movement.
  • the time after the second predetermined time Tth2 has elapsed from the time t5 when the viewpoint was rediscovered (the time required for the viewpoint to stabilize).
  • the normal spotlighting state is restored.
  • the illumination area can be gradually reduced (for example, FIG. 5E), and the illumination area is gradually reduced, so that the driver It is suppressed (reduced) to give a sense of discomfort to the lighting.
  • the amount of illumination light (illumination brightness) is gradually reduced at once. It is possible to suppress (reduce) the discomfort that may occur when shifting to normal spot lighting.
  • a tapered white arrow is shown between FIGS. 5 (D) and 5 (E) and between FIGS. 5 (E) and 5 (F), in which the amount of light gradually decreases. Indicates to do. Other examples of reducing the illumination area will be described later.
  • FIG. 6 (A) to 6 (H) are diagrams showing an example of expansion and contraction of the illumination area.
  • the eyebox EB has an outer shape having a predetermined shape (here, a square or a rectangle).
  • the present invention is not limited to this. More precisely, the "eye box" is a predetermined area (the above-mentioned predetermined area) divided in the left-right direction (X-axis direction), the vertical direction (Y-axis direction), and the depth direction (Z-axis direction) inside the vehicle.
  • the shape of the region includes, for example, a cube, a square, and an ellipsoid), which is the same as the area (also referred to as an eye lip) in which the observer's viewpoint position is assumed to be arranged in the vehicle on which the HUD device 20 is mounted. Alternatively, it is set to include most of the above irips (for example, 80% or more).
  • the concept of the depth direction is omitted, and the eyebox is shown by a rectangle or the like divided in the left-right direction and the up-down direction.
  • the shape of the eye box partitioned in the horizontal direction and the vertical direction can be set by a quadrangle or a rectangle (including a rectangle or a square), a polygon, an ellipse, or the like.
  • the control unit 100 is an isotropic expansion that extends the illumination area uniformly around the illumination area, or an anisotropic extension that expands the illumination area not uniformly.
  • the control unit 100 is an isotropic expansion that extends the illumination area uniformly around the illumination area, or an anisotropic extension that expands the illumination area not uniformly.
  • Any of these combinations can be implemented.
  • an "isotropic extension” that extends along the perpendicular to each of the four sides, or a perpendicular to each of one, two, or three sides.
  • anisotropic expansion or “extension by a combination of isotropic and anisotropic expansion” can be carried out.
  • FIG. 6 shows three types of expansion patterns (specific examples that differ from FIG. 5 at least in part).
  • One expansion pattern is an example of expansion as shown in FIGS. 6 (A), (B), (E), and (H).
  • FIG. 6 (E) is shown in FIGS. 5 (B), (C), and (D) (these correspond to FIGS. 6 (A), (B), and (H)) shown above. This is the inserted pattern.
  • the second expansion pattern is a pattern that expands as shown in FIGS. 6 (A), (C), (F), and (H).
  • the third expansion pattern is a pattern that expands as shown in FIGS. 6 (A), (D), (G), and (H). Efficient expansion is performed using isotropic expansion and anisotropic expansion.
  • the control unit 100 or 110 corresponds to the re-detected viewpoint position in the wide illumination area expanded after the viewpoint is lost. Therefore, control is performed to reduce the lighting area to a narrow lighting area having the same size as the partial lighting area before the viewpoint is lost.
  • isotropic reduction in which the illumination area is uniformly contracted, anisotropic reduction in which the illumination area is not uniformly contracted, or reduction by a combination of these can be performed.
  • anisotropic reduction in which a lighting area having a square or rectangular outer shape is reduced along a perpendicular line for each of the four sides and a perpendicular line for each of one side, two sides, or three sides.
  • the first reduction pattern in which control is performed to return to a narrow illumination area of the same size as the partial illumination area before the viewpoint is lost by performing a combination of "irregular reduction” that reduces the image along. Method) can be assumed.
  • the contraction along one of the two orthogonal line segments is defined as the vertical contraction and the contraction along the other one is defined as the horizontal contraction, these are appropriately performed (including the case where they are performed in combination). , Can be restored to the original lighting size.
  • the plane when viewed ignoring the depth of the eyebox can be grasped as a rectangle (including a square or a rectangle) standing vertically on the road surface.
  • a line segment in the height direction of the vehicle and a line segment in the width direction of the vehicle can be adopted.
  • FIG. 6 three reduction patterns can be obtained by tracing each of the three expansion patterns described above in reverse.
  • the reduction pattern shown in FIG. 6 is that of the above-mentioned second and third methods (the reduction pattern of the first method will be described with reference to FIG. 7).
  • the first reduction pattern that starts from FIG. 6 (H) and is reduced to FIGS. 6 (E), (B), and (A), and FIGS. 6 (F), (C), and (A).
  • the second reduction pattern to be reduced and FIG. 6 (G), (D), (A) and any of the third reduction patterns to be reduced can be implemented.
  • FIG. 7 (A) to 7 (D) are diagrams showing an example of reduction and expansion of the illumination area.
  • FIG. 7 two reduction (or expansion) patterns are shown.
  • the reduction patterns of FIGS. 7A, 7B, and D show an isotropic reduction after the isotropic reduction.
  • the reduction patterns of FIGS. 7A, 7C, and D show an isotropic reduction followed by an anisotropic reduction. These correspond to the first reduction pattern described above. Further, by tracing each reduction pattern in reverse, two types of expansion patterns can be obtained. It should be noted that these patterns are examples, and the present invention is not limited to these.
  • FIG. 8 (A) and 8 (B) show another example of the change in the viewpoint position (an example considering the case of returning from the viewpoint lost state to the viewpoint rediscovered state), and the expansion of the illumination area by estimating or predicting the viewpoint movement. It is a figure which shows.
  • the eye box shown in FIG. 3 (B) is used.
  • the viewpoints A1 and A2 are initially located in the partial regions W7 and W8 of the eyebox EB (viewpoint detection state). After that, the viewpoint moves greatly to the right side (positive X direction), and one viewpoint (viewpoint A2) goes out of the eyebox EB (viewpoint movement (1)). Next, the viewpoints A1 and A2 move to the left side (negative X direction), and the viewpoint A2 that has been displaced also returns to the eyebox EB, but the way of returning is a little small and it does not return to the original position.
  • viewpoints A1 and A2 move slightly to the lower right side (viewpoint movement (3)), and then return to the left side from the original position (viewpoint movement (4)).
  • Such various viewpoint movements can be expected. Even in this case, if the control for expanding the illumination area is performed when the viewpoint is lost, the possibility that the driver can visually recognize the display (virtual image) by the HUD device 1 increases, for example, while the viewpoint is about to return to the original position. It is also beneficial in that respect.
  • control that estimates or predicts the moving direction of the viewpoint and further expands (including expanding only in that direction) in the estimated (predicted) direction is performed. You can also do it.
  • control unit 100 when the control unit 100 (or 110) continuously or stepwise expands the illumination area, the movement direction of the viewpoint before the viewpoint is lost, the past learning result regarding the movement of the viewpoint, and the driving situation at the time of the viewpoint lost.
  • Control may be performed to estimate or predict the direction in which the viewpoint lost occurs based on at least one of the above, and extend the illumination area so as to include at least the estimated or predicted direction.
  • the direction in which the viewpoint is lost (the direction in which the viewpoint is moved when the viewpoint is lost) may be estimated or predicted, and the illumination area may be expanded by utilizing the content of the estimation (prediction).
  • the viewpoint Even when the viewpoint is lost, it may be possible to estimate (or predict) the direction of movement of the viewpoint. For example, when only one of both eyes is lost, the direction of the lost viewpoint can be estimated (predicted) by following the trajectory of the movement of the other unlost eye (estimation based on the moving direction of the viewpoint).
  • the driver has personal characteristics in his / her behavior and movement while driving. For example, a driver frequently changes his / her posture while driving, thereby moving up and down (in the height direction of the vehicle). If it can be understood from past learning that the viewpoint may change, it can be estimated (predicted) that the viewpoint has moved along the vertical direction and the viewpoint has been lost by utilizing the learning results. (Estimation or prediction by learning).
  • the direction is up or down or diagonal. It can be estimated (predicted) that the viewpoint may have moved instantaneously and lost (estimated or predicted depending on the driving situation).
  • Efficient expansion is possible by performing such estimation (prediction) and expanding to include the estimation (prediction) direction.
  • the image can be projected to the viewpoint during lost.
  • the possibility is increased, and the possibility that the expansion of the illumination area is effectively linked to the enhancement of the visibility of the virtual image can be increased. It is also beneficial in terms of energy saving because it can focus on the required area.
  • the area F1 was initially illuminated, but the above estimation (prediction) was performed, and the right side (positive X direction), which is the estimated (predicted) direction, was greatly illuminated.
  • the area is expanded (expanded to range F2), while the illumination area is slightly expanded to the left (negative X direction) (expanded to range F3).
  • the operation can be performed in any of the above-mentioned viewpoint movements (1), (2) or (3), (4). It is possible to make a person visually recognize the display (virtual image) (or increase the chance of being able to see it).
  • FIG. 8B the viewpoints A1 and A2 move significantly to the right side (positive X direction), and each viewpoint moves out of the eyebox EB (viewpoint movement (5)). After that, the viewpoint moves outside the eyebox EB (viewpoint movement (6)). Then, it moves greatly to the left side (negative X direction), passes the original position greatly, and moves to a position considerably to the left of the original position (viewpoint movement (7)).
  • the estimation (prediction) of the viewpoint movement is carried out in the same manner as in FIG. 8 (A), and the illumination range is extended from F1 to the region including F2 and F3.
  • the illumination range is further expanded to the region including F4 (the entire area of the eyebox EB).
  • control unit 100 when the control unit 100 (or 110) reduces the amount of illumination light when reducing a wide illumination area to a narrow illumination area, the control unit 100 (or 110) of a pixel or a light source element having a small influence on the brightness visually recognized at the viewpoint position.
  • the illumination light may be reduced by reducing the brightness over time.
  • This control is an example of a control method that assumes that light from a plurality of pixels (light sources) is directed to one viewpoint. Some of the luminous flux directed to the partially illuminated area in the eyebox may also be directed to other partially illuminated areas. That is, a part of the light flux toward the partial region Z2 can enter the partial region Z5 of FIG. 3 (A). Assuming that the pixels or light sources that mainly guide the luminous flux in each of the partial regions Z1, Z2, Z3 ..., Z9 are the illumination elements C1, C2, C3 ..., C9, the partial regions Z5 are from the illumination element C5.
  • the guided light flux and a part of the light flux from the illumination elements C2, C4, C6, and C8 that are irradiated toward the partial regions Z2, Z4, Z6, and Z8 adjacent to the partial region Z5 are irradiated. Therefore, when reducing from a wide illumination region (for example, partial regions Z2, Z4, Z5, Z6, Z8) to a narrow illumination region (for example, partial region Z5), the amount of light of the illumination elements C2, C4, C6, C8 is reduced. As a result, the brightness of the image visually recognized in the illumination area Z5 decreases. It is assumed that the change (decrease) in the visible brightness gives the viewer a sense of discomfort.
  • the light source here, the illumination element C1 having a small influence on the brightness of the imaginary image visually recognized at the eye position (referred to as the partial region X1) is used.
  • the light that slightly reached the eye position X1 light of the illumination elements C2, C3 . It is possible to make it difficult to feel the decrease in the brightness of the image due to the above, and it is possible to reduce the discomfort.
  • the illumination range when the illumination range is changed from the expanded range to the reduced range, for example, the brightness of the imaginary image visually recognized at the eye position (in the example of FIG. 3, the partial region Z5) is used.
  • the brightness of a light source here, C1, C2 ... C9 excluding the illumination element C5
  • the image of the imaginary image that is visually recognized at the eye position.
  • a light source having a small effect on the brightness for example, lighting elements C1, C3, C7, C9 corresponding to the partial regions Z1, Z3, Z7, Z9 relatively far from the partial region Z5) lowers the brightness faster and has a larger influence.
  • the brightness may be lowered as much as the light source (for example, the illumination elements C2, C4, C6, C8 corresponding to the partial regions Z2, Z4, Z6, Z8 relatively close to the partial region Z5).
  • the term “faster reduction of brightness” includes, for example, "the speed at which the brightness is gradually reduced is faster than the other, the timing at which the speed is reduced is earlier than the other, or a combination thereof, and the like” (limited to these). Not done.).
  • the control unit 100 reduces the brightness of the pixel or the light source element, which has little influence on the brightness visually recognized at the viewpoint position, over time. Moreover, the brightness of the pixel or the light source element, which has a large influence on the brightness visually recognized at the viewpoint position, may be increased over time.
  • This control is another example of a control method on the premise that light from a plurality of pixels is directed to one viewpoint.
  • a light source having a small influence on the brightness of the imaginary image visually recognized at the eye position referred to as a partial region X1
  • a light source (here, illumination) that gradually reduces the brightness referred to as C2, C3, ...) Excluding the above, and has a large effect on the brightness of the imaginary image visually recognized at the eye position X1.
  • the brightness of element C1) is gradually increased (over time).
  • the brightness of the image (virtual image) can be maintained substantially constant even while the illumination range is being changed. Therefore, for example, it is possible to reduce the change in brightness (difference in brightness) of the image (virtual image) seen from the eye position X1 between when the illumination range is expanded and when it is reduced. Therefore, the feeling of strangeness can be further reduced.
  • control unit 100 changes the first predetermined time Tth1 shown in FIG. 5A based on at least one of the driving condition of the vehicle, the surrounding environment, and the driver's condition. It may be controlled to.
  • the time required to expand the lighting area to the entire area (maximum area) of the eyebox can be variably controlled according to various factors, and control suitable for the driving scene can be performed.
  • the first predetermined time Tth1 is shortened to increase the expansion speed to the maximum area (control to reach the maximum area earlier).
  • the sensitivity of the human eye is higher than in the daytime, so it is possible to control the expansion more slowly over time to reduce discomfort.
  • the speed at which the lighting area is expanded may be increased so that the maximum area can be reached quickly.
  • the display virtual image
  • control unit 100 variably sets the second predetermined time Tth2 shown in FIG. 5 (A) based on at least one of the driving situation of the vehicle, the surrounding environment, and the driver's situation. You may control it.
  • FIG. 9 is a flowchart showing an example of an operation procedure of the HUD device for expanding or contracting the illumination area.
  • step S1 When the viewpoint tracking spot lighting control is being performed (step S1), for example, when it is detected that the viewpoint is lost for a threshold time or longer (step S2), the illumination area expansion process is executed (step). S3). It should be noted that the detection of "occurrence of viewpoint lost over the threshold time" causes a sense of discomfort due to a change in brightness if the expansion process is performed every time a very short viewpoint lost occurs. Therefore, the viewpoint lost continues for a certain period of time. This is to take measures for the target.
  • step S3 extended control of the illumination area (the maximum area is the entire area of the eyebox) is implemented. At this time, it may be expanded continuously or stepwise. Further, the viewpoint may be expanded to the entire area of the eye box by continuing the viewpoint lost for the first predetermined time or longer. It is also possible to gradually increase the amount of light. In addition, at least one of isotropic expansion, anisotropic expansion (including anisotropic expansion by estimation and prediction of the viewpoint lost direction), and a combination thereof may be performed. In addition, it is also possible to perform unusual processing (for example, variably controlling the first predetermined time) due to environmental factors (driving scene, day / night, weather, etc.) and biological condition factors (driver's fatigue level, etc.). It is possible.
  • step S4 it is determined whether or not the viewpoint (viewpoint position) has been rediscovered. In the case of N, the process returns to step S3, and in the case of Y, the process proceeds to step S5.
  • step S5 reduction control of the illumination area is performed. At this time, reduction may be carried out by a combination of isotropic reduction and anisotropic reduction. Further, control for returning to the original size may be performed when the second predetermined time or more has elapsed. It is also possible to gradually reduce the amount of light. In addition, perform unusual processing due to environmental factors (driving scene, day / night, weather, etc.) and biological condition factors (driver's fatigue level, etc.) (for example, variably controlling the second predetermined time). Is also possible.
  • the viewpoint tracking spot lighting control that irradiates a partial region of the eye box with light according to the viewpoint position of the driver, a virtual image is generated. It is possible to suppress invisibleness and reduce discomfort.
  • FIG. 10 is a diagram showing an example of the configuration of the HUD device.
  • the same reference numerals are given to the parts common to the above-mentioned figures.
  • the HUD device is indicated by reference numeral 1'.
  • the HUD device 1 has a display unit (display device) 145, a folded mirror (reflection mirror) 169, a curved mirror (concave mirror) 171 and a window unit 143 that emits light in the housing 141.
  • the display light is emitted toward the windshield 2 through the window portion 143.
  • the display unit 145 includes a light source (backlight) 120, an optical system 130 of the light source, a diffuser plate 137, and a liquid crystal panel 149.
  • the position of the driver's viewpoint (eye) A is imaged by the camera 90 as the viewpoint detection unit.
  • the virtual image V is displayed on the virtual image display surface PS in front of the vehicle.
  • FIG. 11 is a diagram showing a configuration example of the display unit.
  • the display unit 145 includes a light source substrate 121, an LED 122 as a light source (light source element), a lens 130 as an optical system of the light source, a diffuser plate 137, and a liquid crystal panel 149.
  • the LEDs 122 are arranged in a grid pattern on the light source substrate 121, thereby forming an LED array.
  • FIG. 12 (A) and 12 (B) are diagrams showing an outline of viewpoint tracking spot lighting control using the display unit shown in FIG.
  • x', y', and z' indicate the coordinates applied to the display unit.
  • FIG. 12A shows a configuration viewed from a direction along the z'axis
  • FIG. 12B shows a configuration viewed from a direction along the X'axis.
  • the LEDs 120g and 120i are emitting light.
  • the LEDs 122e, 122g, and 122f are emitting light.
  • the display light is projected onto the left and right eyes A1 and A2 of the driver, and spot lighting is realized.
  • the reference numeral EB indicates an eye box.
  • reference numeral 169 indicates a folded mirror of FIG. 10
  • reference numeral 171 indicates a curved surface mirror such as a concave mirror.
  • Reference numeral VP is a display image that is conjugate with the virtual image V of FIG.
  • FIG. 13 is a diagram showing an example of an arrangement of LED arrays in the display unit.
  • LEDs 122 are arranged in a grid pattern on the light source substrate 121 to form an LED array.
  • the LEDs 122g and 122i are emitting light.
  • the light emission of the LED 122 is controlled by the light emission control unit 116 of the control unit 100. This point is the same as the configuration of FIG. 1 shown above.
  • FIG. 14 (A) is a diagram showing the illumination area in the eye box before the illumination area is expanded
  • FIG. 14 (B) is the illumination area and the illumination area in the eye box after the illumination area is expanded. It is a figure which shows an example of the structure of the control part which expands or reduces.
  • the eyebox EB is divided into a plurality of regions Z20 to Z28.
  • the driver's left eye A1 is located in the divided region Z24.
  • reference numeral R100 indicates an irradiation region of the display light.
  • the display control device 350 has a control unit 100.
  • the control unit 100 includes a viewpoint speed detection unit 305, a viewpoint speed determination unit 307, and a light emission control unit 116.
  • the viewpoint is moving from the divided regions Z24 to Z22 of the eyebox EB.
  • the viewpoint speed detection unit 305 detects the movement speed vs. the movement speed of the viewpoint.
  • the viewpoint speed determination unit 307 compares the viewpoint movement speed vs. the first threshold value ⁇ v1 and the second threshold value ⁇ v2. The comparison judgment can be realized with a simple configuration, and is therefore easy to realize. In addition, high-speed and accurate judgment is possible.
  • the control unit 100 determines that a state in which the viewpoint position cannot be detected is likely to occur, and the illumination region of the display light is transmitted via the light emission control unit 116. To expand.
  • the control unit 100 detects a state in which the viewpoint position cannot be detected and a viewpoint loss is likely to occur, the control unit 100 expands the area of the pixel or the light source that contributes to the display of the virtual image on the display unit 145, and illuminates immediately before the expansion. It is controlled to illuminate a lighting area wider than the partial lighting area of the eye box EB.
  • the illumination range can be expanded by individually controlling the light emission of the LEDs.
  • the irradiation area of the display light is expanded by the control of the control unit 100.
  • the enlarged illumination area 200 illuminates almost the entire area of the eyebox EB.
  • the illumination range can be expanded quickly and reliably.
  • the control unit 100 increases the enlarged illumination area R200 to the same size as the illumination area R100 shown in FIG. 14 (A). to shrink.
  • effects such as reduction of power consumption, suppression of temperature rise of the light source, and reduction of the load on the device can be obtained.
  • the movement speed vs. the viewpoint (eye) is compared with the first threshold value ⁇ v1 as in the case of expansion, and the movement speed vs. is less than the first threshold value ⁇ v1.
  • the illumination area may be reduced.
  • the second threshold value ⁇ v2 becomes unnecessary.
  • the second threshold value ⁇ v2 when used, the second threshold value ⁇ v2 may be smaller than the first threshold value ⁇ v1. In this case, unless the moving speed of the viewpoint is below the first threshold value ⁇ v1 and further below the second threshold value ⁇ v2, it is not determined that the illumination area needs to be reduced. Therefore, the expanded state of the illumination area can be stably maintained. In this case, the effect that the probability that the viewpoint deviates from the irradiation range is reduced can be obtained.
  • the second threshold value ⁇ v2 may be larger than the first threshold value ⁇ v1. In this case, when the moving speed of the viewpoint becomes equal to or less than the second threshold value ⁇ v2, it is determined that the illumination area needs to be reduced. Therefore, the period during which the illumination area is expanded can be shortened, and as a result, effects such as suppression of temperature rise of the light source and reduction of power consumption can be obtained.
  • FIG. 15A shows an example of an LED lighting pattern when the illumination area is gradually expanded
  • FIG. 15B shows an example of an LED lighting pattern when the illumination area is gradually reduced.
  • a plurality of LEDs 122 are arranged in a grid pattern on the light source substrate 121 to form an LED array.
  • the number of lit LEDs 122 increases as the state A1 shifts to the state A4. In the state A1, two LEDs are lit, and in the state A2, the number of lit LEDs increases to nine. In the state A3, the number of lit LEDs is 15. In the state A3, all the LEDs are lit. In other words, all lights are on. This allows for a gradual expansion of the illumination range.
  • FIG. 15B a change in the lighting pattern opposite to that in FIG. 15A occurs, and the number of lit LEDs 122 decreases as the transition from the state B1 to the state B4 occurs. As a result, the illumination range is gradually reduced.
  • the expansion of the illumination area may include a multi-step reduction process. This alleviates the driver's discomfort.
  • the load on the device is reduced.
  • the reduction of the illumination area may include a plurality of steps of reduction process. As a result, the driver's discomfort can be reduced.
  • FIG. 16 is a flowchart showing an example of a procedure for expanding or reducing the illumination area.
  • step S100 the viewpoint position information is acquired.
  • step S101 the viewpoint speed is detected.
  • step S102 it is determined whether the LED array is fully lit. If it is Y, the process proceeds to step S103.
  • step S103 it is determined that the viewpoint speed is equal to or less than the second threshold value ⁇ v2.
  • the lighting area (the number of LEDs to be lit) is reduced in step S104.
  • the lighting pattern of the LED array is determined based on the detected viewpoint position. If it is N, the process proceeds to step S105. In step S105, the fully lit state is maintained.
  • step S106 it is determined that the viewpoint speed is equal to or higher than the first threshold value ⁇ v1.
  • the lighting area (the number of LEDs to be lit) is expanded in step S107.
  • N the current light emitting state is maintained. In other words, the lighting pattern is determined based on the viewpoint position, the LED array emits light in the lighting pattern, and the light emitting state is maintained.
  • FIG. 17 is a diagram showing another example of the configuration of the illumination area in the eye box and the control unit that expands or reduces the illumination area after the illumination area is expanded.
  • the control unit 100 has a situation determination unit 309 as a means for determining that a state in which viewpoint loss is likely to occur has occurred.
  • the ECU 160 provides the status determination unit 309 with various information regarding the operating status.
  • the situation determination unit 309 of the control unit 100 detects that the brightness of the surroundings of the vehicle including the front suddenly changes, or when the sudden change is predicted, in other words, specifically.
  • the vehicle goes through the tunnel as well as
  • highly directional light from the headlights of the oncoming vehicle enters the vehicle.
  • it is incident or when highly directional light is incident inside the vehicle from a street light using LEDs as well as If the rear seat monitor or child monitor on the vehicle is turned on or is on as well as,
  • the driving environment of the vehicle is an environment that increases the fluctuation of the position of the driver's face or eyes, specifically, when the vehicle is traveling on a rough road.
  • the illumination area is expanded based on this determination result.
  • the driver when the rear seat monitor or the child monitor is turned on, the driver often directs his / her line of sight to the monitoring terminal, which may contribute to the lost viewpoint.
  • the vehicle is traveling on a rough road, for example, on a rough road, on a muddy dirt road, or on a road with continuous sharp curves.
  • the viewpoint is likely to be lost due to shaking of the body or face. According to the configuration of FIG. 17, it is possible to take measures against lost viewpoint in such various driving scenes.
  • FIG. 18 is a diagram showing an example of the configuration of the vehicle display system.
  • the vehicle display system includes an ECU 160, an antenna AN, a communication unit 298, a map database 306, a monitoring terminal 310 such as a liquid crystal display device that can be used for a rear seat monitor or a child monitor, and ambient brightness including the front.
  • Ambient brightness sensor (ambient brightness detection unit) 312 that detects the brightness inside the vehicle
  • vehicle interior brightness sensor (vehicle interior brightness detection unit) 314 that detects the brightness inside the vehicle
  • an ambient imaging camera that captures the actual scenery including the front.
  • It has 316, a camera (viewpoint detection unit) 90 for detecting the viewpoint position, and a monitoring camera 320 for a rear seat monitor or a child monitor that monitors a person or a child seated in the rear seat.
  • the driver 201 can know the situation of the child 203 seated in the rear seat (here, a child seat) through the monitoring terminal 310.
  • Viewpoint imaging signal S0 various information (including vehicle speed information) S3 output from ECU 160, ambient brightness detection signal S5 output from ambient brightness sensor 312, vehicle interior brightness detection signal output from vehicle interior brightness sensor 314.
  • Each of S6, the surrounding captured image information S7 output from the peripheral imaging camera 316, and the monitoring information S8 output from the monitoring camera 320 is supplied to the display control device 350.
  • the display control device 350 detects or predicts the occurrence of a state in which viewpoint loss is likely to occur based on these various signals and information, and takes proactive measures as shown in FIGS. 14 (B) or 17. ..
  • FIG. 19 is a diagram showing an example of the configuration of the display control device.
  • the display control device 350 of FIG. 19 has a control unit 100 as in the configuration of FIGS. 1 (A) and 2 (A).
  • the viewpoint speed detection unit 305, the viewpoint speed determination unit 307, and the situation determination unit 309 are added to the configurations of FIGS. 1 (A) and 2 (A).
  • the various signals (or information) S5 to S9 shown in FIG. 18 are supplied to the status determination unit 309.
  • the display control device 350 can be provided inside the HUD device 1'(a device capable of displaying various images in a broad sense) shown in FIG. However, the present invention is not limited to this. It is also possible to install the display control device 350 outside the HUD device 1'. In this case, the display control device 350 and the HUD device 1'are connected and used by wireless or wired communication means. Such modifications and applications can be made as appropriate.
  • FIG. 20 is a diagram showing an example of expansion and contraction of the illumination area when the vehicle passes through the tunnel.
  • vehicle 401 passes through tunnel 403.
  • the state of brightness around the vehicle 401 is a "bright state” in the period from time t0 to t2, a “transition state from light to dark” in the period from time t2 to t3, and time t3 to t4.
  • the period of is a "dark state”
  • the period from time t4 to t6 is a "transition state from dark to light”
  • the presence of the tunnel 403 can be detected by taking an image of the front with the surrounding image pickup camera 316 and performing image processing based on the captured image. Further, the ambient brightness sensor 312 may detect that the brightness in the tunnel in front of the tunnel drops sharply.
  • the illumination range in the viewpoint tracking spot lighting is set to a normal range (illumination range R100 in FIG. 14A).
  • the display control device 350 determines that a state in which the viewpoint is likely to be lost is predicted, and expands the illumination range at time t0 (see the illumination range R200 in FIG. 17). The extended illumination range continues until time t3. After time t3, the illumination range is reduced and returns to the normal range.
  • the ambient brightness sensor 312 detects that the ambient brightness rises sharply.
  • the display control device 350 determines that a state in which the viewpoint is likely to be lost is predicted, and expands the illumination range at time t4 (see the illumination range R200 in FIG. 17).
  • the extended illumination range continues until time t7. After time t7, the illumination range is reduced and returns to the normal range.
  • FIG. 21 is a flowchart showing another example of the procedure for expanding or contracting the illumination area.
  • steps S101, S103, and S106 of FIG. 16 are replaced with steps S101', S103', and S106'.
  • S101' the situation determination by the situation determination unit 309 is carried out.
  • step S103' it is determined whether the illumination range needs to be reduced.
  • step S106' it is determined whether the illumination range needs to be expanded.
  • Other steps are similar to FIG.
  • the viewpoint tracking spot lighting control that irradiates a partial region of the eye box with light according to the viewpoint position of the driver.
  • the state is likely to be lost, it is possible to prevent the driver from having difficulty in visually recognizing the virtual image and deteriorating the display quality of the virtual image. Therefore, the feeling of strangeness can be reduced. This also contributes to safe driving.
  • the driver can always visually recognize the display by the good HUD device in various driving scenes, and the driving comfort is also ensured.
  • the present invention can be used in both a monocular type HUD device in which the display light of the same image is incident on each of the left and right eyes, and a parallax type HUD device in which an image having parallax is incident on each of the left and right eyes.
  • the term vehicle can be broadly interpreted as a vehicle.
  • the HUD device shall include one used as a simulator (for example, an aircraft simulator).
  • Windshield projected member, reflected translucent member
  • 90 Camera (eye and face imaging unit for viewpoint detection)
  • 100 Control unit, 110 ... Partial illumination (spot) Lighting) control unit, 112 ... viewpoint position detection unit, 114 ... viewpoint loss detection unit, 116 ... light emission control unit, 120 ... light source (backlight), 121 ... light source substrate, 122a ... 122d ... Light source element (LED, etc.), 130 ... Light source optical system (first optical system), 140 ... Condensing optical system (second optical system, project image onto windshield, etc.)
  • Optical system including reflector 160 ... ECU (electronic control unit, general control unit, information collection unit), EB ...
  • eyebox Z1 to Z9, W1 to W12 ... partial area of eyebox ( (Division area), 306 ... Map database, 305 ... Viewpoint speed detection unit, 307 ... Viewpoint speed determination unit, 309 ... Situation determination unit, 350 ... Display control device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、又は、視点ロストが生じ易い状態となったとき、虚像が見えなくなること等を抑制し、違和感を低減する。 車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置は、画像を表示する表示部145と、運転者の視点位置に応じて、アイボックスEBの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部100と、を有し、制御部100は、視点位置を検出できない視点ロストが生じると、又は、視点ロストが生じ易い状態となったとき、表示部145における虚像の表示に寄与する画素又は光源の領域を拡張し、拡張の直前に照明していた、アイボックスEBの部分照明領域よりも広い照明領域を照明するように制御する。

Description

ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法
 本発明は、車両(乗り物)のウインドシールドやコンバイナ等の被投影部材に画像の表示光を投影(投射)し、運転者の前方等に虚像を表示するヘッドアップディスプレイ(Head-up Display:HUD)装置、表示制御装置、及び表示制御方法等に関する。
 HUD装置において、アイボックスの全域を常時、照明(ライティング)すると無駄が多いため、省エネ化の観点から、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング(部分照明)を実施することが提案されている(例えば、特許文献1)。
特許第6586646号公報
 本発明者は、運転者(操縦者や乗務員等、広く解釈可能である)の視点位置を検出して視点追従スポットライティングを実施することについて検討し、以下に記載する新たな課題を認識した。
 運転者の視点位置が移動し、HUD装置がその視点位置を一時的に喪失(ロスト)する場合があり得る。このとき、運転者の視点(両目の少なくとも一方の目)が部分照明領域から外れると、運転者は虚像を視認できなくなる。このことが唐突感を運転者に与え、違和感につながる場合等もあり得る。
 但し、運転者の視点が部分照明領域から外れても、実際はアイボックス内に位置しているのならば、その視点が位置する領域に投光できれば、虚像の視認を継続させることが可能である。
 また、運転者の視点が部分照明領域から外れ、かつアイボックスからも外れた場合でも、その後、視点はアイボックスに戻るはずであり、このとき、必ず元の位置に戻るとはかぎらない。何らかの事情で元の位置から、かなり遠い位置に戻ることも想定され得る。
 また、元の位置付近に戻るにしても、試行錯誤的に視点が移動しつつ、徐々に視点位置が安定化してやがて静止する、ということも想定され得る。試行錯誤的に視点が移動しているときに、その視点位置が、元の部分照明領域の外であるときは、戻っている途中の視点には投光がなされず、虚像が視認できない状態が生じる。
 但し、視点がアイボックスに戻るということは、視点がアイボックス内に位置するということであり、ライティングを工夫して視点に投光する(照明光を当てる)ことができれば、虚像の視認が可能である、ということでもある。
 また、視点ロストは、視点が何らかの理由で大きく移動することに起因して生じる場合もあれば、視点の移動距離は比較的短いものの、視点が瞬時的に高速に移動したことによって発生する場合もあり得る。
 一口に視点ロストといっても、その態様は多様である。必要に応じて、視点ロストの状況を考慮した対策を採ることも重要となる。
 さらに、近年、例えば、車両の前方のかなり広い範囲にわたって虚像表示が可能なHUD装置が開発されており、このようなHUD装置は大型化する傾向がある。省エネの観点からは、部分照明領域の面積を小さくすることが好ましいが、しかし、この場合は、視点ロスト時に運転者(ユーザー)が虚像を視認できなくなる可能性が高まる。よって、省エネ性能と視認可能性を高めることを両立させることは難しくなる傾向がある。
 このように、視点追従スポットライティングを実施することに関しては、改善の余地がある。上記の特許文献1には、この点に関しては、何ら記載がない。
 本発明の目的の1つは、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、虚像が見えなくなることを抑制し、違和感を低減することである。
 本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
 例えば、本発明の他の目的の1つは、視点ロストが生じたときのみならず、視点ロストが生じ易い状態となったときにおいても、虚像が見えなくなったり、あるいは、表示光が視点に適切に照射されないことによって虚像の品位が低下したりすることを抑制し、違和感を低減することである。
 以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
 第1の態様において、ヘッドアップディスプレイ装置は、
 車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
 前記画像を表示する表示部と、
 運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
 を有し、
 前記制御部は、
 前記視点位置を検出できない視点ロストが生じると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記視点ロストの直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する。
 第1の態様では、視点位置追従スポットライティングを実施しているときに、視点位置のロスト(視点ロスト)が生じると、視点ロスト前にスポットライティング(部分照明)していた部分照明領域よりも広い照明領域を照明する制御が実施される。
 例えば、視点ロスト時には、照明領域をアイボックスの全域(全面)にまで広げてもよい。
 画像を表示する表示部が、例えばLEDや有機EL等の自発光素子により画素を形成しているときは、その画素の発光状態を制御することにより、また、表示部が、例えば、液晶パネルとバックライト(光源)とを組み合わせた光透過型の表示部であるときは、光源(光源要素)の発光状態(点灯や消灯等)を制御することにより、照明領域の拡張を実現することができる。言い換えれば、例えば、視点ロストの直前に発光していた画素の周囲の画素(非発光であった画素)を発光状態(虚像の視認に寄与できる状態)に転じることによって、視点ロスト直前の照明領域を基準として、その周囲に発光領域を拡張していくことが可能である。
 ここで、「視点ロスト直前の照明領域を基準とした拡張」とするのが好ましい。視点ロストが短い時間であるのならば、視点は、元の照明領域付近にとどまっている可能性が高く、元の領域の周囲に拡張することで、視点に投光できる可能性が高まるからである。
 視点(左右の目の少なくとも一方)の移動に伴い、視点が一時的に喪失状態となったときでも、拡張された照明領域に視点が位置していれば、運転者(ユーザー)は、表示(虚像)を視認可能であり、唐突に表示が消えることを防止できる可能性が高まる。よって、違和感が生じることを低減する効果が得られる。また、車両等の運行上、必要な表示を視認できる可能性が高まることから、安全上の信頼性も高まる。
 また、本態様は、運転者の両目の各々に同じ画像を投影する単目式のHUD、各目に異なる画像(視差画像)を投影する両目式(視差式、フォログラム式あるいは光再現方式)のHUDの双方に適用することができる。
 また、本態様における「視点ロスト」としては、両目の少なくとも一方がアイボックス内にある視点ロスト、両目がアイボックスの外にある視点ロストの双方を想定することが可能である。
 第1の態様に従属する第2の態様において、
 前記制御部は、
 前記照明領域を、連続的に広げる制御、あるいは段階的に広げる制御の少なくとも一方を実施してもよい。
 第2の態様によれば、徐々に照明領域を拡張することにより、一気にアイボックスの全域に照明領域を拡張したときに発生しうる違和感を抑制できる。言い換えれば、違和感の少ない「スポットライティング拡張制御」が可能である。
 時間軸上で連続的に照明領域を拡張すれば、違和感をより低減できる。また、段階的(ステップ的)に照明領域を拡張する場合は、所定の拡張アルゴリズムに従って規則性をもって効率的な拡張を、容易に(装置の負担が少なく)実施することができる。なお、連続的拡張と段階的拡張を組み合わせて使用することで、より自由度の高い照明領域の拡張が可能である。
 第2の態様に従属する第3の態様において、
 前記制御部は、
 前記視点ロストが第1の所定時間以上継続する場合、前記アイボックスの全域を照明する制御を実施してもよい。
 アイボックスにおける部分照明領域を拡張した場合、拡張した照明領域に向かう光束の一部は、元の照明領域にも入る可能性がある。第1の態様にて記載したとおり、一気にアイボックスの全域を照明してもよいが、この場合、元の照明領域で視認される画像(虚像)輝度が急激に高まることも想定され、運転者(ユーザー)が、輝度変化によって違和感をおぼえる可能性がないとはいえない。
 そこで、本態様では、照明範囲を全域にまで広げる制御は、第1の所定時間を経過したことを条件に実施する。これにより、第1の所定時間が経過する前の期間では、部分照明領域のサイズを徐々に広げていくことができる。よって、違和感を抑制(低減)することができる。
 第2又は第3の態様に従属する第4の態様において、
 前記制御部は、
 前記照明領域を連続的又は段階的に広げる際に、照明光の光量を増加させる制御を実施してもよい。
 本態様では、照明エリアを広げる際に、照明エリアを広げる方向の光源の光量を制御する(徐々に所望の輝度にあげていく)ことで、より違和感を抑制することができる。
 例えば、視点ロスト直前の照明領域(部分照明領域)をAとし、拡張される領域をBとする。B領域の輝度を、一気にA領域と同じ輝度に高めることもできる。但し、この場合は、上記の第3の態様で記載したのと同様に、周辺視野の輝度変化がある程度、大きくなるのは否めない。この場合、運転者(ユーザー)が違和感をおぼえる可能性がないとはいえない。
 そこで、本態様では、表示部の画素(表示画素)を、所望の輝度で点灯/非点灯の切り替え制御(点灯/消灯の2値制御)をするのではなく、時間をかけて所望の輝度に上げていく制御(言い換えれば多値点灯制御)を実施する。これによって、違和感をより低減することができる。
 第2乃至第4の何れか1つの態様に従属する第5の態様において、
 前記制御部は、
 前記照明領域を連続的又は段階的に広げる際に、視点ロスト前の視点の移動方向、視点の動きに関する過去の学習結果、及び視点ロスト時の運転状況の少なくとも1つに基づいて視点ロストが生じた方向を推定又は予測して、その推定又は予測された方向を少なくとも含むように前記照明領域を拡張する制御を実施してもよい。
 本態様では、視点ロストが生じた方向(視点ロスト時における視点の移動方向)を推定又は予測して、その推定(予測)の内容を活かして照明領域の拡張を行う。
 視点がロストしたときでも、視点の移動方向を推定(あるいは予測)可能な場合がある。例えば、両目の一方のみがロストしたときは、ロストしていない他方の目の移動の軌跡を追うことで、視点ロストの方向を推定(予測)することができる(視点の移動方向による推定)。
 また、運転者(ユーザー)には、運転中のしぐさ、動作に個人的な特徴があり、例えば、ある運転者は、運転中に頻繁に姿勢を変え、これによって上下(車両の高さ方向)に視点が変わることがある、といことが過去の学習でわかるのであれば、その学習結果を活かして、視点が上下方向に沿って移動して視点ロストが生じたと推定(予測)することができる(学習による推定又は予測)。
 また、車両が現在、凹凸の多い道(未舗装の道など)を走行しているときは(これは、例えば、ECU等が収集する車両情報により判定可能である)、上下、あるいは斜めの方向に視点が瞬時的に移動してロストが生じた可能性がある、と推定(予測)することができる(運転状況による推定又は予測)。
 このような推定(予測)を行って、推定(予測)方向を含むように拡張することで、効率的な拡張が可能である。例えば、推定(予測)方向の拡張を、非推定(非予測)方向よりも手厚く拡張する(拡張の度合いを大きくする)等の工夫をすることで、ロスト中における視点に、画像を投光できる可能性が高まり、照明領域の拡張が、虚像の視認可能性を高めることに、効率的に結びつく可能性を高めることができる。また、必要な領域を重点的に照明できることから、省エネの点でも有益である。
 第2乃至第5の何れか1つの態様に従属する第6の態様において、
 前記アイボックスは所定の外形を有し、
 前記制御部は、
 前記照明領域を連続的又は段階的に広げる際に、
 前記照明領域を、その周囲に一様に拡張する等方的拡張、
 又は、一様ではなく拡張する異方的拡張、
 又は、前記等方的拡張と前記異方的拡張の組み合わせによる拡張、の何れかを実施し、
 拡張を実施しているときに視点位置が再検出された場合、又は、前記照明領域が、前記アイボックスの全域まで広がった場合、拡張を終了する制御を実施してもよい。
 第6の態様では、アイボックス及び照明領域の外形(輪郭)が所定の形状を有し、照明領域の拡張に際し、等方的拡張、異方的拡張、これらを組み合わせた拡張の何れかを実施することができる。なお、照明領域を、「その周囲に一様に拡張する」とは、言い換えれば、「照明領域の元の形状と相似形で、かつ、より面積の広い領域へと拡張する」ということもできる。また、「その周囲に一様ではなく拡張する」とは、言い換えれば、「照明領域の元の形状とは相似形ではなく、かつ、より面積の広い領域へと拡張する」ということもできる。
 照明領域の外形の辺がアイボックスの辺に到達したときは、それ以上の拡張はできないため、他の未到達の辺についての拡張を実施し、拡張中に視点が再検出されたとき、あるいは、アイボックス全域まで拡張したときに、拡張を終了する。
 本態様によれば、拡張時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
 第1乃至第6の何れか1つの態様に従属する第7の態様において、
 前記制御部は、
 視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施してもよい。
 第7の態様によれば、視点ロストから復帰したとき、違和感なく、ロスト前と同様の(通常の)スポットライティング状態に復帰できる。
 第6の態様に従属する第8の態様において、
 前記アイボックスは所定の外形を有し、
 前記制御部は、
 視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施し、
 かつ、前記照明領域の縮小に際して、
 前記照明領域を一様に縮小する等方的縮小と、一様ではなく縮小する異方的縮小とを組み合わせて実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
 又は、
 直交する2つの線分の内の1つに沿う収縮を垂直収縮とし、他の1つに沿う収縮を水平収縮とするとき、垂直収縮を実施し、続いて水平収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
 又は、
 水平収縮を実施し、続いて垂直収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施してもよい。
 第8の態様では、アイボックス及び照明領域の外形(輪郭)を所定の外形、例えば矩形(正方形及び長方形を含むものとする)等とするとき、照明領域の縮小に際し、等方的縮小の後に異方的縮小を行う第1の方式、垂直収縮の後に水平収縮を行う第2の方式、水平収縮の後に垂直収縮を行う第3の方式の何れかを採用することができる。
 第8の態様によれば、縮小時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
 第7又は第8の態様に従属する第9の態様において、
 前記制御部は、
 前記広い照明領域を前記狭い照明領域とするのに要する時間が、第2の所定時間以上となるように制御してもよい。
 視点が再検出されたときは、その再検出された視点位置に基づく部分照明(原則として視点ロスト前の部分照明領域と同じサイズの部分照明)へと移行するが、但し、運転者(ユーザー)の視点は、ある程度の移動を繰り返しつつ、ある位置に収束していく場合もあり得る。
 よって、第9の態様では、所定時間が経過した後の時点(視点が安定するのに要する時間を経過した時点)で、通常のスポットライティング状態に復帰するようにする。これによって、戻る途中の視点の小さな移動によって、視点が照明領域から外れてしまうことを抑制(低減)することができる。
 第7乃至第9の何れか1つの態様に従属する第10の態様において、
 前記制御部は、
 前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる制御を実施してもよい。
 第10の態様によれば、照明領域の縮小の際に、徐々に照明光の光量(照明輝度)を低下させることで、一気に通常のスポットライティングに移行した場合に発生しうる違和感を抑制(低減)することができる。
 第10の態様に従属する第11の態様において、
 前記制御部は、
 前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる場合において、
 視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させることで、照明光を減少させてもよい。
 第11の態様では、1視点に複数の画素からの光が向かうことを前提にした制御方式の一例を示す。
 照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、光源要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させることで、目の位置X1に若干届いていた光(光源C2、C3・・・の光)による画像の輝度の低下を感じにくくすることができ、違和感を低減することが可能である。
 第7乃至第9の何れか1つの態様に従属する第12の態様において、
 前記制御部は、
 前記広い照明領域を前記狭い照明領域に縮小する際に、
 視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させ、かつ、前記視点位置で視認される輝度に影響が大きい画素又は光源要素の輝度を、時間をかけて上昇させてもよい。
 第12の態様では、1視点に複数の画素からの光が向かうことを前提にした制御方式の他の例を示す。
 本態様では、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、光源要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させ、かつ、目の位置X1で視認される虚像の輝度に影響が大きい光源C1の輝度を緩やかに(時間をかけて)上昇させる。
 これによって、照明範囲を変化させている途中であっても、画像(虚像)の輝度を略一定に維持できる。よって、例えば、照明範囲の拡大時と、縮小時とで、目の位置X1から見える画像(虚像)の輝度の変化(輝度の差)を小さくすることもできる。よって、違和感を、より低減することができる。
 第3の態様に従属する第13の態様において、
 前記制御部は、前記第1の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
 第13の態様では、照明領域をアイボックスの全域(最大エリア)に広げるのに要する時間を、種々の要因に応じて可変に制御し、運転シーンに適した制御を実施する。
 例えば、凹凸の多い道路を走行中であり車両ピッチングの発生頻度が所定値以上となる場合や、運転者の疲労度が高いと判定される場合や、カメラによって撮像されて取得される画像のコントラストが所定値以下の場合等においては、第1の所定時間をより短くして、最大エリアまでの拡張速度を通常の場合よりも高める(より早く最大エリアに到達するように制御する)のが好ましい。これらの場合は、表示(虚像)を確実に運転者(ユーザー)に視認させることが、安全の観点からも望ましいからである。
 また、例えば、夜間は、昼間よりも人の目の感度が高いため、より時間をかけてゆっくりと拡張させる制御をして、違和感を低減する等の制御を実施することも可能である。また、トンネルなど明暗が急激に変わる場合は、照明エリアの拡張時の速度を高め、早く最大エリアに到達できるようにしてもよい。雨天時は、晴天時よりも、表示(虚像)を視認しづらいため、ロスト時の照明エリアの拡大の速度を上げて、表示輝度変化による違和感発生よりも、確実に表示を視認させることを優先させるのが好ましいからである。
 このように、第13の態様によれば、各種の状況に適応して最適な制御を実施することが可能である。
 第9の態様に従属する第14の態様において、
 前記制御部は、前記第2の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
 照明領域を縮小する場合も、第13の態様で述べたのと同様の制御を実施することで、同様の効果を得ることができる。
 第1乃至第14の態様の何れか1つに従属する第15の態様において、
 前記制御部は、
 前記照明領域(前記広い照明領域、及び前記狭い照明領域を含む)の照明光の光量分布に関して、
 前記照明領域の周辺部の光量を、中央部の光量よりも少ないが、所定値以上の輝度は確保される光量となるように制御する、
 又は、
 前記照明領域内で光量が均一化されるように制御してもよい。
 第15の態様では、照明領域(部分照明領域を含む)における光量(輝度)の分布の好ましい例を示す。視点が部分照明領域(スポットライティングのエリア)から出ると、輝度が極端に小さくなって、画像(虚像)の視認性が極端に、急に低下することが想定され得る。
 この場合、部分照明領域と非照明領域との境界(縁)に、目(視点)が差し掛かった際に、突然、虚像が消える(輝度が極端に低下する)ことによる視認者の違和感を軽減することが望まれる。
 そこで、好ましい1つの例では、矩形の照明領域があるとすると、中央の光量が多く、周辺部(境界近辺)の光量は少ないが、但し、ある程度(所定値以上)の光量(輝度)が確保されるような低さとして、視点が、上記の境界よりも外側に出たときに、急に虚像が見えなくなることを抑制する。この場合は、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
 また、他の好ましい例では、照明領域(ライティングのエリア)内においては、所定の輝度レベルとなるように均一(略均一を含む)な光の照射がなされるようにする。この場合も、縁近傍(境界付近)から光量が低下していくが、ある程度の光量は確保されることから、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
 このように、第15の態様によれば、視点が照明領域の外になったときに、突然、表示(虚像)が消える違和感が軽減される。
 当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
 例えば、本発明では、視点ロストが生じたときのみならず、視点ロストが生じ易い状態となったときにおいても、虚像が見えなくなったり、あるいは、表示光が視点に適切に照射されないことによって虚像の品位が低下したりすることを抑制し、違和感を低減することができる。
 本発明の第16の態様において、ヘッドアップディスプレイ装置は、車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
 前記画像を表示する表示部と、
 運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
 を有し、
 前記制御部は、
 前記視点位置を検出できない視点ロストが生じ易い状態が検出されると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する。
 第16の態様によれば、視点ロストが生じ易い状態の検出、あるいは予測によって、視点ロストが実際に生じる前に、表示画像(虚像等)が見えなくなったり、表示品質が低下したりすることに対する対策を実施することができる。よって、迅速で、確実な対策が可能である。
 第16の態様に従属する第17の態様において、
 前記制御部は、
 前記視点の移動速度が第1の閾値以上であるとき、前記視点ロストが生じ易い状態であると判定してもよい。
 第17の態様では、視点(目)位置が、閾値以上の速度で高速に移動する場合に視点ロストが生じ易いと判定し、対策を実行する。例えば、運転者の顔が急に大きく振れる場合において、このような事態が生じ易い。本態様では、このような事態に迅速かつ確実に対応可能である。
 第16の態様に従属する第18の態様において、
 前記制御部は、
 前記車両の、前方を含む周囲の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、
 及び、
 前記車両の内部の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合
 及び、
 前記車両に備わる、後部座席モニター、又はチャイルドモニターがオンされた場合、又は、オンされた状態である場合、
 及び、
 前記車両の走行環境が、前記運転者の顔又は目の位置の変動を増長する環境であると判定される場合、
 の少なくとも1つに該当するとき、前記視点ロストが生じ易い状態であると判定してもよい。
 第18の態様によれば、視点ロストが生じ易い様々な運転状況に対応して、事前に対策が可能である。明るさの急激な変化は、例えば車両がトンネルに入る、あるいはトンネルから出る際に生じ易い。明るさの急激な変化が生じると、運転者は目を閉じたり、前方から目をそらしたりする傾向があり、視点ロストの一因となり得る。
 また、車両の内部の明るさの急な変化は、例えば、対向車のヘッドライトからの指向性の高い光や、LEDを用いた街路灯からの指向性の高い光が車内に入射されたときに生じ易い。この状況も視点ロストの一因となり得る。
 また、後部座席モニターやチャイルドモニターがオンされたときは、運転者は、監視用端末に視線を向けることが多くなるため、視点ロストの一因となり得る。
 また、車両が悪路を進行しているような場合、例えば、凹凸の多い道路を走行したり、ぬかるんだ未舗装の道路を走行しているような場合、あるいは、急カーブが連続する道路を走行している場合等においては、身体や顔の揺れ等によって視点ロストが生じ易くなる。
 本態様によれば、このような様々な運転シーンにおいて、視点ロスト対策を実施可能である。
 第16乃至18の何れか1つの態様に従属する第19の態様において、
 前記照明領域の拡張は、複数段階の拡張過程を含んでもよい。
 これによって、運転者の違和感を軽減することができる。また、装置負担も軽減することが可能となる。
 第16乃至第20の何れか1つの態様に従属する第19の態様において、
 前記制御部は、
 前記視点ロストが生じ易い状態が解消されると、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施してもよい。
 第19の態様によれば、視点ロストの可能性が高い状態が解消されると、照明領域が縮小される。これによって、例えば光源の温度上昇を抑制でき、また、光源の駆動電力の低減も可能となる。
 第17の態様に従属する第21の態様において、
 前記制御部は、
 前記視点の移動速度が、前記第1の閾値未満となった場合、
 又は、
 前記第1の閾値よりも小さい、あるいは、前記第1の閾値よりも大きい第2の閾値以下
となると、
 拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する。
 第21の態様では、視点の移動速度と第1の閾値との比較結果に基づいて照明領域の拡張の必要性を判定する場合、照明領域の縮小の必要性の判定に関しても、第1の閾値との比較、又は、第1の閾値とは異なる第2の閾値との比較を実施する。比較判定であるため、実現が容易である。
  第2の閾値は、第1の閾値よりも小さくてもよい。この場合、視点の移動速度が、第1の閾値を下回り、さらに、第2の閾値以下とならないと、照明領域の縮小要と判定されない。よって、照明領域が拡張された状態が安定的に維持できる。この場合、視点が照射範囲から外れる確率が低くなるという効果が得られる。
 一方、第2の閾値は、第1の閾値よりも大きくてもよい。この場合、視点の移動速度が、第2の閾値以下となると、照明領域の縮小要と判定される。よって、照明領域が拡張されている期間を短縮でき、これによって、例えば光源の温度上昇の抑制、消費電力の削減等の効果を得ることができる。
 第20又は第21の態様に従属する第22の態様において、
 前記照明領域の縮小は、複数段階の縮小過程を含んでもよい。これによって、運転者の違和感を軽減することができる。
 第23の態様において、表示制御装置は、第16乃至第21の態様の何れか1つにおける前記制御部を有する。
 第23の態様によれば、視点ロストに対する対策が可能な制御部を、表示制御装置に含めることができる。これにより、例えば、制御部の可搬性、あるいは、設置の容易性が向上する。
 第24の態様において、表示制御方法は、
 運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する工程と、
 前記視点位置を検出できない視点ロストが生じる場合、又は、視点ロストが生じ易い状態が検出される場合、画像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、アイボックスの部分照明領域よりも広い照明領域を照明する工程と、
 視点ロストが生じた後に視点位置が再検出された場合、又は、視点ロストが生じ易い状態が解消された場合、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する工程と、
 を含む。
 第24の態様によれば、視点ロストが生じたとき、あるいは、視点ロストが生じ易いときに、事後的、あるいは事前に、効果的な対策を実施できる。
図1(A)は、視点追従スポットライティング制御の概要、及び視点ロスト発生時において照明領域の拡張を実施する機能を備えたHUD装置の主要な構成の一例を示す図、図1(B)は、視点ロストが発生した状態を示す図である。 図2(A)は、視点ロスト後に照明領域を拡張した状態を示す図、図2(B)は、照明領域における照明光の光量分布の好ましい例を示す図である。 図3(A)、(B)は、HUD装置で使用されるアイボックスの構成例を示す図である。 図4(A)は、本発明を適用した立体表示式(3D)HUD装置の構成例を示す図、図4(B)は、立体画像(虚像)を表示する原理を説明するための図である。 図5(A)は、時間経過に対する視点検出状態の推移(変化)を示す図、図5(B)~(F)は、アイボックスにおける視点の移動に対応した照明領域の拡張、及び縮小の様子を示す図である。 図6(A)~(H)は、照明領域の拡張と縮小の一例を示す図である。 図7(A)~(D)は、照明領域の縮小と拡張の一例を示す図である。 図8(A)、(B)は、視点位置の変化の他の例(視点ロスト状態から視点再検出状態に戻る場合も考慮した例)、ならびに、視点移動の推定又は予測による照明領域の拡張等を示す図である。 照明領域の拡張、縮小を実施するHUD装置の動作手順の一例を示すフローチャートである。 図10は、HUD装置の構成の一例を示す図である。 図11は、表示部の構成例を示す図である。 図12(A)、(B)は、図11に示した表示部を用いた視点追従スポットライティング制御の概要を示す図である。 図13は、表示部における、LEDアレイの配列の一例を示す図である。 図14は(A)は、照明領域を拡張する前の、アイボックスにおける照明領域を示す図、図14(B)は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の一例を示す図である。 図15(A)は、照明領域を段階的に拡張する場合のLEDの点灯パターン例を示す図、図15(B)は、照明領域を段階的に縮小する場合のLEDの点灯パターン例を示す図である。 図16は、照明領域の拡張又は縮小の手順の一例を示すフローチャートである。 図17は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の他の例を示す図である。 図18は、車両表示システムの構成の一例を示す図である。 図19は、表示制御装置の構成の一例を示す図である。 図20は、車両がトンネルを通過する場合における、照明領域の拡張、縮小の一例を示す図である。 図21は、照明領域の拡張又は縮小の手順の他の例を示すフローチャートである。
 (第1の実施形態)
 まず、図1~図9を参照しつつ、第1の実施形態において、視点ロストが生じた場合の対策について説明する。続いて、図10~図21を参照しつつ、第2の実施形態において、視点ロストが生じ易い状態における対策について説明する。
 以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
 図1を参照する。図1(A)は、視点追従スポットライティング制御の概要、及び視点ロスト発生時において照明領域の拡張を実施する機能を備えたHUD装置の主要な構成の一例を示す図、図1(B)は、視点ロストが発生した状態を示す図である。
 図1(A)に示されるHUD装置1では、アイボックスEBは、4つの部分領域Z10~Z13に分割されており、この部分領域を単位として、運転者(ユーザー)の目(視点)の位置を検出することが可能である。
 図1(A)(及び(B))において、部分領域Z10~Z13の配列方向(紙面における左右方向)が、車両を運転している運転者から見た実空間におけるX方向(車両の幅方向)であり、紙面の垂線に沿う方向がY方向(車両の高さ方向)であり、Z方向は、車両の進行方向に沿う方向(前後方向あるいは奥行方向)である。なお、運転者から見た車両の外側の実空間は、図1(A),(B)で示すウインドシールド2よりも下側の空間である。
 HUD装置1は、制御部100と、表示部145と、反射光学系(集光光学系)150と、を有する。各部の構成について、以下、順に説明する。
 制御部100は、部分照明(スポットライティング)制御部110を有する。部分照明(スポットライティング)制御部110は、視点位置検出部112と、視点喪失(ロスト)検出部114と、発光制御部116と、を有する。図中、S1a、S1bは、視点検出情報を示す。また、S2は、視点喪失(視点ロスト)が生じたことを示す視点ロスト報知情報(報知信号)を示す。
 なお、カメラ90は、人(運転者)の顔や瞳などを撮像する。撮像されて得られた情報S0は、視点位置検出部112に供給される。
 また、ECU(電子制御ユニット)160は、車載エレクトロニクスを集中的に管理する。このECU160には、車両情報、車両の周囲の情報(周囲情報)、運転者や他の搭乗者の疲労度等の情報(生体情報)が集められる。よって、ECU160は、各種の情報の収集部としての機能を有する。ECU160に集められた各種の情報は、発光制御部116に提供される。図1(A)では、この提供される各種の情報をS3の符号にて示している。
 なお、発光制御部116は、ECU160から供給される各種の情報S3に基づいて、視点ロスト時に実行する照明領域の拡張処理、視点再検出後の照明領域の縮小処理等の内容を、適応的に変化させる等の調整が可能である(この点については後述する)。
 視点位置検出部112は、人の顔又は瞳を撮像するカメラ90からの撮像情報(撮像信号)S0に基づいて視点位置を検出する。なお、視点位置検出部120は、HUD装置1とは別に設けることもできる。
 視点喪失(視点ロスト)検出部114は、視点ロストの発生を検出する。発光制御部116は、入力される信号S1a、S2、S3等に基づいて、発光制御信号S4を生成、出力し、これによって、表示部145における表示画素の発光状態(点灯/非点灯、発光時の輝度等)を制御する。なお、視点喪失(視点ロスト)検出部114は、HUD装置1とは別に設けることもできる。
 表示部(表示装置)145は、光源(バックライト)120と、表示部の光学系(第1の光学系)130と、画像を表示する液晶パネル140と、を有する。なお、液晶パネルは一例であり、他の非自発光素子を用いた非自発光系の表示手段を使用してもよい。また、LED素子や有機EL素子等を画素として使用する自発光系の表示手段を使用してもよい。
 光源120は、基板121の実装面上に面状(マトリクス状)に実装(配置)された複数の光源素子(ここではLED素子とする)120a~122dを有する。
 表示部の光学系(第1の光学系)130は、図示はしないが、複数のレンズを組み合わせて構成される。例えば、光が入射する側の断面形状が曲面(例えば円弧状)であり、出射側の断面形状が平面である第1のフィールドレンズと、光が入射する側の断面形状が平面であり、出射側の断面形状が曲面(例えば円弧状)である第2のフィールドレンズと、を近接して配置した構成である。第1、第2のフィールドレンズによって、光源素子122a~122dから出射される光を適宜、屈折させ、その光によって、液晶パネル140を背面から照明する。液晶パネル140の各画素の光透過度を、例えば液晶素子のツイスト角を制御することで、各画素の発光/非発光、あるいは、各画素から出射される光の強度(言い換えれば、各画素の発光強度)を制御することができる。
 反射光学系(集光光学系)150は、第2の光学系として機能する。図1(A)では、反射光学系(集光光学系)150は簡略化して描いているが、具体的には、例えば、反射ミラーや凹面鏡(曲面ミラー:図4(B)の符号171)等にて構成される。
 表示部145から出射される光は、反射光学系(集光光学系)150の反射ミラー等で反射されながら進行し、その光(表示光:図3の符号K)は、車両のウインドシールド2(図3参照)で反射され、アイボックスEB(視点A1、A2)に投光される。
 図1(A)では、視点A1(右目)は、アイボックスEBの部分領域Z10の位置にあり、視点A2(左目)は、アイボックスEBの部分領域Z12の位置にある。
 また、図1(A)では、光源素子122b、122dが点灯して発光状態であり、122a、122cは消灯して非発光状態である。
 光源素子122bが発光することにより生じる光線L1(一点鎖線で示される)は、最終的には、左目A2に投光される。また、光源素子122dが発光することにより生じる光線R1(実線で示される)は、最終的には、右目A1に投光される。例えば、液晶パネル140の表示面における、各光源素子122a、122dに対応する各画素が、右目用/左目用の視差をもった画像を形成しているときは、その視差画像が、運転者の目A1、A2の各々に投光される。これにより、運転者は、立体的な虚像を視認することが可能である。
 次に、図1(B)を参照する。図1(B)では、視点A1、A2が、部分領域Z11、Z13に位置している。これに対応して、光源素子122a、122cが点灯して発光状態となり、光源素子122b、122dが消灯して非発光状態である。光源素子122aが発光することにより生じる光線L2(実線で示される)は、最終的には、左目A2に投光される。また、光源素子122cが発光することにより生じる光線R2(一点鎖線で示される)は、最終的には、右目A1に投光される。
 この状態で、視点A1、A2がX方向(紙面における右方向)に移動し、このとき視点位置の検出ができず、視点喪失(視点ロスト)が生じたとする。なお、視点ロスト時における視点A1’は、アイボックスEBの部分領域Z12に位置し、視点A2’は、アイボックスEBの外に位置している。
 この状態では、光線R2、L2は、視点A1’、A2’には投光されず、運転者はHUD装置1による表示(虚像)を視認することができない。但し、視点A1’は、アイボックスEB内にあることから、照明範囲を変更することで、視点A1’に光を照射して、視認可能な状態とすることは可能である。
 次に、図2を参照する。図2(A)は、視点ロスト後に照明領域を拡張した状態を示す図、図2(B)は、照明領域における照明光の光量分布の好ましい例を示す図である。
 図2(A)における視点(視点A1’、A2’)の位置は、図1(B)と同じであり、視点ロストの状態である。ここで、視点喪失検出部114が、視点ロストが生じたことを検出し、視点ロスト検出信号(検出情報)S2を発光制御部116に送る。これを受けて発光制御部116は、視点ロストに対する対策として、照明領域の拡張処理を実施する。なお、照明領域を広げることは、例えば、表示部145における虚像の表示に寄与する画素又は光源の領域を拡張し(言い換えれば、発光状態の画素や光源要素が増えるように制御し)、視点ロストの直前に照明していた、アイボックスの部分照明領域を基準として、その領域よりも広い照明領域を照明するように制御することで実現可能である。
 図2(A)では、図1(B)では消灯していた光源素子122b、122dが点灯しており、光源素子122a~122dがすべて点灯(発光)している。図1(B)では、光線L2、R2のみによる照明であったが、図2(A)では、これに加えて、光線L1、R1による照明がなされ、アイボックスEBにおける照明範囲(照明領域)が拡張(拡大)されている。
 アイボックスEBに着目すると、視点ロスト後の視点A1’(アイボックスの部分領域Z12に位置している)には、光線L1が投光されている。これによって、運転者が、HUD装置1による表示(虚像)をまったく視認できない事態が生じない。言い換えれば、視点ロストの発生によって、ふいに表示が完全に消えるという事態が抑制(低減、あるいは防止)されることになる。
 次に、図2(B)を参照する。図2(B)は、照明領域(部分照明領域を含む)における光量(輝度)の分布の好ましい例を示す。視点が部分照明領域(スポットライティングのエリア)から出ると、輝度が極端に小さくなって、画像(虚像)の視認性が極端に、急に低下することが想定され得る。
 この場合、部分照明領域と非照明領域との境界(縁)に、目(視点)が差し掛かった際に、突然、虚像が消える(輝度が極端に低下する)ことによる視認者の違和感を軽減することが望まれる。
 そこで、好ましい1つの例では、矩形の照明領域があるとすると、中央の光量が多く、周辺部(境界近辺)は低いが、但し、ある程度(所定値以上)の光量(輝度)が確保されるような低さとして、視点が、上記の境界よりも外側に出たときに、急に虚像が見えなくなることを抑制する。この場合は、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
 また、他の好ましい例では、照明領域(ライティングのエリア)内においては、所定の輝度レベルとなるように均一(略均一を含む)な光の照射がなされるようにする。この場合も、縁近傍(境界付近)から光量が低下していくが、ある程度の光量は確保されることから、視点が、境界の外側に移動したときに、薄い虚像が見えた後に像が消えることになり、違和感が生じにくい。
 図2(B)に示される光量の分布DB1、DB2は、上記の他の好ましい例に相当する。なお、DB1は、アイボックスEBの部分領域Z13に対応した部分照明領域の光量分布を示し、DB2は、アイボックスEBの全域(部分領域Z10~Z13)にまで照明領域を拡大した際の照明領域(全照明領域)における光量分布を示す。いずれの分布も、アイボックスEBの内部の境界、あるいは、アイボックスEB自体の外形の境界付近(言い換えれば、照明領域の周辺、あるいは縁)において、所定閾値Lth以上の光量が確保されている。
 これによって、その境界の外側にも光量がはみ出して広がり、光の強度は、急峻に低下せず、徐々に(勾配をもって)低下する。よって、視点が、境界の外側に移動したときでも、表示(虚像)が薄くなって消えることになり、唐突に消えることがない。これによって違和感、不安感が抑制(低減)される。
 このように、図2(B)の例によれば、視点が照明領域の外になったときに、突然、虚像が消える違和感が軽減される。
 次に、図3を参照する。図3(A)、(B)は、HUD装置で使用されるアイボックスの構成例を示す図である。
 図3(A)では、アイボックスEBは、複数(ここでは9個)の部分領域Z1~Z9に分割されており、各部分領域Z1~Z9を単位として、運転者の視点Aの位置が検出される。
 HUD装置1の集光光学系150(図1、図2参照)から画像の表示光Kが出射され、その一部がウインドシールド2により反射されて、運転者の視点(目)Aに入射する。視点Aがアイボックス内にあるとき、運転者は画像の虚像を視認することができる。
 図3(B)の例では、HUD装置1の集光光学系150から画像の表示光Kが出射され、その一部がウインドシールド2により反射されて、運転者の左右の視点(左右の目)A1、A2に入射する。視点A1、A2がアイボックスEB内にあるとき、運転者は画像の虚像を視認することができる。
 ここで、運転者の視点(目)A1、A2から見て、車両1の幅方向(左右方向)をX方向(あるいは横方向)とし、X方向に直交し、路面の垂線に沿う高さ方向をY方向(縦方向)とし、前方(前後方向)をZ方向とする。図3(B)では、アイボックスEBの内部は、縦の境界線で区画されたE1~E8の8個の部分領域が設けられ、縦長の長方形の外形を有する各部分領域E1~E8は、横方向(X方向)に、隣接して配置(配列)されている。各部分領域E1~E8を単位(最小限の分解能の単位)として視点位置を検出することで、視点A1、A2の、アイボックスEBにおける横方向の位置を検出することができる。
 なお、各部分領域Z1~Z9、又は、E1~E8を用いて検出された視点位置の情報は、視点位置追従スポットライティング以外の制御にも利用され得る。また、「アイボックスEBにおける部分領域」と、スポットライティングにおける「部分照明領域」とは、異なる概念であり、両者のサイズが一致するとは限らない。
 次に、図4を参照する。図4(A)は、本発明を適用した立体表示式(3D)HUD装置の構成例を示す図、図4(B)は、立体画像(虚像)を表示する原理を説明するための図である。図4において、前掲の図面と同じ箇所には同じ符号を付している。
 図4(A)において、液晶パネル(広義にはフラットパネルディスプレイ)140の表示面145に、右眼用の画像(視差画像)QR、左眼用の画像(視差画像)QLが表示される。なお、「視差画像」とは、左右の眼が異なる位置にあることによって生じる視差(各眼が知覚する画像の差)が再現されている画像である。
 ここで、液晶パネル140の光出射側を前方とするとき、液晶パネル140の前方には、光学部材160が配置される。この光学部材160は光線分離部材として機能し、左上側に示されるように、具体的にはレンチキュラレンズ170、あるいは、スリットSLを有するパララックスバリア(視差バリア)180により構成することができる。なお、視差バリア180は、複数のスリット185a~185nを有する。但し、これらは例示であり、これらに限定されるものではない。
 光線分離機能を有する光学部材160で分離された光(画像を再現する各眼用の再現光)L10、R10が、光の結像点に位置する両眼A1、A2に入光したとすると、人には、輻輳(光の交差)が生じている箇所にて、見かけ上の立体像IMが見える。言い換えれば、このことは、立体像IMが、3Dディスプレイによって生成された、とみることもできる。なお、図4(A)の例では、輻輳角はθcである。
 図1等を用いて説明したように、液晶パネル140の後方には、制御部100と、光源(LED等のバックライト用光源)120と、光源の光学系(第1の光学系)130とが配置されている。
 図4(A)に示されるように、液晶パネル140の表示面145の全面が発光しているのではなく、必要な箇所ZA、ZBが選択的に発光されている。なお、符号147、147’は、視点A1、A2(の中心)に対応する画素を示す。この選択的な発光によって、アイボックスEB上において部分照明(スポットライティング)が実現されている。
 図4(B)を参照する。図4(B)では、視認者(車両の運転者等)の前にアイボックスEBが設定されており、アイポイントP(C)は、アイボックスEBの中央に位置する。ウインドシールド2の前方に、左右の各眼に対応する仮想的な結像面PS(L)、PS(R)を設定したとすると、その重なりの領域の中央に虚像V(C)が位置する。虚像V(C)の輻輳角はθdであり、虚像V(C)は、視認者(ユーザー)には立体的な像として認識されることになる。
 この立体的な虚像V(C)は、以下のようにして表示(形成)される。すなわち、図3(A)に示した3Dディスプレイにより生成された仮想的な立体像IMの、左右の各眼用の再現光L10、R10を、HUD装置1の集光光学系150に含まれる曲面ミラー(凹面鏡等)171にて反射させ(反射の回数は少なくとも1回)、これによって、表示光Kとしてウインドシールド2に投射(投影)し、その反射光が視認者の両目に至り、ウインドシールド2の前方に像を結ぶことによって、虚像V(C)が表示(形成)されることになる。
 次に、図5を参照する。図5(A)は、時間経過に対する視点検出状態の推移(変化)を示す図、図5(B)~(F)は、アイボックスにおける視点の移動に対応した照明領域の拡張、及び縮小の様子を示す図である。
 図5(A)において、時刻t0~t2の期間は、視点が検出されている「視点検出状態」であり、時刻t2にて、視点の位置が検出できなくなり、視点喪失(視点ロスト)が発生している。この視点ロスト状態は、時刻t5まで継続する。時刻t5に視点が再検出され、以降、視点検出状態となる。
 なお、「視点ロスト」としては、両目の少なくとも一方がアイボックス内にある視点ロスト、両目がアイボックスの外にある視点ロストの双方を想定することが可能である。
 また、以下に説明する視点ロスト時における照明領域を拡張する制御、又は縮小する制御は、運転者の両目の各々に同じ画像を投影する単目式のHUD、各目に異なる画像(視差画像)を投影する両目式(視差式、フォログラム式あるいは光再現方式)のHUDの双方に適用することが可能である。
 図5(B)、(C)、(D)、(E)、(F)は各々、時刻t1、t3、t4、t6、t7における、アイボックスEBでの照明領域を示している。なお、照明領域は、砂模様が施された矩形(正方形、長方形を含む)領域Q1~Q5として示されている。また、視点検出状態における視点A1、A2は実線で示し、視点ロスト状態における視点A1、A2は破線で示している。
 図5(B)(時刻t1に対応する)において、視点A1、A2は、アイボックスEB(ここでは、正面から見た平面視での矩形領域をアイボックスとする)上で、向かって右斜め上付近に位置している。
 スポットライティング制御がなされることで、位置が検出されている視点A1、A2を中心として、所定サイズの矩形の部分照明領域Q1に、画像の表示光が照射(投光)されている。視点が移動すれば、視点位置が随時、検出されて、部分照明領域Q1が、そのサイズを保ちながら、視点に追従して移動する。この状態が、通常のスポットライティング状態である。
 上記の「所定サイズ」は、ここでは、視点位置が検出されており、かつ部分照明領域がアイボックスEBに接しないとき(言い換えれば、スポットライティングの通常状態)における照明サイズとする。
 図5(C)(時刻t3に対応する)では、視点ロストが発生しており、HUD装置1は、視点位置を検出できていない。実際は、視点は、アイボックスEB上で、右斜め下方向に移動している。図5(C)では、部分照明領域Q2のサイズは、図5(A)での部分照明領域Q1のサイズ(言い換えれば、視点ロスト直前の部分照明領域のサイズ)よりも拡張(拡大)されている。矩形の照明領域の外形を決める4つの辺の各々に垂直な方向に、ほぼ均等に拡張されている(等方的拡張)。
 図5(C)において、視点A1は部分照明領域Q2の外となるが、視点A2はQ2の内側に位置しており、視点A2対して画像の投影が可能である。よって、視点ロスト時に、運転者が表示(虚像)をまったく見えなくなるという事態が回避されている。
 ここで、このような部分照明領域を広げる制御は、先に説明した制御部100(具体的には、部分照明制御部110:図1(A)参照)によってなされる。
 なお、画像を表示する表示部140が、例えばLEDや有機EL等の自発光素子により画素を形成しているときは、その画素の発光状態を制御することにより、また、表示部140が、図1、図2の例のように、例えば液晶パネルとバックライト(光源)とを組み合わせた光透過型の表示装置であるときは、光源(光源要素)の発光状態(点灯や消灯等)を制御することにより、照明領域の拡張を実現することができる。言い換えれば、例えば、視点ロストの直前に発光していた画素の周囲の画素(非発光であった画素)を発光状態(虚像の視認に寄与できる状態)に転じることによって、視点ロスト直前の照明領域を基準として、その周囲に発光領域を拡張していくことが可能である。
 ここで、「視点ロスト直前の照明領域を基準とした拡張」とするのが好ましい。視点ロストが短い時間であるのならば、視点は、元の照明領域付近にとどまっている可能性が高く、元の領域の周囲に拡張することで、視点に投光できる可能性が高まるからである。図5(C)の例では、視点ロストが生じる直前の、時刻t1における図5(B)の部分照明領域Q1を中心として、その周囲に照明領域を拡大しており、これによって、より大きなサイズの部分照明領域Q2が実現され、上記のとおり、視点A2への投光が可能となっている。
 また、部分照明領域Q2の内の、部分照明領域Q1からはみ出している(拡張されている)領域の全部に一気に投光して拡張することもできる。但し、アイボックスEBにおける部分照明領域を拡張した場合、拡張した照明領域に向かう光束の一部は、元の照明領域にも入る可能性がある。上述のとおり、一気にアイボックスの全域を照明してもよいが、この場合、元の照明領域で視認される画像(虚像)輝度が急激に高まることも想定され、運転者(ユーザー)が、輝度変化によって違和感をおぼえる可能性がないとはいえない。
 そこで、照明領域を拡張する際には、制御部100は、連続的に広げる制御、あるいは段階的に広げる制御の少なくとも一方を実施し、時間を経て徐々に拡張してもよい。この場合、一気にアイボックスの全域に照明領域を拡張したときに発生しうる違和感を抑制できる。言い換えれば、違和感の少ない「スポットライティング拡張制御」が可能である。
 時間軸上で連続的に照明領域を拡張すれば、違和感をより低減できる。また、段階的(ステップ的)に照明領域を拡張する場合は、所定の拡張アルゴリズムに従って規則性をもって効率的な拡張を、容易に(装置の負担が少なく)実施することができる。なお、連続的拡張と段階的拡張を組み合わせて使用することで、より自由度の高い照明領域の拡張が可能である。
 このように、視点(左右の目の少なくとも一方)の移動に伴い、視点が一時的に喪失状態となったときでも、拡張された照明領域に視点が位置していれば、運転者(ユーザー)は、表示(虚像)を視認可能であり、唐突に表示が消えることを防止できる可能性が高まる。よって、違和感が生じることを低減する効果が得られる。また、車両等の運行上、必要な表示を視認できる可能性が高まることから、安全上の信頼性も高まる。
 また、図5(B)から図5(C)に移行する際に、例えば、光源を非点灯/点灯の2値制御によって、光源要素を一気に所定の光強度まで発光させてもよい。但し、輝度変化が大きい場合は違和感の原因になることも想定される。そこで、図5(B)、(C)の例では、徐々に光量を増大させている。図5(B)と(C)の間に、先端が拡張されている白抜きの矢印が示されているが、これは、光量が徐々に増大されることを示している(この点は、図5(C)と(D)との間に描かれている矢印についても同様である)。
 具体的には、表示部140の画素(表示画素)を、所望の輝度で点灯/非点灯の切り替え制御(点灯/消灯の2値制御)をするのではなく、時間をかけて所望の輝度に上げていく制御(言い換えれば多値点灯制御)が実施される。これによって、違和感をより低減することができる。
 次に、図5(D)について説明する。図5(D)では、時刻t4において、照明領域がアイボックスEB上の全領域にまで拡大されている(図中、全域の照明領域には、符号Q3を付している)。
 また、図5(D)では、視点A1、A2は、図5(C)から、さらに右斜め下側に移動しているが、照明領域の全範囲までの拡張によって、視点A1、A2の双方に画像が投光されており、運転者は、例えば立体的な画像(虚像)を視認することができる。
 ここで、図5(A)を参照すると、時刻t4は、視点ロスト発生時点t2から、第1の所定時間Tth1が経過した後の時点である。言い換えれば、図5(D)では、視点ロストが第1の所定時間Tth1以上継続する場合に、アイボックスEBの全域を照明する制御を実施していることになる。
 ここで、上述のとおり、図5(C)の段階で、一気に、アイボックスEBの全域にまで照明範囲を拡張(拡大)してもよいが、この場合、元の照明領域で視認される画像(虚像)輝度が急激に高まることも想定され、運転者(ユーザー)が、輝度変化によって違和感をおぼえる可能性がないとはいえない。
 そこで、図5(B)の後、図5(C)の状態とし、それでも視点が再検出されないときに、図5(D)の状態(アイボックスの全域にまで照明範囲を広げた状態)としている。言い換えれば、照明範囲を全域にまで広げる制御は、第1の所定時間Tth1を経過したことを条件に実施されている。これにより、第1の所定時間Tth1が経過する前の期間では、部分照明領域のサイズを徐々に広げていくことができる(例えば、図5(C))。よって、違和感を抑制(低減)することができる。
 以上、部分照明領域の拡張制御の一例について説明したが、拡張の具体例、変形例については後述する。また、視点の移動方向を推定(あるいは予測)した拡張制御を実施してもよいが、これについても後述する。
 次に、図5(E)、(F)を参照する。図5(E)では、時刻t6の状態が示されている。時刻t5に視点が再検出されたことから、その再検出された視点位置に対応するように、照明領域を、部分照明領域Q4に縮小している。但し、部分照明領域Q4のサイズは、図5(B)の部分照明領域Q1よりも大きく、完全には、元のサイズには戻っていない。次の5(F)にて、元のサイズにまで縮小されている。ここで、図5(F)は、時刻t7における状態を示している。
 視点が再検出されたときは、その再検出された視点位置に基づく部分照明(原則として視点ロスト前の部分照明領域と同じサイズの部分照明)へと移行する。これにより、視点ロストから復帰したとき、違和感なく、ロスト前と同様の(通常の)スポットライティング状態に復帰できる。図5(E)の段階で、一気に、元の部分照明サイズと同じサイズにまで縮小してもよい。
 但し、運転者(ユーザー)の視点は、ある程度の移動を繰り返しつつ、ある位置に収束していく場合もあり得る。
 よって、図5(E)、(F)の例では、視点が再検出された時点t5から第2の所定時間Tth2が経過した後の時点(視点が安定するのに要する時間を経過した時点)である時刻t7、通常のスポットライティング状態に復帰するようにする。これによって、戻る途中の視点の小さな移動によって、視点が照明領域から外れてしまうことを抑制(低減)することができる。また、第2の所定時間Tth2が経過する前の期間においては、徐々に、照明領域を縮小することができ(例えば、図5(E))、少しずつ照明領域が小さくなることで、運転者に違和感を与えることが抑制(低減)される。
 また、図5(D)から(E)への移行の際、及び図5(E)から(F)への移行の際、徐々に照明光の光量(照明輝度)を低下させることで、一気に通常のスポットライティングに移行した場合に発生しうる違和感を抑制(低減)することができる。なお、図5(D)と(E)の間、及び、図5(E)と(F)との間に、先細の白抜きの矢印が示さているが、これは、光量が徐々に低下することを示している。照明領域を縮小する場合の、他の例については後述する。
 次に、図6を参照する。図6(A)~(H)は、照明領域の拡張と縮小の一例を示す図である。図示されるように、アイボックスEBは所定の形状(ここでは、正方形又は長方形とする)の外形を有している。但し、本発明がこれに限定されるものではない。より正確に述べれば、「アイボックス」は、車両の内部における左右方向(X軸方向)、上下方向(Y軸方向)、及び奥行方向(Z軸方向)で区画される所定の領域(上記所定の領域の形状は、例えば、立方体、直方体、楕円体を含む。)であり、HUD装置20が搭載される車両で観察者の視点位置の配置が想定されるエリア(アイリプスとも呼ぶ)と同じ、又は上記アイリプスの大部分(例えば、80%以上)を含むように設定される。本実施形態の説明に用いる図面では、奥行き方向の概念を省略し、アイボックスを左右方向及び上下方向で区画される長方形等で示している。なお、左右方向及び上下方向で区画されるアイボックスの形状は、四角形あるいは矩形(長方形や正方形が含まれる)の他、多角形、楕円などで設定され得る。
 まず、図6の拡張パターンについて説明する。制御部100(又は110)は、照明領域を、例えば連続的又は段階的に広げるに際し、照明領域を、その周囲に一様に拡張する等方的拡張、一様ではなく拡張する異方的拡張、これらの組み合わせの、何れかを実施することができる。正方形又は長方形の外形をもつ照明領域EBを例にとると、4辺の各々に対する垂線に沿って拡張する「等方的拡張」、又は、1辺、又は2辺あるいは3辺の各々に対する垂線に沿って拡張する「異方的拡張」、又は、「等方的拡張と異方的拡張の組み合わせによる拡張」の何れかを実施することができる。、また、照明領域の外形の何れかの辺が、アイボックスEBの外形の、対応する辺に到達したときは、未到達の他の辺についての拡張を実施し、拡張を実施しているときに視点位置が再検出された場合に、又は、照明領域が、アイボックスEBの全域まで広がった場合に、拡張を終了する制御を実施することができる。
 図6には、3通りの拡張パターン(図5とは、少なくとも一部において相違する具体的な例)が示されている。1つの拡張パターンは、図6(A)、(B)、(E)、(H)と拡張する例である。この例は、先に示した図5(B)、(C)、(D)(これらが、図6(A)、(B)、(H)に相当する)に、図6(E)を挿入したパターンである。
 2つ目の拡張パターンは、図6(A)、(C)、(F)、(H)と拡張するパターンである。3つ目の拡張パターンは、図6(A)、(D)、(G)、(H)と拡張するパターンである。等方的拡張、異方的拡張を用いて効率的な拡張を行っている。
 図6の例では、拡張時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
 次に、縮小パターンについて説明する。照明エリアの縮小に際しては、例えば、制御部100又は110は、視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された広い照明領域を、再検出された視点位置に対応した、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域へと縮小する制御を実施する。
 このとき、照明領域を一様に収縮する等方的縮小、一様ではなく縮小する異方的縮小、これらの組み合わせによる縮小の何れかを実施することができる。具体的には、例えば、正方形又は長方形の外形をもつ照明領域の、4辺の各々に対する垂線に沿って縮小する「等方的縮小」と、1辺、又は2辺あるいは3辺の各々に対する垂線に沿って縮小する「異方的縮小」を組み合わせて実施して、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する1つ目の縮小パターン(第1の方式)が想定され得る。
 また、直交する2つの線分の1つに沿う収縮を垂直収縮とし、他の1つに沿う収縮を水平収縮とするとき、これらを適宜、実施する(組み合わせて実施する場合を含む)ことで、元の照明サイズに戻すことができる。なお、「直交する2つの線分」としては、アイボックスの奥行きを無視して見たときの平面が、路面に垂直に立設されている矩形(正方形や長方形を含む)として把握できるような場合には、車両の高さ方向の線分、ならびに車両の幅方向の線分を採用することができる。具体的には、例えば、正方形又は長方形の縦の辺に沿う方向の収縮を垂直収縮とし、横の辺に沿う方向の収縮を水平収縮とするとき、垂直収縮を実施し、続いて水平収縮を実施して、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する2つの縮小パターン(第2の方式)が想定され得る。
 また、水平収縮を実施し、続いて垂直収縮を実施して、視点ロスト前の部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する3つ目の縮小パターン(第3の方式)が想定され得る。
 これらによれば、縮小時の規則が明確化され、ソフトウエアによる制御が容易となる等の効果が得られる。
 図6では、先に説明した3つの拡張パターンの各々を、逆にたどることで、3つの縮小パターンが得られる。なお、図6に示される縮小パターンは、上記の第2、第3の方式のものである(第1の方式の縮小パターンは図7を用いて説明する)。
 図6の例では、図6(H)を起点として、図6(E)、(B)、(A)と縮小する1番目の縮小パターンと、図6(F)、(C)、(A)と縮小する2番目の縮小パターンと、図6(G)、(D)、(A)と縮小する3番目の縮小パターンの何れかが実施され得る。
 次に、図7を参照する。図7(A)~(D)は、照明領域の縮小と拡張の一例を示す図である。
 図7では、2つの縮小(あるいは拡張)のパターンが示されている。図7(A)、(B)、(D)の縮小パターンは、異方的縮小の後、等方的縮小を実施する場合を示す。図7(A)、(C)、(D)の縮小パターンは、等方的縮小の後、異方的縮小を実施する場合を示す。これらは、上記の第1の縮小パターンに相当する。また、各縮小パターンを逆にたどることで、2通りの拡張パターンが得られる。なお、これらのパターンは一例であり、これらに限定されるものではない。
 次に、図8を参照する。図8(A)、(B)は、視点位置の変化の他の例(視点ロスト状態から視点再検出状態に戻る場合も考慮した例)、ならびに、視点移動の推定又は予測による照明領域の拡張等を示す図である。図8では、図3(B)で示したアイボックスが使用されている。
 図8(A)では、視点A1、A2は、当初は、アイボックスEBの部分領域W7、W8に位置している(視点検出状態)。その後、視点が、向かって右側(正のX方向)に大きく移動し、片方の視点(視点A2)が、アイボックスEBの外に出る(視点移動(1))。次に、視点A1、A2は、左側(負のX方向)に移動して、外れていた視点A2もアイボックスEB内に戻るが、戻り方はやや少なく、元の位置には戻らない。
 また、視点A1、A2が、右下側に少し移動し(視点移動(3))、その後、元の位置よりも左側へと戻る(視点移動(4))。
 このような多様な視点移動が想定され得る。この場合でも、視点ロスト時に、照明領域を拡張する制御を実施すれば、例えば視点が元に戻ろうとする途中において、運転者がHUD装置1による表示(虚像)を視認できる可能性が高まり、この点でも有益である。
 また、照明範囲を拡張する際に、視点の移動方向等を推定、あるいは予測して、その推定(予測)される方向に、より大きく拡張する(その方向のみに拡張することを含む)制御を行うこともできる。
 言い換えれば、制御部100(又は110)は、照明領域を連続的又は段階的に広げる際に、視点ロスト前の視点の移動方向、視点の動きに関する過去の学習結果、及び視点ロスト時の運転状況の少なくとも1つに基づいて視点ロストが生じた方向を推定、又は予測して、その推定又は予測された方向を少なくとも含むように照明領域を拡張する制御を実施してもよい。
 言い換えれば、視点ロストが生じた方向(視点ロスト時における視点の移動方向)を推定又は予測して、その推定(予測)の内容を活かして照明領域の拡張を行ってもよい。
 視点がロストしたときでも、視点の移動方向を推定(あるいは予測)可能な場合がある。例えば、両目の一方のみがロストしたときは、ロストしていない他方の目の移動の軌跡を追うことで、視点ロストの方向を推定(予測)することができる(視点の移動方向による推定)。
 また、運転者(ユーザー)には、運転中のしぐさ、動作に個人的な特徴があり、例えば、ある運転者は、運転中に頻繁に姿勢を変え、これによって上下(車両の高さ方向)に視点が変わることがある、といことが過去の学習でわかるのであれば、その学習結果を活かして、視点が上下方向に沿って移動して視点ロストが生じたと推定(予測)することができる(学習による推定又は予測)。
 また、車両が現在、凹凸の多い道(未舗装の道など)を走行しているときは(これは、例えば、ECU等が収集する車両情報により判定可能である)、上下、あるいは斜めの方向に視点が瞬時的に移動してロストが生じた可能性がある、と推定(予測)することができる(運転状況による推定又は予測)。
 このような推定(予測)を行って、推定(予測)方向を含むように拡張することで、効率的な拡張が可能である。例えば、推定(予測)方向の拡張を、非推定(非予測)方向よりも手厚く拡張する(拡張の度合いを大きくする)等の工夫をすることで、ロスト中における視点に、画像を投光できる可能性が高まり、照明領域の拡張が、虚像の視認可能性を高めることに、効率的に結びつく可能性を高めることができる。また、必要な領域を重点的に照明できることから、省エネの点でも有益である。
 図8(A)の例では、当初、範囲F1を照明していたが、上記の推定(予測)を行って、推定(予測)された方向である右側(正のX方向)に、大きく照明面積を拡大し(範囲F2に拡大)、一方、左側(負のX方向)には、小さく照明面積を拡大する(範囲F3に拡大)。
 図8(A)では、このような照明エリアの拡大(拡張)が実施されることで、上記の視点移動(1)、(2)又は(3)、(4)の何れの場合でも、運転者に、表示(虚像)を視認させること(あるいは、視認できる機会を増やすこと)ができる。
 次に、図8(B)を参照する。図8(B)では、視点A1、A2が、右側(正のX方向)に大きく移動して、各視点がアイボックスEBの外に出る(視点移動(5))。その後も、視点はアイボックスEBの外で移動する(視点移動(6))。そして、左側(負のX方向)に大きく移動し、元の位置を大きく通り過ぎて、元の位置よりもかなり左の位置へと移動する(視点移動(7))。
 図8(B)の例でも、図8(A)と同様の、視点移動の推定(予測)が実施されて、照明範囲は、F1から、F2及びF3を含めた領域へと拡張される。但し、その拡張が有った後も視点が再検出されないことから、さらに、照明範囲がF4まで含めた領域(アイボックスEBの全域)にまで拡張される。
 図8(B)では、このような照明エリアの拡大(拡張)が実施されることで、上記の視点移動(5)、(6)、(7)の場合でも、運転者に、表示(虚像)を視認させること(あるいは、視認できる機会を増やすこと)ができる。また、必要な領域を重点的に照明した後、アイボックスEBの全域に拡張することから、省エネの点でも有益となる。
 以上、いくつかの例により、本発明の照明領域の変更制御について説明したが、本発明は、これらに限定されるものではなく、種々、変形、応用が可能である。
 例えば、制御部100(又は110)は、広い照明領域を狭い照明領域に縮小する際に、照明光の光量を減少させる場合において、視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させることで、照明光を減少させてもよい。
 この制御は、1視点に複数の画素(光源)からの光が向かうことを前提にした制御方式の一例である。アイボックスにおける部分照明領域に向かう光束の一部は、他の部分照明領域にも向かう可能性がある。つまり、図3(A)の部分領域Z5には、部分領域Z2に向かう光束の一部が入り得る。部分領域Z1、Z2、Z3・・・、Z9のそれぞれに主に光束を導く画素又は光源を、照明要素C1、C2、C3・・・、C9とすると、部分領域Z5には、照明要素C5から導かれる光束と、この部分領域Z5に隣接する部分領域Z2,Z4,Z6,Z8に向けて照射される照明要素C2,C4,C6,C8からの光束の一部と、が照射される。したがって、広い照明領域(例えば、部分領域Z2、Z4、Z5、Z6、Z8)から狭い照明領域(例えば、部分領域Z5)に縮小する際、照明要素C2,C4,C6,C8の光量を減少させると、照明領域Z5で視認される画像の輝度が低下する。視認される輝度の変化(低下)は、視認者に違和感を与えることも想定される。
 したがって、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(部分領域X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、照明要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させることで、目の位置X1に若干届いていた光(照明要素C2、C3・・・の光)による画像の輝度の低下を感じにくくすることができ、違和感を低減することが可能である。
 また、いくつかの実施形態では、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(図3の例では、部分領域Z5とする)で視認される虚像の輝度に影響が小さい光源(ここでは、照明要素C5を除いた、C1、C2・・・C9とする)の輝度を緩やかに(時間をかけて)低下させる際、目の位置で視認される虚像の輝度に影響が小さい光源(例えば、部分領域Z5から比較的離れた部分領域Z1,Z3,Z7,Z9に対応する照明要素C1,C3,C7,C9)ほど、輝度を速く低下させ、影響が大きい光源(例えば、部分領域Z5から比較的近い部分領域Z2,Z4,Z6,Z8に対応する照明要素C2,C4,C6,C8)ほど、輝度を遅く低下させてもよい。ここでは、輝度を速く低下させるとは、例えば、輝度を漸減する速度が他方より急速にすること、速度を低下させるタイミングを他方より早くすること、又はこれらの組み合わせ、などを含む(これらに限定されない。)。
 また、制御部100(又は110)は、広い照明領域を前記狭い照明領域に縮小する際に、視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させ、かつ、視点位置で視認される輝度に影響が大きい画素又は光源要素の輝度を、時間をかけて上昇させてもよい。この制御は、1視点に複数の画素からの光が向かうことを前提にした制御方式の他の例である。
 言い換えれば、照明範囲を拡大された範囲から縮小された範囲にする際、例えば、目の位置(部分領域X1とする)で視認される虚像の輝度に影響が小さい光源(ここでは、照明要素C1を除いた、C2、C3・・・とする)の輝度を緩やかに(時間をかけて)低下させ、かつ、目の位置X1で視認される虚像の輝度に影響が大きい光源(ここでは、照明要素C1)の輝度を緩やかに(時間をかけて)上昇させる。
 これによって、照明範囲を変化させている途中であっても、画像(虚像)の輝度を略一定に維持できる。よって、例えば、照明範囲の拡大時と、縮小時とで、目の位置X1から見える画像(虚像)の輝度の変化(輝度の差)を小さくすることもできる。よって、違和感を、より低減することができる。
 また、制御部100(又は110)は、図5(A)で示した、第1の所定時間Tth1を、車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
 言い換えれば、照明領域をアイボックスの全域(最大エリア)に広げるのに要する時間を、種々の要因に応じて可変に制御し、運転シーンに適した制御を実施することができる。
 例えば、凹凸の多い道路を走行中であり車両ピッチングの発生頻度が所定値以上となる場合や、運転者の疲労度が高いと判定される場合や、カメラによって撮像されて取得される画像のコントラストが所定値以下の場合等においては、第1の所定時間Tth1をより短くして、最大エリアまでの拡張速度を通常の場合よりも高める(より早く最大エリアに到達するように制御する)のが好ましい。これらの場合は、表示(虚像)を確実に運転者(ユーザー)に視認させることが、安全の観点からも望ましいからである。
 また、例えば、夜間は、昼間よりも人の目の感度が高いため、より時間をかけてゆっくりと拡張させる制御をして、違和感を低減する等の制御を実施することも可能である。また、トンネルなど明暗が急激に変わる場合は、照明エリアの拡張時の速度を高め、早く最大エリアに到達できるようにしてもよい。雨天時は、晴天時よりも、表示(虚像)を視認しづらいため、ロスト時の照明エリアの拡大の速度を上げて、表示輝度変化による違和感発生よりも、確実に表示を視認させることを優先させるのが好ましいからである。
 このように、各種の状況に適応して最適な制御を実施することが可能である。
 また、制御部100(又は110)は、図5(A)で示した第2の所定時間Tth2を、車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御してもよい。
 照明領域を縮小する場合も、拡張の場合と同様の制御を実施することで、同様の効果を得ることができる。
 次に、図9を参照する、図9は照明領域の拡張、縮小を実施するHUD装置の動作手順の一例を示すフローチャートである。
 視点追従スポットライティング制御を実施しているときに(ステップS1)、例えば、閾値時間以上の視点ロストが発生することが検出されると(ステップS2)、照明領域の拡張処理が実施される(ステップS3)。なお、「閾値時間以上の視点ロストの発生」を検出するのは、ごく短い視点ロストが生じる毎に拡張処理を実施すると、かえって輝度変化による違和感の原因となるため、ある程度の期間継続する視点ロストを対象として対策を施すためである。
 ステップS3では、照明領域の拡張制御(最大領域はアイボックスの全域とする)が実施される。このとき、連続的、段階的に拡張してもよい。また、第1の所定時間以上の視点ロスト継続により、アイボックスの全域まで拡張させるようにしてもよい。また、光量を徐々に増大することも可能である。また、等方的拡張、異方的拡張(視点ロスト方向の推定や予測による異方的拡張を含む)、これらの組み合わせ、の少なくとも1つを実施してもよい。また、環境要因(運転シーン、昼夜や天候等)、生体状態要因(運転者の疲労度等)による通常とは異なる処理を行うこと(例えば、第1の所定時間を可変に制御すること)も可能である。
 ステップS4では、視点(視点位置)が再検出されたか否かが判定される。Nの場合はステップS3に戻り、Yの場合は、ステップS5に移行する。
 ステップS5では、照明領域の縮小制御が実施される。このとき、等方的縮小、異方的縮小の組み合わせによる縮小を実施してもよい。また、第2の所定時間以上が経過した時点で、元のサイズに戻す制御を実施してもよい。また、光量を徐々に減少させることも可能である。また、環境要因(運転シーン、昼夜や天候等)、生体状態要因(運転者の疲労度等)による通常とは異なる処理を実施すること(例えば、第2の所定時間を可変に制御すること)も可能である。
 以上説明したように、本発明によれば、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、虚像が見えなくなることを抑制し、違和感を低減することができる。
 (第2の実施形態)
 第2の実施形態では、視点ロストが生じ易い状態における対策について説明する。
 図10を参照する。図10は、HUD装置の構成の一例を示す図である。図10において、前掲の図と共通する部分には同じ符号を付している。但し、図10では、HUD装置は、符号1’にて示している。
 HUD装置1’は、筐体141内に、表示部(表示装置)145と、折り返しミラー(反射ミラー)169と、曲面ミラー(凹面鏡)171と、光を出射する窓部143と、を有する。窓部143を介して表示光が、ウインドシールド2に向けて出射される。
 表示部145は、光源(バックライト)120と、光源の光学系130と、拡散板137と、液晶パネル149と、を備える。運転者の視点(目)Aの位置は、視点検出部としてのカメラ90により撮像される。虚像Vは、車両の前方において、虚像表示面PS上に表示される。
 次に、図11を参照する。図11は、表示部の構成例を示す図である。表示部145は、光源基板121と、光源(光源要素)としてのLED122と、光源の光学系としてのレンズ130と、拡散板137と、液晶パネル149、とを備える。光源基板121上で、LED122は格子状に配列されており、これによってLEDアレイが形成されている。
 次に、図12を参照する。図12(A)、(B)は、図11に示した表示部を用いた視点追従スポットライティング制御の概要を示す図である。なお、図中、x’、y’、z’は、表示部に適用される座標を示す。図12(A)は、z’軸に沿う方向から見た構成を示し、図12(B)は、X’軸に沿う方向から見た構成を示す。図12(A)では、LED120g、120iが発光している。図12(B)では、LED122e、122g、122fが発光している。これによって、図12(A)の上側に示されるように、運転者の左右の目A1、A2に表示光が投射され、スポットライティングが実現される。なお、符号EBは、アイボックスを示す。また、符号169は、図10の折り返しミラーを示し、符号171は凹面鏡等の曲面ミラーを示す。符号VPは、図10の虚像Vと共役である表示像である。
 次に、図13を参照する。図13は、表示部における、LEDアレイの配列の一例を示す図である。図13では、光源基板121上に、格子状にLED122が配列されてLEDアレイが構成されている。図13の例では、LED122g、122iが発光している。LED122の発光は、制御部100の発光制御部116によって制御される。この点は、先に示した図1の構成と同じである。
 次に、図14を参照する。図14は(A)は、照明領域を拡張する前の、アイボックスにおける照明領域を示す図、図14(B)は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の一例を示す図である。
 図14(A)において、アイボックスEBは、複数の領域Z20~Z28に分割されている。運転者の左目A1は、分割された領域Z24に位置している。図中、符号R100は、表示光の照射領域を示す。
 次に、図14(B)を参照する。表示制御装置350は、制御部100を有する。制御部100は、視点速度検出部305と、視点速度判定部307と、発光制御部116と、を有する。
 図14(B)では、視点は、アイボックスEBの分割された領域Z24からZ22へと移動している。視点速度検出部305は、視点の移動速度vsを検出する。視点速度判定部307は、視点移動速度vsを、第1の閾値θv1、第2の閾値θv2と比較する。比較判定は簡単な構成で実現が可能であり、よって実現が容易である。また、高速で正確な判定が可能である。
 視点移動速度vsが、第1の閾値θv1以上となると、制御部100は、視点位置を検出できない視点ロストが生じ易い状態が生じたと判定し、発光制御部116を介して、表示光の照明領域を拡大する。上記のような事態は、運転者の顔が急に大きく振れる場合等において、生じ易い。
 このように、制御部100は、視点位置を検出できない視点ロストが生じ易い状態が検出されると、表示部145における虚像の表示に寄与する画素又は光源の領域を拡張し、拡張の直前に照明していた、アイボックスEBの部分照明領域よりも広い照明領域を照明するように制御する。具体的には、例えば、先に示したLEDユニットにおいて、LEDの発光を個別に制御することで、照明範囲の拡大が実現される。
 図14(B)では、視点(目)の移動速度(視点速度)vsが、第1の閾値θv1以上となったため、制御部100の制御によって、表示光の照射領域が拡大されている。拡大された照明領域200は、アイボックスEBの、ほぼ全域を照射している。
 表示光の照明領域の拡大によって、画像(虚像)が見えなくなったり、表示光が視点(目)に適切に照射されないことによる画像(虚像)の表示品質の低下が抑制される。また、比較判定は高速、かつ精度よく実施されるため、照明範囲の拡張を、迅速かつ確実に行うことができる。
 また、制御部100は、視点の移動速度vsが、第2の閾値θv2以下となると、拡大されていた照明領域R200を、図14(A)に示される照明領域R100と同等の大きさにまで縮小する。これによって、消費電力の削減、光源の温度上昇の抑制、装置負担の軽減等の効果が得られる。
 なお、照明領域を縮小する際、拡張のときと同じように、視点(目)の移動速度vsを第1の閾値θv1と比較し、移動速度vsが、第1の閾値θv1未満になった場合に照明領域を縮小するようにしてもよい。この場合は、第2の閾値θv2が不要となる。
 また、第2の閾値θv2を使用する場合、この第2の閾値θv2は、第1の閾値θv1よりも小さくてもよい。この場合、視点の移動速度が、第1の閾値θv1を下回り、さらに、第2の閾値θv2以下とならないと、照明領域の縮小要と判定されない。よって、照明領域が拡張された状態が安定的に維持できる。この場合、視点が照射範囲から外れる確率が低くなるという効果が得られる。
 一方、第2の閾値θv2は、第1の閾値θv1よりも大きくてもよい。この場合、視点の移動速度が、第2の閾値θv2以下となると、照明領域の縮小要と判定される。よって照明領域が拡張されている期間を短縮でき、これによって、例えば光源の温度上昇の抑制、消費電力の削減等の効果を得ることができる。
 次に、図15を参照する。図15(A)は、照明領域を段階的に拡張する場合のLEDの点灯パターン例を示す図、図15(B)は、照明領域を段階的に縮小する場合のLEDの点灯パターン例を示す図である。
 光源基板121上には、複数のLED122が格子状に配列されてLEDアレイが構成されている。
 図15(A)では、状態A1から状態A4へと移行するにつれて、点灯するLED122の数が増加する。状態A1では、2個のLEDが点灯しており、状態A2では、点灯しているLEDは9個に増加する。状態A3では、点灯しているLEDは15個となる。状態A3では、全LEDが全部、点灯する。言い換えれば、全点灯状態となる。これによって、照明範囲の段階的な拡張が実現される。
 図15(B)では、図15(A)とは逆の点灯パターンの変化が生じ、状態B1から状態B4へと移行するにつれて、点灯しているLED122の数が減少する。これによって照明範囲の段階的な縮小が実現される。
 このように、照明領域の拡大は、複数段階の縮小過程を含んでもよい。これによって、運転者の違和感が軽減される。また、装置負担も軽減される。
 また、照明領域の縮小は、複数段階の縮小過程を含んでもよい。これによって、運転者の違和感を軽減することができる。
 次に、図16を参照する。図16は、照明領域の拡張又は縮小の手順の一例を示すフローチャートである。
 ステップS100では、視点位置情報を取得する。ステップS101では、視点速度を検出する。ステップS102では、LEDアレイが全点灯状態であるかが判定される。Yのときは、ステップS103に移行する。
 ステップS103では、視点速度が第2の閾値θv2以下であるが判定される。Yのときは、ステップS104にて、点灯領域(点灯するLEDの個数)を縮小する。LEDアレイの点灯パターンは、検出された視点位置に基づいて決定される。
 Nのときは、ステップS105に移行する。ステップS105では、全点灯状態を維持する。
 ステップS102にてNのときは、ステップS106に移行する。ステップS106では、視点速度が第1の閾値θv1以上であるが判定される。Yのときは、ステップS107にて、点灯領域(点灯するLEDの個数)を拡大する。Nのときは、現状の発光状態が維持される。言い換えれば、視点位置に基づいて点灯パターンが決定され、LEDアレイがその点灯パターンで発光し、その発光状態が維持される。
 次に、図17を参照する。図17は、照明領域を拡張した後の、アイボックスにおける照明領域、及び、照明領域を拡張又は縮小する制御部の構成の他の例を示す図である。図17では、制御部100が、視点ロストが発生し易い状態が生じたことを判定する手段として、状況判定部309を有している。状況判定部309には、例えば、ECU160から、運転状況に関する種々の情報が提供される。
 制御部100の状況判定部309は、車両の、前方を含む周囲の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、言い換えれば、具体的には車両がトンネルを通過する場合、
 及び、
 車両の内部の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、具体的には、対向車のヘッドライトからの指向性の高い光が車内に入射される場合やLEDを用いた街路灯から指向性の高い光が車内に入射される場合、
 及び、
 車両に備わる、後部座席モニター、又はチャイルドモニターがオンされた場合、又は、オンされた状態である場合、
 及び、
 前記車両の走行環境が、前記運転者の顔又は目の位置の変動を増長する環境であると判定される場合、具体的には、車両が悪路を走行している場合、
 の少なくとも1つに該当するとき、視点ロストが生じ易い状態であると判定することができる。この判定結果に基づいて照明領域が拡大される。
 このような状況判定を行うことで、視点ロストが生じ易い様々な運転状況に対応して、事前に対策が可能となる。
 明るさの急激な変化は、例えば車両がトンネルに入る、あるいはトンネルから出る際に生じ易い。明るさの急激な変化が生じると、運転者は目を閉じたり、前方から目をそらしたりする傾向があり、視点ロストの一因となり得る。
 また、車両の内部の明るさの急な変化は、例えば、対向車のヘッドライトからの指向性の高い光や、LEDを用いた街路灯からの指向性の高い光が車内に入射されたときに生じ易い。この状況も視点ロストの一因となり得る。
 また、後部座席モニターやチャイルドモニターがオンされたときは、運転者は、監視用端末に視線を向けることが多くなるため、視点ロストの一因となり得る。
 また、車両が悪路を進行しているような場合、例えば、凹凸の多い道路を走行したり、ぬかるんだ未舗装の道路を走行しているような場合、あるいは、急カーブが連続する道路を走行している場合等においては、身体や顔の揺れ等によって視点ロストが生じ易くなる。
 図17の構成によれば、このような様々な運転シーンにおいて、視点ロスト対策を実施可能である。
 次に、図18を参照する。図18は、車両表示システムの構成の一例を示す図である。
 車両表示システムは、ECU160と、アンテナANと、通信部298と、地図データベース306と、後部座席モニターあるいはチャイルドモニターに使用され得る液晶表示装置等の監視用端末310と、前方を含む周囲の明るさを検出する周囲明るさセンサ(周囲明るさ検出部)312と、車内の明るさを検出する車内明るさセンサ(車内明るさ検出部)314と、前方を含む周囲の実景を撮像する周囲撮像カメラ316と、視点位置を検出するカメラ(視点検出部)90と、後部座席に着席している人、あるいは子どもを監視する、後部座席モニター用あるいはチャイルドモニター用の監視用カメラ320とを有する。
 図18の例では、運転者201は、後部座席(ここではチャイルドシートとする)に着席している子ども203の状況を、監視用端末310を介して知ることができる。
 視点撮像信号S0、ECU160から出力される各種情報(車速情報を含む)S3、周囲明るさセンサ312から出力される周囲明るさ検出信号S5、車内明るさセンサ314から出力される車内明るさ検出信号S6、周囲撮像カメラ316から出力される周囲撮像画像情報S7、監視用カメラ320から出力される監視情報S8の各々は、表示制御装置350に供給される。表示制御装置350は、これらの各種の信号や情報に基づいて、視点ロストが生じ易い状態の発生を検出、あるいは予測し、図14(B)あるいは図17に示したような事前の対策を採る。
 次に、図19を参照する。図19は、表示制御装置の構成の一例を示す図である。図19において、図1(A)及び図2(A)に示される制御部の構成と共通する部分には、同じ符号を付している。
 図19の表示制御装置350は、図1(A)及び図2(A)の構成と同様に、制御部100を有する。但し、図19では、図1(A)及び図2(A)の構成に、視点速度検出部305、視点速度判定部307、及び、状況判定部309が追加されている。
 図18で示した各種の信号(あるいは情報)S5~S9は、状況判定部309に供給される。
 表示制御装置350は、図10に示したHUD装置1’(広義には各種の画像表示が可能な機器)の内部に設けることができる。但し、これに限定されるものではない。
 HUD装置1’の外に、表示制御装置350を設置することも可能である。この場合は、表示制御装置350とHUD装置1’とを、無線あるいは有線の通信手段で接続して使用する。このような変形、応用は、適宜、なし得る。
 次に、図20を参照する。図20は、車両がトンネルを通過する場合における、照明領域の拡張、縮小の一例を示す図である。
 図20の例では、車両401は、トンネル403を通過する。車両401の周囲の明るさの状態は、時刻t0~t2の期間においては「明状態」であり、時刻t2~t3の期間においては「明から暗への遷移状態」であり、時刻t3~t4の期間は「暗状態」であり、時刻t4~t6の期間は「暗から明への遷移状態」であり、時刻t6以降は「明」状態である。
 時刻t0において、車両401の前方にトンネル403があることが検出される。この検出は、例えばGPS通信及び地図データベース306を利用することで実現可能である。また、周囲撮像カメラ316で前方を撮像し、撮像画像に基づく画像処理を実施することで、トンネル403の存在を検出することもできる。また、周囲明るさセンサ312によって、前方のトンネル内の明るさが急激に低下することを検出してもよい。
 時刻t0以前は、視点追従スポットライティングにおける照明範囲は、通常の範囲(図14(A)の照明範囲R100)に設定されている。
 トンネル403の存在が検出されると表示制御装置350は、視点ロストが生じ易い状態が予測されると判定し、時刻t0において、照明範囲を拡大する(図17の照明範囲R200参照)。照明範囲が拡張された状態は、時刻t3まで継続する。
 時刻t3を経過すると、照明範囲は縮小され、通常の範囲にもどる。
 時刻t4になると、周囲の明るさが急激に上昇することが、例えば、周囲明るさセンサ312によって検出される。表示制御装置350は、視点ロストが生じ易い状態が予測されると判定し、時刻t4において、照明範囲を拡大する(図17の照明範囲R200参照)。照明範囲が拡張された状態は、時刻t7まで継続する。
 時刻t7を経過すると、照明範囲は縮小され、通常の範囲にもどる。
 このように、車両401がトンネル403に入る前に、周囲の明るさの急激な低下を予測して、視点追従スポットライティングにおける照明範囲を拡張することが可能である。同様に、車両401がトンネル403から出る前に、周囲の明るさの急激な上昇を予測して、視点追従スポットライティングにおける照明範囲を拡張することが可能である。したがって、運転者が表示画像(虚像)を視認できなくなったり、表示画像の品質が低下したりする事態を十分に抑制することができる。
 次に、図21を参照する。図21は、照明領域の拡張又は縮小の手順の他の例を示すフローチャートである。図21において、図16と共通するステップには同じ符号を付している。
 図21のフローチャートでは、図16のステップS101、S103、S106が、ステップS101’、S103’、S106’に置換されている。S101’では、状況判定部309による状況判定が実施される。ステップS103’では、照明範囲の縮小が必要であるかが判定される。ステップS106’では、照明範囲の拡大が必要であるかが判定される。他のステップは、図16と同様である。
 以上説明したように、発明によれば、運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施中に、視点ロストが生じたとき、又は、視点ロストが生じ易い状態となったとき、運転者による虚像の視認が困難になったり、虚像の表示品質が低下したりすることが抑制される。よって、違和感を低減することができる。
 このことは、安全運転にも寄与する。また、運転者は、様々な運転シーンにおいて、常に、良好なHUD装置による表示を視認することができ、運転の快適性も確保される。
 本発明は、左右の各眼に同じ画像の表示光を入射させる単眼式、左右の各眼に、視差をもつ画像を入射させる視差式のいずれのHUD装置においても使用可能である。
 本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、HUD装置には、シミュレータ(例えば、航空機のシミュレータ)として使用されるものも含まれるものとする。
 本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
2・・・ウインドシールド(被投影部材、反射透光部材)、90・・・カメラ(視点検出用の瞳や顔の撮像部)、100・・・制御部、110・・・部分照明(スポットライティング)制御部、112・・・視点位置検出部、114・・・視点喪失検出部、116・・・発光制御部、120・・・光源(バックライト)、121・・・光源基板、122a~122d・・・光源要素(LED等)、130・・・光源の光学系(第1の光学系)、140・・・集光光学系(第2の光学系、画像をウインドシールド等に投影する反射鏡を含む光学系)、160・・・ECU(電子制御ユニット、統括制御部、情報収集部)、EB・・・アイボックス、Z1~Z9、W1~W12・・・アイボックスの部分領域(分割領域)、306・・・地図データベース、305・・・視点速度検出部、307・・・視点速度判定部、309・・・状況判定部、350・・・表示制御装置。

Claims (24)

  1.  車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
     前記画像を表示する表示部と、
     運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
     を有し、
     前記制御部は、
     前記視点位置を検出できない視点ロストが生じると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記視点ロストの直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する、
     ヘッドアップディスプレイ装置。
  2.  前記制御部は、
     前記照明領域を、連続的に広げる制御、あるいは段階的に広げる制御の少なくとも一方を実施する、請求項1に記載のヘッドアップディスプレイ装置。
  3.  前記制御部は、
     前記視点ロストが第1の所定時間以上継続する場合、前記アイボックスの全域を照明する制御を実施する、請求項2に記載のヘッドアップディスプレイ装置。
  4.  前記制御部は、
     前記照明領域を連続的又は段階的に広げる際に、照明光の光量を増加させる制御を実施する、請求項2又は3に記載のヘッドアップディスプレイ装置。
  5.  前記制御部は、
     前記照明領域を連続的又は段階的に広げる際に、視点ロスト前の視点の移動方向、視点の動きに関する過去の学習結果、及び視点ロスト時の運転状況の少なくとも1つに基づいて視点ロストが生じた方向を推定又は予測して、その推定又は予測された方向を少なくとも含むように前記照明領域を拡張する制御を実施する、
     請求項2乃至4の何れか1項に記載のヘッドアップディスプレイ装置。
  6.  前記アイボックスは所定の外形を有し、
     前記制御部は、
     前記照明領域を連続的又は段階的に広げる際に、
     前記照明領域を、その周囲に一様に拡張する等方的拡張、
     又は、前記照明領域をその周囲に、一様ではなく拡張する異方的拡張、
     又は、前記等方的拡張と前記異方的拡張の組み合わせによる拡張、
     の何れかを実施し、
     拡張を実施しているときに視点位置が再検出された場合、又は、前記照明領域が、前記アイボックスの全域まで広がった場合、拡張を終了する制御を実施する、
     請求項2乃至5の何れか1項に記載のヘッドアップディスプレイ装置。
  7.  前記制御部は、
     視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する、
     請求項1乃至6の何れか1項に記載のヘッドアップディスプレイ装置。
  8.  前記アイボックスは所定の外形を有し、
     前記制御部は、
     視点ロストが発生した後に視点位置が再検出されると、視点ロスト後に拡張された前記広い照明領域を、再検出された視点位置に対応した、視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施し、
     かつ、前記照明領域の縮小に際して、
     前記照明領域を一様に縮小する等方的縮小と、一様ではなく縮小する異方的縮小とを組み合わせて実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
     又は、
     直交する2つの線分の内の1つに沿う収縮を垂直収縮とし、他の1つに沿う収縮を水平収縮とするとき、垂直収縮を実施し、続いて水平収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
     又は、
     水平収縮を実施し、続いて垂直収縮を実施して、前記視点ロスト前の前記部分照明領域と同じ大きさの狭い照明領域に復帰させる制御を実施する、
     請求項6に記載のヘッドアップディスプレイ装置。
  9.  前記制御部は、
     前記広い照明領域を前記狭い照明領域とするのに要する時間が、第2の所定時間以上となるように制御する、請求項7又は8に記載のヘッドアップディスプレイ装置。
  10.  前記制御部は、
     前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる制御を実施する、請求項7乃至9の何れか1項に記載のヘッドアップディスプレイ装置。
  11.  前記制御部は、
     前記広い照明領域を前記狭い照明領域に縮小する際に、照明光の光量を減少させる場合において、
     視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させることで、照明光を減少させる、
     請求項10に記載のヘッドアップディスプレイ装置。
  12.  前記制御部は、
     前記広い照明領域を前記狭い照明領域に縮小する際に、
     視点位置で視認される輝度に影響が小さい画素又は光源要素の輝度を、時間をかけて低下させ、かつ、前記視点位置で視認される輝度に影響が大きい画素又は光源要素の輝度を、時間をかけて上昇させる、
     請求項7乃至9の何れか1項に記載のヘッドアップディスプレイ装置。
  13.  前記制御部は、前記第1の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御する、請求項3に記載のヘッドアップディスプレイ装置。
  14.  前記制御部は、前記第2の所定時間を、前記車両の運転状況、周囲環境、及び運転者の状況の少なくとも1つに基づいて、可変に制御する、請求項9に記載のヘッドアップディスプレイ装置。
  15.  前記制御部は、
     前記照明領域(前記広い照明領域、及び前記狭い照明領域を含む)の照明光の光量分布に関して、
     前記照明領域の周辺部の光量を、中央部の光量よりも少ないが、所定値以上の輝度は確保される光量となるように制御する、
     又は、
     前記照明領域内で光量が均一化されるように制御する、
     請求項1乃至14の何れか1項に記載のヘッドアップディスプレイ装置。
  16.  車両に搭載され、画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
     前記画像を表示する表示部と、
     運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する制御部と、
     を有し、
     前記制御部は、
     前記視点位置を検出できない視点ロストが生じ易い状態が検出されると、前記表示部における前記虚像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、前記アイボックスの部分照明領域よりも広い照明領域を照明するように制御する、
     ヘッドアップディスプレイ装置。
  17.  前記制御部は、
     前記視点の移動速度が第1の閾値以上であるとき、前記視点ロストが生じ易い状態であると判定する、
     請求項16に記載のヘッドアップディスプレイ装置。
  18.  前記制御部は、
     前記車両の、前方を含む周囲の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合、
     及び、
     前記車両の内部の明るさが急に変化したことが検出された場合、あるいは、その急な変化が予測される場合
     及び、
     前記車両に備わる、後部座席モニター、又はチャイルドモニターがオンされた場合、又は、オンされた状態である場合、
     及び、
     前記車両の走行環境が、前記運転者の顔又は目の位置の変動を増長する環境であると判定される場合、
     の少なくとも1つに該当するとき、前記視点ロストが生じ易い状態であると判定する、
     請求項16に記載のヘッドアップディスプレイ装置。
  19.  前記照明領域の拡張は、複数段階の拡張過程を含む、
     請求項16乃至18の何れか1項に記載のヘッドアップディスプレイ装置。
  20.  前記制御部は、
     前記視点ロストが生じ易い状態が解消されると、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する、
     請求項16乃至20の何れか1項に記載のヘッドアップディスプレイ装置。
  21.  前記制御部は、
     前記視点の移動速度が、前記第1の閾値未満となった場合、
     又は、
     前記第1の閾値よりも小さい、あるいは、前記第1の閾値よりも大きい第2の閾値以下となると、
     拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する制御を実施する、
     請求項17に記載のヘッドアップディスプレイ装置。
  22.  前記照明領域の縮小は、複数段階の縮小過程を含む、
     請求項20又は21に記載のヘッドアップディスプレイ装置。
  23.  請求項1乃至21の何れか1項における前記制御部を有する表示制御装置。
  24.  運転者の視点位置に応じて、アイボックスの部分領域に光を照射する視点追従スポットライティング制御を実施する工程と、
     前記視点位置を検出できない視点ロストが生じる場合、又は、視点ロストが生じ易い状態が検出される場合、画像の表示に寄与する画素又は光源の領域を拡張し、前記拡張の直前に照明していた、アイボックスの部分照明領域よりも広い照明領域を照明する工程と、
     視点ロストが生じた後に視点位置が再検出された場合、又は、視点ロストが生じ易い状態が解消された場合、拡張された前記広い照明領域を、拡張前の前記部分照明領域と同じ大きさの狭い照明領域に縮小する工程と、
     を含む表示制御方法。
PCT/JP2021/011997 2020-03-25 2021-03-23 ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法 WO2021193636A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021001814.0T DE112021001814T5 (de) 2020-03-25 2021-03-23 Head-up-Display-Vorrichtung, Anzeigesteuervorrichtung und Anzeigesteuerverfahren
JP2022510551A JPWO2021193636A1 (ja) 2020-03-25 2021-03-23
CN202180019316.3A CN115280215A (zh) 2020-03-25 2021-03-23 平视显示装置、显示控制装置、以及显示控制方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-055204 2020-03-25
JP2020055204 2020-03-25
JP2021047316 2021-03-22
JP2021-047316 2021-03-22

Publications (1)

Publication Number Publication Date
WO2021193636A1 true WO2021193636A1 (ja) 2021-09-30

Family

ID=77892215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011997 WO2021193636A1 (ja) 2020-03-25 2021-03-23 ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法

Country Status (4)

Country Link
JP (1) JPWO2021193636A1 (ja)
CN (1) CN115280215A (ja)
DE (1) DE112021001814T5 (ja)
WO (1) WO2021193636A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11753024B1 (en) * 2022-07-15 2023-09-12 Ghost Autonomy Inc. Anticipatory vehicle headlight actuation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002344A1 (ja) * 2015-07-01 2017-01-05 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ及びヘッドアップディスプレイを備えた移動体
JP2018045143A (ja) * 2016-09-15 2018-03-22 株式会社デンソー ヘッドアップディスプレイ装置
US20200012098A1 (en) * 2016-07-05 2020-01-09 Valeo Comfort And Driving Assistance Image-generation device for a head-up display and method for controlling such a device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002344A1 (ja) * 2015-07-01 2017-01-05 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ及びヘッドアップディスプレイを備えた移動体
US20200012098A1 (en) * 2016-07-05 2020-01-09 Valeo Comfort And Driving Assistance Image-generation device for a head-up display and method for controlling such a device
JP2018045143A (ja) * 2016-09-15 2018-03-22 株式会社デンソー ヘッドアップディスプレイ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11753024B1 (en) * 2022-07-15 2023-09-12 Ghost Autonomy Inc. Anticipatory vehicle headlight actuation

Also Published As

Publication number Publication date
CN115280215A (zh) 2022-11-01
DE112021001814T5 (de) 2023-01-05
JPWO2021193636A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
US20210318538A1 (en) Augmented Reality Display Systems Enhancing Virtual Images with Redirected Light
US9759916B2 (en) Mediated reality display system improving lenses, windows and screens
US9321329B2 (en) Glare elimination and image enhancement system improving lenses, windows and displays
US9164281B2 (en) Volumetric heads-up display with dynamic focal plane
US9393870B2 (en) Volumetric heads-up display with dynamic focal plane
US20060158715A1 (en) Variable transmissivity window system
KR102129478B1 (ko) 자동차의 운전자 시야 관점에서의 광 조건 개선 방법
JP2009229752A (ja) 表示装置、表示方法及びヘッドアップディスプレイ
CN112292630B (zh) 用于运行用于机动车的视野显示设备的方法
JP7041851B2 (ja) ヘッドアップディスプレイ装置
JP2008001182A (ja) 車両用視覚情報呈示装置及び車両用視覚情報呈示方法
JP2009244878A (ja) 車両用表示システム
JP2013097885A (ja) ヘッドライト装置、及びヘッドライトシステム
CN112334361A (zh) 信息显示装置和信息显示方法
WO2021193636A1 (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御方法
JPH06191344A (ja) ヘッドランプの配光制御装置
WO2013128573A1 (ja) 表示装置及び表示方法
JP7131397B2 (ja) 虚像表示装置
KR20180046567A (ko) 차량용 헤드 업 디스플레이 제어 장치 및 방법
CN109798491A (zh) 车辆用灯具
WO2018164269A1 (ja) 照明装置
JP2023077857A (ja) ヘッドアップディスプレイ装置
JP2022181908A (ja) ヘッドアップディスプレイ装置
US11875530B2 (en) Image display system and image controller
WO2024070204A1 (ja) 虚像表示装置、移動体、虚像表示装置の駆動方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21776857

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022510551

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21776857

Country of ref document: EP

Kind code of ref document: A1